VoiceGateway

VoiceGateway 是一款专为语音代理设计的开源性能分析工具，能够深入剖析 LiveKit 或 Pipecat 等语音代理框架中每个 STT、LLM 和 TTS 调用的性能指标。它提供从首次令牌时间到 p50/p95 延迟、精确模型识别及成本核算等关键数据，帮助开发者精准优化语音交互体验。

核心功能

• 全链路性能监控：自动捕获语音代理中语音转文字（STT）、大语言模型（LLM）和文字转语音（TTS）的每一次调用，并记录详细性能数据。
• 关键指标分析：提供 首次令牌时间（Time-to-First-Token）、p50/p95 延迟、精确模型名称 以及 每次调用的成本，让性能瓶颈一目了然。
• 轻量级本地存储：基于 SQLite 数据库，所有数据存储在本地，确保数据隐私与安全。

主要特性

• 开源且 MIT 许可：完全开源，可自由使用、修改和分发。
• 零数据泄露：你的密钥、你的数据，VoiceGateway 不会上传任何信息到外部服务器。
• 即插即用：通过简单的 attach(session) 方法即可集成到现有 LiveKit 或 Pipecat 代理中。
• 实时可视化：提供直观的仪表盘，实时展示性能指标和成本趋势。
• 跨平台兼容：支持多种操作系统和语音代理框架。

适用场景

• 语音应用开发者：需要优化语音助手、客服机器人等应用的响应速度和成本。
• AI 产品经理：评估不同 STT/LLM/TTS 模型的性能与成本，辅助选型决策。
• 研究与实验：对比不同模型配置下的延迟与准确率，加速迭代。