Deepgram 增强 Amazon SageMaker AI 可观测性，推出 Enhanced Metrics
自托管语音 AI 一直存在可观测性权衡：驱动容量规划和成本管理的关键数据被锁定在供应商容器内。Deepgram 通过在 Amazon SageMaker AI 上推出两项新功能，将计费、使用量和每 GPU 指标直接发布到您自己的 Amazon CloudWatch 账户中，从而弥合了这一差距。
自托管语音 AI 的洞察力困境
对于运行 Deepgram 语音转文本（STT）和文本转语音（TTS）模型的企业而言，数据驻留和合规性要求往往促使他们选择在自有 AWS 账户中部署模型。然而，这种自托管模式也带来了一个长期痛点：您能轻易看到端点是否在线、处理了多少请求，但真正影响容量规划和成本管理的关键数据——例如计费详情、功能使用情况以及每个 GPU 上推理引擎的具体行为——却深藏在供应商的容器内部，无法直接获取。
Deepgram 的两项创新：Enhanced Metrics 与 Prometheus/OpenTelemetry 支持
Deepgram 今日宣布的两项能力，旨在彻底解决这一可观测性盲区，并已在 Deepgram SageMaker AI 部署中正式可用。
Deepgram Enhanced Metrics：计费与用量直达 CloudWatch
第一项能力是 Deepgram Enhanced Metrics。它让 Deepgram 容器直接将使用量和计费指标发布到您的 Amazon CloudWatch 账户中，无需额外代理、sidecar 或 IAM 权限。这些指标与 AWS Marketplace 计量计费使用的消耗单元完全一致，意味着您现在可以将 AWS 账单与实际流量进行精确对账，甚至细化到具体模型和传输方式。
Prometheus 和 OpenTelemetry 支持：引擎级与 GPU 级监控
第二项能力是 Prometheus 和 OpenTelemetry 支持。Deepgram 容器现在可以暴露引擎级的 Prometheus 指标，并支持通过 SageMaker AI 的详细可观测性功能收集每 GPU 加速器及主机指标。这些数据可以通过 CloudWatch、Grafana 或任何兼容 Prometheus 的工具进行查询（使用 PromQL），让您首次获得对推理引擎内部行为的深度可见性。
这些能力如何在实际中发挥作用？
这两项能力为 Deepgram SageMaker AI 用户带来了显著的价值提升：
- 成本管理：通过将 CloudWatch 中的指标与 AWS 账单对齐，财务团队可以更精准地分配成本，识别异常支出。
- 容量规划：基于引擎级和 GPU 级指标，您可以根据实际负载模式优化端点规模，避免过度配置或性能瓶颈。
- 性能调优：通过 Prometheus 指标，您可以深入了解每个 GPU 的利用率、延迟等，从而优化模型推理效率。
快速上手与前提条件
要使用这些新功能，您需要将 Deepgram 模型包部署为 SageMaker AI 实时端点，并确保使用支持详细可观测性的实例类型。Deepgram 模型包在 AWS Marketplace 上提供，并支持网络隔离，确保容器无法进行外连，这满足了安全敏感型客户的需求。
启用这些功能后，您将能够通过 CloudWatch 控制台或 API 直接访问新的指标维度，无需额外配置。Deepgram 表示，这些能力已对所有 SageMaker AI 部署开放，用户可以直接使用。
结语
Deepgram 的这两项创新，不仅提升了自托管语音 AI 的可观测性，更体现了其对企业用户核心痛点的深刻理解。通过将关键运营数据交还给用户，Deepgram 帮助企业在不牺牲数据控制权的前提下，实现更精细化的运营管理。对于正在使用或考虑 Deepgram SageMaker AI 的企业而言，这无疑是一个值得关注的重要更新。
