Agnost AI 发布：从 AI 对话中自动提取用户反馈，让智能体持续进化
Agnost AI 是一款面向聊天和语音智能体的产品分析工具，由 Shubham 和 Parth 两位童年好友共同创立，并已获得 Y Combinator 的 S26 批次支持。其核心能力是从生产环境的对话数据中自动识别用户行为失败模式，例如用户因愤怒而反复输入（rageprompting）、不断重新措辞同一问题、或对话最终未能转化等。这些失败往往是传统评估（eval）方法无法捕捉的，而 Agnost AI 能够持续分析真实对话，将高影响模式转化为可审查的修复方案，甚至自动生成代码补丁（PR）直接合并。
核心功能与价值
- 意图与信号提取：系统自动从对话中提取用户意图和情感信号，帮助团队理解用户真正想要什么。
- 失败检测与分类：识别工作流断裂、重复重试、设置摩擦、流失风险等失败类别，并按优先级排序。
- 自动改进建议：将最高影响的失败模式转化为具体的修复建议，团队可直接审查并实施。
- 自然语言查询：支持用自然语言查询对话数据，降低分析门槛。
真实用户反馈
多家早期用户给出了积极评价。Google 软件工程师 YT Yuan Teoh 表示，他们已将 Agnost AI 的全面可观察性功能集成到 MCP Toolbox for Databases 中。Corgi Insure 的 Ana Paula Olaiz 提到，Voice BDR 在 Agnost 揭示出实际转化的对话模式后，预约会议的能力显著提升。Odysser 的 CTO Merouane Zouaid 发现，用户对话中隐藏着大量尚未满足的功能请求，而 Agnost 帮他发现了这些“隐藏需求”。Comp AI 的 CEO Lewis Carhart 认为，Agnost 是他们改进智能体的关键工具。Lopus AI 的联合创始人 Aamish Ahmad Beg 则分享，Agnost 在一夜之间发现了对话中隐藏的 bug 并自动创建了 PR 进行修复。
技术特点与定价
Agnost AI 兼容任何 LLM 和框架，基于 OpenTelemetry 标准，设置仅需 2 分钟。定价方面，提供免费 Starter 版，包含意图与情感信号提取、自动改进、失败检测与自然语言查询，每月最多处理 1,000 条消息。随着数据量增长，可升级付费以扩展规模。
行业意义
随着 AI 智能体在客户服务、销售、产品引导等场景中的广泛应用，如何持续优化智能体表现成为关键挑战。传统评估方法依赖预定义测试集，无法覆盖生产环境中的真实用户行为变化。Agnost AI 通过直接分析生产对话，填补了这一空白，使智能体能够从真实交互中自我进化。这种“从失败中学习”的方法，有望成为 AI 产品迭代的标准实践。