Tracely

Tracely 是一款革命性的开源工具，它将生产环境中的故障自动转化为 AI 代理的回归测试用例，确保每次代码变更都不会重蹈覆辙。传统测试依赖手工编写数据集，而 Tracely 彻底改变了这一模式——它直接利用生产环境中的真实轨迹（trace）作为测试依据，无需任何手工干预。

核心功能

Tracely 的核心在于其自动化的故障处理流程。当 AI 代理在生产环境中运行时，Tracely 会实时监控并评估每一条代理轨迹。一旦发现失败，它会自动将失败轨迹聚类为问题，并冻结这些失败运行，生成可重复执行的测试用例。这些测试用例会被集成到 CI/CD 流程中，当有新的 PR 提交时，Tracely 会运行这些测试，如果 PR 会导致相同故障再次发生，则直接阻止合并。

主要特性

• 自动化故障聚类：智能识别并归类相似的失败轨迹，减少噪音，提高问题定位效率。
• 可重复的测试用例：将失败运行冻结为 hermetic 测试，确保每次执行结果一致，避免环境干扰。
• PR 级防护：在代码合并前自动运行回归测试，有效拦截潜在问题，保障生产稳定。
• 开源免费：基于 MIT 许可，完全开源，用户可以自由定制和扩展。
• 无需手工数据：以生产轨迹为测试基础，省去人工编写数据集的繁琐，提高测试真实性和覆盖率。

适用场景

Tracely 适用于所有依赖 AI 代理的生产环境，特别是那些需要频繁迭代和快速交付的团队。无论是客服机器人、推荐系统还是自动化运维工具，Tracely 都能帮助团队在开发早期发现并修复问题，大幅降低线上故障率。对于追求高质量和高效开发流程的团队来说，Tracely 是不可或缺的利器。