
agent-lens
producthunt.com
用科学方法调试你的LLM代理
19天前制作者:Raju Shanigarapu
关于 agent-lens
大多数LLM代理调试都停留在“凭感觉”阶段:修改提示词、肉眼观察输出、再重复。agent-lens 让调试变得结构化。你可以在任意LLM调用处暂停正在运行的代理,提出假设,用编辑后的消息进行分支,然后获得结构化的差异对比——包括延迟、Token消耗、成本——并给出“改进/退化”的判定。
核心功能
- 暂停与分支:在任意LLM调用点暂停代理,复制当前状态并修改消息,无需重新运行整个流程。
- 结构化差异对比:自动对比分支与原始路径的延迟、Token数、成本等指标,并给出性能判定。
- 本地优先:所有数据存储在本地SQLite数据库中,无需任何基础设施,保护隐私。
主要特性
- 零基础设施:只需
pip install agentlens-tracer,即可开始使用。 - 科学调试:基于假设验证,告别盲目试错。
- 性能洞察:精确量化每次修改对性能的影响。
- 完全本地:数据不出库,安全可控。
- 轻量级:不依赖外部服务,运行快速。
适用场景
- LLM代理开发:在开发过程中快速定位问题,优化提示词和逻辑。
- 性能调优:对比不同策略的延迟和成本,选择最优方案。
- 回归测试:验证修改是否引入退化,确保代理行为稳定。
- 教学与研究:深入理解LLM代理行为,进行实验对比。