SheepNav
agent-lens

agent-lens

producthunt.com

用科学方法调试你的LLM代理

19天前制作者:Raju Shanigarapu

关于 agent-lens

大多数LLM代理调试都停留在“凭感觉”阶段:修改提示词、肉眼观察输出、再重复。agent-lens 让调试变得结构化。你可以在任意LLM调用处暂停正在运行的代理,提出假设,用编辑后的消息进行分支,然后获得结构化的差异对比——包括延迟、Token消耗、成本——并给出“改进/退化”的判定。

核心功能

  • 暂停与分支:在任意LLM调用点暂停代理,复制当前状态并修改消息,无需重新运行整个流程。
  • 结构化差异对比:自动对比分支与原始路径的延迟、Token数、成本等指标,并给出性能判定。
  • 本地优先:所有数据存储在本地SQLite数据库中,无需任何基础设施,保护隐私。

主要特性

  • 零基础设施:只需 pip install agentlens-tracer,即可开始使用。
  • 科学调试:基于假设验证,告别盲目试错。
  • 性能洞察:精确量化每次修改对性能的影响。
  • 完全本地:数据不出库,安全可控。
  • 轻量级:不依赖外部服务,运行快速。

适用场景

  • LLM代理开发:在开发过程中快速定位问题,优化提示词和逻辑。
  • 性能调优:对比不同策略的延迟和成本,选择最优方案。
  • 回归测试:验证修改是否引入退化,确保代理行为稳定。
  • 教学与研究:深入理解LLM代理行为,进行实验对比。

相关工具