SheepNav
新上线今天0 投票

DocsChisel:为LLM智能体量身定制工具文档的自适应优化框架

随着大语言模型(LLM)在现实世界任务中的广泛应用,外部工具的调用已成为其能力扩展的关键一环,而工具文档的质量直接影响智能体的任务执行效果。然而,现有研究大多将工具文档视为固定输入,鲜有深入探讨不同信息字段对智能体性能的影响。针对这一空白,来自复旦大学等机构的研究团队提出了一种自适应工具文档优化框架 DocsChisel,通过动态调整文档内容,显著提升了 LLM 智能体的任务成功率。相关论文已发表于 arXiv(编号:2608.10037)。

研究背景:工具文档为何重要?

LLM 智能体在执行复杂任务时,往往需要调用外部 API 或工具,而工具文档作为连接模型与工具的桥梁,其信息完整性、准确性和可读性直接影响模型对工具功能的理解与使用。以往研究多聚焦于改进智能体的工具选择与调用策略,却忽视了文档本身的可优化空间。尽管已有如 EasyTool、DRAFT 等工作尝试通过重写或压缩来优化文档,但关于不同信息字段在不同场景下的实际效用,仍缺乏系统性认识。

核心发现:文档信息字段的异质性

研究团队首先进行了一项大规模实证研究,分析了现有工具文档中信息字段的分布情况,发现不同文档在字段类型和内容上存在显著差异。更为关键的是,信息字段的有效性高度依赖于具体任务领域、LLM 基础模型以及智能体范式。例如,某些字段在代码生成任务中至关重要,但在问答任务中可能冗余;同一字段在不同 LLM 上的表现也可能截然相反。这意味着,不存在一种通用的固定文档模板能够适配所有智能体设置。

DocsChisel:从失败中学习,迭代优化

基于上述发现,研究者设计了 DocsChisel 框架,其核心思想是“从失败中学习”。具体而言,DocsChisel 会分析目标智能体在任务执行过程中的失败轨迹,识别由文档问题引发的错误,进而针对每个工具动态地添加、删除或修改信息字段。这种迭代优化机制使得文档能够适应特定智能体的需求,而非一刀切。

实验表现:性能大幅提升,开销可控

在多项基准测试中,DocsChisel 与现有最优方法(如 EasyTool、DRAFT)进行了对比。结果显示,DocsChisel 将智能体的任务成功率平均提升了 95.89%(相对于原始文档),并且比现有基线方法平均高出 75.15%。同时,其优化过程所需的时间和 Token 开销均处于可接受范围,展示了良好的实用性与扩展性。

总结与展望

DocsChisel 的提出为 LLM 智能体的工具文档优化提供了新思路,强调文档的“个性化”与“动态性”。未来,随着智能体应用场景的不断丰富,这种自适应文档优化机制有望成为提升 LLM 系统整体性能的重要一环。研究者也指出,当前框架主要针对单轮优化,未来可探索多智能体协作场景下的文档协同优化。

延伸阅读

  1. 从垃圾信息中寻找信号:联合学习奖励与工人可靠性的新方法
  2. UserToolBench:面向工具使用大模型的个性化决策新基准
  3. FlowScout:从执行反馈到可靠的工具使用代理工作流
查看原文