SheepNav
精选今天0 投票

多跳智能体中继中消息格式的影响取决于层级:忠实而非纠错

当大型语言模型(LLM)智能体之间传递信息时,消息格式是否重要?现有研究存在分歧:格式优化工作表明结构化消息可降低成本而不损害准确性,而格式限制工作则发现强加结构会降低生成质量——且两者均未衡量消息经过多跳传输时的表现,此时复制保真度而非单次生成占主导地位。

一项新研究引入了受控中继测试平台:将十二个程序生成的原子事实摘要以五种格式(自由自然语言、精确指令自然语言、JSON、三元组、键值对)逐跳重新编码,跨越六跳,由固定强评估器根据程序化真实值评分,涵盖两个中继能力层级、一个认知负载条件和一个配对分叉错误注入。研究发现,消息格式的影响取决于智能体层级。

  • 强中继下近乎无损:在忠实中继指令下,强中继几乎无损——文献中描述的“电话游戏”崩溃并未发生。添加每跳认知负载后,格式级保真度基本不变(误差在±1.8个百分点内),但生成成本增加24-53%。
  • 弱中继下格式差异显著放大:在弱中继(1.5B参数)下,六跳召回率的跨格式差距扩大了8.7倍(从2.3个百分点增至20.5个百分点),由两种相反机制驱动:刚性格式的编码代价和固定键JSON模式特有的漂移抵抗,导致格式排名在传输过程中反转。
  • 错误注入后持续存在:在配对分叉错误注入中,一旦注入错误值,它在83-100%的链中持续到最后一跳,与每种格式对真实值的保留率高度匹配,且未对相邻事实造成可检测的附带损害。

结论:结构化格式提供了忠实且错误定位的通道,而非纠错码。格式选择应遵循流水线中最弱的智能体。

延伸阅读

  1. 验证器即课程:执行门控自蒸馏如何让AI游戏生成突破家族壁垒
  2. GES-TSP:用图边稀疏化技术高效求解旅行商问题
  3. YUKTI:从自然语言情境到鲁棒且可验证的决策——不确定性类型命题信息检索、假设鲁棒帕累托前沿与遗憾证书
查看原文