精选今天0 投票
精准但脱节：多智能体数学推理中，评审精度不保证批评被采纳
多智能体系统中，评审环节常被视为提升答案质量的关键。然而，一项针对数学推理任务的最新研究却揭示了令人意外的现象：评审者越精准，其批评反而越可能被忽略。
该研究由芝加哥大学、阿贡国家实验室等机构联合完成，题为《Precise but Uncoupled: Reviewer Precision Does Not Guarantee Critique Uptake in Multi-Agent Math Reasoning》。团队使用 gpt-oss-120b 模型作为解题者，在包含 4,181 道题目的 Omni-MATH 基准上，对比了两种典型多智能体协作模式：
- PER 流水线：规划者（Planner）→执行者（Executor）→评审者（Reviewer），评审意见被显式传递给下一轮执行者。
- 广播式对等讨论：多个智能体独立生成答案后，通过讨论达成共识。
结果显示：在难度较低的任务上，协作带来的提升微乎其微；但从第 4 级难度开始，广播式讨论的最终准确率显著高于 PER 流水线。
评审精度与采纳率的分离
PER 流水线中的评审者精度高达 0.861，远高于广播式讨论的 0.644。但经过验证的“有用批评”中，PER 流水线中仅有 32% 的批评真正改变了后续答案，而广播式讨论的这一比例为 47%。这意味着，高精度的评审并不等于高采纳率——评审者能准确指出错误，但解题者并不总是听从。
干预实验：强制承认反效果
为了探究为何批评未被采纳，研究团队在 PER 流水线中引入了两种干预措施：
- 强制显式承认：要求执行者先复述并承认评审意见，再修改答案。结果最终准确率反而下降，说明强制承认可能干扰了解题者的自然推理过程。
- 嵌入评审指引：将评审意见直接融入执行者的工作上下文（如思维链）。准确率部分提升，但未能完全弥合与广播式讨论的差距。
行业启示
这一发现对当前 AI 系统的设计具有重要警示：仅以评审精度作为评估标准，可能高估系统的真实能力。一个能精准检测错误的系统，如果无法确保批评被有效采纳，其整体性能依然受限。研究建议，未来的多智能体系统应更多关注“批评采纳机制”的设计，例如通过对话式迭代或动态角色分配，而非单纯追求评审精度。
论文已公开于 arXiv，并提供完整代码与数据。