精选今天0 投票
推理链到底传递了什么？一项「消息干预」研究揭示角色分工问答的盲区
在角色分工的问答流水线中，一个「推理者」模型负责生成推理链（rationale），再交给「验证者」模型做答案核验。这种设计被广泛认为能提升可靠性。但 arXiv 上最新的一篇论文提出了一个尖锐问题：这条推理链到底传递了什么信息？
一个被忽视的「消息通道」
来自 Jiameng Zhang 与 Hongqiu Wu 的研究《What Do Rationales Communicate? A Message-Intervention Study in Role-Specialized QA》引入了一种消息干预诊断法：固定证据与候选答案，只改变跨越「推理者→验证者」边界的推理链内容，观察验证行为如何变化。
实验覆盖 400 个来自 MuSiQue、HotpotQA、2WikiMultiHopQA 的多跳问答样本，生成器与验证器均由 DeepSeek 担任。
核心发现：忠实推理几乎无增益，错误推理却大幅扰动判断
- 忠实推理链相比「不提供推理链」，在答案准确率上几乎没有提升。
- 但被污染的推理链会强烈改变验证者的支持性判断。
- 在盲测提示下，无害的改述仅让支持度波动 0–2.5%；而污染推理造成的波动高达 10–22%。
- 当提示明确要求「检查推理链」时，这一模式被放大到 34–55%。
最终答案的变化幅度较小（2–30%），且只有 2.9–35.3% 的支持翻转会伴随答案改变——这意味着验证者可能被错误推理误导，却没有在最终输出中暴露出来。
人类审计：模型比人更容易「过度信任」
论文的人类审计进一步揭示了风险：在 42 个有效污染样本中，有 16 个属于「污染过度信任」案例；而在被审计的 10 个污染推理链中，人类有 9 个判定为拒绝或含义不清，模型却照单全收。
为什么这件事重要
这项研究提示，推理链共享不应仅被当作「提升答案准确率的手段」来评估，而应被视为一种验证消息机制——它可能带来新的失败面。跨模型与任务边界的检验还显示，这条通道可能处于激活、放大、惰性或被折叠进任务标签等不同状态。
对正在搭建多智能体、多角色问答系统的团队而言，这意味着：验证者的「支持判断」本身就是一个需要独立监控和防护的攻击面，而不是答案正确率的附属指标。