RAGEN-2：揭示Agentic RL中的推理崩溃现象
在强化学习（RL）训练多轮大型语言模型（LLM）智能体时，稳定性一直是个棘手问题。传统上，研究者常用熵（Entropy） 来追踪推理的稳定性，但RAGEN-2研究发现，即使熵值稳定，模型仍可能陷入一种隐蔽的失败模式——模板崩溃（Template Collapse）。
什么是模板崩溃？
模板崩溃指的是模型在推理时，虽然输出看起来多样（熵值高），但实际上依赖的是固定模板，这些模板对不同的输入不敏感（输入无关）。换句话说，模型只是在“表演”多样性，而没有真正根据输入内容进行差异化推理。这种现象无法通过熵或现有指标检测，因为熵只衡量同一输入下的多样性，无法判断推理是否真正响应不同输入。
如何诊断推理质量？
RAGEN-2团队将推理质量分解为两个维度：
- 输入内多样性（Within-input Diversity）：用熵衡量，反映同一输入下输出的变化。
- 跨输入可区分性（Cross-input Distinguishability）：用互信息（Mutual Information, MI） 衡量，反映模型输出对不同输入的响应程度。
研究发现，在多种任务中，互信息与最终任务性能的相关性远强于熵，使其成为更可靠的推理质量代理指标。团队还引入了一系列互信息代理方法，用于在线诊断模板崩溃。
模板崩溃的成因：信噪比机制
研究进一步用信噪比（Signal-to-Noise Ratio, SNR） 机制解释模板崩溃。当奖励方差较低时，任务梯度变弱，正则化项主导训练过程，导致跨输入推理差异被抹平。这就像在嘈杂环境中，模型难以捕捉细微的信号变化，转而依赖通用模板来“蒙混过关”。
解决方案：SNR-Aware Filtering
为解决这一问题，团队提出SNR-Aware Filtering方法。该方法在每次迭代中，使用奖励方差作为轻量级代理，筛选出高信号提示（high-signal prompts），从而增强模型对输入的依赖。实验表明，在规划、数学推理、网页导航和代码执行等多样化任务中，该方法能显著提升输入依赖性和任务性能。
对AI行业的意义
这项研究不仅揭示了Agentic RL训练中的隐藏陷阱，还为评估和提升LLM智能体的推理能力提供了新思路。随着AI代理在复杂任务中的应用日益广泛，确保其推理的真实性和适应性至关重要。RAGEN-2的发现提醒我们，简单的多样性指标可能不足，需要更精细的度量来捕捉模型行为的本质。未来，结合互信息和信噪比优化的方法，有望推动更稳定、高效的智能体训练范式。