生成、过滤、控制、重放：LLM强化学习中的推演策略全面综述
强化学习（RL）已成为提升大型语言模型（LLM）推理能力的核心后训练工具。然而，决定优化器学习数据的“推演”（rollout）——即从提示到终止的轨迹，包括中间推理步骤及可选的工具或环境交互——其设计往往被低估和报道不足。近日，一篇由Rohan Surana等22位作者联合撰写的综述论文《Generate, Filter, Control, Replay: A Comprehensive Survey of Rollout Strategies for LLM Reinforcement Learning》系统性地填补了这一空白。
核心框架：GFCR生命周期
该论文提出了一个与优化器无关的视角，将推演流程形式化为统一的符号体系，并引入**Generate-Filter-Control-Replay（GFCR）**生命周期分类法，将推演管道分解为四个模块化阶段：
- Generate（生成）：提出候选轨迹和拓扑结构。
- Filter（过滤）：通过验证器、评判者、批评者构建中间信号。
- Control（控制）：在预算约束下分配计算资源，并做出继续/分支/停止决策。
- Replay（重放）：在不更新权重的情况下，跨推演保留和重用工件，包括能够自主生成新训练任务的自演化课程。
推演权衡准则
除了GFCR框架，论文还补充了一套可靠性、覆盖率和成本敏感性的准则分类，用于刻画推演中的关键权衡。这一准则帮助研究者和工程师在不同场景下选择最合适的推演策略。
方法综合与案例研究
基于该框架，论文综合了多种方法，涵盖：
- 基于可验证奖励的RL
- 过程监督
- 基于评判者的门控机制
- 引导式推演与树/片段推演
- 自适应计算分配
- 提前退出与部分推演
- 吞吐量优化
- 用于自我改进的重放/重组
为了验证框架的实用性，论文在数学、代码/SQL、多模态推理、工具使用代理以及代理技能基准（评估技能归纳、重用和跨任务迁移）上进行了案例研究。
诊断索引与实践意义
最后，论文提供了一个诊断索引，将常见的推演病理映射到GFCR模块，为实际开发中的问题定位和策略调整提供了直接指导。
行业背景与展望
当前，LLM的后训练越来越依赖强化学习，从OpenAI的o1系列到DeepSeek-R1等模型，均通过RL显著提升了推理链的质量。然而，推演策略的细节往往是“黑盒”，这篇综述的公开恰好为社区提供了系统化的设计蓝图。GFCR框架不仅有助于理解现有方法，还能启发新的推演策略设计，尤其是在计算效率与推理质量的平衡上。
随着LLM向更长的推理链和更复杂的工具交互发展，推演策略的设计将成为影响模型能力上限的关键因素。这篇综述无疑为研究人员和工程师提供了宝贵的参考。