离线强化学习让LLM Agent的“缰绳”学会自我控制
核心发现：可学习的执行“缰绳”
大型语言模型（LLM）Agent 的能力通常通过调整提示词、更换模型或编写工作流来提升，而模型外部的执行框架（harness）却被视为固定不变的基础设施。然而，最新研究《Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning》提出了一种颠覆性观点：这个“缰绳”本身就是一个可学习的控制层。
方法：Harness MDP 与离线训练
研究者将执行框架的操作形式化为一个有限时域的 Harness MDP。在这个框架中，一个轻量级控制器负责选择结构化的执行动作（如是否调用工具、如何验证中间结果），而底层的 LLM 执行器保持冻结。控制器通过离线强化学习（Offline RL）训练——具体使用 优势加权回归（Advantage-Weighted Regression），仅依赖最终任务评分（terminal task-rubric rewards）作为奖励信号。
为了更精细地评估学习效果，论文还引入了 Harness Maturity Score（HMS），该指标衡量执行框架是否遵循可靠的执行模式，而不仅仅是最终答案是否正确。这种分离揭示了有趣的现象：最终任务质量的提升需要离线数据缓冲区中存在高回报样本的支持，而过程行为（如检查步骤）只要与优势加权动作对齐，就可以发生转变。
实验结果：验证行为显著改善
在六个受控领域和两个公开基准适配器上，学习到的控制器一致地改善了验证行为，并选择性提升了最终任务质量。最大增益出现在 tau-bench retail 适配版本、AgentBench DB-Bench 适配版本 以及 带有结构化验证器的编码任务 中。
消融实验进一步排除了模仿学习（behavior cloning）或简单添加检查（Forced CHECK）的干扰——增益并非来自模仿或机械增加检查步骤。
行业意义：解锁冻结LLM的潜力
这项研究的关键启示是：对于冻结的 LLM Agent，执行框架的控制层可以独立学习优化，从而在不修改模型本身的情况下提升 Agent 的可靠性和任务表现。同时，离线支持的限制决定了更好的过程控制何时能转化为更好的最终答案。
这一思路为 AI Agent 的工程化落地提供了新方向——与其反复调教大模型，不如训练一个轻量级的“缰绳控制器”，让执行过程更智能、更可靠。