新上线今天0 投票
RL研究者需区分“解决模拟器”与“以模拟器为代理”
强化学习（RL）研究中，模拟器常被用作部署环境中学习代理的替代。然而，一篇被 ICML 2026 接收的立场论文指出，研究者在实验时容易混淆两个截然不同的目标：“解决模拟器” 和 “以模拟器为代理”。前者追求在特定模拟器中获得高分，后者则旨在通过模拟器学习可泛化的决策能力。作者 Matthew Vandergrift 等认为，混淆两者会导致误导性结论，并呼吁社区明确区分两种使用场景。
两种目标的核心差异
论文从三个维度对比了两种场景：
- 约束条件：解决模拟器时，代理可无限制访问模拟器内部状态或进行大量重试；而以模拟器为代理时，则需模拟真实部署的限制，如有限交互次数、部分可观测性等。
- 适用算法：针对特定模拟器的优化算法（如利用环境漏洞）可能无法迁移；而面向泛化的算法（如元学习、域随机化）更适用于代理场景。
- 评估指标：解决模拟器关注最终得分；代理场景则关注泛化性能、样本效率及鲁棒性。
常见误区与实验佐证
作者通过简单实验展示了混淆两种目标的后果。例如，在经典控制任务中，使用过度拟合模拟器特定特征的策略（如依赖固定噪声模式）能在该模拟器上取得高分，但在参数略有变化的环境中表现极差。这种“伪泛化”现象在 Atari 和 MuJoCo 基准测试中均有出现，误导研究者高估算法的实际能力。
社区实践建议
论文提出以下几点建议：
- 明确声明：论文需明确指出模拟器是作为“待解决问题”还是“代理工具”。
- 约束透明化：公开实验中的交互次数、环境随机性、重置机制等细节。
- 多维度评估：除最终得分外，报告泛化测试、样本效率及对分布偏移的鲁棒性。
- 警惕“模拟器漏洞”：避免利用特定模拟器的实现缺陷（如确定性种子、奖励结构漏洞）。
行业启示
该立场论文触及 RL 社区的核心方法论问题。随着 RL 在机器人、游戏、自动驾驶等领域的应用，区分两种目标变得尤为关键。DeepMind 的 XLand 和 OpenAI 的 Procgen 等基准已开始强调泛化，但仍有大量研究沉迷于“刷榜”。作者呼吁更严谨的实验设计，避免“解决模拟器”的成就掩盖“学习通用决策”的初心。