精选今天0 投票
非平稳环境下的上下文强化学习综述：当经验可能过时
一篇来自 arXiv 的新综述论文（编号 2607.11906）系统梳理了非平稳环境下上下文强化学习（ICRL） 这一前沿方向。该文指出，在传统 ICRL 研究中，模型通过上下文窗口内的交互历史（奖励、状态转移、演示等）来推断任务规则并改进行为，且无需更新模型参数。然而，当环境发生非平稳变化时——如奖励函数、转移核、观测通道、动作接口或约束模型改变——先前积累的上下文可能变得过时甚至具有误导性，只有当旧规则重现时才重新有用。这给 ICRL 带来了独特挑战：策略参数固定时，模型必须同时推断当前决策规则以及已有证据中哪些部分仍然有效。
论文将非平稳 ICRL 定义为“在部署策略参数固定不变的前提下，通过上下文自适应地适应变化”的问题，并围绕三个核心维度组织文献：什么在变化（奖励、转移、观测等）、变化如何展开（突变、渐变、周期性）、变化对智能体的可观测性（完全可观、部分可观、隐式）。作者将其与元强化学习、决策序列建模、检索增强强化学习、价值/模型感知 ICRL 以及奖励反馈智能体等方向进行了关联对比。
该综述填补了现有 ICRL 综述主要关注预训练目标、架构、上下文格式、评估协议和理论机制，而相对忽视非平稳性问题的空白。对于希望构建在真实动态环境中长期部署的决策智能体的研究人员而言，该工作提供了关键的问题框架和技术路线图。
核心贡献：
- 首次明确定义“非平稳 ICRL”并形式化其问题表述
- 提出“变化要素—变化模式—可观测性”三维分类法
- 系统梳理了现有方法如何通过上下文处理非平稳性
- 指出关键开放问题：如何检测变化、如何选择性遗忘、如何利用周期性模式等