新上线今天0 投票
当持续学习迁移到记忆：LLM智能体中经验重用的研究
记忆增强型LLM智能体的持续学习困境
传统持续学习面临稳定性-可塑性困境：模型在吸收新知识时容易遗忘旧知识。记忆增强型LLM智能体通过将经验存储于外部记忆而非更新模型参数，看似绕过了这一难题。然而，最新研究《When Continual Learning Moves to Memory: A Study of Experience Reuse in LLM Agents》指出，挑战并未消失，而是转移到了记忆层面。
记忆层面的竞争
在有限的上下文窗口下，新旧经验在检索时相互竞争。这导致持续学习的瓶颈从参数更新转向了记忆访问。研究引入了一个 (k,v) 框架，将外部记忆的两个基本设计维度解耦：经验的表示方式（如何编码经验）和检索的组织方式（如何索引和检索）。
实验发现
研究团队在 ALFWorld 和 BabyAI 两个环境上进行了顺序任务实验。关键发现包括：
- 抽象程序性记忆比详细轨迹更可靠地迁移到新任务。抽象表示提取了任务的核心逻辑，减少了冗余细节的干扰。
- 负迁移对困难案例的影响尤为严重，即旧经验在新任务中产生误导时，复杂任务更容易出错。
- 细粒度的记忆组织并非普遍有益：某些设计虽然能带来强前向迁移（帮助学习新任务），但同时会引发严重遗忘（旧任务表现下降）。
结论
外部记忆并未解决持续学习问题，而是将其重塑为记忆表示和检索设计的问题。这一发现对构建长期运行的LLM智能体具有重要意义：开发者需要精心设计记忆的编码与检索机制，以平衡新知识的吸收与旧知识的保留。
该论文目前为预印本（arXiv:2604.27003），仍处于工作在进行状态。