大语言模型再现人类工作记忆干扰现象
大语言模型为何“记不住”？研究揭示其与人类相似的记忆瓶颈
一项发表于arXiv预印本平台的最新研究，首次系统性地揭示了大语言模型（LLMs）在工作记忆任务中表现出与人类高度相似的干扰模式。这项由来自佐治亚理工学院、纽约大学、本田研究院等机构的多位学者合作完成的工作，不仅回答了“为何拥有完整上下文访问能力的Transformer模型仍会受限于工作记忆”这一核心问题，更从计算机制层面为理解AI的认知边界提供了新视角。
工作记忆：人类智能与AI的共同瓶颈
工作记忆是指系统在线维持和操纵任务相关信息的能力，它是人类推理和智能的基础。尽管生物大脑拥有约1000亿个神经元，而现代大语言模型的参数量也动辄达到千亿级别，但两者在工作记忆上都表现出明显的局限性。
研究团队发现，虽然一个简单的两层Transformer模型可以通过训练完美解决工作记忆任务，但一系列经过预训练的大语言模型（包括GPT-4、Claude、Llama等主流模型）在工作记忆测试中却持续表现出限制。这种限制并非简单的“容量不足”，而是呈现出与人类高度相似的行为特征。
人类式干扰特征在LLMs中重现
研究人员设计了多种工作记忆任务来测试模型，结果发现LLMs的表现呈现出三个关键的人类式干扰特征：
- 记忆负荷效应：随着需要记忆的项目数量增加，模型的准确率显著下降。
- 近因效应：模型对最近出现的信息回忆更准确，而对较早信息的回忆则更容易出错。
- 刺激统计偏差：模型的记忆表现受到输入数据统计特性的影响，与人类受先验知识影响类似。
更值得注意的是，模型的工作记忆能力与其在标准基准测试（如MMLU、HellaSwag等）上的综合表现呈正相关，这恰好反映了工作记忆与人类一般智力的关联模式。
核心机制：表征干扰而非简单复制
研究最关键的发现在于揭示了LLMs工作记忆限制的计算机制。与直觉相反，模型并非直接从上下文中“复制”相关记忆项，而是将多个记忆项编码为纠缠的表征。在这种机制下，成功回忆取决于干扰控制——即主动抑制任务无关内容以隔离目标信息进行读取。
研究团队通过一项针对性干预实验提供了因果证据：当抑制刺激内容信息时，模型的工作记忆表现得到改善。这直接支持了“表征干扰”是限制工作记忆的核心因素。
跨模型的一致性发现
尽管不同LLMs在工作记忆表现上存在显著差异，但研究意外地发现它们收敛于共同的计算机制。这种机制上的共性表明，当前基于Transformer架构的预训练范式可能内在倾向于形成这种纠缠表征，从而在获得强大语言能力的同时，也继承了类似人类的记忆限制。
对AI发展的启示
这项研究的意义不仅在于解释了LLMs的认知限制，更在于：
- 为评估模型智能提供了新维度：工作记忆能力可作为衡量AI系统综合认知能力的重要指标。
- 揭示了架构与训练范式的潜在约束：当前主流的预训练方法可能在优化语言建模目标时，无意中引入了记忆干扰机制。
- 指向改进方向：理解表征干扰机制为设计更鲁棒的记忆系统提供了理论基础，未来可能通过架构修改或训练策略调整来缓解这一问题。
随着AI系统在复杂推理、多步骤任务等场景中的应用日益深入，工作记忆能力将成为决定其实际效能的关键因素。这项研究不仅连接了认知科学与机器学习两个领域，也为构建更接近人类智能的AI系统指明了需要突破的技术瓶颈。
