精选今天0 投票
AI 记忆痕迹:在人工神经网络中寻找“印痕”
记忆的形成是智能的核心,但深度神经网络是否像生物大脑一样,存在可识别的记忆单元?来自韩国基础科学研究院等机构的研究人员提出了一种名为“AI 印痕”(AI Engram)的几何框架,尝试从神经网络的参数中分离出与特定记忆对应的结构,并实现记忆的精准编辑。该成果已被 ICML 2026 接收为 Oral 论文。
从生物记忆到人工神经网络
在神经科学中,“印痕”(engram)指大脑中与特定记忆相关的物理或化学变化。研究者将这一概念引入 AI,定义了四个标准:特异性(特定记忆对应特定参数)、再激活(参数能重现记忆)、充分性(参数足以重建记忆)和必要性(缺失参数则记忆丢失)。他们将这一生物学问题形式化为一个约束逆问题,并推导出闭式解,该解等价于参数流形上的自然梯度更新。
记忆的线性算术
AI 印痕的独特之处在于,它允许通过线性运算对知识进行手术级操控。例如,将多个记忆的印痕向量相加可实现记忆组合,相减则可定向擦除——整个过程无需迭代优化。实验涵盖从简单多层感知器到大型语言模型,验证了该方法的因果有效性和可扩展性。
意义与展望
这一研究不仅为理解深度网络的分布式存储机制提供了几何视角,还可能带来实用价值:比如在模型微调中精准移除有害记忆,或在联邦学习中隔离特定用户数据。不过,目前方法在超大规模模型上的计算开销仍有待优化。
论文信息:
- 标题:AI Engram: In Search of Memory Traces in Artificial Intelligence
- 作者:Jea Kwon, Dong-Kyum Kim 等
- 收录:ICML 2026 (Oral)
- 代码:已开源