AGCLR：为连续潜在推理引入持久记忆，突破概念瓶颈
大语言模型（LLM）在数学推理和多跳规划任务中展现出惊人能力，但传统的思维链（CoT）方法迫使模型在早期就锁定单一推理路径，限制了探索多样性。CoCoNuT（连续思维链）范式尝试突破这一限制，允许模型在潜在空间中同时探索多条推理路径。然而，一篇新论文《Why Limit the Residual Stream to Layers and Not Tokens? Persistent Memory for Continuous Latent Reasoning》揭示了CoCoNuT的一个关键缺陷——概念瓶颈，并提出了一种名为AGCLR的改进方案。
概念瓶颈：遗忘的中间事实
研究发现，CoCoNuT在每个推理步骤中，中间隐藏状态会被覆盖，导致模型在推理深度增加时丢失早期计算的关键信息。实验数据证实了这一点：在HotpotQA数据集上，基础CoCoNuT的精确匹配（EM）得分仅为10.4%，甚至低于CoT基线（11.0%）；在GSM8K上，随着课程深度增加，性能反而下降。这意味着模型虽然能并行探索多条路径，却无法有效记忆和复用中间成果。
AGCLR：门控概念流与持久记忆
为解决问题，作者提出了AGCLR（自适应门控连续潜在推理）。核心创新是引入门控概念流——一个跨所有推理步骤维护的持久残差记忆。该记忆由三个可学习门控控制：
- 写入门：将中间事实提交到记忆；
- 读取门：检索相关先验状态；
- 遗忘门：剪除无关上下文。
这种设计让模型在持续推理过程中，既能记住关键信息，又能动态筛选有用内容，直接解决了概念瓶颈。
实验验证与性能提升
以GPT-2为基座模型，在GSM8K、HotpotQA和ProsQA三个数据集上，AGCLR均取得一致改进。随着课程深度增加，性能优势不断累积，充分证明其有效性。代码已开源。
意义与展望
这项工作揭示了连续潜在推理中记忆机制的重要性。AGCLR不仅提升了现有模型的推理能力，也为未来设计更高效、更持久的推理架构提供了新思路。当模型能像人类一样在长链条推理中“记笔记”并“回顾重点”，其解决复杂问题的潜力将进一步释放。