LACE：跨线程探索的晶格注意力机制，让AI推理从孤立走向协同
当前的大型语言模型在推理时往往各自为战。虽然通常会并行采样多条推理路径，但这些轨迹之间缺乏交互，常常以相同冗余的方式失败。近日，研究人员提出了**LACE（Lattice Attention for Cross-thread Exploration）**框架，将推理从一系列独立尝试转变为协调并行的过程。通过改造模型架构以支持跨线程注意力，LACE允许并发的推理路径在推理过程中共享中间见解并相互纠正。
传统并行推理的局限性
在现有的AI推理实践中，为了提高准确性和探索不同可能性，模型通常会并行生成多个推理路径（或称为“线程”）。然而，这些路径在生成后是相互隔离的——每条路径都独立运行，无法从其他路径的进展中学习或获得启发。这导致了一个常见问题：多条路径可能会在相同的难点上卡住，或者重复犯下类似的错误，造成计算资源的浪费和探索效率的低下。
LACE的核心创新：跨线程注意力
LACE框架的核心思想是让并行的推理线程能够“看到”彼此。它通过重新利用模型架构中的注意力机制来实现这一点，引入了“跨线程注意力”（cross-thread attention）。在推理过程中，每个线程不仅关注自身的上下文，还能关注其他并行线程生成的中间状态或部分结果。
这种设计使得线程之间可以：
- 共享见解：一条线程发现的有利线索或推导步骤可以即时被其他线程采纳。
- 相互纠正：如果某条线程开始走向错误方向，其他线程的进展可以对其产生“拉力”，帮助其回到更合理的轨道。
- 协同探索：整体上形成一个动态的、相互影响的推理网络，而非一堆孤立的线性尝试。
训练挑战与合成数据方案
实现跨线程推理的一个主要挑战是缺乏天然的训练数据。现实世界的文本或代码数据通常不包含这种显式的、多线程协同推理的痕迹。
研究团队为此开发了一套合成数据生成流程，专门用于训练模型学会跨线程通信与纠错。这套流程能够生成模拟多线程推理场景的数据，明确教导模型如何在并行路径间交换信息、识别错误并提供修正建议。
实验效果与意义
实验结果表明，这种统一的探索方式显著优于标准的并行搜索。在测试中，LACE将推理准确率提升了超过7个百分点。这一提升不仅证明了技术框架的有效性，更指向了一个更深层的启示：允许并行推理路径进行交互，可以大幅提升大型语言模型的效能。
这项研究的意义在于，它突破了当前AI推理中“各自为战”的范式，为构建更高效、更鲁棒、更接近人类协作式问题解决的AI系统开辟了新方向。未来，类似LACE的协同推理机制有望应用于数学证明、代码生成、复杂规划以及需要多角度思考的开放性问答等场景，推动AI推理能力向更高层次迈进。