大语言模型（LLM）的后训练阶段——包括监督微调（SFT）和强化学习（RL）——长期以来被简化为“模仿”与“发现”的二分。但一篇来自 arXiv 的新论文指出，这种区分过于粗糙，真正关键的问题在于：训练过程是在提升模型**已有**行为的概率，还是改变了模型**实际可达**的行为范围？ 论文《On Distinguishing Capability Elicitation from Capability Creation in Post-Training: A Free-Energy Perspective》由 Yuhao Li 和 Shengchao Liu 撰写，提出了一个基于**自由能**的理论框架，将后训练操作明确区分为“能力激发”与“能力创造”。 ### 核心概念：可达支持集 作者引入“**可达支持集**”这一概念，定义为模型在有限计算预算下能够实际产生的行为集合。后训练对行为的调整如果仅在该集合内部重新分配概率权重，就属于**能力激发**；而如果改变了集合本身——即让模型能够执行原本无法实现的行为——则属于**能力创造**。 ### 自由能视角下的统一解释 论文从统计力学中的**自由能**角度重新审视 SFT 和 RL。两者本质上都是对预训练参考分布进行重新加权：SFT 使用演示信号定义低能量行为，RL 使用奖励信号定义低能量行为。当更新幅度较小、保持接近基础模型时，主要效果是局部的概率重加权，而非创造新能力。 这意味着，**SFT 和 RL 在能力激发层面并无本质区别**，它们都可以被理解为在可达支持集内优化行为分布。真正区分能力激发与创造的关键，在于训练过程是否通过**搜索、交互、工具使用或引入新信息**，扩展了模型的可达行为空间。 ### 对后训练研究的启示 该框架将后训练研究的核心问题从“该用 SFT 还是 RL”转向了“我们的训练方法是否真正扩展了模型的能力边界”。如果只依赖静态数据集和固定奖励函数，后训练很可能只是激发已有能力，而非创造新能力。要推动模型能力质的飞跃，需要设计能主动探索新行为、整合外部信息或与环境交互的训练范式。 这一视角对当前 LLM 后训练实践具有直接指导意义：许多看似带来“新能力”的微调，可能只是让模型更擅长展示预训练阶段已潜伏的行为。真正的能力创造需要更根本的训练机制创新。
大型语言模型（LLM）智能体在执行复杂任务时，常依赖“技能库”来复用过去学到的经验。然而，现有技能库通常将技能视为扁平的、单一粒度的提示块，这导致了一个两难困境：粗粒度的技能可能引入无关甚至误导性的上下文，而重写整个技能又成本高昂且往往不必要。为了解决这一问题，来自澳大利亚的研究团队提出了 **SkillLens**——一种层级化技能进化框架，它通过多粒度技能复用，在保持高效的同时显著提升了智能体的任务成功率。 ## 核心创新：四层技能图与混合粒度检索 SkillLens 的核心在于将技能组织成一个 **四层图结构**：**策略（Policies）**、**策略（Strategies）**、**流程（Procedures）** 和 **原语（Primitives）**。这四层由抽象到具体，形成了一个层次分明的技能图谱。当面对新任务时，SkillLens 首先检索语义相关的“技能种子”，然后通过**度校正随机游走**在技能图上扩展候选节点。接着，一个**验证器**会决定每个被访问的技能单元是否应被直接接受、分解、重写或跳过。这种机制允许智能体直接复用兼容的子技能，仅对局部不匹配的部分进行适应性调整，从而在**相关性与成本之间取得平衡**。 ## 理论保证与实验验证 研究团队从理论上证明，在稀疏不匹配假设下，混合粒度适应的成本是**次线性**的，并且进化更新规则能单调提升验证目标直至局部最优。在 **MuLocbench（缺陷定位）** 和 **ALFWorld（具身任务）** 两个基准测试中，SkillLens 均显著优于强基线方法：在缺陷定位任务上，**Acc@1 提升高达 6.31 个百分点**；在 ALFWorld 中，智能体成功率从 **45.00% 提升至 51.31%**。 ## 行业意义与未来展望 SkillLens 的提出，为 LLM 智能体的技能复用提供了一种更精细、更经济的方案。它不再将技能视为不可分割的“黑盒”，而是允许在多个粒度上灵活调整，这类似于人类学习中“举一反三”的能力——保留核心经验，替换不适用的细节。未来，这一框架有望应用于机器人控制、代码生成、对话系统等需要快速适应新场景的领域，推动 LLM 智能体从“死记硬背”走向“灵活变通”。
一篇来自 ICLR 2026 多模态推理研讨会的最新论文，对视觉语言模型（VLM）领域一个普遍直觉提出了挑战：**注意力图越“锐利”，模型就越可靠吗？** 答案是否定的。研究者通过统一的机制分析工具 VLM Reliability Probe（VRP），对 LLaVA-1.5、PaliGemma 和 Qwen2-VL 三个开源模型家族（3-7B 参数）进行了系统剖析，发现**注意力结构与模型正确性之间几乎不存在相关性**（R_pb=0.001），但注意力的因果必要性依然成立——移除最相关的补丁会导致准确率下降 8.2-11.3 个百分点。 那么，可靠性究竟藏在哪里？研究表明，**隐藏状态的几何结构才是更可靠的预测指标**。通过简单的线性探针，模型在 POPE 基准上的 AUROC 可超过 0.95；而自一致性（Self-consistency, K=10）则是行为层面最强的预测因子（R_pb=0.43），代价是 10 倍推理开销。此外，因果层面的神经元消融实验揭示了不同架构的显著差异：**晚期融合的 LLaVA** 将可靠性集中在脆弱的最后瓶颈层，移除顶部 5 个探针神经元会导致物体识别准确率下降 8.3 个百分点；而**早期融合的 PaliGemma 和 Qwen2-VL** 则将可靠性广泛分布，即使移除峰值层约 50% 的隐藏维度，性能下降也不超过 1 个百分点。 这一发现对 VLM 的可靠性监控与部署具有直接启示：**与其盯着注意力图，不如关注隐藏状态与后期层电路**。论文代码与探针训练管线已开源。
大型语言模型（LLM）智能体在复杂任务中常依赖**情景记忆**来积累和检索经验。然而，现有方法将每条记忆视为独立个体，孤立评估其检索质量，忽略了记忆之间的**依赖链条**——正是这些链条使得一条记忆能够催生后续记忆。这种“原子化”处理方式导致智能体难以理解哪些记忆真正对长期目标有价值。 针对这一缺陷，来自多所高校和机构的研究团队提出 **MemQ**，将**强化学习中的Q学习**引入记忆系统，并通过**溯源有向无环图（DAG）** 来追踪记忆间的因果关系。 ## 核心创新：从时间距离到结构距离 MemQ 的核心思想是：当一条记忆被检索并用于生成新记忆时，该检索行为应当获得“信用”。研究者采用 **TD(λ) 资格迹** 算法，将奖励信号沿溯源 DAG 反向传播。具体而言，信用权重按 $(\gamma\lambda)^d$ 衰减，其中 $d$ 是 DAG 中的深度——即记忆之间的结构距离，而非传统的时间距离。这意味着，即使某条记忆在时间上很“老”，只要它在 DAG 中处于关键路径上，就能获得较高的信用分配。 ## 理论框架：外生上下文MDP 为了形式化描述这一过程，论文提出了 **外生上下文马尔可夫决策过程（EC-MDP）**。该模型将任务流（外生上下文）与记忆存储（内生状态）解耦，使得智能体可以在不断变化的任务中持续学习，而无需重新训练。这一框架为记忆系统的在线学习提供了坚实的数学基础。 ## 实验结果：全面领先，深度链条优势显著 研究团队在 **六个基准测试** 中评估了 MemQ，涵盖操作系统交互、函数调用、代码生成、多模态推理、具身推理以及专家级问答。结果显示： - MemQ 在 **所有六个任务** 的泛化评估和运行时学习中都取得了最高成功率。 - 在需要**深度溯源链条的多步骤任务**中，增益最为显著（最高提升 **+5.7 个百分点**），例如在需要多步操作的 OS 交互和具身推理任务中。 - 在**单步分类**任务中，由于单步更新已足够，增益较小（仅 **+0.77 个百分点**），这恰好验证了 MemQ 在复杂依赖场景中的价值。 ## 参数分析与未来展望 论文还深入研究了折扣因子 $\gamma$ 和资格迹衰减率 $\lambda$ 在 EC-MDP 结构中的相互作用，为实际应用中的参数选择提供了原则性指导。代码即将开源。 MemQ 的提出标志着 LLM 智能体记忆系统从“独立存储”向“结构化信用分配”迈出了重要一步。通过将强化学习中的经典算法与图结构相结合，它使得智能体能够在复杂任务中更高效地“从经验中学习”，有望推动自主智能体在现实场景中的落地应用。
随着生成式AI的普及，人类与AI协作完成分类任务（如内容审核、医疗诊断）已成为常态。然而，如何高效融合人类判断与模型输出，在保证准确性的同时控制成本，仍是关键挑战。近日，一篇预印本论文提出了 **PLACO（多阶段成本效益人机协作框架）**，旨在通过分阶段决策机制优化人机协同的性价比。 ## 核心思想：分阶段决策，动态调用AI PLACO框架的核心在于**不盲目依赖AI**，而是根据任务难度动态决定是否启用模型。传统方法通常让人类和AI同时处理所有样本，造成资源浪费。PLACO将任务分为多个阶段：首先由低成本的人类或简单规则快速处理确信的样本；对于不确定的样本，再调用更精确但成本更高的AI模型。这种“由简入繁”的策略，能显著降低整体计算成本。 ## 技术亮点：基于贝叶斯规则的概率融合 在融合人类与AI输出时，PLACO借鉴了已有工作的贝叶斯方法，假设人类和模型在给定真实标签下条件独立，从而利用模型提供的实例级校准概率和人类提供的类别级校准概率进行组合。与简单投票或加权平均不同，该方法能有效处理人类和模型置信度不一致的情况，提升最终标签的可靠性。 ## 实验验证：成本与准确率的平衡 论文在多个分类数据集上进行了实验，对比了仅用人类、仅用AI以及简单融合策略。结果显示，PLACO在**保持与全AI方案相近准确率的前提下，将计算成本降低了30%-50%**。尤其在样本量大的场景中，分阶段过滤机制避免了模型对简单样本的无效计算，将资源集中在真正需要AI辅助的“硬样本”上。 ## 行业意义：推动人机协作落地 当前，许多企业因AI推理成本高昂而难以大规模部署。PLACO提供了一种实用思路：**不必让AI处理所有任务，而是让人类和AI各司其职**。对于内容审核、文档分类等场景，该框架可帮助团队在预算有限的情况下最大化协同效能。此外，其基于贝叶斯概率的融合方法也为后续研究提供了理论基础。 ## 局限与展望 论文指出，PLACO目前主要针对二分类问题，且假设人类和模型输出条件独立，这在复杂任务中可能不成立。未来方向包括扩展到多分类、引入人类反馈动态调整阶段阈值等。总体而言，PLACO为成本敏感的人机协同系统设计提供了有价值的参考。
## 背景：奖励信号的结构性缺失 当前，多模态生成模型（如文生图、图像编辑模型）与人类偏好对齐的主流方法是**强化学习从人类反馈（RLHF）**。但RLHF通常将复杂的、多维的人类判断简化为单一的标量或成对标签，这种“压缩”不仅丢失了偏好的结构信息，还容易引发**奖励黑客（reward hacking）**——模型学会欺骗奖励信号而非真正满足用户需求。 最近，**Rubrics-as-Reward (RaR)** 方法尝试通过显式准则恢复偏好结构，但生成既可靠、可扩展又数据高效的准则仍是一大挑战。 ## 核心方法：Auto-Rubric as Reward (ARR) 来自研究团队的论文《Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria》提出了 **Auto-Rubric as Reward (ARR)** 框架。ARR将奖励建模从隐式权重优化转变为**显式的、基于准则的解耦**。 在成对比较之前，ARR将视觉语言模型（VLM）内化的偏好知识**外化为提示相关的准则**，将整体意图翻译成可独立验证的质量维度。例如，对于“生成一张包含红苹果和蓝杯子的桌面”的提示，ARR可能自动生成“苹果颜色正确”、“杯子颜色正确”、“物体位置合理”等多条准则。 这种转换带来了两大优势： - **可解释性与可检查性**：隐式偏好变为可审查的约束，显著抑制了位置偏差等评估偏见。 - **零样本与小样本能力**：ARR可直接零样本部署，或通过少量标注数据进行小样本适配。 ## 生成训练：Rubric Policy Optimization (RPO) 为了将ARR的结构化评估用于生成模型的训练，论文提出了**Rubric Policy Optimization (RPO)**。RPO将ARR的多维评估**蒸馏为稳健的二元奖励**——用准则条件化的偏好决策替代不透明的标量回归，从而稳定策略梯度。 ## 实验结果与启示 在**文生图**和**图像编辑**基准上，ARR-RPO的表现超越了成对奖励模型和VLM评判。论文指出，瓶颈不在于模型缺乏偏好知识，而在于**缺少一个分解式的接口**来外化这些知识。 ## 小结 ARR框架提供了一条从隐式偏好到显式多模态生成准则的路径，通过结构化的准则分解，实现了更可靠、更数据高效的多模态对齐。这一方向有望推动奖励建模从“黑箱”走向“白箱”，为更可控、更可信的生成模型训练奠定基础。
一项来自 arXiv 的最新研究（论文 ID: 2605.08220）对提升多模态大语言模型（LLM）在科学图表数据提取任务上的准确性进行了深入比较。研究团队发现，与高级语义提示（如元数据优先框架、思维链）相比，一种简单低级的空间提示——在图表图像上叠加坐标网格——能带来统计上显著的性能提升。 ## 研究背景与问题 从科学图表中自动提取数据是大型文献分析的关键步骤。尽管多模态大语言模型展现了潜力，但在处理非标准化图表时，其准确性仍然面临挑战。这引出了一个核心研究问题：哪种策略更有效——是提供高级语义提示，还是低级空间提示？ ## 实验方法 研究首先尝试了两种语义方法： - **两阶段元数据优先框架**：先提取图表元数据（如轴标签、图例），再进行数据提取。 - **思维链**：引导模型逐步推理。 然而，这些方法均未带来统计上显著的改进。 相比之下，**空间提示方法**简单却高效：在将图表图像输入模型之前，先在其上叠加一个坐标网格。这种网格为模型提供了明确的坐标参考，降低了数值定位的难度。 ## 实验结果 在合成数据集上的定量实验显示： - **基线**：平均对称平均绝对百分比误差（SMAPE）为 **25.5%**。 - **网格叠加法**：SMAPE 降至 **19.5%**，错误率降低约6个百分点，且统计显著性达到 p < 0.05。 ## 结论与启示 研究表明，对于当前这一代多模态模型，在图表数据提取这类任务中，提供明确的空间上下文比高级语义指导更有效、更可靠。这为实际应用提供了低成本的优化方向：在预处理阶段为图表添加坐标网格，即可显著提升LLM的数据提取精度。 该论文已被 SUMMA 2025 会议接收，最终版本可在 IEEE Xplore 上获取。
现代AI正催生一种新型集体决策模式：参与者通过自由文本表达观点，而非在固定选项上投票。一个自然的想法是将这些意见嵌入向量空间，以便应用设施选址问题和公平聚类的研究成果。然而，标准文本嵌入衡量的是语义相似性，而设施选址和公平聚类中的距离需要的是“偏好相似性”——参与者对某段文本的赞同度应与其距离成反比。现成的嵌入通过语义与偏好之间的相关性获取粗粒度的偏好信号，但当这种相关性被打破时，它们就无法捕捉真实的偏好。 来自哈佛大学和卡内基梅隆大学的研究团队（Carter Blair、Ariel D. Procaccia、Milind Tambe）在arXiv预印本中形式化了这一问题：文本嵌入模型同时编码了偏好相关信号（立场和价值观）和语义干扰（风格和措辞），两者在观测上存在关联。因此，依赖干扰项的几何结构可能看似正确，实则不然。他们证明，通过合成训练数据打破这种相关性，可以显著提升偏好预测的准确性，在11个在线讨论数据集上取得了优于传统余弦相似度的效果。 这项研究的核心贡献在于： - **问题形式化**：将偏好嵌入问题定义为“不变性”问题，区分了偏好信号与语义干扰。 - **数据驱动解决方案**：利用合成数据解耦相关性，训练出更鲁棒的偏好预测模型。 - **实证验证**：在多个真实世界数据集上验证了方法的有效性，覆盖从政策讨论到社区协商等场景。 这一工作对AI辅助民主和群体决策具有深远意义。传统投票机制受限于固定选项，而自由文本表达能捕捉更细微的民意。但若嵌入模型只理解语义，可能将“支持环保但措辞温和”的意见误判为与“反对环保但措辞激进”的意见相似。Blair等人的方法让AI学会区分“说了什么”和“怎么说”，从而更准确地匹配立场相近的参与者。 未来，该技术可应用于在线论坛的共识构建、政策反馈分析、甚至社交媒体的观点聚合。不过，研究也指出当前方法依赖合成数据的质量，且偏好信号的标注仍是挑战。随着AI与民主进程的深度融合，如何平衡效率与公平、避免算法偏见，将是下一阶段的关键议题。
递归推理系统（recursive reasoning systems）在人工智能中扮演着越来越重要的角色，它们通过交替获取新证据和优化累积理解来逐步逼近答案。然而，这类系统有两个关键设计问题往往被隐式处理：如何表示不断演化的推理状态，以及何时停止迭代。近期一篇发表于 arXiv 的论文（编号 2605.06690）对此进行了系统性的理论探讨。 ## 核心创新：认知状态图与序间隙 论文作者 Debashis Guha、Amritendu Mukherjee、Sanjay Kukreja 和 Tarun Kumar 提出将推理状态建模为一个**认知状态图（epistemic state graph）**，该图编码了提取的断言、证据关系、开放问题以及置信权重。这种表示方式能够直观地刻画推理过程中的信息结构演变。 在此基础上，他们定义了**序间隙（order-gap）**——即“先扩展后整合”与“先整合后扩展”两种策略所达到状态之间的距离。序间隙越小，说明两种顺序下的结果越一致，也就意味着继续迭代不太可能带来实质性改进。论文的主要结果给出了**线性化序间隙在不动点附近非退化的充要条件**，从而明确了该判据何时具有信息量而非代数上平凡。作者强调，这是一个局部条件，而非全局收敛保证。 ## 应用场景与意义 该框架被应用于多种递归推理场景，包括： - **智能体循环（agent loops）**：自主智能体在环境中反复感知、推理、行动的过程； - **思维树推理（tree-of-thought reasoning）**：大语言模型中流行的多路径探索式推理； - **定理证明**：形式化推理中的逐步展开与回溯； - **持续学习**：模型在新数据上不断更新知识而不遗忘旧知识。 这项工作的价值在于，它为递归推理系统提供了一个**形式化的终止判据**，有望减少不必要的计算开销，提升推理效率。在实际应用中，例如大语言模型的链式思考（chain-of-thought）或智能体框架中，开发者常依赖启发式规则（如固定迭代次数或置信度阈值）决定何时停止。而“序间隙”提供了一种更底层、基于状态差异的度量，可能带来更鲁棒的自适应终止策略。 ## 局限与展望 值得注意的是，论文明确指出了其条件的局部性——它只在不动点附近有效，不能保证全局收敛。这意味着在实际部署中，可能需要结合其他全局监控机制。此外，认知状态图的构建本身依赖于对推理过程的良好抽象，对于复杂、非结构化的现实问题，如何自动构建高质量的图表示仍是一个开放挑战。 总体而言，这篇论文为递归推理系统的理论与工程实践搭建了一座桥梁，尤其为“何时停止思考”这一经典问题提供了新的数学工具。未来工作可能包括将该判据扩展到更一般的推理框架，或在大规模语言模型中进行实证验证。
## 概述 大语言模型（LLM）当前的生命周期严格分为训练和部署两个阶段，部署后模型便停止学习，这与自然界智能体持续适应的能力形成鲜明对比。来自多所机构的研究者提出了一种名为 **CASCADE** 的新框架，旨在赋予 LLM 在部署过程中持续从经验中学习的能力，而无需修改模型参数。 ## 核心思想：部署时学习（DTL） 论文首次正式定义了 **部署时学习（Deployment-Time Learning, DTL）** 作为 LLM 生命周期的第三阶段。DTL 的核心在于让 LLM 代理在部署后，通过与环境的交互积累经验，并将这些经验转化为可复用的知识，从而持续提升性能。 ## CASCADE 框架 CASCADE（CASe-based Continual Adaptation during DEployment）是一个基于案例的持续适应框架。其关键创新在于： - **显式情景记忆**：为 LLM 代理配备一个动态演化的记忆库，用于存储和检索过往的成功案例。 - **上下文多臂赌博机建模**：将经验复用问题形式化为上下文多臂赌博机问题，在探索（尝试新策略）与利用（复用已知有效案例）之间取得理论最优平衡，并提供了**无遗憾（no-regret）** 的长期交互保证。 - **案例积累与精炼**：代理能够自动积累、筛选和优化任务相关的案例，将零散的经验转化为可操作的知识。 ## 实验表现 研究者在 **16 个** 多样化任务上进行了评估，涵盖医疗诊断、法律分析、代码生成、网络搜索、工具使用以及具身交互等场景。结果显示： - CASCADE 相较于零样本提示（zero-shot prompting），**宏平均成功率提升 20.9%**。 - 在几乎所有任务上，CASCADE 均优于基于梯度更新和基于记忆的基线方法。 ## 意义与展望 CASCADE 将部署阶段重新定义为一种自适应学习过程，为构建持续改进的 AI 系统奠定了重要基础。这一方向有望突破当前 LLM 静态部署的瓶颈，使模型能够在实际应用中不断进化，更好地应对动态变化的环境和用户需求。 ## 小结 CASCADE 提供了一种轻量级、无需参数更新的部署时学习方案，通过案例记忆和赌博机决策机制，显著提升了 LLM 在多种下游任务上的表现。未来，该方法可望与在线微调、提示优化等技术结合，进一步推动大模型的持续学习研究。
一项来自 arXiv 的新研究揭示了一个反直觉的现象：推理模型（如 DeepSeek-R1）在链式思维过程中，思考得越长，反而越容易受到选项位置偏差的影响。 ## 核心发现 传统观点认为，链式思维推理和经过推理优化的模型（如 DeepSeek-R1）能够通过仔细思考减少浅层启发式偏差。然而，这篇题为《More Thinking, More Bias: Length-Driven Position Bias in Reasoning Models》的论文在多项选择题问答任务中测试了位置偏差，得出了截然不同的结论：**在具有推理能力的模型内部，每个问题的位置偏差与推理轨迹的长度成正比**。 研究在 **13 种推理模式配置**（包括两个 R1 蒸馏的 7-8B 模型、两个使用 CoT 提示的基础模型，以及 671B 的 DeepSeek-R1）上进行了实验，涵盖 MMLU、ARC-Challenge 和 GPQA 三个基准。结果显示，**12 种配置**在控制准确率后，轨迹长度与位置偏差得分（PBS）之间呈正偏相关，相关系数在 **0.11 到 0.41** 之间（所有 p < 0.05）。所有 12 个开放权重推理模式配置在长度四分位数上均表现出单调递增的 PBS。 ## 因果证据与规模效应 研究通过**截断干预**提供了因果证据：从轨迹后期点恢复的续写，越来越倾向于转向位置偏好的选项（对于 R1-Qwen-7B，在不同绝对位置桶中，转向比例从 16% 增加到 32%）。在 671B 的 DeepSeek-R1 上，聚合 PBS 降至 0.019，但长度效应仍然在最长的四分位数中显现（PBS = 0.071），这表明**准确率掩盖了长度驱动偏差的表达**，而非消除了底层机制。 ## 区分两种偏差 研究还发现，直接答案位置偏差是一个不同的现象，具有不同的特征：在 Llama-Instruct-direct 中表现强烈，在 Qwen-Instruct-direct 中微弱，并且与轨迹长度无关。**链式思维推理将这种基线偏差替换为长度累积偏差**。 ## 启示与工具 这项研究对 AI 评估有重要启示：**具有推理能力的模型不应默认被视为对选项顺序鲁棒**。论文还提供了一个诊断工具包（PBS、承诺变化点、有效切换、截断探测），用于审计推理模型中的位置偏差。 简单来说，模型思考得越深入，反而可能越固执地偏爱某个位置选项——这提醒我们，**“想得多”并不等于“想得准”**。
大语言模型（LLM）在数学推理上表现不俗，但面对图算法任务时却常常“力不从心”。图结构的复杂性——拓扑多变、需要多步推理——使得现有模型在较大规模的图上表现欠佳。针对这一瓶颈，来自研究者提出了一种名为 **GraphDC** 的分而治之多智能体框架，旨在提升图算法推理的可扩展性。 ## 核心思想：分而治之 + 多智能体协作 GraphDC 的灵感来源于经典的“分而治之”策略。其工作流程分为三步： 1. **分解**：将输入的大图拆解为若干较小的子图； 2. **局部推理**：为每个子图分配一个专门的智能体（agent）进行局部推理； 3. **整合**：由一个主智能体（master agent）收集所有子图的结果，并结合子图间的关联信息，最终输出全局答案。 这种分层设计显著降低了单个智能体的推理负担，避免了在大图上直接端到端推理时常见的计算瓶颈和错误累积问题。 ## 实验表现：大图场景优势显著 作者在多种图算法任务（如最短路径、连通性检测、图着色等）上进行了广泛实验，覆盖不同规模的数据集。结果显示，**GraphDC 在所有任务上一致优于现有方法**，尤其是在图规模较大时，其优势更为突出——传统端到端推理的可靠性急剧下降，而 GraphDC 通过分治策略保持了较高的准确率和鲁棒性。 ## 行业意义：多智能体系统的新应用方向 GraphDC 并非首个将多智能体引入推理的框架，但它的独特之处在于将“分而治之”与图结构特性深度结合。此前，多智能体系统多用于对话、代码生成等任务，而 GraphDC 证明了它在结构化推理（如图算法）中的潜力。 对于 AI 行业而言，这一方向可能带来以下启示： - **可扩展性**：当任务规模超出单模型能力边界时，多智能体协作或许是一种更经济的方案； - **模块化**：未来可将不同能力的模型（如擅长局部推理的轻量模型 + 擅长全局协调的强模型）组合使用，提升整体效率； - **可靠性**：通过分解降低单点失败风险，每个子图的结果可独立验证。 ## 局限与展望 目前 GraphDC 的分解策略可能依赖于预设规则或简单的图划分算法，对于动态图或超大规模图（如百万节点）的适应性尚需验证。此外，多智能体之间的通信开销也是实际部署中需要权衡的因素。不过，作为一篇 arXiv 预印本（arXiv:2605.06671），它已经为图推理提供了一个富有前景的新范式。
语言模型在给出最终答案前往往会生成一段推理过程，但可见的答案并不能揭示模型何时对答案偏好变得稳定。一篇来自 arXiv 的新论文（arXiv:2605.06723）提出了一个可计算的理论框架——“有限答案偏好稳定化”（finite-answer preference stabilization），通过投射模型自身的续写概率到有限答案集上，来精确定位模型做出“承诺”的时刻。 ## 核心方法：对数几率差与稳定化时刻 研究团队定义了一个关键量 δ(ξ) = S_θ(yes|ξ) - S_θ(no|ξ)，即模型在给定上下文 ξ 下生成“yes”与“no”的对数几率差。对于二分类任务，这个值精确编码了模型的偏好。通过追踪 δ 在推理过程中的变化，可以识别出三个重要时间点： - **解析器可识别答案起始点**：答案首次在文本中明确出现 - **回顾性稳定化时间**：δ 值稳定在最终答案方向上的最早时刻 - **领先量**：稳定化时刻早于可识别时刻的 token 数 该方法无需依赖贪婪解码或学习探针，完全基于模型自身的概率分布。 ## 实验发现：偏好稳定早于答案输出 在 Qwen3-4B-Instruct 模型上的受控延迟裁决任务中，研究发现： - 有限答案投影在答案可解析之前就已稳定，平均领先 **17-31 个 token**（主模板） - 在解析器清理的复现模板中，领先虽缩短但仍为正值 - 该信号追踪的是模型**最终输出**而非客观真相 - 信号可从紧凑的隐藏状态摘要中线性恢复 - 信号与光标位置部分可分离，且作为共享信息传递，不存在单一不变坐标 ## 诊断与因果分析 论文进一步设计了诊断实验，将测量与在线停止、无词汇化信念、因果答案控制等概念区分开。精确的干预实验显示，δ 具有局部敏感性，但无法可靠地控制生成结果。这意味着该指标更适合作为**观测工具**而非直接控制手段。 ## 行业意义 这项工作为理解语言模型的内部决策时序提供了新视角。在可解释性、安全对齐和推理效率优化等场景中，知道模型何时“下定决心”有助于： - 设计更早的停止策略，节省计算资源 - 检测模型是否在答案稳定后仍被无关推理干扰 - 构建更透明的推理过程审计工具 论文作者来自中国研究机构，论文已提交至 arXiv，涵盖人工智能、计算语言学与机器学习三个子领域。
大语言模型（LLM）智能体正从“存储”走向“经验”。近日，一篇被ACL 2026 Findings接收的综述论文，系统梳理了LLM智能体记忆机制的三阶段演进：存储（Storage）、反思（Reflection）与经验（Experience），并揭示了推动这一进化的三大核心驱动力。 ## 记忆机制的三个阶段 当前研究在操作系统工程与认知科学之间摇摆，缺乏统一视角。该论文提出了一个新颖的进化框架，将LLM智能体记忆机制的发展归纳为三个阶段： - **存储（Storage）**：轨迹保存阶段，智能体仅记录历史交互的原始轨迹，类似于简单的日志存储。这是最基础的记忆形式，但缺乏对信息的提炼与泛化能力。 - **反思（Reflection）**：轨迹精炼阶段，智能体不仅能存储，还能对过往经验进行回顾、总结与修正，形成更高质量的记忆表征。这一阶段开始引入认知科学的元素。 - **经验（Experience）**：轨迹抽象阶段，智能体从多条轨迹中提取通用模式与知识，实现跨场景的迁移学习。这是记忆机制的终极形态，让智能体真正“从经验中学习”。 ## 进化的三大驱动力 论文指出，记忆机制之所以不断进化，背后有三大驱动力： 1. **长程一致性的必要性**：复杂任务要求智能体在长时间跨度内保持行为与知识的一致性，简单存储无法满足这一需求。 2. **动态环境的挑战**：真实世界环境不断变化，智能体必须能快速适应新情境，这需要记忆具备灵活更新与泛化能力。 3. **持续学习的终极目标**：智能体应能像人类一样，通过持续积累经验不断提升自身能力，而非每次从零开始。 ## 前沿探索：主动探索与跨轨迹抽象 在最高级的“经验”阶段，论文重点探讨了两种变革性机制： - **主动探索（Proactive Exploration）**：智能体不再被动接收信息，而是主动与环境交互，有目的地收集新经验，类似强化学习中的探索-利用权衡。 - **跨轨迹抽象（Cross-Trajectory Abstraction）**：智能体能够跨越不同任务轨迹，提取共性的知识与规则，形成可复用的记忆模块，从而加速新任务的学习。 ## 理论与实践的桥梁 通过整合操作系统工程与认知科学两大视角，该论文为LLM智能体记忆系统的设计提供了清晰路线图。研究者可以借鉴认知心理学中的记忆模型（如工作记忆、长期记忆、情景记忆）来设计更高效的智能体架构。同时，论文也强调了实际工程中的权衡：存储容量、检索速度、抽象层次等都需要根据具体场景进行优化。 这项研究不仅梳理了现有工作，更指明了未来方向：让智能体真正拥有“经验”，而不仅仅是“存储”。随着记忆机制的不断进化，LLM智能体将在复杂任务、人机协作和持续学习场景中释放更大潜力。
多智能体AI系统在协作过程中可能形成“联盟”——即智能体之间产生超越表面行为的深层组织。然而，仅靠观察行为往往难以区分真正的信息耦合与虚假的相似性，因为关键联盟可能在内部表征层面形成，远早于任何外显行为的变化。近期，一篇发表于 arXiv 的论文（编号 2605.06696）提出了一种实用方法，通过分析智能体的内部神经表征来检测联盟结构。 该方法的核心是构建一个基于互信息的智能体对图（pairwise mutual-information graph），从智能体的隐藏状态中提取信息，然后应用光谱分割（spectral partitioning）识别最显著的联盟边界。研究者在两个领域验证了其有效性： 1. **多智能体强化学习（MARL）环境**：该方法成功恢复了预设的层级和动态联盟结构，并正确排除了由行为协调（而非信息耦合）导致的假阳性。 2. **大语言模型（LLM）场景**：通过描述性提示，方法识别出隐含的联盟结构，追踪动态团队重组，并揭示了表征层级——其中显式标签（如角色分配）会主导冲突的交互模式。 研究还发现，传统基于标量跨智能体互信息的度量无法区分这种子群组织，而光谱分割则提供了更精细的诊断。 ### 为什么这很重要？ 在分布式AI系统（如自动驾驶车队、多机器人协作或大模型协同）中，联盟可能带来效率提升，也可能导致隐藏的偏见、串通或安全风险。例如，某些智能体可能形成“小团体”，共享信息而排斥其他成员，从而影响整体公平性或鲁棒性。这项技术提供了一种可扩展的监控工具，能够在行为变化发生前就探测到潜在的组织结构，为AI安全与对齐研究提供了新的视角。 ### 未来展望 论文作者指出，该方法目前依赖对隐藏状态的访问，未来可探索如何在部分观察或黑盒场景中应用。此外，将光谱诊断与干预机制结合，或许能实现动态调整智能体关系，以抑制不良联盟或促进有益协作。
选区重划（Redistricting）是一个兼具理论深度与实际应用价值的组合优化问题。它要求将地理区域划分为若干连续的选区，同时满足人口均衡、种族公平、政治公正等多重目标。长期以来，**连续性约束**是求解该问题的核心瓶颈：无论是整数规划还是启发式搜索，一旦要求选区必须地理连续，可行邻域就会急剧收缩，导致搜索极易陷入局部最优。 来自研究者 Hai Jin 和 Diansheng Guo 的最新论文提出了一种名为 **复合移动禁忌搜索（Composite-Move Tabu Search, CM-Tabu）** 的方法，系统性地扩展了禁忌搜索中的可行邻域空间，同时严格保持连续性。其核心思想是：当单个地理单元无法在不破坏选区连续性的前提下被重新分配时，算法会自动识别一个**最小单元集合**，使它们可以整体移动，或者找到一对单元（或单元集合）进行交换，以此作为保持连续性的复合移动。 ### 技术亮点 CM-Tabu 利用**关节点（articulation points）**和**双连通分量（biconnected components）** 对每个选区的连通图进行分析，从而在线性时间内生成候选的单单元移动和复合移动。这种设计既保证了邻域的丰富性，又避免了传统方法中因强制连续性而导致的搜索空间萎缩。 ### 实验表现 论文在多个真实数据集上进行了广泛测试，结果显示 CM-Tabu 在**解质量、运行间鲁棒性和计算效率**上均显著优于传统禁忌搜索及其他基线方法。以费城案例为例，该方法能够**稳定达到人口均衡的理论全局最优**，并支持多准则权衡。这意味着 CM-Tabu 已经具备了支撑实际决策工作流的优化性能。 ### 行业意义 选区重划历来是一个高度政治化和技术化的交叉领域。近年来，美国各州在每十年一次的人口普查后都会面临重新划分选区的挑战，而算法辅助的选区划分方案往往因“杰利蝾螈”（gerrymandering）争议而备受关注。CM-Tabu 的提出，为在**公平性、效率和灵活性**之间取得平衡提供了新的技术路径。它不仅能快速生成高质量方案，还能在交互式调整中保持计算可行性，有望成为政策制定者和数据分析师的有力工具。 简单来说，这项研究的价值在于：**它没有发明新的搜索框架，而是巧妙地改写了禁忌搜索的“移动”定义**——让算法在保持连续性的前提下，拥有更大的探索自由度。这种思路对于其他受拓扑约束的组合优化问题（如设施选址、区域规划）也具有借鉴意义。
Zayphra 团队近日发布了 **ZAYA1-8B** 技术报告，一款聚焦推理能力的混合专家（MoE）模型。该模型总参数量为 8B，但每次推理仅激活 **700M 参数**，却在多个高难度数学与编程基准上达到甚至超越了 DeepSeek-R1-0528 等更大规模的模型。 ## 架构与训练：从零开始的推理优化 ZAYA1-8B 基于 Zyphra 自研的 **MoE++ 架构**，其预训练、中期训练和监督微调（SFT）均运行在 **全栈 AMD 计算、网络与软件平台** 上。与许多后期才加入推理能力的模型不同，ZAYA1-8B 从预训练阶段起就引入了推理数据，并采用了一种 **保留答案的裁剪方案**，确保在压缩序列长度的同时不丢失关键推理结果。 后训练阶段采用 **四阶段强化学习（RL）级联**： 1. **推理热身**：在数学和谜题数据上进行 RL 训练，激活基础推理能力。 2. **RLVE-Gym 课程**：覆盖 400 个任务的强化学习环境，提升泛化性。 3. **数学与代码 RL**：结合测试时计算（test-time compute）轨迹和基于竞赛编程参考的合成代码环境，强化专项能力。 4. **行为 RL**：针对聊天和指令跟随进行优化，确保模型在通用场景下的可用性。 ## 性能亮点：小参数，大能力 尽管激活参数不足 1B，ZAYA1-8B 在多个基准上表现出色： - **数学推理**：在 AIME 2025 上达到 91.9%，HMMT 2025 上达到 89.6%（使用 Markovian RSA 方法）。 - **编程任务**：在竞赛级编程基准上与 DeepSeek-R1-0528 持平或更优。 - **对比竞品**：与 Gemini-2.5 Pro、DeepSeek-V3.2、GPT-5-High 等更大模型相比，差距显著缩小。 ## 创新方法：Markovian RSA 测试时计算 ZAYA1-8B 引入了一种名为 **Markovian RSA** 的测试时计算方法。该方法递归地聚合多个并行推理轨迹，但每轮仅向前传递 **有限长度的推理尾部**（默认 4K tokens）。这种设计大幅降低了测试时的计算开销，同时保留了多路径探索的优势，使模型在数学推理上接近甚至超越超大模型。 ## 行业意义与展望 ZAYA1-8B 的成功证明，通过精心设计的架构和训练策略，**小参数模型可以在特定领域挑战大模型**。这为资源受限的场景（如边缘设备、实时应用）提供了新的可能性。同时，其全栈 AMD 平台的训练经验也展示了非 NVIDIA 生态在 AI 领域的潜力。未来，Zayphra 计划进一步优化 MoE++ 架构，并探索更高效的测试时计算方法。
随着企业级AI代理越来越多地被部署在受限检索系统、委托工作流和策略约束的决策环境中，一个微妙而危险的问题浮出水面：**系统可能正确执行了访问控制，却生成一个看似完整的答案，而关键证据实际上位于调用者的授权边界之外**。这种“沉默过滤”（silent filtering）行为可能导致灾难性后果。为此，研究者Krti Tallam提出了 **Partial Evidence Bench**，一个确定性基准测试，旨在量化这种授权受限证据下的失败模式。 ## 基准测试的核心设计 Partial Evidence Bench 包含三个场景家族——**尽职调查、合规审计和安全事件响应**，共72个任务。每个任务都配备了ACL分区语料库、完整答案、授权视图答案、完整性判断以及结构化缺口报告。系统在四个维度上接受评估：答案正确性、完整性感知、缺口报告质量以及不安全完整性行为。 ## 关键发现与基线结果 基线测试结果令人警醒：**在所有场景中，沉默过滤都表现出灾难性的不安全行为**。相比之下，采用“明确失败并报告”策略的系统能够消除不安全完整性，而不会导致任务退化为简单的弃权。初步的真实模型运行显示，不同模型和场景在是否过度声称完整性、保守地低估完整性或以企业可用形式报告不完整性方面存在显著差异。 ## 行业意义 这项工作的核心贡献在于：**使一个治理关键的代理失败模式变得可测量**，无需人工评判或易受污染的静态语料。对于正在将AI代理引入合规、审计和高风险决策的企业而言，Partial Evidence Bench 提供了一种工具来识别和缓解“看起来正确但实际遗漏关键证据”的风险。随着代理系统自主性增强，这种基准测试将成为AI治理和安全评估的重要基础设施。
AI 安全政策的制定高度依赖人工或大模型对输出内容的标注，但标注者之间的分歧长期困扰着行业。这种分歧究竟源于操作失误、政策歧义，还是价值观差异？传统方法难以低成本区分。最新研究提出 **Annotator Policy Models (APMs)**，通过可解释模型从标注行为中逆向学习标注者的内部安全政策，无需额外询问即可揭示分歧根源，为更精准、透明的安全政策设计提供新工具。 ## 分歧的三种来源 安全政策定义了 AI 输出的“安全”与“不安全”边界，指导数据标注和模型开发。然而，标注不一致普遍存在。研究将其归为三类： - **操作失误**：标注者误解或错误执行任务，需加强质量控制； - **政策歧义**：政策文本表述模糊，导致不同解读，需澄清措辞； - **价值多元**：标注者本身持有不同的安全观念，需通过讨论整合多元视角。 直接询问标注者理由成本高昂，且自我报告往往不可靠——无论是人类还是大模型，都难以准确回溯决策过程。 ## APMs：从行为中学习政策 APMs 的核心思路是：仅利用标注者的标签行为数据，训练一个可解释的模型来“模仿”其内部安全政策。模型准确率超过 80%，并能忠实预测标注者在反事实编辑下的反应，在受控实验中成功还原已知的政策差异。 这意味着研究者可以“看见”标注者的推理逻辑，而无需额外负担。 ## 两大应用场景 论文展示了 APMs 的两项关键能力： 1. **揭示政策歧义**：通过对比不同标注者的模型，发现他们对同一安全指令的解读差异。例如，部分标注者可能更看重“冒犯性语言”，而另一些则聚焦“事实准确性”。 2. **揭示价值多元**：发现不同人口统计学群体在安全优先级上的系统性差异，例如年龄、文化背景对“有害内容”定义的显著影响。 这些能力为政策设计提供了数据驱动的基础，使安全标准更具包容性。 ## 行业意义 当前 AI 安全领域，标注一致性是评估模型可靠性的关键指标。APMs 提供了一种低成本、非侵入式的诊断工具，帮助团队区分“需要澄清政策”还是“需要尊重多元观点”。随着 AI 系统部署到全球不同文化环境，理解标注者的内在政策差异将成为安全治理的重要环节。 论文发表于 ACM FAccT 2026，共 38 页，包含 13 张图表。代码与数据尚未公开，但方法本身具有较高的实用潜力。
金融文档问答（QA）要求对分散在公司文件中的异构证据（结构化表格、文本叙述和脚注）进行复杂的多步数值推理。现有的检索增强生成（RAG）方法采用单次检索然后生成的范式，难以应对金融分析中常见的组合推理链。为此，研究人员提出了 **FinAgent-RAG**，一种智能体 RAG 框架，它通过迭代检索-推理循环与自我验证来编排流程，专为金融数值推理的精度要求而设计。 ## 三大核心创新 FinAgent-RAG 集成了三项领域特定创新： 1. **对比金融检索器（Contrastive Financial Retriever）**：通过难负样本挖掘训练，能够区分语义相似但数值不同的金融段落，提升检索精度。 2. **程序化思维推理模块（Program-of-Thought）**：生成可执行的 Python 代码进行精确算术运算，避免依赖容易出错的 LLM 心算推理。 3. **自适应策略路由器（Adaptive Strategy Router）**：根据问题复杂度动态分配计算资源，在 FinQA 数据集上减少 **41.3%** 的 API 成本，同时保持准确率。 ## 性能表现 在三个基准数据集上的广泛实验表明，FinAgent-RAG 取得了领先结果： - **FinQA**：执行准确率 **76.81%** - **ConvFinQA**：**78.46%** - **TAT-QA**：**74.96%** 相比最强基线，准确率提升了 **5.62 至 9.32 个百分点**。消融实验、跨四种 LLM 的骨干网络评估以及部署成本分析，均证实了该框架的鲁棒性和在实际金融机构中的可行性。 ## 行业意义 当前金融分析领域，大语言模型（LLM）虽展现出强大能力，但在需要精确数值计算的场景中仍存在幻觉和计算错误问题。FinAgent-RAG 通过将检索、代码生成和自适应资源分配相结合，为金融文档 QA 提供了一种更可靠、更高效的解决方案。该工作已提交至《Expert Systems with Applications》期刊，并公开了详细的技术报告（22 页，含 11 张图表和 13 张表格）。 > 一句话总结：FinAgent-RAG 通过智能体循环、代码推理和自适应路由，在金融数值问答上显著超越现有方法，同时降低了计算成本。