大语言模型（LLM）越来越多地被部署在多轮对话场景中，每一轮对话都会带来新的证据，理想情况下应逐步降低模型对环境的不确定性。然而，现有评估大多只关注模型在单轮格式下的最终答案，忽略了这一逐步推理的过程。 最新研究论文《BayesBench: Evaluating LLM Belief Trajectories Under Multi-Turn Evidence Accumulation》提出了一个名为 **BayesBench** 的基准测试套件，专门用于评估 LLM 在多轮证据累积中信念更新的理性程度，并将其与理想的贝叶斯推理者进行对比。 ## 三个渐进任务 BayesBench 包含三个复杂度递增的任务： 1. **贝叶斯估计**：模型需要从序列证据中推断一个未知参数。 2. **贝叶斯预测**：模型将推断出的关于潜在变量的信念转化为对结果的预测。 3. **潜在框架贝叶斯预测**：观测结果通过用户角色的框架进行过滤，模型需要联合推断潜在状态和用户角色。 ## 主要发现 研究者在 **7 个 LLM**（参数量从 3B 到 70B 不等）上进行了测试，发现： - **规模扩展**有助于提升潜在推理和证据累积能力，有时信念更新甚至能匹配贝叶斯后验。 - 然而，这些提升 **并未可靠地迁移到下游预测任务** 上，揭示出模型在推断潜在结构与利用该结构理性更新对目标结果的信念之间存在 **显著差距**。 ## 行业意义 这一发现对 LLM 的实际部署具有重要意义。在许多应用场景中（如医疗诊断、客服对话、科学推理），模型不仅需要给出最终答案，还需要在对话过程中动态调整其信念。BayesBench 提供了一种系统化的方法来诊断模型在 **多轮推理中的理性程度**，并指出了当前模型在**信念更新与预测一致性**上的短板。 未来，研究者可以借助 BayesBench 设计更有效的训练策略或推理算法，帮助 LLM 在对话中更像一个理性的贝叶斯 agent，从而提升其在复杂交互任务中的可靠性。
## 研究背景：推理模型的“早停”难题 大型语言模型（LLM）在推理任务中，不同实例所需的计算量差异巨大。一些简单问题可能只需少量推理步骤，而复杂问题则需要更长的“思维链”。传统的固定预算方法（如设定最大token数）会造成计算浪费，而简单的启发式规则（如置信度阈值、收敛检测）虽能实现动态退出，但其性能上限尚不明确。 针对这一问题，来自缅因大学普雷斯克岛分校、斯坦福大学等机构的研究人员提出了 **LearnStop**——一种无需隐藏状态的检查点停止机制，旨在通过**学习最优停止策略**来平衡推理质量与计算成本。 ## LearnStop 的工作原理 LearnStop 的核心思想是在预先设定的**固定预算检查点**（例如每 128 或 256 个 token）处，从当前推理前缀中提取一个简短答案，并利用**在线特征**（如答案置信度、熵、前缀投票份额、答案稳定性、回溯标记密度）预测该前缀的正确性。如果预测为正确，则立即停止推理并输出该答案；否则继续推理至下一检查点。 与需要访问模型隐藏状态的方法不同，LearnStop 仅依赖可观测的表面特征，因而具有更广泛的适用性。 ## 实验发现：任务依赖性显著 研究团队在 **18 种任务-模型组合**上进行了测试，覆盖 GSM8K、MATH-500、MMLU-Pro、AIME-90、GPQA 等基准，以及 Qwen3 和 DeepSeek-R1 蒸馏变体。关键发现如下： - **自由形式数学任务**（如 GSM8K）中，LearnStop 的**多特征学习策略**显著优于固定预算基线，并经常击败单一标量退出规则（如仅使用置信度或熵）。在 Qwen3-32B 上，经验前沿的**事后峰值自适应增益达到 +0.157**，验证集选点保持正增益，与最强标量基线相比配对增益为 **+0.028**。 - **多项选择题和极难任务**（如 AIME-90）中，简单的标量规则（如置信度、熵或稳定性）反而更具竞争力，甚至更强。 这表明，**学习型停止机制并非标量退出的通用替代品**，其价值高度依赖于推理轨迹的结构。当许多问题在达到全预算前已正确，但又不呈现单一可靠的标量停止信号时，LearnStop 最为有效；反之，若置信度或答案收敛已能很好地解决停止问题，则学习方法的优势基本消失。 ## 成本核算与实际部署考量 研究还深入分析了不同计算场景下的成本： - **KV 缓存分叉（KV-fork）**：需额外存储中间状态。 - **前缀缓存（Prefix-cache）**：利用已计算前缀加速。 - **黑盒模式**：仅通过 API 调用，无法访问内部状态。 通过 H100 服务性能分析、检查点调度扫描、迁移学习分析和鲁棒性检验，论文为实际部署提供了**验证集选点**、**配对 bootstrap 检验**和**有限网格丢失正确风险校准**等实用工具。 ## 小结与启示 这项研究为推理模型的动态计算分配提供了新视角：**“何时停止”不是一刀切的问题**。对于开发者而言，若任务以自由形式数学为主，且简单阈值表现不佳，值得尝试 LearnStop 等多特征学习方法；而对于选择题或难度分布均匀的任务，标量规则可能更简单有效。未来工作可探索更复杂的轨迹特征，或针对特定任务进行自适应检查点调度。
传统AI助手通常假设用户是“专家用户”——即用户对自己的需求有明确、完整的偏好，因此当任务描述不清晰时，系统只会反复追问细节。但这一假设在现实中往往不成立：用户可能缺乏必要的领域知识，无法直接回答“你喜欢什么”之类的问题。近日，一篇来自arXiv的论文《Beyond expert users: agents should help users construct preferences, not just elicit them》对此提出了系统性批判，并提出了新框架**CoPref**（偏好构建模型）与配套评测基准**CoShop**。 ## 从信息经济学出发：偏好并非天然存在 研究团队借鉴信息经济学中的“搜索-体验-信任”（Search-Experience-Credence）框架，认为用户偏好的形成是一个动态过程，而非静态信息。例如，当用户想买一台相机时，可能并不了解“光圈大小”或“传感器类型”意味着什么。此时，智能体不应直接问“你偏好大光圈吗？”，而应先通过示例或解释帮助用户理解这些概念，让用户*学会*如何形成偏好。 为此，论文提出了 **CoPref模型**，将用户偏好构建过程形式化为智能体对话动作与用户知识增长的交互。模型的核心思想是：智能体的角色不仅是“提取”用户已有的偏好，更应是“辅导”用户探索和构建新的偏好。 ## CoShop基准测试：前沿模型表现不佳 为了验证这一理念，团队设计了一个交互式推荐基准 **CoShop**。在该场景中，智能体需要与一个由CoPref模型驱动的虚拟用户对话，并最终推荐合适的商品。智能体的表现取决于它能否帮助用户获得必要的领域知识，从而明确任务需求。 测试了包括GPT-4o、Claude等在内的**五个前沿模型**后，结果显示：即便经过**五轮对话**，所有智能体的准确率均未超过**56%**。更关键的是，失败原因并非智能体“找不到商品”，而是**对话几乎未能扩展用户对自身需求的理解**。换言之，智能体只是在被动回应，而非主动引导用户学习。 ## 对AI产品设计的启示 这项研究直指当前对话式AI与推荐系统的核心短板：**过度依赖“显式偏好”假设**。现实中的用户，尤其是在陌生领域，往往处于“我不知道我需要什么”的状态。未来的智能体需要从“问答机”转变为“学习导师”——通过解释、对比、举例等方式，帮助用户逐步构建偏好。 这一转变对电商、教育、医疗等领域的AI助手设计具有直接指导意义。例如，一个医疗咨询智能体不应直接问“你更喜欢哪种治疗方案？”，而应先用通俗语言解释不同方案的利弊，让用户具备做出知情决策的基础知识。 ## 小结 CoPref与CoShop的提出，标志着AI研究从“偏好提取”向“偏好构建”的重要转向。虽然当前模型表现不佳，但这一方向为下一代交互式AI提供了清晰的理论框架和评测工具。对于AI从业者而言，理解并应用“偏好构建”理念，或许正是突破推荐系统与对话助手瓶颈的关键。
随着大语言模型（LLM）能力的快速提升，AI Agent 正从单打独斗走向多智能体协作。然而，在法律这样需要严谨推理与多角度论证的领域，多智能体方法的研究仍相对空白。近期，一篇被 **AIDA2J 研讨会** 接收的论文《Investigating Multi-Agent Deliberation in Law》系统性地探索了多智能体协商（Multi-Agent Deliberation, MAD）在法律推理任务中的表现，并提出了两种受法庭程序和法律论证启发的新型多智能体框架。 该研究由 Cor Steging 等人完成，将在 **2026 年 6 月于新加坡举行的第 21 届国际人工智能与法律会议（ICAIL）** 上展示。论文的核心贡献在于：**多智能体框架在整体性能上与单一大型模型相当，但输出答案显著不同**——它们能解决基线模型无法处理的案例，反之亦然。 ### 实验设计与发现 研究团队在法律基准（如法律问答、合同审查）和非法律基准上进行了测试。关键发现包括： - **互补性**：多智能体系统与单模型在解题能力上存在互补。例如，对于需要**批判性思维和多角度审视**的问题（如法律原则冲突、事实模糊的案件），多智能体方法表现更优。 - **法庭式辩论框架**：论文借鉴真实法庭流程，设计了“原告-被告-法官”角色分工，让不同智能体分别主张、反驳和裁决。这种结构有效促进了观点碰撞，减少了单一模型的偏见。 - **法律论证框架**：另一种框架基于图尔敏论证模型（Toulmin Model），要求智能体提供主张、证据、理由和反驳，从而生成更具逻辑链的推理结果。 ### 意义与展望 这项研究不仅为法律 AI 提供了新思路，也为多智能体系统的通用设计提供了启示。**法律场景天然需要多角色辩论和证据权衡**，而当前的 LLM 容易陷入“盲从”或“幻觉”。通过让多个智能体从不同立场出发，相互质疑与修正，系统能产出更稳健的结论。 当然，研究也指出当前方法的局限：计算开销显著增加、部分场景下效率低于单模型。未来工作可聚焦于**动态角色分配**和**自适应协商轮次**，以在准确性与效率之间取得平衡。 ### 小结 在追求“通用人工智能”的浪潮中，多智能体协商正成为提升 LLM 推理能力的重要路径。而法律领域因其结构化、对抗性与逻辑性，恰好成为验证这一路径的绝佳试验场。当 AI 学会像律师一样“辩论”，它离公正或许就更近一步。
## 核心发现：知识组织比模型规模更重要 在ML工程竞赛中，智能体往往重复发明轮子——每次竞赛都从零开始，浪费大量算力。一篇被ICML 2026 Workshop接收的论文提出了**HASTE系统**（层次化多智能体技能迁移框架），通过三层作用域（全局、领域、竞赛特定）组织跨竞赛知识，并用LLM驱动的抽象层实现层级间学习。 ### 关键实验结果 - **奖牌率翻倍**：在控制159个技能库存不变的情况下，层次化加载实现**100%奖牌率**，而平面加载仅62.5%（与不加载技能相同），且输出token消耗翻倍。 - **全基准测试**：在MLE-Bench Lite的22个Kaggle竞赛中，HASTE使用Claude Sonnet 4.6在每竞赛12小时内达到**77.3%奖牌率**。 - **冷启动 vs 热启动**：热启动（复用全局和领域级技能）相比冷启动减少**52%的细化迭代次数**，且智能体保留的提议比例从低库存时的42%升至拥有50+技能时的85%。 ### 层级设计如何工作？ HASTE包含三层智能体： 1. **全局层**：存储跨领域通用技能（如数据预处理模板） 2. **领域层**：针对特定领域（如NLP、计算机视觉）的优化策略 3. **竞赛特定层**：当前竞赛的临时知识 一个协调器（orchestrator）负责调度领域专家，并通过LLM驱动的抽象机制将底层经验提升到更高层级。这种设计使得知识可以跨竞赛迁移，而无需每次从头学习。 ### 行业启示 这项研究暗示，**更好的知识组织可以部分替代模型强度和算力预算**。对于AI工程自动化领域，HASTE提供了一条务实路径：与其追求更大模型或更多GPU，不如构建结构化的技能积累系统。论文作者来自阿尔伯塔大学，代码尚未开源，但方法已通过消融实验充分验证。 > 一句话总结：**“不要解决两次”**——层次化技能库让ML智能体越用越聪明，算力效率提升显著。
## 研究背景 结构化表格数据在临床医学中占据主导地位，但现有基准往往无法反映真实世界的特性，如复杂调查抽样、人口统计过采样和子组公平性。一项最新研究提出了**NHANES加速度计心脏代谢基准**，旨在填补这一空白。该基准基于2003-2006年NHANES数据，包含**1,381名成年人**的髋部加速度计数据、空腹实验室生物标志物、膳食摄入和人体测量学指标。 ## 核心方法 研究评估了三种表格学习方法——**岭回归、XGBoost和基础模型TabPFN v2**——用于从活动表型和生活方式协变量预测糖化血红蛋白（HbA1c）、空腹甘油三酯和C反应蛋白（CRP）。结果如下： - **TabPFN v2整体表现最佳**：HbA1c的R²为0.156，CRP的R²为0.383。 - 甘油三酯（R² < 0.05）基本不可预测，这与已知的遗传主导性一致。 ## 不确定性量化与公平性 研究进一步应用**分裂共形预测**生成无分布的90%预测区间，并评估了性别和种族/民族子组的覆盖公平性。主要发现： - CRP和HbA1c的边缘覆盖率接近90%目标，但甘油三酯低于目标。 - 子组层面出现**局部覆盖不足**（例如，墨西哥裔美国参与者的HbA1c），揭示了边缘保证与临床公平所需条件覆盖之间的差距。 ## 意义与展望 这项研究为数字生物标志物在心脏代谢风险预测中的实际应用提供了重要基准。它不仅强调了**基础模型在表格数据中的潜力**，还指出了公平性评估的必要性——尤其是在多样化人群中。代码和数据已公开，可于[此处](https://example.com)获取（具体链接请参考原文）。 ## 小结 该基准是首个整合加速度计数据、复杂抽样设计和不确定性量化的人口代表性临床表格基准。未来工作可进一步探索模型校准与子组公平性改进，推动数字生物标志物从研究走向临床落地。
大语言模型（LLM）虽能解决各类任务，但其实例特定的解决方案往往缺乏结构一致性，难以可靠部署。工作流（Workflow）通过在任务层面编码可复用的算法模式，提供了鲁棒性、可解释性和可复用性。然而，手动设计工作流需要大量专业知识。近期一篇 arXiv 论文提出 **MetaFlow**，将工作流生成视为元学习问题：给定一个任务和算子集合，模型学习如何组合解决策略。训练分为两阶段：监督微调（基于合成工作流数据）和带可验证奖励的强化学习（RLVR），通过跨实例的执行反馈提升端到端成功率。实验表明，MetaFlow 在问答、代码生成和数学推理等基准上，单次推理即可达到领域内任务的 SOTA 水平，并在领域外任务和算子集上展现出卓越的零样本泛化能力。 ## 核心挑战：LLM 的“结构性缺失” 当前 LLM 的推理模式多为“一次性生成”——针对每个问题实例输出一个答案。这种方式缺乏对任务底层模式的抽象，导致： - **鲁棒性不足**：输入微变，输出可能大幅波动； - **可调试性差**：中间过程不透明，难以定位错误； - **复用困难**：同类问题需重复设计解法。 工作流（Workflow）通过将任务分解为可复用的算子序列（如“先检索再合成”），有效解决了上述问题。但传统工作流依赖人工设计，门槛高、成本大。 ## MetaFlow：元学习 + 强化学习 MetaFlow 的核心思路是将工作流生成建模为**元学习问题**： 1. **两阶段训练**： - 第一阶段：在合成的工作流数据上进行监督微调，让模型初步学会算子组合； - 第二阶段：使用带可验证奖励的强化学习（RLVR），利用执行反馈在任务内多个实例间进行优化，提升端到端成功率。 2. **零样本泛化**：训练后的模型不仅能处理已见任务，还能泛化到未见任务和全新算子集。 ## 实验结果：单次推理即达 SOTA 在问答、代码生成和数学推理三个基准上，MetaFlow 仅用单次推理，就在领域内任务上达到与 SOTA 基线相当的性能。更值得关注的是其**零样本泛化能力**：在领域外任务和算子集上，MetaFlow 仍能生成有效工作流，显著优于现有方法。 ## 意义与展望 MetaFlow 为 LLM 的可靠部署提供了新范式——从“实例级搜索”转向“任务级合成”。未来，这类方法有望降低工作流的设计门槛，推动 LLM 在自动化、软件工程等领域的实际应用。论文还指出，RLVR 阶段的执行反馈对泛化至关重要，这为后续研究提供了方向。
## 研究背景：图像与文本的生成差异 近年来，确定性少步生成（如一致性模型、整流流）在图像潜在空间（如 Stable Diffusion 的 latent）上取得了显著成功，仅需几步即可生成高质量图像。然而，当将同样的方法应用于连续文本潜在空间时，生成结果却会崩溃为无意义的乱码。这一现象引发了研究者的好奇：**为何图像能成功，而文本却不行？** ## 核心发现：几何原因而非训练不足 来自 arXiv 的最新论文（arXiv:2606.30705）给出了一个令人信服的解释：**问题出在几何结构上，而非训练或模型规模不足**。作者 Zhongyao Wang 证明，一个平滑且受正则性限制的确定性映射，无法在尖锐的类别读出之前解决离散分支选择问题。换句话说，**少步失败的根本原因在于解码器的“尖锐度”，而非传输精度**。 ## 关键概念：DABI 与 CCI 为了量化这一现象，论文提出了两个诊断指标： - **DABI（读出尖锐度）**：衡量解码器对边界附近扰动的放大程度。 - **CCI（类别承诺度）**：衡量生成过程对离散类别的承诺程度。 实验表明，在四个独立构建的连续文本解码器上，**DABI 值高达 5×10² 到 >10⁵**，意味着解码器将边界对齐的扰动放大了数百到数万倍；而图像解码器的 DABI 值约为 1，几乎无放大。这直接导致文本生成中，微小扰动即可导致 token 翻转，产生混乱输出。 ## 理论证明：几何本质 论文在理论上（Theorem 3）严格证明：在真实文本自编码器的重叠区域中，后验均值终末步会以与决策边界周围 O(s(t)) 管状区域内的潜在质量成比例的速率翻转 token。这意味着 **生成失败是由解码器的尖锐边界几何决定的，而非生成过程的精度**。 ## 两种逃逸机制 尽管确定性连续模型存在固有局限，论文也指出了两种可以绕过这一限制的机制： 1. **类别承诺（Categorical Commitment）**：自回归解码器虽然读出更尖锐，但通过逐步承诺类别实现了成功。 2. **随机重注入（Stochastic Re-injection）**：在同一个模型上，确定性 ODE（K=4 步）的困惑度（PPL）高达 294，而 SDE（随机微分方程）仅需 50，显著优于确定性方法。 ## 维度相图与权衡 进一步，论文在理想化分离区域推导了匹配的尖锐传输定律，并给出了**维度相图**： - 要分离 M 个模式所需的确定性刚度随潜在维度变化：当维度 Ω(log M) 时，刚度增长为 Θ(√(log M))；在固定维度下则增长为 M^(1/n)。 - 深度为 B 的层级结构可将每步峰值降低 √B 倍。 这揭示了一个**精度-深度-刚度权衡**：在确定性连续模型类中，代价是不可约的；而两种逃逸机制（自回归和随机性）则跳出了该类。 ## 行业意义 这项研究对于 AI 生成领域具有重要启示： - 对于文本生成，**单纯增加模型规模或训练步数可能无法解决少步生成问题**，必须从架构或算法层面引入随机性或离散承诺。 - 对于多模态模型，理解图像与文本潜在空间的几何差异，有助于设计更通用的少步生成框架。 未来，或许我们能看到结合确定性快速推理与随机性纠错的混合方法，在文本生成中实现类似图像的少步高质量输出。
长上下文Transformer模型在部署时面临严峻的内存瓶颈：随着序列长度增加，密集注意力机制所需的键值（K/V）缓存呈二次增长，即使是高端GPU也难以处理超过32K token的上下文。近日，一篇arXiv论文提出了一种名为**层级全局注意力（Hierarchical Global Attention, HGA）** 的即插即用方案，可在不修改预训练权重、不引入校准参数、无需重训的情况下，将现有模型的长上下文能力提升至64K token甚至更远。 ## 核心思路：层级路由，精确定位 HGA的核心创新在于**两步层级路由**机制。首先，利用紧凑的**RoPE感知摘要**（RoPE-aware summaries）快速检索出与当前查询相关的**块（chunks）**；然后，在这些块中进一步筛选出最相关的**组（groups）**，最后才对选中的token执行精确的逐token注意力计算。 这种分层设计大幅减少了需要从外部存储（如主机RAM或NVMe SSD）传输到GPU显存的token数量。传统方法中，GPU显存需要容纳整个上下文的所有K/V缓存；而HGA仅将**路由后的工作集（routed working set）** 加载到显存中，其余历史K/V则保存在主机内存或NVMe存储中。因此，GPU显存消耗主要取决于模型权重和工作集大小，而非总上下文长度。 ## 性能与精度：稀疏3%，损失仅0.01-0.02 nats 论文在**Qwen3-30B-A3B-Instruct-2507-FP8**模型上进行了验证，使用单张**RTX 5090（32GB显存）** 即可在64K token上下文中直接运行。实验结果显示： - 在4K至64K token的所有测试长度下，HGA的输出分布与密集注意力之间的**KL散度仅为0.01-0.02 nats**，说明近似误差极小。 - 同时，HGA的**稀疏度仅约3%**，即仅需检索3%的token即可达到接近全注意力的效果。 论文作者指出，剩余的质量差距很可能主要来自长上下文位置编码（如RoPE的局限性），而非路由算法本身。这意味着HGA为长上下文Transformer的实用化提供了一条低成本的路径。 ## 行业意义：降低长上下文部署门槛 当前，长上下文模型（如GPT-4 128K、Claude 200K）通常需要大量算力和定制化硬件。HGA的出现，使得在消费级GPU上运行数十万token上下文成为可能。其**零重训、零校准**的特性，让现有预训练模型可以直接受益，无需额外的训练成本。 此外，HGA兼容**RAM和NVMe存储**，意味着可以通过廉价的主机内存或SSD来扩展上下文长度，而无需升级GPU显存。这对于需要处理超长文档、代码库或对话历史的实际应用场景具有重要价值。 ## 未来展望 尽管HGA在64K token上表现优异，但论文尚未探索更长的上下文（如128K或256K）以及不同模型架构的通用性。此外，路由机制本身的计算开销和延迟优化也有待进一步研究。不过，HGA为稀疏注意力领域提供了一种简洁而有效的设计思路，有望成为长上下文Transformer部署的标准组件之一。
## 从种子分子到数万反应：机器学习如何重塑化学发现 化学反应网络——由极小值、过渡态（TS）及其连接路径构成的图——是化学的“自然语言”，从催化、燃烧到生命起源，无不依赖对反应路径的完整理解。然而，为特定化学体系构建这样的网络长期以来几乎不可能：传统方法如密度泛函理论（DFT）虽准确，但计算速度极慢，且需要用户预先指定反应物和产物，难以大规模、自动化地探索未知反应空间。 ### ReactionAtlas：无规则、无预设的自动探索 最新发表于 arXiv 的论文《ReactionAtlas: Ab origine exploration of chemical reaction networks with machine learning》提出了一种名为 **ReactionAtlas** 的框架，首次实现了**从少量种子分子出发，无需人工规则，自动构建完整化学反应网络**。其核心流程是： 1. **生成候选反应**：利用机器学习生成模型，从动力学采样的候选化合物中提出可能的反应路径。 2. **验证过渡态**：通过经 DFT 训练的**机器学习力场（MLFF）** 快速筛选出有效的过渡态。 3. **迭代扩展**：将产物作为新种子，重复上述过程，实现网络的自动扩张。 ### 前生命化学的里程碑式映射 研究团队以 **8 种前生命化学种子**（CH₂O、H₂O、OH⁻、H₃O⁺、CO₂、H₂CO₃、HCO₃⁻、H）为起点，ReactionAtlas 在无人干预下发现了 **约 47,000 个反应**，涉及 **约 12,000 种化合物**，覆盖了从简单分子到 C₄H₈O₄ 的碳水化合物化学，并包含完整的电荷与立体化学信息。 验证结果显示，MLFF 预测的过渡态结构在 **85% 的情况下与高精度 PBE0 参考值的 RMSD 偏差在 0.5 Å 以内**，且可轻松提升至 PBE0 精度，兼顾了规模与准确性。 ### 重新审视生命起源的关键路径 这一网络尤其为研究 **甲醛循环（formose cycle）**——与化学起源生命密切相关的经典反应路径——提供了全新视角。ReactionAtlas 不仅重现了已知的甲醛循环路径，还发现了**多条替代反应通道**，暗示早期地球化学可能拥有比想象中更丰富的反应多样性。 ### 意义与展望 ReactionAtlas 的突破在于将机器学习力场从“单点预测”提升到“网络级自动探索”的高度。它无需专家预设反应规则，也不依赖于繁琐的输入构造，而是让数据驱动模型自主发现化学空间。这一方法有望应用于催化机理研究、药物代谢路径预测、甚至地外化学模拟等领域。 当然，目前网络仍限于小分子碳水化合物体系，且 MLFF 的泛化能力需进一步验证。但作为“从头构建”反应网络的首次规模化实践，ReactionAtlas 为计算化学开辟了一条全新的道路——让机器学习成为化学发现的“自动探险家”。 > 论文链接：[arXiv:2606.30778](https://arxiv.org/abs/2606.30778)
## 研究背景：反馈的“假象”与实验设计 大语言模型（LLM）在对话、编程等任务中常通过多轮交互来提升表现。然而，一个根本问题始终悬而未决：**最终准确率的提升，究竟来自反馈中的有效指导，还是仅仅因为重试、格式修正或额外计算？** 为了厘清这些因素，来自波兰的研究团队提出了一种受控的“学生-教师”协议，在 **Omni-MATH、Codeforces、BBEH Linguini 和 ARC-AGI1** 四个高难度基准上，对13个开源模型进行了系统评估。 ## 核心发现：反馈的“边际贡献”有限 研究对比了三种交互模式： - **外部反馈**：由教师模型提供自然语言指导； - **自我反馈**：学生模型自己生成反馈； - **无引导自我修正**：仅重复尝试，不附加任何反馈。 结果揭示了几个关键事实： 1. **自我反馈效果微弱**：模型自己生成的反馈带来的提升，与无引导的自我修正几乎无异，说明自反馈本质上只是“换一种方式重试”。 2. **强外部教师才有实质增益**：只有能力最强的教师模型提供的反馈，才能带来显著高于基线（重试）的改进。这意味着**有用反馈必须包含超越“再试一次”的具体指导**。 3. **学生的反馈利用能力是瓶颈**：通过构建密集的“学生-教师”交互矩阵，研究者发现，交互增益更多取决于**学生吸收和应用反馈的能力**，而非教师本身的身份。当然，在固定学生的情况下，选择合适的教师仍然重要。 ## 对AI社区的启示 这项研究提醒我们，在评估基于反馈的智能体时，**必须设立“重复尝试”作为基线**，否则很容易高估反馈的价值。同时，未来改进的重点不应只放在提供更强大的反馈上，更应关注如何提升模型**理解并执行反馈的能力**——这或许才是交互式改进的真正瓶颈。 论文已被 **ICML 2026 RLxF Workshop** 接收，相关评估框架已开源。对于正在构建多轮对话、代码助手或推理系统的开发者而言，这无疑是一份值得细读的“避坑指南”。
LLM Agent 正成为信息检索（IR）系统的核心组件——它们发出检索查询、合成答案，甚至担任 IR 评估的裁判。控制这些 Agent 的提示词本质上是一个优化问题，但在实际 IR 应用中，它更像“调试”而非“盲搜”：工程师需要知道哪个行为失败了、哪个邻近行为仍有效、两者的区别是什么，以及一次提示修改是否在提升留出集质量的同时引入了回退。 针对这一需求，来自多位研究者的论文《Contrastive Reflection for Iterative Prompt Optimization》提出了一种名为 **对比反思（Contrastive Reflection）** 的迭代提示优化框架。该框架专为 Agent 驱动的 IR 工作流设计，其核心思路是：利用 Agent 在执行任务时产生的结构化轨迹（如检索或推理步骤、评分维度与理由），**自动识别失败的行为片段**，然后从同一区域**补充邻近的成功示例**，最后让一个“教师”LLM 据此提出有针对性的提示修改。修改候选仅在验证性能提升时被采纳，并可选择性附加回归检查。 论文在 HotpotQA 检索增强问答（RAG）任务上进行了实验。结果显示，一次基于树结构切片选择器的对比修复，将留出集精确匹配准确率从 **51.4% 提升至 60.4%**。相比之下，仅使用失败示例或随机证据的变体改进幅度更小，且破坏了更多原本正确的示例。与当前主流的提示优化器相比，对比反思的性能也颇具竞争力：MIPROv2 达到 59.4%，GEPA 达到 57.0%。 ### 框架亮点：从“黑盒搜索”到“可检视调试” 传统提示优化方法（如自动提示搜索或贝叶斯优化）往往将提示视为黑盒参数，难以理解每次修改为何有效或无效。对比反思的独特之处在于其**可解释性**：它通过对比失败与成功的行为切片，让工程师能直观看到“哪里错了、哪里对了、差在哪里”。这种设计使得提示修复过程更加透明、可审查，也更容易与人工经验结合。 ### 实验细节与对比 - **任务设置**：使用 HotpotQA 数据集，构建检索增强问答 Agent。Agent 需根据问题检索相关段落并生成答案。 - **基线方法**：包括无修改的原始提示（51.4%）、仅使用失败示例的变体、随机证据变体，以及两个现代提示优化器 MIPROv2（59.4%）和 GEPA（57.0%）。 - **结果**：对比反思（树选择）达到 60.4%，不仅绝对提升显著，且更少破坏已有正确行为。 ### 意义与展望 对比反思为 IR Agent 的提示工程提供了一种**结构化、可迭代的调试范式**。它不依赖昂贵的全局搜索，而是利用 Agent 自身产生的轨迹信息进行局部修复。未来工作可探索更复杂的切片选择策略、多轮迭代优化，以及在其他 IR 任务（如排序、评估）上的泛化能力。 该论文已被 **KDD 2026 Workshop on AI Agents for Information Retrieval（Agent4IR）** 接收。
在建模与仿真（M&S）领域，随着模型数量的激增，如何从海量候选模型中快速找到符合特定建模意图的模型，已成为制约模型复用的核心瓶颈。近日，一篇被2026年冬季仿真会议（WSC 2026）接受的论文《How Can AI Find My Model? A Model-Finding Experimental Study Considering Data Formats, Embeddings, and Retrieval Strategies》系统性地探讨了利用AI检索技术解决这一问题的可行性。 ## 研究背景与问题 传统模型发现依赖人工标注或关键词匹配，难以捕捉模型在语义层面的相似性。随着大语言模型和检索增强生成（RAG）技术的成熟，研究者开始尝试用自然语言查询来定位模型。但一个关键问题仍未解决：**数据表示方式、嵌入模型和检索策略**这三个变量如何影响检索效果？ ## 实验设计 研究者构建了一个包含多种仿真模型的数据集，设计了不同复杂度的自然语言查询（如简单功能查询、组合条件查询等）。他们对比了多种数据表示格式（如纯文本描述、结构化元数据、代码片段等）、多种开源Transformer嵌入模型（如BERT、RoBERTa等），以及不同的检索策略（包括直接向量搜索和结合重排序的两阶段方法）。 评估指标采用信息检索领域标准的**recall@5**和**nDCG@5**，分别衡量前5个结果中相关模型的召回率以及排序质量。 ## 核心发现 1. **数据表示至关重要**：将模型描述、参数、接口信息以结构化文本形式呈现，比纯非结构化描述效果更好。这表明模型元数据的标准化对AI检索有直接影响。 2. **开源嵌入模型表现不俗**：在多个测试场景中，开源模型（如all-MiniLM-L6-v2）的检索性能接近甚至超过某些商业闭源模型，说明低成本方案在模型发现任务中同样具有竞争力。 3. **重排序方法不可或缺**：当查询复杂度增加（例如包含多个约束条件）时，仅靠向量相似度检索的性能明显下降，而加入基于交叉编码器的重排序步骤后，nDCG@5提升显著。这印证了RAG架构中“检索-重排序”两阶段设计的必要性。 ## 行业意义与展望 该研究为AI驱动的模型发现提供了首个系统性的基线实验。其意义不仅在于技术验证，更指向一个更宏大的愿景——**AI驱动的可组合性与互操作性**。如果模型能像文档一样被语义检索，那么仿真系统的快速搭建、跨领域模型复用都将成为可能。 当然，当前实验仍受限于数据集规模和查询类型的覆盖面。未来工作中，研究者计划引入更大规模的模型库、多语言查询支持，以及更复杂的推理型查询（如“哪个模型能模拟突发事件下的疏散行为？”）。 对于从事M&S平台开发或数字孪生工程的团队而言，这篇论文提供了一个清晰的实践指南：优先规范模型的元数据表示，选用轻量级开源嵌入模型，并在检索流水线中加入重排序模块。
## 从单数据集到多源数据：方程发现的瓶颈与突破 在科学机器学习领域，**从观测数据中自动发现控制方程**是实现可解释性AI的关键一步。然而，现有数据驱动方法大多局限于单一数据集，当观测受限时（如空间采样稀疏或边界条件不完整），其性能往往大打折扣。现实中，同一物理系统常有多组数据集可用，它们仅因初始条件或边界配置不同而有所区别。 ## MCO-PDE：竞争优化框架的核心设计 针对上述问题，来自北京大学等机构的研究团队提出了 **MCO-PDE**（Multi-source Competitive Optimization for PDE discovery）框架，旨在从多源数据中联合发现共享的偏微分方程。该框架包含三个关键模块： 1. **独立神经代理训练**：为每个数据源单独训练一个神经网络，作为该数据源动态行为的代理模型。 2. **软竞争加权机制**：动态评估每个数据源的“可信度”，并为全局共识系数的聚合分配权重。这种软竞争方式使得低质量或信息量少的数据源自动被降权，而高质量数据源主导方程发现。 3. **遗传算法结构搜索**：在系数空间和函数形式空间中进行全局优化，同时识别控制方程的**函数形式**和**参数**。 ## 实验验证：小样本、复杂几何与真实数据 研究团队在多个案例上验证了MCO-PDE的有效性： - **小样本恢复**：仅需每个数据源50个观测点，即可高精度恢复经典方程（如Burgers方程、波动方程等）。 - **二维/三维不规则区域**：框架天然支持不规则边界和异质系数，无需特殊处理。 - **真实波槽实验数据**：成功从实际物理实验中提取出有意义的波浪传播方程，展示了从真实噪声数据中自动发现物理定律的潜力。 ## 意义与展望 MCO-PDE的提出标志着**数据驱动科学发现**从单数据集向多源异构数据融合的重要跨越。其竞争优化策略不仅提高了方程发现的鲁棒性，还为处理现实世界中数据质量参差不齐的问题提供了新思路。未来，该框架有望推广至更复杂的耦合系统、高维问题，甚至与主动学习结合，进一步降低数据需求。 > 论文链接：arXiv:2606.30699
## 摘要 语言模型通常分阶段进行适配：先学习公共技能，再注入私有记忆，最后进行安全微调以学会拒绝输出与记忆实体相关的内容。然而，在安全阶段之后撤销记忆并非简单的减法问题——后续的安全优化器会改变记忆方向。为此，研究者提出了一种名为**过程侧车（Process Sidecars）**的方法，通过一个双系数编辑族实现记忆撤销。 ## 核心思想 过程侧车方法定义了一个编辑族： $$ \hat{\theta}(\lambda,\gamma)=\theta_{\mathrm{AMS}}-\lambda\Delta_{\mathrm{M}}-\gamma\hat{R}_{\mathrm{S}\leftarrow\mathrm{M}} $$ 其中 $\hat{R}_{\mathrm{S}\leftarrow\mathrm{M}}=\hat{J}_{\mathrm{S},\varepsilon}(\Delta_{\mathrm{M}})-\Delta_{\mathrm{M}}$，而 $\hat{J}_{\mathrm{S},\varepsilon}$ 是通过 AdamW 安全训练过程的中心割线近似得到的。该方法只需计算一个额外的安全轨迹，即可实现更高精度的记忆撤销。 ## 理论证明 论文证明了两个关键结论： - **精确侧车**：若使用真实的传输方向 $R_{\mathrm{S}\leftarrow\mathrm{M}}$ 而非割线估计，当 $(\lambda,\gamma)=(1,1)$ 时，可以恢复反事实的安全-only 模型 $\theta_{\mathrm{AS}}$，且误差达到二阶精度。证明将 AdamW 视为参数、一阶矩、二阶矩的增广状态映射。 - **必要性**：当未来安全训练会弯曲记忆方向时，任何标量任务算术编辑都会留下一阶反事实误差，而过程侧车编辑具有二阶精度。 ## 实验结果 在三个模型上，验证集选择的二维编辑在所有试验中均优于朴素任务算术；在与 $\gamma=\lambda$ 过程-JVP 子族的比较中，二维编辑在成对试验中也全面胜出。 ## 行业背景 随着大语言模型在商业和开源领域的广泛应用，**模型安全与隐私**成为焦点。许多模型需要先注入特定知识（如用户数据），再通过安全微调防止泄露。但传统任务算术（如模型合并）在撤销记忆时效果不佳，因为安全微调改变了参数空间。过程侧车提供了一种**可撤销学习状态**的精确方法，有望用于模型遗忘、版权移除等场景。 ## 总结 过程侧车是一种新颖的模型编辑技术，通过双系数编辑族和过程信息（安全训练轨迹）实现了比任务算术更优的撤销效果。该工作为模型安全与记忆管理提供了理论支撑和实用工具。
## 从经验拟合到第一性原理：GRPO训练动力学的可预测模型 Group Relative Policy Optimization（GRPO）已成为提升大语言模型推理能力的关键技术。然而，其训练动力学长期依赖于经验描述：奖励曲线被拟合为低参数函数，常数缺乏物理意义，超参数选择也主要依靠试错。这一现状随着arXiv上的一篇新论文《Predictable GRPO: A Closed-Form Model of Training Dynamics》而有望改变。 ### 核心突破：闭合形式的动力学模型 研究团队从**第一性原理**出发，开发了一个**降阶模型**，以闭合形式描述了GRPO的训练动力学。该模型不仅统一了现有的经验规律，还引入了新的预测能力。 关键创新包括： - **统一经验规律**：将广泛使用的**单指数饱和律**视为该模型在过阻尼极限下的特例，从而把拟合中的平台值、时间尺度和规模指数重新解释为势能函数的固定点、逆刚度和曲率缩放指数。同时，通过保留惯性项，模型还能捕捉单指数无法表示的**慢启动阶段**。 - **可验证的预测**：与经验模型依赖拟合参数不同，新模型的预测直接关联到可独立测量的量。例如： - **组大小不变性**：确定性轨迹与组大小无关，且稳定波动与组大小成反比（$1/G$）。 - **稳定性阈值**：刷新间隔存在一个尖锐的稳定性阈值。 - **相变现象**：动力学从过阻尼向振荡的转变。 - **诊断能力**：模型能够区分仅凭奖励曲线难以辨别的失败模式，如**奖励黑客**、**优势退化**、**策略集中**和**动态不稳定性**。 ### 实验验证：高精度拟合与跨场景泛化 研究者在**三个不同模型**和**两种组大小**上进行了验证。结果表明： - **拟合精度高**：闭合形式轨迹对训练奖励的拟合 $R^2 \geq 0.91$。 - **组大小不变性成立**：不仅在奖励曲线上成立，还能泛化到八个数学基准测试的**分布外转移**场景。 此外，在一个软最大-老虎机（softmax-bandit）的简化环境中，模型精确复现了**过阻尼到振荡的转变**，并将刷新间隔的稳定性阈值定位到独立测量的刚度值。深度网络的实际演示留待未来工作。 ### 意义与展望 这项研究为GRPO的训练动力学提供了**理论基础**，有望将超参数选择从试错转变为基于模型预测的科学过程。对于AI从业者而言，这意味着更可控的训练、更快的调试以及更深入的机制理解。尽管从简化环境到实际深度网络仍需验证，但该工作已为可预测的强化学习训练迈出了重要一步。
被誉为“互联网之父”的 **文特·瑟夫（Vinton Cerf）** 将于下周从谷歌首席互联网传道者的职位上退休，为这段跨越20年的科技巨头生涯画上句号。瑟夫与罗伯特·卡恩共同设计了TCP/IP协议，奠定了现代互联网的基础。 在由Laude Institute主办的Open Frontier大会上，加州大学伯克利分校教授戴夫·帕特森通过视频连线宣布了这一消息：“文特在谷歌工作了超过20年，他将在下周退休，我们应该为这段辉煌的职业生涯鼓掌。”现场响起了热烈的掌声。谷歌尚未对置评请求作出回应。 现年83岁的瑟夫因在20世纪70年代开发并推广TCP/IP协议而闻名，该协议是不同计算机网络相互通信的基本规则集。他因此获得了众多荣誉，包括多个荣誉博士学位、总统自由勋章以及图灵奖。自2005年起，瑟夫担任谷歌副总裁兼首席互联网传道者。 瑟夫在大会上与多位知名计算机科学家同台讨论，包括戴夫·帕特森（RISC架构联合开发者）、弗朗索瓦·肖莱（Keras深度学习库创建者）、约翰·奥斯特豪特（Tcl编程语言发明者）以及马泰·扎哈里亚（Databricks联合创始人）。他们分享了构建持久开源系统的经验，这些经验在当前创始人押注开放基础设施以支持下一代AI产品的背景下尤为重要。 ### 对AI时代的深刻洞察 会议讨论的焦点之一是：先进模型集中在少数资源充足的实验室中，这与瑟夫协议所代表的开放、去中心化的互联网世界形成鲜明对比。然而，瑟夫预测，AI代理（能够自主行动并与其他软件协调的软件）的兴起将推动科技公司回归标准化协议。他表示：“来自多个来源的多个AI代理互相交互的代理模型，将迫使系统具备可组合性，并需要互操作性和标准化。” 这一观点为当前AI行业日益封闭的趋势提供了另一种可能性——即通过协议和标准实现开放协作，而非依赖少数巨头的封闭生态。 ### 开放互联网的遗产 瑟夫的退休标志着一个时代的结束，但他所倡导的开放、去中心化理念在AI时代依然具有深远影响。随着AI代理和开放基础设施的发展，标准化协议可能再次成为技术演进的关键驱动力。正如瑟夫所言，互联网的“传道”已经完成，而未来的挑战在于如何让AI世界同样遵循可互操作的规则。
AWS近日宣布，Anthropic的Claude Fable 5模型将于明天起在Amazon Bedrock上重新上线，并配备了更强的防护措施以防止滥用。这一消息凸显了前沿模型发布中安全与可用性之间的关键平衡。 ## 安全基石上的AI服务 自AWS成立20多年来，安全一直是其核心投资领域。Amazon Bedrock等AI服务正是建立在这一安全基础之上，秉承相同的理念。Bedrock为客户提供世界级的性能、安全性和隐私保护，以及最广泛的模型选择。去年推出的Bedrock Mantle在模型权重保护方面实现了行业领先的隐私与安全保障。 ## 快速交付与责任并重 客户希望在新模型发布后尽快获得访问权限，Bedrock满足了这一需求，同时提供企业级功能。AWS强调，在发布模型时，不仅考虑对客户的责任，还兼顾对互联网和整个社会的影响。最新一代前沿模型（如Anthropic的Claude Mythos）拥有强大的新能力，尤其在网络安全领域。 ## Project Glasswing：防御者的机会 通过Project Glasswing，AWS亲身体验了这些模型的能力，并渴望将Mythos级模型交到防御者手中。防御者可以利用这些模型使关键系统更加安全，但同时必须确保不给攻击者提供显著的超前可见性和能力，而不给企业、政府和学术机构保护自身资产的机会。 ## 平衡挑战与防护措施 实现这一平衡是广泛模型发布的关键挑战。AWS与Anthropic及其他行业合作伙伴在Project Glasswing中密切合作，为这类新模型完善防护措施。各方一致认为，防止攻击者获得深度漏洞研究能力是这些防护措施的最重要目标。 ## 展望未来 AWS认为，在安全且隐私保护的环境中，让所有客户都能使用这些先进模型的能力，对于确保他们获得诸多好处而不制造安全风险至关重要。这是一个激动人心的AI时代，新能力几乎每天都在交付，而安全释放这些能力是行业共同的责任。
美国已解除对Anthropic出口其Mythos和Fable模型的许可要求，此前这一要求实质上切断了公众对这些被认为是迄今最先进AI模型的访问。Anthropic表示将于7月1日（周三）开始恢复模型访问。6月12日，美国政府将这些产品列入出口受限技术清单，意味着未经特别批准不得向外国公民提供。遵守该规定在规模上不可行，迫使Anthropic完全终止了模型的公开访问。经过数周谈判，商务部长霍华德·卢特尼克表示，Anthropic已同意主动检测并解决与模型相关的安全风险；与美国政府合作制定Mythos、Fable及未来模型的发布协议和标准；并向美国政府通报任何恶意活动。Anthropic此前已公开承诺自愿执行大部分措施，这早于出口规则的存在。网络安全专家最初对此限制持怀疑态度，认为这更像是一种施压手段，而非安全修复，旨在惩罚Anthropic高管对政府及总统政治对手可能使用该技术的公开批评。Mythos最初于4月向选定的组织开放，以缓解对其识别和利用软件漏洞能力的担忧，而名为Fable的版本于6月向公众发布，并附带了额外的安全护栏。然而，随着亚洲AI公司开始发布接近Mythos能力的模型——如Fugu和Tulongfeng——美国政府面临压力，需放松对Anthropic的限制，以确保美国AI能在全球竞争。上周，卢特尼克批准Mythos向白宫选定的客户发布。OpenAI的最新模型也发布给了特朗普团队批准的组织，而非公众。特朗普政府在AI政策制定上的反复无常导致整个行业的公司对未来模型发布的监管缺乏明确性。
英国自动驾驶初创公司 **Wayve** 近日宣布启动一项价值 **8500 万美元** 的员工要约收购，公司估值达到 **85 亿美元**。此举旨在为员工提供流动性，同时作为吸引和留住顶尖人才的战略工具。 Wayve 专注于基于端到端深度学习的自动驾驶技术，其方法不依赖传统的高清地图和规则驱动系统，而是通过大量驾驶数据训练神经网络，使车辆具备类似人类的驾驶能力。这一技术路线在行业内独树一帜，也吸引了包括微软、维珍等知名投资者的支持。 员工要约收购在 AI 初创公司中正成为趋势，尤其是在市场尚未公开上市的情况下，通过允许员工出售部分股份，公司能够在不稀释现有股东权益的前提下，为员工提供变现机会，从而增强薪酬竞争力。对于 Wayve 而言，85 亿美元的估值反映了市场对其技术前景的认可，尤其是在自动驾驶领域竞争日益激烈的背景下。 本次要约收购的规模相对公司整体估值较小，但信号意义重大。它表明 Wayve 的财务状况稳健，且管理层有意通过激励手段巩固团队稳定性。此外，这也可能为未来的 IPO 或新一轮融资铺平道路。 从行业视角看，Wayve 的举措与 OpenAI、Anthropic 等 AI 明星公司的做法类似，后者此前也通过员工股份回购计划来维持人才优势。在 AI 人才争夺白热化的当下，灵活的股权管理策略正成为初创公司差异化竞争的关键。 总体来看，Wayve 的这次要约收购既是内部治理的优化，也是一次对外信心展示。随着自动驾驶行业从概念验证走向商业化落地，如何平衡技术突破与商业可持续性，将是 Wayve 及其同行需要持续面对的课题。