SheepNav

AI 资讯

每日聚合最新人工智能动态

来源:Anthropic清除筛选 ×

## 概览 传统的基于智能体的建模(ABM)依赖于静态先验知识,难以适应实时变化。来自橡树岭国家实验室等机构的研究人员提出了一种名为 **HALE(混合智能体与语言驱动的流行病模型)** 的新框架,将大语言模型(LLM)的推理能力融入 ABM,使智能体能够动态决策。该研究以犹他州盐湖县的 COVID-19 模拟为例,展示了 LLM 如何提升 ABM 在政策制定中的适应性和准确性。 ## 传统 ABM 的瓶颈与 LLM 的机遇 基于智能体的建模通过模拟大量个体及其交互,为政策评估提供了强大工具。然而,传统 ABM 中的智能体行为规则通常是预先设定的,无法根据实时信息(如新发布的防疫指南)进行调整,导致模型与现实脱节。 **大语言模型** 的出现为预测人类决策提供了新可能。LLM 能够理解复杂语境、吸收最新信息并生成合理的行为响应,这恰好弥补了 ABM 的“静态”短板。 ## HALE 框架:让智能体“思考” HALE 框架的核心思想是将 LLM 作为智能体的“推理引擎”。在模拟的每个时间步,智能体会将当前环境状态、个人属性(如年龄、健康状况)以及外部信息(如政策更新)转化为自然语言提示,输入给 LLM。LLM 输出决策(如是否戴口罩、是否接种疫苗),然后这些决策驱动 ABM 中的行为更新。 关键设计包括: - **可扩展性**:通过批量调用和缓存机制,HALE 能够支持百万级智能体的模拟。 - **混合架构**:LLM 仅负责需要推理的决策(如是否遵守社交距离),而常规行为(如移动)仍由传统 ABM 规则驱动,以平衡计算成本。 ## 实证案例:COVID-19 模拟 研究团队以盐湖县为场景,构建了一个包含人口统计、接触网络和病毒传播模型的 ABM。LLM 智能体根据每日新增病例数、政府建议和邻居行为,动态决定是否减少外出或佩戴口罩。 初步结果显示,相比静态基线模型,HALE 模拟出的感染曲线更接近真实疫情数据,尤其是在政策变化(如封锁令)后的行为转变阶段。这表明 LLM 能够有效捕捉人类在不确定环境中的适应性行为。 ## 行业意义与未来方向 HALE 框架不仅适用于流行病学,还可扩展到交通、金融、社会动态等领域。它的出现标志着 ABM 从“规则驱动”向“推理驱动”的转变。 不过,当前方案仍面临挑战:LLM 的推理延迟和成本可能限制超大规模模拟;同时,LLM 输出的可靠性(如幻觉问题)需要额外校验。未来工作可能包括: - 使用更小、更快的专用语言模型; - 引入不确定性量化机制; - 在更多真实场景中验证框架的泛化能力。 HALE 为 ABM 与 LLM 的结合提供了首个可扩展的实践路径,有望推动政策模拟进入“动态智能”时代。

Anthropic7天前原文

自主系统在部分可观测环境下依赖信念(belief)而非原始传感器数据做出决策。一项新研究提出 **QANTIS** 框架,将量子处理器作为校准的信念更新服务,在经典规划循环中接收先验和观测模型,估计罕见事件证据项,并返回后验概率。该工作以IBM Heron量子硬件为平台,通过经典老虎(Tiger)POMDP基准问题验证了量子信念更新在序贯决策中的可靠性。 ## 核心方法:硬件校准的信念更新 QANTIS 的核心思路是将量子处理器视为一个“黑盒”服务:经典规划器提供先验信念和观测模型,量子电路负责计算归一化常数(证据项),然后返回精确的后验概率。这种方法避免了经典计算中因近似采样导致的误差,同时利用量子振幅估计(Quantum Amplitude Estimation)加速罕见事件概率的估算。 研究团队比较了三种量子策略:**无放大**(No Amplification)、**受控Grover放大**(Guarded Grover Amplification)以及**全步固定点放大**(All-step Fixed-Point Amplification, FPAA)。实验在IBM Heron处理器上运行,对老虎问题的8步和12步主序列进行测试,并额外验证了20步和32步的扩展序列。 ## 关键结果:后验一致性 实验表明,**全步固定点放大(FPAA)** 在所有测试序列中成功保持了老虎问题后验概率的完整性,即量子计算的后验与精确贝叶斯后验在每一步都选择了相同的即时动作。这意味着量子信念更新服务可以在不破坏下游决策的前提下,稳定地替代经典计算模块。 此外,研究引入了 **边界感知BIQAE**(Boundary-aware BIQAE)技术,用于稳定振幅估计在接近0或1时的数值表现。通过罕见事件扫描,团队还映射了百万分之一概率量级下的逻辑采样复杂度包络,为极端稀疏场景提供了理论边界。 ## 意义与局限 这项研究并非宣称量子优势,而是**构建了一个硬件校准的信念更新原语的操作包络**。它证明了在当前噪声量子硬件(IBM Heron)上,量子信念更新可以可靠地用于序贯POMDP决策,而不会污染后验概率。这为未来将量子计算集成到自主系统(如机器人、自动驾驶)的感知-规划循环中提供了实验基础。 论文强调,工作重点在于**硬件案例研究**,而非端到端的速度提升。实际应用中仍需考虑量子资源的开销与经典后处理的接口效率。

Anthropic7天前原文

近日,一篇发表在arXiv上的论文提出了一种全新的、成本效益极高的智能体架构,用于解决**ARC-AGI-1**基准测试中的抽象推理与泛化问题。该研究由Kabir Moghe和Peter Chin完成,探索了除现有两大主流方法之外的“第三条路径”:使用开源模型(DeepSeek V3.2)的非思考模式,在严格预算下,不进行任何ARC特定微调,仅通过架构设计来提升推理性能。 ### 背景:两大传统路径的局限 当前,在ARC-AGI-1上取得进展的方法主要分为两类:一是对前沿模型进行大量测试时计算(如进化搜索、穷举采样、扩展思维链),成本高昂;二是针对基准进行特定训练,即在小模型上用ARC数据微调,往往需要任务专用架构。这些方法要么资源消耗巨大,要么泛化能力受限。 ### 新方法:智能体框架的巧妙设计 该研究提出的核心创新在于两个智能体框架: 1. **Explorer-Definer Pipeline(探索-定义流水线)**:这是一个两阶段智能体流水线,将**模式发现**与**可执行转换合成**明确分离。第一阶段负责发现输入输出示例中的潜在模式,第二阶段则根据发现的模式生成具体的转换程序。该流水线在ARC-AGI-1公开的400个任务评估集上,以**0.25美元/任务**的成本达到了**57.50%的pass@2**。 2. **Reflective Orchestrator(反思协调器)**:在流水线基础上进一步扩展,当先前的假设在训练对上失败时,该协调器能够自主探索新的转换。它引入了一种“反思”机制,通过迭代试错来优化解决方案。最终,该框架以**0.62美元/任务**的成本实现了**67.25%的pass@2**。 ### 关键发现:生成能力是关键瓶颈 论文通过细致的消融实验和诊断分析,揭示了几个重要洞见: - **性能提升的根源**:相比仅使用一次提示的基线模型(15.50% pass@2),这两个框架带来了约**52个百分点**的巨大提升,且未依赖基准特定训练或大量测试时计算。 - **生成受限而非选择受限**:无偏的pass@k分析表明,流水线的瓶颈在于**生成候选方案的能力**,而非从中选择最优方案的能力(通过训练对准确率进行选择能捕获约95%的候选上限)。这意味着,要取得显著改进,需要更广泛的生成,而非更好的排序。 - **反思协调器的有效性**:该协调器通过自适应重新探索实现了这一预测,其无偏pass@1提升了**9.81个百分点**,与经选择中介的pass@2提升相匹配,证实了生成扩展的有效性。 - **思考工具的关键作用**:额外的消融实验显示,流水线中的“think”工具是一个重要组件,移除它会导致pass@2下降**5.75个百分点**。 ### 意义与展望 这项研究展示了**架构设计**在释放开源模型推理潜力方面的巨大价值。它证明,即使不依赖前沿模型的巨大计算量或针对特定任务的微调,通过巧妙的智能体编排,也能在极具挑战性的抽象推理基准上取得显著进展。该路径为未来构建更经济、更通用的AI推理系统提供了新思路。 对于AI行业而言,这一成果暗示着:**智能体框架的优化可能比单纯扩大模型规模或训练数据更具成本效益**,尤其是在需要强泛化能力的场景中。随着类似研究的深入,我们有望看到更多“轻量级”方法在复杂推理任务中崭露头角。

Anthropic7天前原文

大型语言模型在数学领域的应用,过去主要集中于自动形式化证明和定理证明,而计算机代数系统在智能体工作流中的潜力尚未被充分挖掘。近日,一篇被ICML 2026 AI for Math Workshop接收的论文提出了一个ReAct风格的智能体框架,将LLM的推理能力与SageMath的符号计算反馈相结合,并引入Context7提供最新文档上下文,系统评估了前沿模型在科研级数学问题上的表现。 ## 核心思路:智能体+可验证反馈 该研究的关键设计是让LLM智能体在解决数学问题时,能够调用SageMath进行符号计算、数值验证或代数操作,并将SageMath的输出作为可验证的反馈信号,指导下一步推理。这种“推理-行动-观察”的循环(ReAct)模拟了数学家的实际工作流程:提出假设,用CAS验证,根据结果修正思路。同时,Context7确保了LLM能够获取SageMath的最新文档,避免因过时知识导致的错误。 ## 性能提升显著,开源模型追赶闭源 在RealMath基准的科研级问题上,实验结果显示,接入SageMath后所有模型的平均求解率提升了**9.7个百分点**,增益范围从1.5到27.8个百分点不等。其中,**Qwen 3.7-Max**受益最大,提升幅度高达27.8个百分点,而**GPT-5.5**在启用工具后取得了最高的求解率——**75.2%**,且token消耗最低。这一结果说明,CAS增强不仅显著提升了模型解决复杂数学问题的能力,还缩小了开源模型与闭源模型之间的差距。 ## 基准优化:更可靠的评估流程 论文还对RealMath基准进行了改进,引入了多步后处理和多阶段验证流水线,提升了问题集的质量和可靠性。这为后续研究提供了更扎实的评价基础。 ## 意义与展望 这项研究揭示了CAS增强智能体在数学研究中的巨大潜力。相比纯推理或仅依赖搜索的工具,SageMath提供的精确符号计算能力,让LLM在处理代数、数论、组合等领域的问题时更加可靠。作者认为,这是迈向**自动化猜想发现**的重要一步。未来,这类智能体或将成为数学家的数字助手,加速探索与验证。 项目代码已在GitHub开源,感兴趣的读者可进一步了解实现细节。

Anthropic7天前原文

## 核心发现:编排层是控制Token消耗的关键杠杆 一篇由32位作者联合完成的预印本论文(arXiv:2607.06906)提出了一个尖锐的观察:当前企业级Agentic AI的开发普遍陷入“**Token最大化**”陷阱——为了提升能力,开发者不断加长推理链、增加交互轮次、扩大工具调用负载和上下文窗口,导致**每个任务的Token消耗增长速度远超任务价值的提升**。虽然单Token价格持续下降,但总花费反而上升。 论文的核心论点是:对抗Token最大化的决定性杠杆并非模型本身,而是**“缰绳”(Harness)**——即负责组装上下文、暴露工具、编排交互序列、任务委派,并承载企业级可观测性与治理能力的编排层。 ## 实验设计:22个任务×6个模型×2种编排 为了隔离编排层的影响,研究团队设计了严格的对照实验: - **22个固定的企业级评估任务** - **6个基础模型**:Claude Sonnet 4.6、Gemini 3.1、Gemini Flash 3.5、Qwen 3.6、GLM 5.1、Palmyra X6 - **仅改变编排层**:一组使用传统的固定生产循环(即常规编排),另一组使用**Writer Agent Harness**(一种专门优化的编排层) ## 惊人结果:编排层带来的效率跃升 在保持模型不变的情况下,切换到优化的编排层后,整体表现如下: - **混合成本每任务降低41%**(从$0.21降至$0.12) - **中位完成时间减少44%**(从48秒降至27秒) - **每任务Token消耗减少38%**(从14.2k降至8.8k) - **任务完成质量基本持平**(从0.78提升至0.81,在此样本量下为方向性信号) 更值得注意的是,**效率提升对所有模型都有效**——每个模型的成本降低幅度在33%到61%之间。而**质量提升则与模型本身的能力高度相关**:模型基线能力越强,质量增益越大(相关系数r=0.99,n=6),研究者将此现象称为“**缰绳杠杆**”。 最终,**每美元质量提升82%**,每百万Token的任务完成数从54.9提升至92.0。论文还指出,**在这个工作负载上,编排层对单任务成本的影响甚至超过了模型选择的全范围差异**——即更换编排比更换模型更能省钱。 ## 行业启示:从“模型军备竞赛”到“编排效率竞争” 这篇论文的意义在于,它首次将**Token经济学**的视角从模型层下沉到编排层。在AI Agent进入企业落地的关键阶段,单纯追求更强模型(如更长推理链、更大上下文)的成本增长是不可持续的。编排层的优化——包括更智能的上下文管理、工具调用策略、任务分解与结果合并——可能成为企业控制AI支出、提升投资回报率的核心战场。 “缰绳效应”提醒我们:**在Agentic AI系统中,如何组织智能,往往比智能本身更决定经济性**。对于正在构建企业级AI平台的公司而言,这意味着需要将编排层的设计提升到与模型选择同等(甚至更高)的战略优先级。

Anthropic7天前原文

arXiv:2607.06624v1 Announce Type: new Abstract: We present AgentLens, a production-assessed benchmark for interactive code agents. Most code-agent benchmarks reduce a run to a single bit -- did the task pass? -- but the people who actually use these agents experience the entire trajectory: how the agent follows instructions, uses its tools, verifies its own work, recovers from mistakes, and talks to them along the way. AgentLens evaluates that whole trajectory. It pairs formal verification, wher

Anthropic7天前原文

一篇来自希伯来大学研究团队的最新论文,为当前大语言模型(LLM)中流行的“反思驱动推理”提供了严格的理论基础。该研究将模型在推理过程中的迭代搜索、自我批评与修正行为,建模为对推理轨迹的近似后验推断,并首次系统分析了这种做法的采样复杂度——即需要多少次顺序尝试才能达到高成功率。 ## 核心发现:指数级加速的条件 论文的核心结论是:**当模型的自我反思能够可靠地定位早期错误时,上下文搜索可以带来指数级的性能提升**。具体而言,如果基础模型对某个问题的零样本通过率极低(指数级小),通过反思机制进行顺序搜索,只需多项式次数的尝试就能显著提高成功率。相反,如果反思不能有效定位错误,那么条件化于过去的尝试将不会带来任何渐进收益,其效果与简单的并行采样无异。 这一发现直接回应了业界对“思维链”和“自我纠错”有效性的争议:**并非所有反思都有用,关键在于反思的质量**——能否精准识别推理链中的早期错误节点。 ## 理论框架:从先验到后验的近似推断 研究团队将推理过程形式化为一个概率模型:基础模型提供推理轨迹的先验分布,而自我反思则提供反馈信号,用于更新后验分布。模型在推理时进行采样,每次尝试都基于之前的反馈调整策略。这一框架与贝叶斯推断高度相似,使得作者能够借用信息论和统计学习理论中的工具来刻画采样复杂度。 论文进一步证明,即使反思信号只是近似正确的后验更新,也能获得鲁棒的收益。更关键的是,这种能力是可学习的:**通过交叉熵损失训练模型在搜索轨迹上进行学习,只需多项式样本就能让模型学会有效的反思行为**。这为当前流行的“过程奖励模型”和“搜索微调”提供了理论支撑。 ## 与强化学习的联系 研究还将这一框架与基于可验证奖励的强化学习联系起来,证明最优策略扩展实际上实现了相同的后验重加权规则。这意味着,当前许多通过RL训练推理模型的方法,其成功背后可能正是隐式地学习了这种后验推断机制。 ## 实验验证与行业意义 研究者在真实的大型推理模型上验证了关键定性预测,例如:当问题需要多步推理且早期步骤容易出错时,具备高质量反思的模型性能显著优于无反思的并行采样。 这项工作的价值在于:它为“推理时计算”提供了理论边界,帮助开发者理解何时值得投入计算资源进行顺序搜索,以及如何设计更有效的反思机制。对于正在构建长链推理系统的团队而言,论文的结论意味着:**与其盲目增加搜索步数,不如优先提升模型定位早期错误的能力**。

Anthropic7天前原文

## 背景:语言目标与空间关系的“假性接地” 在具身AI领域,紧凑世界模型通过语言目标(如“将红色方块放在蓝色方块左边”)来指导机器人理解空间关系,并利用**参考锚点**(reference anchors)实现关系接地。然而,最新研究揭示了一个严重陷阱:模型可能并非真正感知空间关系,而是**转录指令中的答案**,即“指令泄露”现象。 ## 核心发现:0.90 准确率背后的幻觉 论文《Grounding Spatial Relations in a Compact World Model: Instruction Leakage and a Goal-Free Dynamics Fix》通过实验发现,一个目标条件预测器在关系读出任务上达到了惊人的 **0.90 准确率**,但这本质上是**指令转录**而非感知。当移除目标指令时,准确率骤降至 **0.27**(三组实验种子平均);而输入反事实指令时,预测的锚点 **94.5%** 遵循虚假指令,仅 **2.3%** 符合真实场景(N=256)。 ## 泄露机制:当指令直接命名答案 研究团队在桌面环境和BabyAI基准测试中均观察到泄露现象。其核心机制是:**当指令直接命名了待评估的答案时(例如“左”或“右”),模型倾向于直接从指令中提取答案,而非依赖感知输入**。而在Language-Table前向动力学世界模型中,由于指令仅命名参考对象(referents)而非方向,泄露未发生——直到指令被增强为包含方向信息。此外,降低动作预测质量并未增加泄露,这与“预测器竞争”假说相反。 ## 解决方案:将目标从动力学中剥离 论文提出的修复方案简洁而有效: - **将目标排除在动力学模型之外**:目标仅用于规划器的代价函数,不参与状态预测; - **监督读取路径**:确保关系读出路径独立于目标指令。 采用该方法后,模型在有无目标指令的条件下均达到了 **0.88** 的准确率,实现了真正的、指令无关的空间关系接地。 ## 行业启示 该研究对具身AI领域具有重要警示意义: - **评估指标需警惕“假性成功”**:高准确率可能掩盖模型对指令的过度依赖; - **检测协议可推广**:通过移除或篡改指令来验证模型是否真正理解任务; - **架构设计原则**:语言目标应仅用于规划,而非参与感知过程。 这一发现不仅适用于空间关系,也适用于任何目标条件世界模型中指令直接命名评估量的场景,为构建更鲁棒的具身智能系统提供了关键指导。

Anthropic7天前原文

大型语言模型虽已能端到端生成学术手稿,但现有系统普遍存在三大硬伤:生成的论断无法在可验证文献中确定性地溯源、实验结果经常被编造而非真实执行、缺乏标准化的多维评估框架来衡量AI生成稿件是否达到发表质量。近日,一篇发表于arXiv的论文提出了**Prompt-to-Paper**——一个专为生物信息学设计的**多智能体框架**,通过三项集成创新直接回应了上述评估缺口。 ### 三大核心创新 **1. 确定性检索增强生成(RAG)管道** 系统采用章节感知的相关性评分与雪球引用扩展机制,将每个论断都锚定在60至100篇论文的可验证语料库中。与传统RAG不同,该管道确保每一条生成内容都有确切的文献支持,而非模型“凭空捏造”。 **2. 自主编码智能体** 该智能体能够**执行真实的计算生物学实验**,直接产出真实的数值结果,彻底取代了以往系统常见的合成或虚构输出。这意味着论文中的图表和数据均来自实际运行的程序,而非语言模型臆想。 **3. 八维自动质量评分器** 系统引入了一个标准化的质量评估工具,以已发表论文的近似参考统计量为基准,并附加明确的幻觉惩罚。评分器从八个维度对稿件进行打分,提供可重复的量化评价,从而驱动质量改进循环。 ### 质量提升循环 Prompt-to-Paper 内置了一个上下文丰富的修订器,每次迭代后,系统会根据当前质量得分选择三种研究动作之一(例如重新实验、调整写作或深入检索)。每十次迭代触发一次**深度研究循环**,重新运行实验并基于更强的输出重新撰写手稿。这一机制使得稿件质量在0-100分的尺度上平均提升**+17.96分**,最高提升达**+26.04分**。 ### 验证结果与成本 研究团队在五个生物信息学案例上验证了系统。所有五个案例均生成了符合投稿格式的PDF,且**零越界引用**。作为外部检查,一位人类评审员对五篇稿件给出了平均**7.0/10**的评分。更令人印象深刻的是,每篇论文的生成成本仅约**0.31美元**,远低于传统人工撰写或使用商业AI写作服务的花费。 ### 行业意义 Prompt-to-Paper 的出现标志着AI学术写作从“内容生成”向“可验证研究”的重要转变。它通过将文献溯源、真实实验执行与量化质量评估有机结合,有望大幅降低生物信息学领域的研究门槛,加速科学发现。然而,该系统目前仍局限于生物信息学子领域,其通用性和对复杂实验的适配能力尚待进一步检验。

Anthropic8天前原文

人工智能的可解释性一直是高风险领域(如工业物联网安全)落地的关键瓶颈。传统方法多聚焦于输入输出变量间的相关性,难以揭示系统行为的根本因果机制。针对这一问题,一项发表于 arXiv 的新研究提出了一种受统计力学启发的框架,通过能量模型对网络物理系统进行依赖感知的结构归因,无需显式恢复有向因果图,即可实现高精度、高鲁棒性的异常解释。 ## 因果归因的困境与新思路 在复杂的网络物理系统中,变量间常存在反馈回路和部分可观测性,导致传统的因果图恢复方法难以扩展。该研究团队指出,与其执着于重建有向结构,不如将系统视为一个能量平衡的整体——每个组件的状态变化都会引起系统能量景观的波动。通过分析这种能量变化,可以追溯出对异常行为贡献最大的变量,从而提供更稳健的解释。 ## 方法核心:能量景观与依赖归因 该框架的核心是将系统的联合状态映射到一个能量函数上,该能量函数通过图结构编码变量间的依赖关系。归因分数通过计算移除某个变量后能量景观的变化来获得,类似于物理学中“微扰理论”的思路。这种方法天然支持混合变量(连续与离散)的处理,并且能捕捉高阶交互效应,这是传统基于梯度或 Shapley 值的方法难以做到的。 ## 实验验证:工业物联网测试床 研究团队在一个包含连续传感器数据和离散控制信号的工业物联网测试床上进行了仿真实验。与多种基线方法(如 Integrated Gradients、Graph Attention 等)相比,新方法在归因准确率(提升约 15%)、对噪声的鲁棒性以及计算可扩展性上均表现出显著优势。值得注意的是,该方法虽不承诺完全恢复系统的生成动力学,但其提供的依赖感知解释已足够支撑异常诊断和预测性维护等下游任务。 ## 更广的应用前景 尽管论文以工业物联网安全为演示场景,但作者强调该框架同样适用于其他高维网络物理系统和社会技术系统——只要系统具有可建模的结构化交互。这为自动驾驶、智能电网、医疗物联网等领域的可解释 AI 提供了新的工具。 ## 小结 从“图”到“梯度”再到“能量”,这项研究跳出了因果图恢复的传统范式,用物理学的视角重新定义了结构归因。它的出现不仅提升了 AI 在关键基础设施中的可信度,也为可解释性研究开辟了一条“少即是多”的路径——有时,不追求完全的因果结构,反而能获得更实用、更高效的解释。

Anthropic8天前原文

大型语言模型作为AI导师的应用日益广泛,但在K-12教育场景中部署时,隐私、成本和对专有模型的依赖成为主要顾虑。小语言模型(SLM)提供了有前景的替代方案,然而如何为特定教育场景选择合适的模型仍是一大难题,尤其是当目标领域(如积木式编程)在模型训练数据中几乎不存在时。为此,研究者提出了 **CSTutorBench**——一个专门评估语言模型在VEX VR(积木式机器人编程环境)中担任计算机科学导师能力的基准测试。 该基准包含 **17个场景化问题**,依据基于成熟辅导与反馈研究构建的教学法评分标准进行打分,并采用“人在回路+LLM作为裁判”的流水线进行评估。初步测试覆盖了 **11个模型**(参数量从4B到120B),结果发现: - 模型在 **词汇和语气** 等表层标准上表现良好; - 但在 **深层教学行为** 上存在明显不足,尤其是 **避免直接给出答案** 和 **利用学生调试历史** 这两个方面。 有趣的是,**模型家族和指令微调方法** 比参数量更能预测辅导质量,尽管样本量有限限制了这一结论的强度。此外,基于最新教育提示工程研究的目标性提示修订,使 **11个模型中的10个** 得分提升。 这些结果凸显了 **情境特定、基于教学法的基准测试** 对于在教育部署中选择SLM的重要性。CSTutorBench为教育者和开发者提供了一个实用工具,帮助他们评估不同小语言模型在积木式编程辅导中的实际表现,推动AI助教在K-12场景中的安全、高效落地。

Anthropic8天前原文

近年来,大型语言模型(LLM)和视觉语言模型(VLM)的进步使得从自然语言描述自动生成参数化3D设计成为可能。一篇发表于arXiv的论文(编号2607.05573)对用于机械零件自动计算机辅助设计(CAD)生成的基础模型进行了实证研究,提出了统一评估流程和包含97个工程设计问题的基准测试,并引入了多模型文本到CAD框架LLMForge。 LLMForge集成了JSON模式验证、分析特征评分、网格合成和多轮迭代优化,在两种评估机制下进行测试:**IterTracer**使用Phong着色光线追踪渲染器,通过分析视觉指标(如轮廓IoU、孔可见性、边缘间隙、长宽比符合度)提供轻量级几何感知反馈;**IterVision**则用VLM语义评判器(Qwen2.5-VL-72B)替代分析评分器,通过思维链视觉推理评估渲染视图的空间一致性和设计意图。 在涵盖四种典型几何族(带孔和螺栓圈的板、多特征箱体、法兰圆柱和L型支架)的基准测试中,研究评估了七个基础模型:DeepSeek-V3.2、Qwen3-235B-A22B、Llama-3.3-70B、Gemma-3-27B、GLM-4.5、MiniMax-M2.1和INTELLECT。在IterTracer下,排名前四的模型得分紧密聚集(总体均值在0.885至0.890之间),网格生成成功率达98.97%,表明紧凑型指令微调模型可匹配甚至超越更大规模系统。基于VLM的IterVision机制在领先模型上实现了100%的水密网格生成,但揭示了旋转对称几何体(如圆柱)的系统性困难,其中视觉评分与语义评分差异最大。 论文讨论了基准设计、失败模式、面向CAD的提示工程,以及对工业工作流程和可扩展自动化机械设计的启示。该研究已被收录为Springer出版的《全球应用人工智能进展》一书章节。

Anthropic8天前原文

大型语言模型(LLM)在科学发现中的应用日益广泛,从构思、文献综合、实验规划到报告生成,AI助手正逐步渗透整个科研流程。然而,一个关键问题始终悬而未决:**AI提出的第一个研究问题是否经得起推敲?** 它可能听起来头头是道,但却隐藏了机制、可证伪条件或假设,使得科学家难以审计。近日,一篇发表于arXiv的论文提出了 **FirstResearch** 框架,旨在为LLM科学代理提供一种可审计的研究问题形成方法。 ### 核心创新:研究问题证书 FirstResearch 的核心产出并非一个简单的问题陈述,而是一份结构化的 **“研究问题证书”** 。该证书包含七个关键组成部分: - **原始定义**:明确问题涉及的基本概念。 - **假设**:列出问题所依赖的隐性或显性前提。 - **机制模型**:描述问题背后的因果或逻辑机制。 - **张力或矛盾**:指出现有知识中的缺口或冲突。 - **可证伪假设**:提出一个可以被实验推翻的具体假设。 - **最小决定性测试**:设计一个能验证假设的最简实验。 - **失败更新规则**:规定如果测试失败,如何修正问题。 通过这种结构化的呈现,科学家在进入下游执行(如实验、仿真)之前,就能对问题的合理性进行逐项检查。 ### 性能表现:超越多个强基线 研究团队在10个LLM代理研究主题上,将 FirstResearch 与基于 AI co-scientist、Agent Laboratory 和 AI Scientist-v2 的提示工程基线进行了对比。评估采用 **DeepSeek 作为盲审裁判**,结果显示 FirstResearch 在系统级排名上显著领先。随后,使用 **Gemini-2.5-Flash 作为独立裁判** 对相同的40个基线包进行重新评分,结果保持了相同的排名顺序:FirstResearch 得分 **4.86/5**,而最强基线得分为 **4.38/5**。两个裁判的平均分 Pearson 相关性高达 **0.865**,表明结果具有良好的一致性。 ### 消融实验:证书是核心 进一步的消融实验揭示了证书的核心作用:仅保留证书组件时,DeepSeek 评分达到 **4.90/5**,Gemini 评分达到 **4.88/5**;而移除证书后,两个裁判的评分均骤降至 **1/5 以下**。这明确表明,明确推导约束是提升可审计性的关键机制。 ### 局限与展望 作者谨慎指出,当前结果仍是初步的,且使用了LLM裁判而非人类领域专家。但这一工作为 **“使AI生成的研究问题更可审计”** 提供了有前景的方向。代码、提示、输出和复现脚本已开源,可供社区进一步验证和改进。 对于科研工作者和AI开发者而言,FirstResearch 不仅是一个工具,更是一种思维范式的转变:**在追求AI自动化的同时,确保每个步骤都透明、可审查**。这或许是构建可信赖科学AI的关键一步。

Anthropic8天前原文

语言代理的运行遵循“观察-推理-行动”循环,但长期以来,其依赖的记忆存储始终位于循环之外——每个轮次最多查询一次。一项来自arXiv的新研究挑战了这一设计惯例,提出将记忆**移入循环内部**,在每一步都进行读写操作。 传统观点认为,网络化存储的延迟(数十至数百毫秒)是主要障碍,可能导致端到端延迟增加**83倍**。然而,研究人员指出,延迟问题并非源于“循环内检索”这一模式本身,而在于**存储的位置**。他们提出使用**进程内存储**,其响应时间约为**100微秒**,比网络存储快三个数量级。在此速度下,每步检索的开销几乎可以忽略不计。 研究基于“扩展心灵理论”的**对等原则**:当一个存储设备足够快速且可直接访问时,它便不再是代理偶尔查阅的工具,而是成为了**扩展工作记忆**的一部分。因果实验表明,在固定每步记忆延迟预算的情况下,**冗余行动数量随延迟增加而单调上升**:在进程内速度下,12个任务中冗余行动为**0.0**;而在110毫秒云往返延迟下(使用GPT-5-nano和GPT-5-mini),冗余行动达到**7.2**(精确置换检验p=0.0079)。 端到端测试在四种GPT-5类模型上展开,结果显示:在有限窗口下,使用循环内记忆后,召回率从**0/5**提升至**3.6–4.8/5**,存储操作的中位延迟为**80–165微秒**。值得注意的是,一个要求“每次回复都复述事实”的基线方法也能完美解决问题,但代价是**令牌消耗随工作集增长而激增**。 研究进一步发现,存储本身从未丢失任何事实(244次写入全部保留),所有缺失均源于代理的**读取策略**而非存储故障。此外,测量揭示了真正的瓶颈:**嵌入生成**占据了主要成本(网络环境下约200–400毫秒)。通过将进程内存储与小型本地嵌入器配对,完整操作延迟可降至约**40微秒**。 这项研究不仅挑战了语言代理记忆系统的设计范式,也为构建更高效、更可靠的自主代理提供了明确的技术路径。

Anthropic8天前原文

大型语言模型(LLM)驱动的智能体系统正在变得日益复杂,它们需要跨多轮对话、工具调用乃至跨会话工作流持续积累上下文。然而,传统做法——为每次请求重放完整历史——正变得不切实际:长上下文不仅增加了预填充(prefill)成本,可能超出上下文窗口限制,更会将任务相关的关键证据淹没在无关内容中,同时损害服务效率与输出质量。针对这一痛点,来自学术界的研究团队提出了 **Akashic**,一个围绕 **MemAttention** 构建的低开销内存系统,旨在以更智能的方式管理长上下文,显著提升推理效率与任务准确性。 ### MemAttention:分块记忆与语义关联 Akashic 的核心创新在于 MemAttention 机制。它不再将整个对话历史视为一个不可分割的连续序列,而是将上下文组织成**有界的分块(chunks)**,并显式建模跨分块之间的语义关系。这种方法的关键优势在于:它能够**保留跨分块的关键证据**,而无需每次都重写完整的历史记录。当智能体需要回溯之前某个工具调用的结果或几轮对话前的用户意图时,MemAttention 可以直接定位到相关分块,而不是在海量文本中“大海捞针”。 ### 软硬协同:减少检索碎片化与I/O开销 除了核心算法创新,Akashic 还采用了**硬件-软件协同设计的内存放置策略**。系统会分析分块之间的共现模式,将那些**很可能被同时检索到的分块在物理存储上“就近”放置**。这种设计有效减少了检索过程中的碎片化问题,并大幅降低了 I/O 开销。在分布式推理场景中,这意味着更少的数据跨节点搬运,从而节省带宽、降低延迟。 ### 性能数据:准确率提升10.2个百分点 研究团队在四个代表性工作负载和三种不同规模的模型上进行了评估。结果显示,与当前最先进的记忆基线方案相比,Akashic 实现了多项关键指标的显著提升: - **任务准确率**最高提升 **10.2 个百分点**; - **吞吐量**提升高达 **1.21 倍**; - **可持续请求率**(即在保持服务质量的前提下能处理的最大并发请求数)提升高达 **1.88 倍**。 这些数据表明,Akashic 不仅在准确性上优于现有方法,而且在系统效率方面也有质的飞跃,能够支撑更大规模的 LLM 智能体服务。 ### 行业意义与展望 长上下文管理一直是 LLM 落地中的核心挑战之一。现有方案如滑动窗口、稀疏注意力或简单的摘要压缩,往往在信息完整性和计算效率之间难以两全。Akashic 提出的“分块+语义关联+协同放置”的组合思路,为这一难题提供了一个优雅且高效的解决方案。 对于正在构建复杂智能体应用的开发者而言,这项技术意味着:他们可以更自由地设计需要长期记忆和工具协作的工作流,而无需担心上下文爆炸或性能瓶颈。Akashic 的研究成果不仅停留在理论层面,其显著的性能提升数据已经展示了在真实生产环境中部署的巨大潜力。 随着 LLM 应用从简单的问答向复杂的自主代理演进,类似 Akashic 这样的高效记忆系统将成为基础设施的关键一环。未来,我们或许会看到更多融合了语义理解与系统优化思想的创新方案,共同推动大模型服务进入更高效、更智能的新阶段。

Anthropic8天前原文

长篇小说创作中,作家需要一种能够回答多跳问题的记忆系统,例如“谁在何时知道了某个秘密?”、“某个事件是否发生在揭示它的叙述之前?”、“某个伏笔是否得到呼应?”以及“人物关系如何变化?”。通用检索和智能体记忆系统虽然能表示实体和事实,但缺乏处理这些问题的叙事学结构,导致检索结果不相关或为空。 为此,研究人员提出了**叙事世界模型(NWM)**,一种专为作家设计的记忆系统。NWM 结合了基于叙事学的带类型的时间状态图与查询条件混合检索。为了评估记忆系统本身而非回答者的能力,研究团队使用固定的 Opus 4.8 阅读器,仅基于系统提供的章节安全证据进行测试,并在可复现的公共语料库和经过验证的多跳基准上进行对比。与当前最强的时序知识图谱智能体记忆框架 **Graphiti/Zep** 相比,NWM 在两个语料库上的多跳叙事学问答任务中均取得了显著且稳定的优势。其性能远超 GraphRAG 和平面检索。 实验表明,NWM 的优势源于其表征能力,而非提取过程的差异。即使使用 NWM 自身的提取器重建基线系统,NWM 仍然保持领先。这种优势主要归功于其基于叙事学的结构以及查询条件检索,而非图的大小或提取器质量。该研究为 AI 辅助写作提供了新的方向,展示了如何将叙事理论融入记忆系统以支持复杂的故事创作需求。 **核心贡献:** - 提出 NWM,一种将叙事学知识显式建模的记忆系统。 - 通过受控实验证明叙事结构对多跳问答的重要性。 - 为 AI 在长文本创作中的应用提供了新的评估基准和方法。

Anthropic8天前原文

通用型具身智能体需要理解多模态指令、预测环境变化并生成精准的长时间控制动作。现有方法通常专精于视觉-语言推理、视频世界建模或动作生成中的某一项,而先合成未来观测再推断动作的级联流程容易引入接口瓶颈和复合预测误差。 近日,科大讯飞研究团队在 arXiv 上发表了题为 **《iFLYTEK-Embodied-Omni Technical Report》** 的技术报告,提出了一种名为 **iFLYTEK-Embodied-Omni** 的统一多模态基础模型。该模型在单个全模态框架内联合建模视觉(视频和图像)、语言和动作,其视觉-语言、视频生成和动作生成三个模块通过共享的多模态自注意力机制进行通信。 ## 大脑-小脑协作架构 该设计构建了 **“大脑-小脑协作”** 机制: - **视觉-语言模型(VLM)和视频生成模型(VGM)** 充当高级“大脑”,负责指令理解、任务规划、进度跟踪以及未来视觉状态预测; - **动作生成模型(AGM)** 则作为低级“小脑”,直接将规划好的子目标和共享的多模态上下文转换为可执行的动作片段。 这种架构避免了传统级联方法中因先合成未来观测再推断动作而导致的错误累积,实现了感知、推理与执行的端到端协同。 ## 四阶段训练策略 为了开发这些能力,研究团队构建了包含**动作标注和未标注的具身视频**(来自人类演示和机器人交互)、**具身推理数据**、**具身感知数据**以及**通用图像-文本数据**的综合数据集。训练采用**四阶段渐进式策略**: 1. 预训练视觉-语言模型 2. 预训练视频生成模型 3. 预训练动作生成模型 4. 联合微调完整模型 这种分阶段训练方式有助于各模块先获得领域专长,再通过共享注意力进行协同优化。 ## 行业意义 iFLYTEK-Embodied-Omni 的提出标志着具身智能从“分而治之”的专用模型向“统一框架”迈出了重要一步。随着机器人、自动驾驶和智能家居等场景对通用智能体需求的增长,这种能够同时处理语言理解、环境预测和动作执行的统一模型,有望显著提升具身系统的泛化能力和鲁棒性。 目前该论文已在 arXiv 上公开,更多模型细节和实验性能有待后续披露。

Anthropic9天前原文

在AI对齐与参与式设计领域,**局部成对比较**(local pairwise comparisons)是一种常用工具,用于学习人们希望决策规则如何运作。然而,一项来自arXiv的最新研究(论文ID: 2607.02672)揭示了该方法背后的两个关键假设可能因**内部多元主义**(internal pluralism)而失效。 ## 核心问题:当一个人“内心分裂”时 传统成对比较假设:1)局部比较足以反映个人对全局决策规则的偏好;2)人们总能给出明确答案。但研究者指出,个体内心可能同时持有多种有权威的优先级(priorities),例如**比例性、平等主义、公平对待**等。这些优先级具有**全局性**:它们在某个案例中的含义取决于其他案例的上下文,因此局部比较可能无法捕捉全貌。 ## 两种失败模式 论文通过形式化模型识别出两种典型失败: 1. **全局性优先级被忽略**:当优先级要求全局一致性时,局部比较会丢失关键信息。例如,一个偏好平等分配的人,在单独比较两个案例时可能表现出矛盾的选择。 2. **内部冲突导致的扭曲**:即使优先级可以局部表达,强烈冲突的优先级也会在强制比较时产生行为扭曲,例如被迫选择时出现不一致或压力下的非理性决策。 ## 允许“不确定”的力量 研究者进一步探索了替代方案——允许人们报告“无法决定”。模型表明,**允许不确定性能显著减少准确学习偏好所需的查询次数**。这启示我们:与其强迫用户做出非此即彼的选择,不如设计能直接询问其核心优先级的方法。 ## 对AI对齐的启示 该研究直指当前AI对齐实践中一个被忽视的痛点:**人类偏好并非单一、一致的函数,而是多面且可能相互冲突的**。传统的成对比较方法可能产生误导性的对齐信号。论文建议开发新的偏好学习方法,直接**eliciting priorities(引出优先级)**,从而获得更忠实、可解释的价值模型。 这一工作为参与式设计、AI伦理与价值对齐提供了理论框架,提醒从业者:**在追求“让AI符合人类偏好”之前,需要先理解“人类偏好”本身的复杂性**。

Anthropic9天前原文

强化学习智能体在部分可观测环境下必须基于不完整信息做出决策,这使其天然适合从具备广泛推理先验的小型语言模型(SLM)中获取指导。然而,将SLM的指导融入此类设定一直困难重重——在所有测试环境中,传统的基于不确定性门控的方法的覆盖率(即SLM独立决策的比例)几乎为零。 最新发表于arXiv的论文《ASK in the Dark: Uncertainty-Gated LLM Assistance under Partial Observability》深入剖析了这一失败原因。研究者认为,问题并非出在模型能力不足,而在于上下文缺失:**裸自我中心的提示**(bare egocentric prompt)无法为SLM提供真正的推理所需的情境。为此,他们提出**ASK+**方法,为SLM提供轨迹感知上下文(包括部分揭示的地图、已访问位置和动作历史)以及结构化思维链推理,从而将SLM从被动的冗余检查转变为能偶尔纠正策略的“信息顾问”。 实验结果表明,ASK+在多个基准环境中取得了显著提升:在**DoorKey**任务中,成功率从PPO和原始ASK的89%提升至93%;在**FourRooms**任务中,成功率从53%跃升至70%;在**HigherLower**任务中,准确率达到73.7%,与仅使用SLM的上限持平。值得注意的是,在所有环境中,**Qwen3.5-2B**的表现均达到或超过了规模更大的**Qwen3.5-4B**,这充分说明提示设计和选择性门控对模型规模的影响更为关键,从而无需依赖大模型即可实现有效指导。 此外,研究还澄清了一个关键理论问题:用于选择性查询的预测熵信号衡量的是动作不确定性而非状态不确定性,并且在部分可观测马尔可夫决策过程(POMDP)中依然保持信息量,这使得不确定性门控辅助能够适用于完全可观测设定之外的更广泛场景。 该工作已被**IJCAI-ECAI联合研讨会**接收,为在部分可观测环境中高效利用小型语言模型提供了新的思路——通过精心设计的上下文提示和不确定性门控机制,小模型也能成为强化学习智能体在“黑暗中”的可靠向导。

Anthropic9天前原文

领导力计算设施管理着大规模科学数据集,这些数据在用作AI训练数据之前通常需要大量转换。然而,现有框架未能完全统一自动化转换、就绪评估、来源追踪和智能体原生部署。我们提出REDI,一个开源框架,通过统一的五阶段流水线(摄取、预处理、转换、结构化和输出)来解决这一缺口,每个阶段都具备可重复性仪器化,并可部署为智能体可调用的技能;配套工具SetGo自动化FAIR合规和目录发布。在气候、蛋白质组学、材料科学和核聚变领域评估中,REDI将所有数据集从原始状态转换为AI就绪状态,输出经过领域专家参考验证,初步结果显示在Frontier超级计算机上气候用例实现了近理想的并行扩展至100个节点。来源追踪的性能分析揭示文件I/O是流水线的主要成本,格式选择是关键优化杠杆。这些结果确立了REDI作为跨领域平台,为科学AI提供自动化数据就绪,将数据准备瓶颈转化为可重复、可重用的社区资产。

Anthropic9天前原文