**WebGrader** 是一种新型的自演进程序化评分器,旨在解决大语言模型(LLM)在网页开发训练中的奖励设计瓶颈。通过自动生成可执行的交互流程(Flow Contract),并在真实浏览器环境中收集多维度证据,WebGrader 能够提供更准确的强化学习信号,显著提升模型的功能成功率。实验表明,在 WebGen-Bench 基准上,8B 参数模型的功能成功率达到了 **52.01%**,超越了多个更大规模的模型。 ### 背景:网页生成中的奖励困境 当前,LLM 已能根据自然语言描述生成完整网站,但功能正确性仍是一大挑战。强化学习(RL)是缩小这一差距的核心方法,而奖励设计则是关键瓶颈。传统的奖励方式包括手工编写的浏览器脚本和基于视觉语言模型(VLM)或 GUI 代理的评分器。前者虽然可执行,但难以覆盖开放式需求;后者虽然可扩展,但可能在观察到关键状态前就作出判断,导致奖励不准确。 ### WebGrader 的解决方案 WebGrader 提出了一种全新的思路:**自动从每个网站请求中推导出所需的交互流程**,并将其表示为可执行的“Flow Contract”。在训练过程中,WebGrader 会在真实浏览器中运行生成的网站,将目标操作与源代码和实时 DOM 对齐,并沿着浏览器轨迹收集视觉、DOM、响应和持久状态等证据。通过分离测试规划、操作定位、证据收集和语义判断,WebGrader 只有在观察到请求的状态转换后才会给出通过(Pass)判定,从而保证了奖励的可靠性。 此外,WebGrader 还引入了一个**残差驱动的离线循环**,用于发现可复用的验证器技能,并在不相交的验证页面上进行筛选,最终在策略训练前冻结这些技能图。这种机制使得评分器能够不断自我演进,适应更多样的任务。 ### 实验结果 在 WebGen-Bench 基准上,WebGrader 训练的 8B 参数策略模型达到了 **52.01%** 的功能成功率,比匹配的外观加脚本奖励高出 **7.88 个百分点**,并超过了 o4-mini 和 DeepSeek-v4-flash 等模型。在 WG-core-250 数据集上,该策略的满分(Full Score)达到 **44.953**,超过了 Qwen3-Coder-480B。这些结果表明,WebGrader 不仅提升了奖励的准确性,还显著增强了模型的网页开发能力。 ### 意义与展望 WebGrader 为 LLM 在网页开发领域的训练提供了一种可扩展且可靠的奖励机制,有望推动更复杂的交互式网页生成应用。未来,这种自演进评分器或许也能应用于其他需要多步骤交互的任务,如自动化测试和机器人控制。不过,该研究仍处于 arXiv 预印本阶段,其实际应用效果还有待进一步验证。
**EntropyMoE:熵感知稀疏专家路由,推动无分词器大语言模型新突破** 近年来,字节级大语言模型(LLM)通过将字节分组为动态大小的补丁(patch),逐渐展现出无需分词器的建模潜力。然而,现有字节补丁架构对所有补丁仍采用相同的稠密前馈计算,这导致模型容量无法根据补丁语义和粒度的变化进行自适应调整。针对这一局限,研究团队提出了 EntropyMoE,一种专为动态字节补丁设计的混合专家(MoE)架构。 EntropyMoE 的核心创新在于,将全局补丁 Transformer 中的稠密前馈模块替换为 Top-K 专家层,每个动态补丁作为专家路由的基本单元,其字节覆盖范围决定了工作量统计中的贡献。路由器直接根据补丁熵选择专家,利用与动态补丁构建相同的粒度信号来组织稀疏计算。补丁熵和长度共同定义了调节专家专业化的特征空间。 实验结果表明,EntropyMoE 在匹配的稠密和稀疏基线中取得了最低的保留字节困惑度(bits-per-byte),同时保持可比较的下游任务准确率。这些结果确立了补丁熵作为稀疏条件计算的有效路由坐标,并将 MoE 建模扩展到基于分词器的表示之外。 该研究由 Bo Liu、Muxuab Yu、Yu Zhang、Pengfei Gao 和 Yongping Zhang 共同完成,论文已提交至 arXiv(编号:2608.06398),并于 2026 年 7 月 31 日发布。 这一进展对于 AI 行业具有重要意义。一方面,无分词器模型有望消除传统分词器带来的词汇表限制和语言覆盖不均问题,提升多语言和低资源语言的处理能力;另一方面,MoE 架构的引入使得模型能够更高效地分配计算资源,为构建更大规模、更高效的 LLM 提供了新思路。不过,该研究仍处于预印本阶段,其在实际应用中的表现和扩展性尚需进一步验证。未来,我们期待看到 EntropyMoE 在更多场景中的测试,以及它如何与现有的模型压缩和加速技术相结合。
奖励模型是从人类反馈中学习的关键,但理解其预测依据一直是个难题。近期,稀疏混合专家(MoE)奖励模型通过将提示路由到专门专家,并利用高路由权重的示例来刻画专家行为,试图提升可解释性。然而,路由权重仅能揭示专家"接收"了哪些提示,却无法说明它如何"评判"响应,因此只能提供部分行为解释。为此,研究者提出了**贡献对比(CoCo)**方法,一种响应级解释技术,通过选择具有最大贡献差异的"选中-拒绝"响应对来忠实刻画专家角色,同时捕捉路由和偏好行为。自动与人工评估显示,CoCo相比基于路由、基于分数和基于稀疏自编码器的替代方法,能产生更连贯、更忠实且更专门化的解释,同时保持有竞争力的奖励建模精度。据作者所知,这是首个针对MoE奖励模型解释方法的系统性研究。 该研究由Yifan Wang、Jinyi Mu、Mayank Jobanputra、Yu Wang、Soyoung Oh、Isabel Valera和Vera Demberg共同完成,论文以arXiv:2608.06400发布。 ## 背景:MoE奖励模型的解释挑战 奖励模型在强化学习与人类反馈(RLHF)中扮演核心角色,但它们的内部决策过程往往如同"黑箱"。稀疏MoE架构通过将输入路由到不同的专家网络,旨在提升效率与专业性,但同时也引入了新的解释维度:我们不仅要理解每个专家擅长什么,还要知道它们如何影响最终的奖励分数。传统方法依赖路由权重,即通过统计哪些提示被分配给哪个专家,来推断专家的功能。但这种方法存在明显局限——它只能告诉我们专家"看到了什么",却无法揭示专家"如何评价"。 ## CoCo方法:响应级解释的新思路 CoCo的核心创新在于,它不再仅仅关注路由分配,而是将注意力放在**响应对的贡献差异**上。具体来说,CoCo会寻找那些让某个专家产生最大贡献差异的"选中-拒绝"响应对,即该专家对选中响应的贡献远高于对拒绝响应的贡献。这样的响应对最能体现该专家的偏好特征,从而更准确地刻画其在奖励评估中的角色。 这种方法同时考虑了路由行为和偏好行为,弥补了路由权重解释的不足。实验表明,CoCo生成的解释在连贯性、忠实性和专门化程度上都优于现有的替代方案,包括基于路由权重、基于得分和基于稀疏自编码器的方法。同时,使用CoCo解释的模型在奖励建模精度上并未妥协,保持了与原始模型相当的性能。 ## 意义与展望 这项研究首次系统地探讨了MoE奖励模型的解释方法,为理解这类复杂模型提供了新的工具。CoCo不仅有助于研究人员验证模型是否按照预期工作,还能帮助识别潜在偏见或错误,从而改进模型设计。未来,该框架可能扩展到其他类型的MoE模型,甚至用于解释多模态或更大型的模型。 尽管CoCo展示了令人鼓舞的结果,但作者也指出,解释的忠实性仍依赖于响应对的选取质量,且不同任务可能需要调整对比策略。这一领域仍处于早期阶段,更多探索值得期待。
社区检测是图分析中的基础任务,旨在识别具有相似行为或兴趣的实体群组。传统方法在复杂图结构上表现不佳,深度学习方法虽提升了性能,却牺牲了可解释性,且依赖标注数据和训练过程。大语言模型(LLM)凭借强大的推理能力和世界知识,为可解释、无标签的社区检测带来了新可能。 近期,一项发表于 arXiv 的研究提出了 **LUCID**,一种由 LLM 引导的可解释、无需训练、无监督的社区检测方法。该方法受自然系统中相变动力学的启发,将社区检测设计为四个阶段的流程,让 LLM 将隐式知识转化为显式、可解释的逻辑规则。 ## 四阶段流程 LUCID 的流程包括: - **局部视图社区初始化**:利用 k-ego 上下文和无监督节点角色编码局部图结构。 - **多因素社区合并**:使用 LLM 诱导的规则迭代合并局部社区。 - **多粒度社区细化**:并行应用 LLM 诱导的从粗到细的规则,减少边界噪声。 - **全局视图社区选择**:基于拓扑紧凑性和边界清晰度识别高质量社区。 这一设计完全摆脱了对标注数据的依赖,同时保持了过程的可解释性。 ## 性能与意义 在真实数据集上的大量实验表明,LUCID 作为无监督方法,取得了当前最优的性能,并持续优于领先的无监督和半监督基线。这验证了 LLM 在无监督图分析任务中的巨大潜力。 LUCID 的意义不仅在于性能提升,更在于其可解释性。传统深度学习方法常被视为“黑箱”,而 LUCID 通过 LLM 生成的规则,让用户能理解社区形成的原因。这对于需要审计和信任的应用(如社交网络分析、生物网络研究)尤为重要。 ## 局限与展望 尽管 LUCID 表现出色,但论文未提及计算成本与可扩展性等细节。未来工作可能包括优化 LLM 推理效率、扩展到更大规模图,以及探索在动态图上的应用。 总体而言,LUCID 为社区检测提供了一种新颖的范式,展示了 LLM 在无监督、可解释图分析中的潜力。随着 LLM 能力的提升,这类方法有望在更多领域落地。
**ADIAS 框架提出“问题中心”优化范式,显著提升智能体自动化设计效率** 近日,一篇题为《ADIAS: Automated Design of Interactive Agentic Systems》的论文在 arXiv 上发布,提出了一种全新的自动化智能体设计框架。该研究由 Lekang Jiang、Bohan Tang、Stephan Goetz 和 Yiwen Guo 共同完成,旨在解决现有自动化智能体设计方法中的核心痛点。 ### 现有方法的局限 传统的自动化智能体设计(如基于候选智能体的迭代优化)通常以“候选中心”的方式组织跨轮次经验。每一轮迭代中,系统会生成多个候选智能体方案,对其进行评估,并将反馈汇总用于下一轮改进。然而,这种模式存在三个明显问题: - **修复目标不精准**:跨轮次的改进经验围绕候选方案展开,导致系统难以精准定位真正需要修复的环节。 - **部分进展整合缓慢**:有价值的局部改进难以在后续轮次中快速累积和复用。 - **无效干预传播**:某些无效的调整可能被错误地延续到后续迭代中,降低整体优化效率。 ### ADIAS 的创新:问题中心优化 针对上述问题,研究团队提出了一种全新的范式——“**问题中心智能体优化**”(Issue-Centric Agent Optimization)。与候选中心方法不同,该范式将修复进展显式地建模为持久的“问题状态”(Persistent Issue State),并以此指导后续优化,而非每轮从零开始重新推导。 ADIAS 框架包含两个核心机制: 1. **持久问题状态**:维护稳定的问题标识、生命周期状态、支持证据以及干预-结果历史。这使得系统能够持续追踪每个问题从发现到解决的完整过程。 2. **问题引导优化**:基于持久问题状态,联合提出下一轮的修复目标和修订方向,实现全代码级别的智能体设计修改。 ### 实验结果与性能提升 研究团队在五个交互式基准测试上对 ADIAS 进行了评估,结果显示: - 与最强基线相比,ADIAS 平均性能提升 **25.2%**。 - 在四种不同的骨干模型上均取得了一致的性能增益。 - 消融实验表明,移除持久问题状态或用候选中心策略替代问题中心修订,会导致性能下降高达 **40.7%**。 这些数据充分证明了问题中心优化范式的有效性。 ### 行业意义与展望 ADIAS 的提出为自动化智能体设计领域提供了新的思路。在人工智能日益复杂的今天,智能体系统的自动化设计能够大幅降低人工干预成本,提升开发效率。ADIAS 通过显式建模问题状态,使得优化过程更加透明、可控,有望在复杂任务求解、多智能体协作等场景中发挥重要作用。 未来,研究团队计划进一步探索 ADIAS 在更多实际应用中的潜力,并优化其计算效率。该论文的详细内容可在 arXiv 上获取(arXiv:2608.06410)。
多模态大语言模型(MLLMs)在各类视觉-语言任务中表现出色,但其推理效率受制于大量视觉标记的处理开销。视觉标记剪枝能有效降低计算成本,但前提是准确评估每个标记的重要性。近期研究显示,语言模型中层的文本到视觉注意力可作为剪枝的有效指导,通常的做法是选取一个固定的中间层,利用其注意力分数筛选需要保留的视觉标记。然而,这种方法存在两个关键问题:**其一,不同样本所对应的最优注意力层差异显著**,固定层难以适应所有情况;**其二,获取中间层注意力需要先处理大量视觉标记,计算开销已经产生**,削弱了剪枝带来的收益。 针对上述挑战,来自北京航空航天大学等机构的研究团队提出了一种名为 **Middle-layer Attention Prediction(MAP)** 的方法。MAP 的核心创新在于**引入“问题对比教师选择”机制**:通过对比原始问题和参考问题下的注意力差异,为每个样本动态挑选最合适的教师层,再将该层的注意力知识蒸馏到一个轻量级预测器中。该预测器能够直接从多模态输入特征中估算视觉标记的重要性,无需实际计算注意力图。在推理阶段,MAP 结合预测的重要性分数与多样性准则,在进入语言模型第一层之前就完成视觉标记的剪枝,从而与现有的推理加速技术无缝兼容。 在 LLaVA-NeXT-7B 模型上的十项基准测试中,MAP 仅保留 **5.56%** 的视觉标记,便维持了未剪枝模型 **97.5%** 的性能,同时实现了 **3.09 倍** 的端到端加速。这一结果表明,MAP 在保持模型性能的同时显著提升了推理效率,为多模态大模型在实际场景中的部署提供了新的可能性。 ## 深度解析:为什么固定层不可靠? 传统方法依赖固定的中间层注意力,但研究团队通过分析发现,**不同样本对注意力层的敏感性差异极大**。例如,在回答“图中有什么颜色?”这类简单问题时,浅层注意力可能已足够;而面对“图中的物体在做什么?”这类复杂推理时,深层注意力才更有效。因此,固定层往往只能覆盖部分样本,导致剪枝效果不稳定。 ## MAP 的解决之道:动态教师 + 轻量预测 MAP 通过对比原始问题与参考问题(如“描述这张图片”)的注意力差异,识别出对当前问题最敏感的层,将其作为教师。随后,通过知识蒸馏,将教师层的注意力模式压缩进一个轻量预测器,该预测器直接由多模态输入特征生成重要性分数。这样一来,推理时无需计算任何注意力图,极大减少了计算负担。 ## 实际应用与前景 MAP 的设计使其易于集成到现有 MLLMs 中,且不干扰其他加速技术(如 KV 缓存压缩)。未来,该方法有望成为多模态模型高效推理的标准组件,尤其适用于图像密集、需要实时响应的应用场景,如自动驾驶、智能助手等。不过,研究者也指出,当前方法在极端剪枝率下的性能保持仍有待提升,未来将探索更精细的多样性控制策略。 总之,MAP 通过动态选择教师层和轻量预测,有效解决了视觉标记剪枝中的关键痛点,为多模态大模型的效率优化提供了新思路。
随着在线虚假信息的泛滥,开发可扩展的检测系统成为当务之急。传统方法多依赖表面语言特征或外部知识检索,但最新研究提出了一种全新视角:将真实性视为语言模型表征空间中的几何属性。来自巴西的研究团队在arXiv上发表的论文《Latent Fact-Checking: Detecting Misinformation through Activation Engineering》中,提出了一种基于激活工程的虚假信息检测框架,无需微调模型,也无需外部证据,仅通过分析模型内部的激活模式即可判断陈述的真伪。 ## 核心方法:对比激活加法(CAA) 该方法基于**对比激活加法(Contrastive Activation Addition, CAA)** 原理,通过配对的真假陈述激活差异,在残差流中提取一个"虚假方向"。具体而言,研究团队利用配对数据,计算模型在处理真实与虚假陈述时最后一层token激活的均值差异,从而得到这一方向向量。在推理阶段,将待检测陈述的最后一层token激活投影到该方向上,再将投影后的表征输入一个多层感知机(MLP)进行分类。整个过程无需微调骨干模型,无需外部知识检索,也无需任务特定的监督信号,仅依赖用于估计方向的对比对。 ## 实验结果:跨模型与基准的验证 研究团队在**Gemma、Llama和Qwen**三个系列的**11个模型**上进行了评估,参数规模从**2.7亿到120亿**不等,并在**AVeriTeC、LIAR和FACTors**三个事实核查基准上测试了方法。实验结果显示,虚假方向在不同模型规模和架构中均可恢复,且最后一层token的投影在LIAR和FACTors上匹配或超越了零样本和少样本提示基线,尤其是在较小模型上提升显著。然而,在AVeriTeC上的表现较为有限,研究团队将其归因于该基准基于证据的标注方案。 ## 意义与展望 这项研究为**可解释性驱动的虚假信息检测**提供了有力证据,表明真实性在预训练语言模型的潜在空间中是一个结构化的、线性可分的概念。该方法有望成为基于检索的检测管道的实用补充,尤其在资源受限或需要快速部署的场景下。未来,该技术或可集成到社交媒体平台的内容审核系统中,实现实时、低成本的虚假信息识别。不过,研究团队也指出,当前方法在需要外部证据的复杂情境中仍有局限,未来工作将探索如何将激活工程与检索增强相结合,以进一步提升检测的鲁棒性。
## 噪声感知下的智能体风险感知决策策略:从生物到人工智能的启示 在真实世界中,感知系统不可避免地受到噪声干扰。无论是生物体还是人工智能系统,都需要在不完美的信息下做出关键决策。一项提交至2026年人工生命会议(ALIFE 2026)的最新研究,通过构建人工生命中的捕食者-猎物模型,系统探讨了智能体在面对噪声感知时的最优决策策略,揭示了盲目信任感知标签的潜在风险,并强调了不确定性感知在决策中的核心价值。 ### 研究核心:噪声感知下的决策策略对比 该研究由David Szczecina独立完成,论文预印本已发布在arXiv上(编号:arXiv:2608.06420)。研究团队构建了一个基于人工生命的捕食者-猎物模型,模拟了生物在噪声环境中觅食的场景。在这个模型中,智能体需要根据对环境的感知(如猎物或捕食者的位置)做出行动选择,而感知结果受到不同程度噪声的干扰。 研究者对比了多种决策策略,包括**盲目信任感知标签**的策略,以及**考虑预测不确定性**的策略。实验在**对称与不对称感知噪声**两种条件下进行,以全面评估不同策略的鲁棒性。 ### 关键发现:盲目信任是灾难的根源 实验结果显示,随着噪声水平的增加,**盲目信任感知标签的智能体会遭遇灾难性失败**,生存率急剧下降,致命错误频发。相反,那些**采用不确定性感知策略**的智能体,能够显著提升生存概率,并有效减少致命错误的发生。 更引人注目的是,研究观察到智能体行为存在**定性上的相变**:随着不确定性的增加,智能体的行为从**探索性**转向**保守性**。这一现象与生态学中风险敏感觅食理论相呼应,表明在不确定环境中,个体倾向于规避风险,减少不必要的冒险。 ### 理论意义与人工智能关联 这项研究将**风险敏感的觅食行为**、**生态信息利用**与**人工生命**领域联系起来,通过显式信息收集机制,证明了在感知不可靠时,主动获取信息可以显著增强系统的鲁棒性。 更重要的是,该模型为**噪声标签下的鲁棒学习**提供了一个可解释的人工生命类比。在现实世界的机器学习应用中,训练数据往往包含错误标签,而如何设计对噪声鲁棒的算法是一个长期挑战。这项研究表明,借鉴生物系统的决策策略——即意识到感知的不确定性并据此调整行为——可能为改进人工智能系统提供新的思路。 ### 结语 这项研究不仅加深了我们对生物决策机制的理解,也为设计更加稳健的人工智能系统提供了启示。在日益复杂的应用场景中,让智能体学会“承认自己不知道”并采取相应策略,或许比追求完美的感知更为重要。随着人工生命与机器学习领域的交叉融合,我们有望看到更多这样的跨学科研究,为解决现实问题提供新视角。
在 AI 安全与对齐研究的前沿,一个反直觉的发现正引发关注:**给大模型裁判更多算力,并不等于让它检查更多要求**。来自卡内基梅隆大学等机构的研究者(Victor Akinwande、J. Zico Kolter、Aran Nayebi)在最新论文中揭示了这一现象,并提出了一种简单而有效的干预手段——**分片(Sharding)**。 ## 从“多任务裁判”到“分片小组” 论文指出,当单个 LLM 调用需要同时返回多个裁决时,部分决策会变得缺乏证据支撑,即便该调用获得了与多个独立调用相同甚至更多的 token 或工具预算。在专家评分的研究复现、法律文书审查和临床试验评估中,**单次调用裁决数量越多,与专家的一致性就越低**。 分片策略将要求拆分成更小的组,每组分配给独立的调用,最后汇总裁决。实验表明,与使用完整预算的单次调用相比,分片在保持模型、证据、总预算和每项决策预算不变的前提下,显著提升了与专家的一致性。更值得注意的是,**一个分片的较弱裁判,能够超越一个能力更强但采用整体判断的裁判**,甚至在后者获得完整预算时也能与之匹敌。 ## 对抗性鲁棒性:分片的另一重价值 除了提升监督准确性,分片还展现出对抗性鲁棒性。研究者设计了一种“最佳 N 选一”(best-of-N)对抗策略:攻击者保持底层工作不变,仅改变呈现方式,就能让过载的裁判对未真正满足的标准的接受度提高数倍。而分片在降低基线错误的同时,**有效消除了这种对抗优势**,即使攻击者的搜索范围扩大,过度接受率也保持在较低水平。 不过,分片并非万能。它无法防御针对每个标准分别说服裁判的攻击。论文发现,在这种情况下,**在分片之上叠加辩论式对立(debate-style opposition)** 能够抵御这种自适应重新优化。 ## 对 AI 对齐的启示 这项研究为 AI 监督机制的设计提供了重要洞见。在依赖 LLM 进行自动评估和审核的场景中,简单的任务拆分可能比堆砌算力更有效。它提示我们,**监督的质量不仅取决于模型能力,还取决于任务的结构化方式**。未来,分片或成为模型对齐工具箱中的标准组件,尤其在法律、医疗、科研等高风险领域,其价值尤为突出。 当然,研究仍处于 arXiv 预印本阶段,尚未经过同行评审,但其方法和结论为后续探索奠定了基础。如何在更复杂的任务中动态确定分片粒度,以及分片与辩论机制的结合如何扩展,都是值得关注的方向。
生成模型能够完美复现观测数据的分布,但这并不意味着它真正理解了数据背后的因果机制。一篇来自 arXiv 的新论文提出了一个发人深省的问题:当生成模型编码了错误的因果结构时,我们如何通过干预实验来揭露它?答案或许在于一场精心设计的“猫鼠游戏”。 ## 游戏规则:当生成器遇上对抗实验者 论文作者 Mojtaba Eslami 引入了一个**对抗式因果干预验证(ACIF)**框架。在这个框架中,一个结构因果生成器不断提出观测分布和干预分布,而一个对抗性的实验者则选择特定的干预手段,旨在最大程度地“证伪”生成器。这里的判别器不再是简单的“真实 vs 合成”分类器,而是由干预索引,专门检验生成器能否复现干预后的分布。 这个框架的核心洞见在于,**仅仅匹配观测分布是不够的**。一个生成模型可能完美拟合数据,但其内部因果结构却与实际不符。ACIF 通过引入对抗性干预,迫使生成器在更严苛的检验下暴露其因果假设的缺陷。 ## 理论突破:从可辨识性到均衡策略 对于有限的模型和干预类别,论文证明了几个关键结果: - **目标函数化简**:对抗性目标可精确简化为最坏干预下的积分概率度量(IPM),这为优化提供了清晰的数学基础。 - **干预等价识别**:模型可以被识别到干预等价类,而在分离干预族下可实现点识别。这意味着,通过精心设计的干预,我们不仅能判断模型对错,还能逐步逼近真实因果结构。 - **均衡存在性**:在混合策略下,对抗博弈存在纳什均衡,这为理论分析提供了稳定性保障。 - **有限样本保证**:论文给出了均匀收敛和基于间隔的模型选择保证,以及在对数级别上消除不一致模型的序贯设计策略。 这些理论结果并非纸上谈兵。论文展示了一个完整的线性高斯示例,其中两个观测上不可区分的因果方向,仅凭一个精心选择的干预就能被清晰分离。这直观地说明了**干预实验在因果发现中的不可替代性**。 ## 实践意义:连接生成建模与实验设计 ACIF 框架的意义不仅在于理论层面。它为因果生成建模、主动因果发现和实验设计之间搭建了一座桥梁。在实际应用中,研究人员可以利用这一框架来评估生成模型的因果可靠性,并指导实验设计,以最少的干预次数获得最大的因果信息。 当然,当前工作主要聚焦于理论证明和有限场景。未来,将 ACIF 扩展到更复杂的模型(如深度生成模型)和更大规模的干预空间,将是极具挑战且充满潜力的方向。 ## 结语 这篇论文提醒我们,生成模型的“强大”可能只是表象。在 AI 系统日益依赖因果推理的今天,确保模型不仅“知其然”,更“知其所以然”,变得愈发重要。ACIF 提供了一种对抗性的视角,帮助我们审视和验证模型的因果理解,从而推动更可靠、更可信的 AI 系统发展。
**固定与自适应拓扑深度算子网络:在Hausdorff局部凸空间上的函数测量** 深度算子网络(DeepONet)是学习函数到函数映射的强大工具,但传统方法通常依赖固定离散化上的点值采样,这限制了其泛化能力和对非标准输入空间的适应性。近期,来自布朗大学的Khemraj Shukla和George Em Karniadakis提出了一种新框架——**固定与自适应拓扑DeepONet**,通过引入连续线性泛函测量,将算子学习推广到更一般的Hausdorff局部凸空间。 该工作基于Ismailov提出的拓扑DeepONet框架,将点采样替换为从连续对偶空间$V'$中选取的连续线性泛函。这里,$V$的拓扑由一族点分离的半范数生成,而非单一范数,这使得框架能够处理非赋范空间,例如某些函数空间。研究者设计了固定和自适应两种测量系统,并结合Lee和Shin提出的系数空间两步法,同时引入仅训练解码器和正则化以稳定自适应坐标。 理论上,他们推导了离散误差分解,将误差分为测量误差、输出基误差和神经逼近误差,并给出了Barron率改进。实验评估覆盖了多个基准问题,包括反导数算子、非赋范局部凸输入空间、非均匀达西流、受控算子以及固定时间和时间演化的Navier-Stokes涡量算子。 在非均匀达西流问题中,功能模型在未见网格上保持了近分辨率无关的误差(5.5%-5.6%);在受控问题中,自适应测量将平均误差降至1.2%以下。对于固定时间Navier-Stokes问题,自适应拓扑DeepONet以128个功能坐标实现了1.685% ± 0.017%的平均相对$L^2$误差,成为基于DeepONet的最准确模型。而同等规模的傅里叶神经算子(FNO)虽然误差更低(0.832% ± 0.172%),但需要完整的64x64输入场,训练时间翻倍,峰值GPU内存高出10.7倍。 该框架提供了紧凑、可解释且可移植的坐标表示,适用于连续对偶空间,包括非赋范输入空间,为算子学习开辟了新的可能性。这一进展有望推动科学计算和机器学习在更复杂函数空间中的应用。
**多标签节点分类**是图学习中的一个重要且具有挑战性的任务,因为节点往往同时具有多种语义。现有方法虽然能有效建模多标签,但大多局限于同域场景,即模型在同一图域内训练和测试,导致跨域泛化能力有限。近年来,**图基础模型(GFMs)** 作为跨域学习的新范式崭露头角,但现有GFMs基于单标签假设,将所有节点视为仅含单一语义并嵌入为单个向量。对于多标签节点,这种表示本质上是用一个点近似多种语义,不可避免地导致语义纠缠,难以同时区分多个标签。 针对这一局限,研究者提出了**多语义基图基础模型(MSB-GFM)**,这是一个面向跨域多标签节点分类的框架。其核心创新在于引入**多语义基表示学习范式**,将每个多标签节点建模为多个语义基的自适应组合,从而灵活地表达多种语义。此外,模型还设计了**语义-结构双通道架构**,并结合**域对抗训练**,以实现有效的跨域知识迁移。大量实验验证了该模型的有效性。 这一研究的意义在于,它首次将图基础模型的能力扩展到多标签场景,为处理现实世界中复杂的多语义图数据(如社交网络中的多兴趣用户、知识图谱中的多类型实体)提供了新思路。尽管目前仍处于早期阶段,但MSB-GFM为未来的多标签图基础模型研究奠定了基础。 **背景与挑战** 传统的多标签节点分类方法(如基于图神经网络的方法)通常需要针对特定图域进行训练,当应用到新图域时性能大幅下降。而图基础模型旨在学习可迁移的图表示,但现有模型大多假设节点只有一个标签,无法处理多标签节点的语义复杂性。例如,在一篇论文引用网络中,一篇论文可能同时属于“人工智能”和“网络科学”两个领域,单向量表示难以清晰区分这两种语义。 **MSB-GFM的核心思想** MSB-GFM借鉴了多语义基的思想,类似于将每个节点表示为一组基向量的加权和,每个基向量对应一种语义。这种表示方式比单向量更具表达力,能够捕捉节点的多面性。同时,通过域对抗训练,模型能够消除不同图域之间的分布差异,从而提升跨域泛化能力。 **实验与展望** 论文在多个数据集上进行了实验,结果显示MSB-GFM在跨域多标签分类任务上优于现有方法。尽管该模型仍处于研究阶段,但其为多标签场景下的图基础模型提供了新的方向。未来,这一框架有望应用于推荐系统、生物信息学等领域,处理更加复杂的多标签图数据。
图神经网络(GNN)在推荐系统、药物发现和社交网络分析等领域表现卓越,而全图训练模式因其高精度备受青睐。然而,当扩展到多服务器集群时,全图训练面临严峻的通信瓶颈:节点间需要频繁交换嵌入向量,这种交换不规则且数据量大,严重制约了训练效率。 针对这一难题,来自香港科技大学(广州)等机构的研究者提出了 **SNI-GNN** 系统,其核心思路是**将部分计算任务卸载到智能网卡(SmartNIC)上,在网络中直接预测远程节点的嵌入**,从而大幅减少跨节点的数据传输。该研究成果已被数据工程领域顶级会议 **ICDE 2026** 接收。 ## 工作原理:让网络参与计算 SNI-GNN 的关键创新在于,它不再被动地等待远程节点发送嵌入,而是利用 SmartNIC 上的轻量级**线性趋势预测器**,基于缓存的历史嵌入来推断当前时刻的嵌入值。这种预测机制配合**基于重要性的边界节点采样策略**,能够优先处理对模型收敛影响更大的节点,从而在保证精度的同时显著降低通信量。 此外,系统还设计了**异步 DPU-GPU 数据流水线**和中间结果复用机制,进一步提升了整体吞吐量。研究者提供了严格的误差和收敛性分析,证明在二阶动态有界的情况下,预测器的偏差可控,且算法仍能保证标准的非凸收敛性(允许不精确梯度)。 ## 实测表现:通信削减近半,训练加速显著 研究团队在 **NVIDIA BlueField-3** SmartNIC 上实现了 SNI-GNN,并集成到当前先进的全图训练系统中。实验结果显示: - **通信量减少 21%–45%**; - 相比 BNS-GCN,端到端训练速度提升 **1.3–3.6 倍**; - 相比基线 SANCUS,速度提升最高达 **1.29 倍**; - 精度损失不超过 **0.01**; - 在拥有数千万条边的图上可高效扩展至 **16 块 GPU**。 ## 意义与展望 SNI-GNN 表明,基于 SmartNIC 的网络内预测技术并非要取代现有的图分区或压缩方法,而是可以作为它们的**有效补充**,共同构建通信高效的全图 GNN 训练方案。这一思路为未来在更大规模集群上训练超大规模图模型提供了新的可能性。 随着数据中心网络硬件的不断升级,将部分智能融入网络基础设施,或许会成为分布式深度学习的一种重要范式。SNI-GNN 的发布,无疑为这一方向迈出了坚实的一步。
Hey HN!I'm excited to show off this really fun project I put together. I originally built this project 2-3 years ago, AI was already booming at the time, however voice AI agents were still very early. I loved my proof of concept at the time, but wasn't quite happy with it.I recently had th
OpenAI 宣布为 ChatGPT Business 推出全新的 **Premium 席位**,旨在满足团队对更高使用量和更少中断的需求。该高级席位提供 **5 倍于标准席位的使用量**,并 **取消五小时使用限制**,让最活跃的成员能够更专注于大型项目。 ## 价格与灵活性 Premium 席位定价为 **每月 125 美元/用户**(按年付费则为每月 100 美元),而标准席位保持每月 25 美元(按年付费为每月 20 美元)。企业可以在同一工作区内 **混合使用两种席位**,根据每个成员的工作需求灵活分配。 ## 限时优惠 为鼓励早期采用,符合条件的 workspace 所有者若在 **8 月 20 日前** 注册,每添加一个 Premium 席位可获得 **100 美元的工作区积分(2500 积分)**,最多可覆盖五个席位(即最高 500 美元)。部分客户还可能获得 **抢先体验** 的机会。 ## 提升生产力 Premium 席位旨在支持更复杂的工作负载,例如: * **业务所有者**:将销售报告、客户反馈和库存数据转化为运营计划。 * **营销人员**:从客户洞察中构建完整的营销活动。 * **开发者**:使用 Codex 在更大的代码库中构建、测试和改进功能。 此外,Premium 席位还提供 **可预测的每周使用重置**,并允许企业通过添加共享工作区积分来应对超出限制的情况。 ## 行业背景 随着企业对 AI 工具的依赖日益加深,OpenAI 此举旨在满足专业用户对更高性能的需求,同时保持企业级的安全性和管理性。这一分层定价策略也反映了 AI 服务从通用型向专业化、细分化发展的趋势。 对于需要处理高强度任务的团队而言,Premium 席位无疑提供了更强大的支持,但企业也需根据实际使用情况评估成本效益。
**Zapier的企业营销团队正在借助ChatGPT Work实现营销流程的自动化转型,从线索漏斗优化到活动素材构建,再到报告生成,大幅提升了工作效率与战略价值。** 在Zapier,企业营销团队面临着一个普遍挑战:大量高质量的入站线索伴随着同样高的流失率。为了找出问题所在,团队需要执行繁琐的质量保证(QA)和质量控制(QC)流程。然而,这一过程劳动密集,几乎不可能通过人工完成。ChatGPT Work的出现改变了这一局面。 ## 自动化漏斗优化:从不可能到可能 Zapier企业营销负责人Angela Ferrante发现,通过ChatGPT Work,团队可以自动对每月数千条线索进行QA/QC,而过去,单个人查看一条流失线索就需要35到45分钟。如今,系统不仅能识别所有线索问题,还能自动修复,并量化项目影响——每月为销售团队带来七位数的管道价值。此外,系统还提供执行仪表盘,显示线索管道中的常见问题和每周趋势。 ## 释放创造力:从构建到审核 ChatGPT Work还能深入Zapier使用的各种系统,自动构建营销活动素材,让团队只需审核和发布,几分钟内即可完成。Ferrante表示:“ChatGPT Work实际上可以进入我们用于构建活动的所有系统,并为我们完成构建。”这使得营销团队能将更多精力投入到战略性和创造性工作中。 ## 行业启示 Zapier的实践展示了AI代理在营销领域的巨大潜力:不仅优化了流程,还释放了人力,让团队专注于更高价值的任务。随着ChatGPT Work等工具的发展,企业营销的自动化程度将进一步提升,而Zapier的成功案例为行业提供了切实可行的范本。
维珍大西洋航空正在利用ChatGPT Work加速研究、产品规划和决策,帮助团队连接客户旅程中的关键信号。这家航空公司表示,通过这一工具,团队能够更高效地理解复杂的客户旅程,并提供更好的体验。 ## 客户旅程的复杂性 对于航空公司而言,客户旅程远不止预订航班那么简单。它涵盖了浏览、购买、值机、旅行、机上体验以及之后的反馈分享。每个阶段都会产生宝贵的信息,但这些信息往往分散在不同的系统和报告工具中。维珍大西洋航空通过ChatGPT Work来连接这些信号,帮助团队确定优先关注的重点。 ## 从数周研究到数小时 在制定新的五年战略时,维珍大西洋航空的数字产品团队需要一个清晰的竞争格局视图。传统上,评估多个竞争对手并详细梳理客户旅程可能需要数周的人工研究。使用ChatGPT Work后,团队创建了一个结构化框架,让其研究竞争对手的体验,追踪可用的客户旅程,并将发现整理成数据集以供审查。团队可以在早上开始工作,几小时后回来即可开始评估和优化结果。 维珍大西洋航空数字产品主管Nathan Bolt表示:“作为公司五年数字战略的一部分,ChatGPT Work帮助我们以更结构化、更高效的方式探索客户旅程和市场体验。它使我们的团队能够更快地比较旅程模式、发现机会,并将洞察转化为产品决策。过去可能需要数周的工作,现在可以加速到数小时内完成,帮助我们集中投资于对客户影响最大的领域。” ## 成果与未来展望 分析帮助维珍大西洋航空识别了其数字体验表现强劲的领域、需要保护的能力以及值得进一步投资的机会。这些发现为公司的五年计划提供了建议。此外,ChatGPT Work还帮助团队综合战略文档、客户洞察和其他关键信息,从而做出更明智的决策。 维珍大西洋航空的这一实践展示了生成式AI在企业级应用中的潜力,尤其是在处理复杂业务流程和提升决策效率方面。随着AI技术的不断成熟,预计将有更多企业采用类似方案来优化运营。
**深陷困境的AI对冲基金Situational Awareness逆势投资芯片初创公司Source Foundry 4亿美元** 尽管上个月被迫出售了大部分公开投资组合,但AI对冲基金Situational Awareness并未停下脚步。本周,该基金向芯片初创公司Source Foundry投资了**4亿美元**,使其对该公司的总投资达到**5亿美元**。这一消息由《华尔街日报》率先报道。 Source Foundry是一家由斯坦福大学研究人员创立的初创公司,旨在让芯片制造变得更快、更便宜。在当前全球芯片短缺和AI算力需求激增的背景下,这家公司的技术方向备受关注。 Situational Awareness由前OpenAI研究员**Leopold Aschenbrenner**于2024年创立,他当时只有二十多岁,没有任何交易经验。基金成立初期回报强劲,但近几个月因AI基础设施股票下跌而遭受严重亏损。截至7月底,该基金已将大部分公开投资组合出售给Ken Griffin的Citadel,但保留了Anthropic的股份。其管理资产规模从**200亿美元**降至**100亿美元**。 尽管遭遇挫折,Aschenbrenner并未放弃他的大胆押注。这笔投资表明,他仍然看好AI芯片领域的长期潜力。 行业分析人士指出,这笔投资可能是在利用市场低迷期进行逆向布局。随着AI模型对算力的需求不断增长,芯片制造技术的创新将成为关键竞争点。Source Foundry的独特技术若能成功,或将对现有芯片巨头构成挑战。 不过,也有观点认为,在基金规模缩减的情况下,如此大手笔的投资可能加剧流动性风险。Situational Awareness能否借此翻身,尚待观察。 值得一提的是,Aschenbrenner在个人生活方面并未受此影响,据报道,他的婚礼如期举行。 **小结**:这笔4亿美元的投资是Situational Awareness在困境中的一次重大押注,凸显了其对AI芯片领域的坚定信心。未来,Source Foundry能否兑现其“更快、更便宜”的芯片制造承诺,将决定这次豪赌的成败。
Anthropic 宣布,从 8 月 14 日起,Claude Code 的自动模式将成为 Pro、Max 和 Team 账户的默认设置。这一变化意味着,在编程过程中,Claude Code 将不再频繁请求人工批准,而是自动执行任务,除非该操作被判定为“不可逆、破坏性或超出环境范围”。 自动模式最初于 3 月作为测试版推出,旨在平衡速度与安全。Anthropic 在周五的公告中表示,自动模式在测试中比人工审查更安全:在一项涉及 1053 名付费测试者的研究中,自动模式捕捉了 89% 的有害操作,而人工审查仅捕捉了 13.6%。这可能是因为“人工审查会变得习惯性:用户在 Claude Code 中批准了 97% 的权限提示。” Claude Code 负责人 Boris Cherny 在 X 上表示:“我和团队已经独家使用自动模式好几个月了,我无法想象回到权限提示的时代!” Anthropic 还表示,他们一直在添加新的安全功能,如提示注入筛查和可自定义的硬拒绝规则,以防止数据外泄等问题。 这一变化反映了 AI 编程助手领域的一个趋势:从人工监督向自动化演进,以提高开发效率。然而,这也引发了关于安全性和控制权的讨论。Anthropic 的数据表明,自动模式可能比人工审查更可靠,但企业用户可能仍需谨慎评估其具体应用场景。 随着 AI 编程工具的普及,开发者需要适应新的工作流程,而 Anthropic 的这一步可能会引领行业标准。未来,我们可能会看到更多类似的功能,在减少人工干预的同时,确保代码质量和安全性。
**OpenAI 的一位战略家近日提出,AI 实验室应当拥有能与政府相抗衡的权力,这一观点在科技界引发激烈讨论。** 该言论出自 Hacker News 上一条热度颇高的帖子(52 分,62 条评论),尽管原始摘要未提供具体姓名与详细论证,但结合 AI 行业当前的权力格局,这一主张的争议性不言而喻。 ### 权力平衡的重新思考 长期以来,AI 的发展一直处于政府监管与商业利益的博弈之中。OpenAI 作为行业头部玩家,其内部人士公开发表此类观点,无疑将加剧外界对 AI 治理的担忧。**支持者认为,AI 技术的复杂度已超越传统政府机构的理解范畴,实验室作为技术前沿,理应拥有更多自主权**,以避免因监管滞后而错失发展机遇;**反对者则警告,缺乏制衡的 AI 权力可能导致伦理失范,甚至威胁民主制度**。 ### 行业背景与争议焦点 近年来,AI 实验室在算力、数据和人才上的集中度持续攀升,头部机构事实上已具备影响社会舆论、经济结构乃至国家安全的能力。此次言论的敏感之处在于,它直接挑战了“技术应当服务于公共权力”的传统观念。有评论者指出,**若实验室权力与政府权力形成对抗,最终受损的可能是普通公众**,因为两者均缺乏足够的问责机制。 ### 多方观点与不确定性 目前,OpenAI 官方并未就此言论作出正式回应,发言人的具体身份也未公开,因此其言论究竟是个人观点还是公司战略转向,尚不明确。**在 Hacker News 的讨论中,有用户认为这是对“AI 安全”的另一种解读——即实验室需要更强的话语权来确保技术不被滥用;也有用户质疑,这种论调可能为科技巨头逃避监管提供借口。** 值得注意的是,此类讨论往往伴随情绪化表达,但核心问题依然清晰:AI 时代的权力分配,究竟应该遵循怎样的逻辑? ### 小结 无论该言论最终被证实为何种立场,它都反映了 AI 行业内部对自身角色定位的深刻焦虑。**技术权力的膨胀与公共治理的滞后,构成了当下 AI 发展最尖锐的矛盾之一。** 随着 AGI 进程的加速,类似的碰撞只会更加频繁。对于公众而言,保持对技术权力的警惕与参与讨论,或许比简单站队更为重要。