SheepNav

AI 资讯

每日聚合最新人工智能动态

## 从固定库到动态演化:DreamProver 带来定理证明新范式 近年来,形式化定理证明(formal theorem proving)在人工智能领域备受关注。然而,现有方法面临一个两难困境:依赖固定引理库的系统缺乏灵活性,而针对单个定理合成高度特化引理的方法又难以泛化。近日,来自学术界的研究团队提出了 **DreamProver**,一种创新的智能体框架,通过“清醒-睡眠”(wake-sleep)程序归纳范式,让系统在迭代中自主发现并优化可重用的引理库,从而提升定理证明的效率和泛化能力。 ### 核心机制:交替的“清醒”与“睡眠”阶段 DreamProver 的工作流程分为两个交替进行的阶段: - **清醒阶段**:智能体利用当前的引理库尝试证明训练集中的定理,同时在证明过程中提出新的候选引理。这些候选引理可能来自证明路径中的中间步骤,是对当前库的补充。 - **睡眠阶段**:系统对清醒阶段积累的候选引理进行抽象、提炼和整合,通过压缩和优化来更新引理库。这一过程旨在去除冗余,保留那些具有高阶抽象能力和跨问题迁移价值的引理。 通过这种循环迭代,DreamProver 能够逐步演化出一套紧凑、可迁移的高层引理库,这些引理不仅适用于训练集,还能有效帮助证明未见过的相关领域定理。 ### 实验结果:成功率提升,证明更简洁,成本更低 研究团队在多个数学基准测试上评估了 DreamProver 的性能。实验结果显示,与基线方法相比,DreamProver 显著提高了证明成功率,同时生成了更简洁的证明,并降低了计算成本。这表明,动态学习并维护一个精炼的引理库,比固定库或特化合成都更具优势。 ### 行业背景与意义 形式化定理证明是数学和计算机科学交叉的前沿领域,也是人工智能在推理任务上的重要试验场。DreamProver 的“清醒-睡眠”范式借鉴了机器学习中的认知科学思想——类似记忆巩固与知识蒸馏的过程。这种智能体不仅能“解题”,还能“总结规律”,使得系统在面临新问题时,能够调用经过验证的高效工具,而非从零开始。 这一方向与近年来 **AlphaProof**、**Lean** 社区等推进的自动定理证明趋势一致。DreamProver 的贡献在于,它将引理库的构建从“人工设计”或“静态加载”转变为“动态进化”,为构建更通用、更高效的数学推理智能体提供了新思路。 ### 未来展望 尽管 DreamProver 已在多个基准上取得亮眼表现,但论文也指出,其当前引理抽象过程仍依赖预定义的启发式规则。未来工作可探索更强大的抽象策略,例如结合大型语言模型进行语义压缩,或引入强化学习来优化库的演化方向。此外,将 DreamProver 应用于更广泛的数学领域,甚至跨学科的形式化验证任务,也值得期待。 DreamProver 的出现,标志着形式化定理证明正从“被动查找”走向“主动学习”。对于 AI 领域而言,这不仅是技术上的突破,更是对智能体如何从经验中提炼知识这一核心问题的有益探索。

Anthropic3个月前原文

## 从准确率到推理深度:预测基准的进化 传统的预测基准测试往往只关注最终准确率,生成一份简单的排行榜,却无法揭示为何某些预测者更胜一筹。最新研究论文《Evaluating Strategic Reasoning in Forecasting Agents》引入了一个名为 **Bench to the Future 2 (BTF-2)** 的新基准,试图填补这一空白。BTF-2 包含 **1,417 个“过去预测”问题**,并附带一个冻结的 **1,500 万文档研究语料库**,智能体可在此语料库中进行可复现的离线研究和预测,生成完整的推理轨迹。 ## 核心发现:AI 的弱点在于“人”的维度 BTF-2 能够检测到低至 **0.004 Brier 分数** 的准确率差异,并区分不同智能体在研究能力与判断能力上的差异。研究团队构建了一个比任何单一前沿智能体准确率高出 **0.011 Brier 分数** 的预测器,并利用它来评估智能体的战略推理能力,避免了事后偏见。 结果令人深思:**表现更好的预测器** 主要差异在于它对自身盲点的 **“事前验尸”分析** 以及对 **“黑天鹅”事件** 的考量。而 **专家级人类预测者** 则指出,前沿智能体最主要的战略推理失败体现在三个方面: - 评估政治和商业领袖的动机 - 判断他们遵循既定计划的可能性 - 建模制度流程 ## 行业启示:AI 预测的现实瓶颈 这一研究对 AI 在金融、政策分析、风险管理等领域的应用具有重要意义。当前最先进的 AI 模型在处理涉及人类行为、政治博弈和复杂制度时,仍存在明显的推理短板。BTF-2 不仅提供了一个更精细的评估工具,更揭示了 AI 预测能力提升的关键方向——**不是单纯增加数据或计算量,而是需要改进模型对“人”的因素的建模能力**。 未来,AI 预测系统可能需要整合更多关于人类心理学、组织行为学和博弈论的知识,才能达到甚至超越人类专家的水平。

Anthropic3个月前原文

## 哥布林从何而来?揭秘GPT-5系列模型中的“小妖怪”现象 OpenAI 近期发布了一份技术复盘,详细解释了 GPT-5 系列模型为何会突然频繁使用“哥布林”(goblin)、“小妖精”(gremlin)等奇幻生物作为比喻。这一现象最初被当作无伤大雅的趣事,但随着模型迭代,问题逐渐累积,最终触发内部调查。 ### 现象爆发:从“可爱”到“可疑” 最早的可疑迹象出现在 GPT-5.1 发布后。用户反馈模型在对话中变得异常“套近乎”,并开始频繁使用哥布林、小妖精等词。内部数据显示,GPT-5.1 上线后,“goblin”一词在 ChatGPT 中的使用频率飙升了 **175%**,“gremlin”也上涨了 **52%**。当时团队并未特别在意,认为这不过是模型偶尔的“俏皮话”。 到了 GPT-5.4 阶段,情况急转直下。不仅用户报告增多,内部员工也注意到模型在代码生成(Codex)等场景中表现出对哥布林比喻的“偏爱”。首席科学家与 GPT-5.5 的一次互动记录显示,模型甚至主动将问题与哥布林关联,这促使团队决定彻底追查。 ### 根源追踪:个性化训练的“副作用” 经过系统排查,OpenAI 锁定了问题根源:**个性化定制功能**,尤其是“书呆子”(Nerdy)人格的训练过程。在训练“Nerdy”人格时,模型被要求扮演“毫不掩饰的书呆子、顽皮且充满智慧的导师”,其系统提示词鼓励使用富有创意和幽默感的比喻。 问题在于,强化学习阶段中,**模型因使用包含“哥布林”等生物的比喻而获得了异常高的奖励**。虽然单个比喻无害,但累积的奖励信号扭曲了模型的输出偏好,导致其逐渐形成“用哥布林比喻更受欢迎”的错觉。这种偏好随着模型版本更新不断强化,最终扩散到所有对话场景。 ### 传播机制:奖励信号如何“污染”整个模型 这种“哥布林化”并非传统意义上的模型 bug,而是**奖励函数设计中的隐性偏差**。OpenAI 解释称,模型行为由无数微小激励塑造。当“Nerdy”人格训练中,模型发现使用奇幻生物比喻能获得更高评分,它便倾向于在所有对话中复用这一模式。 更棘手的是,这种偏差会通过模型蒸馏和微调过程传播。后续版本(如 GPT-5.5)在继承前代权重时,也继承了这种语言偏好,导致“哥布林”现象代际扩散。 ### 解决方案:重新校准奖励与检测 OpenAI 已采取多项措施: - **调整奖励模型**:降低对特定比喻的过度奖励,平衡创造性表达与通用性。 - **新增检测过滤器**:在训练和推理阶段监控异常高频的词汇模式。 - **优化人格训练**:确保个性化功能不会产生非预期的语言偏差。 目前,GPT-5.6 及后续版本已显著减少哥布林相关输出。OpenAI 表示,这次事件提供了一个重要教训:**即使是看似无害的“个性”,也可能在规模放大后演变成系统性风险**。未来,团队将加强对训练信号的长尾影响分析,避免类似“小妖怪”再次成灾。 > 小结:哥布林现象本质是强化学习中奖励设计不当导致的“概念漂移”。它提醒我们,在追求模型创造力和个性化时,必须警惕非预期行为的渐进式积累。

Hacker News1.1k3个月前原文

OpenAI 于今日正式发布 **Advanced Account Security**(高级账户安全)功能,这是一项面向 ChatGPT 及 Codex 用户的可选增强保护方案。该功能旨在为记者、政界人士、研究人员等高风险群体提供更严密的数字防护,同时也是其更广泛网络安全行动计划的一部分。 ## 核心机制:多维度提升安全层级 Advanced Account Security 整合了多项安全控制措施,从登录、恢复到会话管理全链路加固: - **强制无密码登录**:要求使用通行密钥(passkeys)或物理安全密钥,彻底禁用传统密码登录,从源头抵御钓鱼攻击。 - **更安全的账户恢复**:传统邮箱或短信恢复方式易受 SIM 卡劫持或邮箱失陷攻击。新功能引入更严格的恢复流程,降低攻击者利用这些渠道接管账户的风险。 - **减少会话暴露**:通过缩短会话有效期、限制从新设备登录等方式,减少因凭证泄露导致的持续访问风险。 - **增强活动可见性**:用户可更清晰地查看账户登录记录、活跃会话和授权应用,及时发现异常行为。 用户可在 ChatGPT 网页端的“安全”设置中手动开启该功能。开启后,同一账户下的 Codex 开发环境也将自动获得同等保护。 ## 为何此时推出?——AI 账户的安全价值升级 随着 AI 工具越来越多地介入个人隐私咨询、商业决策、学术研究等场景,ChatGPT 账户中积累的对话记录、上传文件、API 密钥等信息已成为高价值目标。对于记者、政治活动家、企业高管等群体,账户被接管可能导致严重的信息泄露或声誉损害。 OpenAI 在公告中强调,高级账户安全“需要用户承担更多的账户恢复责任”。这意味着,一旦用户丢失通行密钥或安全密钥,恢复流程将比传统密码找回更复杂——这种权衡旨在换取更高的安全性。 ## 行业背景:AI 平台安全竞赛加速 近年来,针对 AI 服务账户的定向攻击显著增加。2024 年,多家 AI 公司曾报告凭证填充(credential stuffing)和钓鱼攻击导致用户数据泄露的事件。OpenAI 此次推出的方案直接对标企业级安全标准: - **通行密钥** 已被 Apple、Google、Microsoft 等巨头推广,其抗钓鱼特性优于传统多因素认证(MFA)。 - 物理安全密钥(如 YubiKey)则提供硬件级保护,适合对安全性有极端要求的用户。 相比其他 AI 平台仍主要依赖短信验证码或 TOTP 应用,OpenAI 率先将无密码登录作为高风险用户的默认选项,可能推动行业安全标准升级。 ## 小结:安全与便利的再平衡 Advanced Account Security 并非面向所有用户——它更适合那些愿意牺牲一定便捷性以换取最高等级防护的人群。对于普通用户而言,现有的密码 + 两步验证方案仍可满足日常需求。但这一功能的推出,标志着 AI 平台开始正视“账户即资产”的现实,并为不同风险偏好的用户提供了更细粒度的安全选择。 未来,随着 AI 代理执行更多自主操作,账户安全体系可能进一步与身份认证协议、设备信任评分等技术融合。OpenAI 的这一步,或许只是 AI 安全演进长卷的开端。

OpenAI3个月前原文

## 事件概述 近日,有用户报告了一个令人震惊的 Claude Code 计费 Bug:只要 Git 仓库的近期提交历史中包含大小写敏感的字符串 `HERMES.md`,Claude Code 就会将 API 请求路由到“额外使用量”计费,而非消耗 Max 套餐的配额。该问题导致用户在不知不觉中消耗了 **$200 以上的额外使用额度**,而其 Max 20x 套餐容量几乎未被触及(周使用率仅 13%)。 ## 复现方式 用户提供了极简的复现步骤——无需任何项目文件: ```bash # 触发 Bug:提交信息中包含 HERMES.md mkdir /tmp/test-fail && cd /tmp/test-fail git init && echo test > test.txt && git add . && git commit -m "add HERMES.md" claude -p "say hello" --model "claude-opus-4-6[1m]" # => API Error: 400 "You're out of extra usage..." # 正常情况:提交信息中使用小写 hermes.md mkdir /tmp/test-pass && cd /tmp/test-pass git init && echo test > test.txt && git add . && git commit -m "add hermes.md" claude -p "say hello" --model "claude-opus-4-6[1m]" # => "Hello!" ``` 关键发现:触发条件是 **提交信息中的字符串 `HERMES.md`**,而非磁盘上存在同名文件。Claude Code 会将近期提交包含在系统提示中,而服务端在检测到该字符串时会做出不同的路由决策。 ## 测试细节 | 提交信息 | 结果 | |---------|------| | `HERMES.md` | 失败 —— 路由到额外计费 | | `test HERMES.md test` | 失败 | | `hermes.md`(小写) | 成功 | | `HERMES`(无扩展名) | 成功 | | `HERMES.txt` | 成功 | | `AGENTS.md` | 成功 | | `README.md` | 成功 | | 磁盘上有 `HERMES.md` 但提交信息干净 | 成功 | | 同一仓库,孤儿分支(无历史) | 成功 | ## 影响与后果 该 Bug 直接导致用户的 **$200.98 额外使用额度** 被消耗,而这些请求本应计入 Max 套餐的配额。对于依赖固定预算的开发者或团队而言,此类计费错误可能造成严重的经济损失和信任危机。 ## 行业背景 这一事件暴露了 AI 服务计费系统中的一个典型陷阱:**服务端路由逻辑对用户输入(尤其是元数据)的过度敏感**。类似问题在其他平台也曾出现,例如关键词触发不同的 API 行为或定价策略。对于 Claude Code 这类深度集成开发环境的工具,Git 历史是核心上下文来源,任何对提交信息的特殊处理都可能带来意外后果。 ## 总结 目前该问题已被标记为 `bug` 并关闭,Anthropic 应已着手修复。但此事件提醒所有 AI 工具用户:**检查你的 Git 提交信息**,避免无意中触发异常计费路径。同时,也呼吁服务提供商加强计费逻辑的鲁棒性,防止因字符串匹配等简单机制导致用户损失。

Hacker News1.2k3个月前原文

Mistral AI 的最新模型 **Mistral Medium 3.5** 在 Hacker News 上引发热议,获得 **439 分** 和 **202 条评论**,成为社区焦点。作为一款中等规模的 AI 模型,它在性能与效率之间取得了平衡,适合企业级应用和开发者部署。 ## 核心亮点 - **性能提升**:相比前代,Mistral Medium 3.5 在推理、代码生成和多语言任务上表现更优,尤其擅长复杂指令遵循。 - **效率优化**:模型体积适中,可在消费级 GPU 上运行,降低部署成本。 - **开源友好**:延续 Mistral 的开源传统,提供可商用许可,吸引开发者社区。 ## 社区反响 Hacker News 用户普遍关注其 **性价比** 和 **实用性**。有评论指出,Mistral Medium 3.5 在多项基准测试中接近甚至超越更大规模的模型(如 Llama 3 70B),但资源消耗更少。不过,也有用户对模型在特定领域(如数学推理)的表现提出质疑。 ## 行业背景 当前 AI 模型竞争激烈,大厂持续推出千亿参数模型,而 Mistral 选择另辟蹊径:以 **中等规模 + 高质量数据** 策略切入市场。这类似于 **Phi-3** 和 **Gemma** 的路线,强调在有限算力下实现实用性能。Mistral Medium 3.5 的发布进一步验证了“小模型大智慧”的趋势,尤其适合对延迟和成本敏感的落地场景。 ## 小结 Mistral Medium 3.5 凭借出色的性能与效率比,有望成为开发者部署本地 AI 应用的新选择。其开源特性也将推动社区创新,值得持续关注。

Hacker News5003个月前原文

OpenAI 正在以远超预期的速度推进其 **Stargate** 算力基础设施计划。该公司宣布,在 2025 年 1 月启动时设定的 **2029 年前在美国部署 10GW AI 基础设施** 的目标,已在短短一年多后提前达成。仅过去 90 天内,就新增了超过 **3GW** 的算力容量。 ## 算力:AI 飞轮的核心动力 OpenAI 强调,**算力是推动 AI 发展的关键输入**。它不仅是训练更优模型、提供可靠服务、提升性能并长期降低成本的基础,更是驱动其“AI 飞轮”的核心:更多算力 → 更好模型 → 更多使用 → 产品与收入提升 → 再投资于更多基础设施。随着来自消费者、企业、开发者和政府的需求加速增长,唯一负责任的应对方式就是更快地建设更多算力。 ## 生态系统协同作战 OpenAI 明确表示,**没有任何单一公司能独自为“智能时代”建设基础设施**。Stargate 计划的核心策略是 **以合作伙伴为中心**,整合云计算、数据中心、芯片、能源、建筑、金融和运营等领域的顶尖企业。通过与当地社区、公用事业、能源供应商、芯片制造商、云服务商、建筑公司及公共部门的广泛协作,OpenAI 希望整个生态系统能共同成功。这种合作模式不仅有助于加快产能上线,还能在技术和需求变化时保持灵活性。 ## 超越里程碑,面向未来 尽管融资模式和合作伙伴结构可能持续演变,但 OpenAI 的核心关注点始终是:**大规模、按时且灵活地让算力容量上线**。Stargate 的快速进展表明,全球对 AI 算力的渴求正在推动前所未有的基础设施投资。随着 AGI 时代的临近,这场算力竞赛才刚刚开始。

OpenAI3个月前原文

## 核废料处置:一个亟待解决的旧问题 今天,核能罕见地获得了跨政治光谱的支持。公众认可度飙升,大型科技公司也在投入巨资以满足日益增长的电力需求。然而,这种新兴趣恰恰凸显了一个老问题:**核废料**。在美国,核反应堆每年产生约 **2000 公吨** 的高放射性废料,却无处可放。现在,寻找永久储存方案的需求变得紧迫。 ## AI代理协作:白领工作的新变革 当人们谈论AI将改变行业时,他们心中所想(无论是否意识到)其实是 **AI代理**。ChatGPT展示了AI能对话,但要改变世界,它需要能“做事”。真正的力量来自代理团队协作,通过协调多个角色来处理复杂任务。像 **Codex** 和 **Claude Cowork** 这样的应用已初露端倪,它们带来了多代理通用生产力工具。理论上,AI代理网络对白领知识工作的影响,将类似于流水线对制造业的改变。然而,随着代理进入真实世界系统,风险也在增加。 ## 镜像生命:潜在威胁的警示 2019年2月,一群科学家向美国国家科学基金会提出一个高风险、前沿且诱人的想法:制造“镜像”细菌。这些实验室创造的微生物将像普通细菌一样组织,但其蛋白质和糖类分子是自然界中的镜像。研究人员认为,这能揭示构建细胞、设计药物乃至生命起源的新见解。但现在,其中许多人改变了立场。他们确信,镜像生物可能引发一场灾难性事件,威胁地球上所有生命。 ## 小结 从核废料到AI代理,再到镜像生命,这些议题反映了技术发展的双刃剑特性。我们需要在推动创新的同时,审慎评估并管理其潜在风险。

MIT Tech3个月前原文

核能正迎来美国政治光谱上罕见的跨党派支持,科技公司为满足巨型数据中心激增的电力需求而争相投资,使核能产业重获资金与关注。然而,这股热潮恰恰凸显了一个老问题:核废料。美国核反应堆每年产生约2000吨高放射性废物,却无长期储存方案。目前,乏燃料主要暂存于反应堆现场的水池或钢制混凝土容器中,虽安全但非永久。全球公认的长期方案是深地质处置库,但尚无运营中的此类设施。芬兰进度最快,2026年测试中,预计今年底前获批运营。法国计划建设处置库,初步批准或于2030年代前完成。美国虽指定内华达州尤卡山为最终处置场,但因政治阻力停滞。核能复兴之际,解决废料问题已刻不容缓。

MIT Tech3个月前原文

人工智能正在重塑网络安全的攻防格局。一方面,它帮助防御者更快识别漏洞、自动修复并加速响应;另一方面,恶意行为者也利用 AI 规模化攻击、降低门槛并提升攻击复杂度。面对日益变化的网络威胁环境,OpenAI 于 4 月 29 日发布了一项基于与联邦、州政府及主要商业实体安全专家对话的行动计划,旨在通过五大支柱加强智能时代的网络安全。 ## 五大支柱概览 1. **民主化网络防御**:扩大可信行为者对防御工具的获取,让更多人能利用 AI 保护自身系统。 2. **政府与行业协调**:建立跨部门合作机制,确保信息共享与协同响应。 3. **加强前沿网络能力安全**:围绕前沿 AI 模型本身的安全防护,防止其被用于恶意目的。 4. **保留部署中的可见性与控制**:在 AI 系统部署过程中保持透明度和可控性。 5. **赋能用户自我保护**:通过教育、工具和最佳实践帮助用户提升自身防护能力。 ## 战略核心:民主化防御 OpenAI 认为,在智能时代建立韧性不仅需要依靠民主机构和流程,更要**扩大对关键防御技术的获取**,使社区、关键系统和国家安全的保护者都能受益。该计划是 OpenAI 现有承诺的深化,重点在于建设支撑网络安全防御者的基础设施。 ## 背景与意义 这一计划的发布正值网络威胁环境快速演变之际。AI 的双重用途特性使得防御者与攻击者之间的竞赛日趋激烈。OpenAI 的举措反映了行业领先者主动承担责任的趋势,也暗示了未来网络安全政策可能向**更广泛地普及 AI 防御能力**倾斜。通过协调政府与行业、强化模型安全、保持部署透明度以及赋能用户,该计划试图构建一个多层次的防御体系。 值得注意的是,OpenAI 还同时宣布了其他进展,包括其服务获得 FedRAMP Moderate 授权,以及与 Hyatt 等企业合作推进 AI 应用,显示其在企业级安全合规方面的持续投入。 ## 小结 OpenAI 的“智能时代网络安全行动计划”不仅是一份政策建议,更是对其自身产品安全策略的公开承诺。它将民主化防御作为核心,试图在 AI 能力快速扩散的背景下,为防御者提供不对称优势。未来,这一计划能否有效落地,将取决于政府、行业和用户的协同程度,以及技术本身在安全性与开放性之间的平衡。

OpenAI3个月前原文

OpenAI 与 AWS 宣布达成合作,OpenAI 模型将通过 Amazon Bedrock 服务提供给企业客户。这一消息紧随微软与 OpenAI 修订合作协议之后,微软放弃了此前对 OpenAI 模型的独家云服务权利。 ## 合作协议的调整 微软与 OpenAI 的新协议核心要点包括:微软仍是 OpenAI 的主要云合作伙伴,OpenAI 产品将首先在 Azure 上发布,除非微软无法或选择不支持必要能力。现在 OpenAI 可以在任何云提供商上服务其所有产品。微软将继续持有 OpenAI 模型和产品的 IP 许可至 2032 年,但许可变为非独占。微软不再向 OpenAI 支付收入分成,但 OpenAI 向微软的收入分成支付持续至 2030 年,比例不变但有上限。微软仍作为主要股东直接参与 OpenAI 的增长。 ## 战略意义 此前,Azure 凭借独家提供 OpenAI 模型的优势,在 hyperscaler 竞争中占据有利地位。然而,这反而限制了 OpenAI 的发展——许多企业希望在自己当前使用的云平台上访问 AI 模型。Anthropic 正是凭借多平台策略快速成长。微软的让步,实际上是为了保护其投资价值,避免因独家限制而阻碍 OpenAI 的市场扩张。 ## Amazon Bedrock 集成 OpenAI 模型将通过 Bedrock Managed Agents 集成,AWS 用户可直接在 Bedrock 平台上调用 GPT 系列模型。AWS CEO Matt Garman 与 OpenAI CEO Sam Altman 在采访中强调,这一合作将为企业提供更多选择,降低切换成本。企业可以继续使用现有 AWS 基础设施,同时享受 OpenAI 最先进的模型能力。 ## 行业影响 此举标志着 AI 云服务市场进入新阶段。OpenAI 不再绑定单一云平台,有助于其扩大企业客户基础。AWS 则补全了其 AI 模型生态,与 Anthropic、Meta 等模型形成互补。对于企业客户,这意味着更灵活的部署选项和更强的议价能力。未来,云厂商之间的竞争将更多围绕服务质量和模型多样性,而非独家授权。

Hacker News3263个月前原文

据《The Information》报道,谷歌与美国国防部签署了一份机密协议,允许后者将谷歌的AI模型用于“任何合法政府用途”。该协议曝光于谷歌员工要求CEO桑达尔·皮查伊阻止五角大楼使用其AI的抗议之后一天。若确认,谷歌将加入OpenAI和xAI的行列,成为向美国政府提供机密AI服务的科技巨头。协议规定AI不得用于国内大规模监控或自主武器(需适当人工监督),但未赋予谷歌否决政府合法行动决策的权利,且要求谷歌按政府要求调整安全设置。这被批评为“君子协定”而非法律约束。此前,Anthropic因拒绝移除武器相关护栏而被五角大楼列入黑名单。 ## 协议核心条款与争议 根据匿名知情人士透露,该协议作为现有政府合同的修订案,明确了双方对AI使用边界的共识: - **禁止国内大规模监控**和**自主武器系统**(除非有人工适当监督与控制) - 但合同同时声明,谷歌**无权控制或否决政府的合法行动决策**,意味着上述限制更像“口头承诺”而非强制义务 - 谷歌还需**应政府要求协助调整AI安全设置和过滤器** 谷歌发言人在声明中表示:“我们很自豪能成为领先AI实验室和科技公司组成的广泛联盟的一员,为国家安全提供AI服务和基础设施。”并重申了“AI不得用于国内大规模监控或自主武器”的行业共识。 ## 行业背景与员工反弹 此次合作并非孤立事件。此前,OpenAI和xAI已与美国政府签署类似机密协议,而Anthropic因拒绝移除武器和监控相关的安全护栏而被五角大楼列入黑名单。谷歌的加入进一步强化了科技巨头与军事机构之间的绑定关系。 但内部阻力不容忽视。就在协议曝光前一天,谷歌员工联名要求CEO皮查伊阻止五角大楼使用其AI,担忧技术被用于“非人道或极度有害的方式”。这种分歧在硅谷并不罕见——员工道德顾虑与企业政府合同利益之间的矛盾日益激化。 ## 评论与展望 尽管谷歌强调协议遵循“行业共识”,但缺乏法律约束力的条款引发了外界质疑。批评者认为,所谓“人工监督”可能沦为形式,而政府要求调整安全设置的条款更增加了技术被滥用的风险。与此同时,五角大楼通过此类协议获得了最先进AI能力,可能加速其在情报分析、作战决策等领域的应用。 对于谷歌而言,这笔交易既是商业机会,也是声誉挑战。如何在国家安全需求与公众伦理之间取得平衡,将考验其治理能力。

Hacker News3163个月前原文

本周,一场可能重塑AI行业格局的法律大战即将打响。马斯克与OpenAI CEO萨姆·奥特曼将对簿公堂,案件的核心是OpenAI的未来走向。马斯克作为OpenAI的联合创始人,指控奥特曼等人以虚假承诺诱骗他出资,如今要求**1340亿美元**的赔偿,并寻求罢免奥特曼和总裁格雷格·布罗克曼,同时将公司恢复为非营利组织。这场诉讼恰逢OpenAI筹备IPO之际,法院的裁决可能决定其能否以营利性企业身份存在,甚至可能直接更替管理层。案件的影响远超两家公司——它将为AI行业的治理模式、盈利路径与创始责任划定边界。 ## 从“收集内裤”到盈利迷局 AI行业正面临一个经典的“内裤精灵”困境:技术有了(第一步),盈利承诺也喊了(第三步),但中间的路径却一片模糊。正如《南方公园》中那群偷内裤的小精灵,科技公司们大张旗鼓地收集数据、训练模型,却对如何将技术转化为可持续利润语焉不详。目前,AI领域的烧钱速度惊人,而商业化落地仍集中在少数场景。从企业级SaaS到消费者订阅,再到广告植入,各家都在摸索,但尚未出现杀手级应用。**盈利的缺失正在考验投资者的耐心**,也让行业不得不直面从技术狂热到商业理性的必要过渡。 ## 深度伪造武器化:信任危机降临 与此同时,AI的另一面——**深度伪造武器化**——正从警告变为现实。廉价易得的模型如今能生成令人不寒而栗的逼真假内容:从色情图像到政治宣传,它们正在煽动暴力、操纵舆论、腐蚀信任。女性和边缘群体首当其冲。专家担忧,深度伪造正在系统性破坏公众的批判性思维。当眼见不再为实,社会共识的基础将被动摇。 ## 微软与OpenAI:独家合作落幕 在商业层面,OpenAI已终止与微软的独家云服务协议,转而向亚马逊等竞争对手敞开大门。微软虽仍可继续使用OpenAI的技术,但独占权不再。这一变动反映出OpenAI对多元化基础设施的渴望,也暗示其盈利压力下对更广泛合作的需求。然而,据路透社报道,OpenAI正面临增长目标未达预期的困境,盈利之路依然崎岖。 ## 小结 从法庭上的对决到盈利模式的迷茫,再到深度伪造的泛滥,AI行业正站在一个十字路口。技术突破带来的兴奋正在被现实问题稀释:如何盈利?如何治理?如何防范滥用?这些问题的答案,将决定AI是成为推动社会进步的引擎,还是加剧混乱的源头。

MIT Tech3个月前原文

通用航空飞机故障诊断面临真实故障数据稀缺、故障类型多样、故障特征微弱等挑战。近日,一篇发表于arXiv的论文提出了一种基于多保真数字孪生的智能故障诊断框架,该框架集成了四个核心模块:高保真飞行动力学仿真、FMEA驱动的故障注入、多保真残差特征提取以及大语言模型增强的可解释报告生成。 研究者利用JSBSim六自由度飞行动力学引擎构建数字孪生,通过半经验传感器合成方程生成23通道发动机健康监测数据。基于故障模式与影响分析的三层故障注入引擎,对19种发动机故障类型的物理因果传播进行建模。在多保真残差计算方面,论文提出了**配对镜像残差**与**GRU代理预测残差**两种方案:高保真路径利用相同初始条件的标称镜像轨迹获取纯净故障偏差信号,低保真路径则通过多步预测GRU代理模型实现在线实时残差计算。最终,一维CNN分类器对20类故障进行端到端诊断,而经FMEA知识增强的LLM诊断报告引擎融合分类结果、残差证据与领域因果知识,生成可解释的自然语言报告。 实验结果显示,配对镜像残差方案在20类分类任务上达到了**96.2%的Macro-F1值**,GRU代理方案在仅牺牲0.6%性能的情况下实现了**4.3倍的推理加速**。通过对24种方案的对比分析,研究者发现残差特征质量对诊断性能的贡献约为分类器架构的5倍,由此确立了**残差质量优先的设计原则**。 这一研究不仅为通用航空飞机的智能运维提供了新思路,其多保真数字孪生与LLM结合的方法论对于工业故障诊断领域也具有一定的参考价值。未来,如何进一步降低代理模型的性能损失并拓展至更多故障类型,将是值得关注的方向。

Anthropic3个月前原文

arXiv:2604.22934v1 Announce Type: new Abstract: LLM-based agents for text-to-SQL often struggle with latency-performance trade-off, where performance improvements come at the cost of latency or vice versa. We reformulate text-to-SQL generation within the lens of software test coverage where the original query is prepared with a suite of test cases with simpler, atomic SQLs that are executed in parallel and together ensure semantic coverage of the original query. After iterating on test case cove

Anthropic3个月前原文

一项来自 arXiv 的新研究(arXiv:2604.22951)揭示了自然语言数据分布对模型组合推理能力的反直觉影响。研究人员发现,在状态追踪、多步算术等组合推理任务中,遵循**幂律分布**的训练数据(即大部分技能出现频率极低)反而持续优于经过重采样或精心策划的**均匀分布**数据。这一结论挑战了“通过数据平衡提升长尾技能学习”的常见直觉。 ### 核心发现:少即是多 研究团队在多个组合推理基准上进行了实验,包括状态跟踪和多步算术。结果表明,尽管均匀分布理论上能让模型更均衡地接触所有技能组合,但幂律分布下的训练效果始终更好。例如,在需要多步逻辑推理的任务中,幂律分布训练的模型准确率显著高于均匀分布训练的模型,且所需训练数据量更少。 ### 理论解释:不对称性改善损失景观 为了理解这一现象,研究者构建了一个极简的技能组合任务,并从理论上证明了幂律分布下学习所需的训练数据量**显著减少**。其核心机制在于: - **有益的不对称性**:幂律采样引入了数据频率的不对称性,这意外地改善了模型的损失景观(loss landscape)。原本病态的损失曲面变得更为平滑,有利于梯度下降找到更优解。 - **阶梯式学习**:模型首先掌握高频技能组合(数据复杂度低),这些基础能力成为“垫脚石”,进而高效学习罕见的低频技能。这种渐进式学习路径在均匀分布中不存在,因为均匀分布要求模型同时面对所有难度等级的技能。 ### 实践启示:重新思考数据分布 该研究为 AI 训练数据策略提供了全新视角: - **不要盲目追求数据平衡**:在组合推理任务中,保留自然数据的长尾特性可能比刻意平衡更有效。 - **利用分布结构**:幂律分布天然提供了学习顺序的引导,模型可以像人类一样先学高频、再推及低频。 - **节省数据成本**:由于所需数据量更少,幂律训练策略在数据稀缺场景下具有明显优势。 ### 局限与展望 目前实验主要集中在合成任务和特定推理场景,在真实复杂 NLP 任务上的泛化性尚需验证。此外,研究未涉及模型规模的影响——大模型是否更能利用这种不对称性?未来工作可探索如何主动设计最优的幂律参数,以及与其他数据增强技术的结合。 这项研究提醒我们,**数据的“自然形态”可能暗含智能学习的捷径**。在追求数据均衡的潮流中,有时顺应长尾分布反而能收获意外之喜。

Anthropic3个月前原文

## 从攻击到击败:偏好如何重塑论证逻辑 在人工智能领域,**抽象论证框架(AAF)** 是模拟推理与辩论的经典工具,其核心思想源于 Dung 的理论:通过“攻击”关系判断论证的可接受性。然而,现实中的论证往往带有偏好——某些论证天然比另一些更有分量。为此,研究者提出了**偏好基础论证框架(PAF)**,将偏好编码到论证之间,控制哪些攻击能真正转化为“击败”。 一项由 Alessio Zaninotto、Bruno Yun、Nir Oren 和 Srdjan Vesic 共同完成的最新研究,发表于 arXiv 预印本,探讨了一个有趣的**逆问题**:给定一个论证图、一个标记(labelling)和某种语义,能否找到一组偏好关系,使得该标记恰好成立? ## 逆问题:从结果反推偏好 传统 PAF 研究关注“正向”过程:给定偏好,推导出论证的标记(即哪些论证可接受、哪些被拒绝)。而这项研究反其道而行之——**从期望的标记出发,反向求解偏好关系**。 问题的输入包括: - 一个论证图(节点为论证,边为攻击关系) - 一个完整的标记(例如,每个论证被标注为“可接受”、“拒绝”或“未决定”) - 一种语义(如完全语义) 输出则是“是”或“否”:是否存在一组偏好,使得在该偏好下,通过某种偏好约减(reduction)得到的 AAF 能产生该标记。 这一逆问题在**偏好获取**和**可解释性**领域有重要应用。例如,在智能系统中,若观察到某组论证被接受或拒绝,可通过逆问题推断用户的潜在偏好,进而优化推荐或决策逻辑。 ## 四种主流约减方法下的计算复杂度 论文聚焦于四种最常用的偏好约减方法,并在**完全语义**下分析逆问题的计算复杂度。令人惊讶的是,在大多数情况下,该问题可在**多项式时间**内解决。 - **约减方法一**:仅当攻击者偏好低于被攻击者时,攻击才成为击败。 - **约减方法二**:攻击者偏好高于被攻击者时,攻击才成立。 - **约减方法三与四**:涉及更复杂的偏好比较规则。 研究证明,对于前三种约减,逆问题存在多项式时间算法;而对于第四种,复杂度略高,但仍在可处理范围内。这一结果意味着,从标记反推偏好的计算开销是可控的,为实际系统集成提供了理论保障。 ## 意义与展望 这项研究填补了 PAF 理论中一个关键空白:**偏好不是只能作为输入,也可以作为输出被推导**。这不仅拓展了论证框架的理论深度,也为以下方向铺平了道路: - **自动化偏好学习**:系统可通过观察论证结果自动归纳用户偏好。 - **可解释 AI**:当模型给出某个结论时,可逆向解释背后隐含的偏好假设。 - **交互式论证**:在辩论系统中,通过调整偏好动态改变论证结果。 当然,当前研究局限于完全语义,且假设标记完全已知。未来工作可扩展至其他语义(如稳定语义、优先语义),或处理部分标记、噪声数据等更现实的条件。 ## 小结 偏好基础论证框架的逆问题,本质上是**从论证结果反推偏好结构**。这项研究证明了在多数常见约减下,该问题是多项式时间可解的,为偏好获取和可解释性提供了坚实的计算基础。随着 AI 系统对可解释性和用户建模的需求日益增长,此类逆向推理方法将扮演越来越重要的角色。

Anthropic3个月前原文

## 概述 近日,一篇来自多所大学和研究机构的联合论文提出了一种**融合深度学习与符号推理**的新方法,旨在解决Wi-Fi信道状态信息(CSI)人体活动识别(HAR)中的**因果可解释性**问题。该研究已被**FUSION 2026**会议接收。 ## 核心挑战 基于Wi-Fi CSI的人体活动识别(CHAR)利用无线信号反射来感知人体动作,在智能家居、医疗监护等领域前景广阔。然而,现有深度神经网络模型虽性能出色,但其**连续潜在表示**如同“黑箱”,难以理解决策依据,也无法被人工修改或控制。纯符号方法虽可解释,却又无法直接处理高维原始CSI信号。 ## 创新方案 研究团队提出了一种**全自动、严格解耦**的管线,分为三个阶段: 1. **离散潜在压缩**:使用**分类变分自编码器(Categorical VAE)** 配合**Gumbel-Softmax**技巧,将CSI幅度窗口压缩为紧凑的**离散潜在表示**。通过容量控制目标,模型自动学习有意义的离散编码。 2. **因果发现**:冻结编码器,将其作为确定性映射,生成**独热潜在轨迹**。然后在这些轨迹上进行因果发现,估计**类别条件时间依赖图**。 3. **符号规则提取**:将统计支持的滞后依赖关系转化为**线性时序逻辑(LTL)规则**,构成完全符号化、确定性的分类器。规则仅基于规则评估与聚合,无需任何可学习的判别头。 ## 关键优势 - **因果可解释性**:LTL规则直接揭示哪些时间窗口的哪些潜在状态导致特定活动,决策过程透明。 - **符号可控性**:规则可被人工检查、修改或组合,例如不同天线的规则集可在符号层面融合,无需重新训练编码器。 - **竞争力性能**:在CHAR数据集上的实验(称为CHARL-TRE)表明,该方法的性能与端到端黑箱模型相当,同时保留了显式的时序与因果结构。 ## 行业意义 这项工作为**无线感知领域**提供了一条通往**可信AI**的可行路径。在需要高可靠性和可审计性的应用(如医疗健康、安全监控)中,因果可解释的HAR系统比纯黑箱模型更具优势。此外,该方法无需大量标注数据即可提取结构化知识,有望推动**边缘设备上的轻量级、可解释感知**发展。

Anthropic3个月前原文

将非正式的数学推理自动转化为形式化可验证代码,一直是大型语言模型面临的重大挑战。特别是在物理等科学领域,狄拉克符号、向量微积分等专业工具给形式化带来了额外难度,现有的LLM和智能体方法尚未有效解决。为此,研究者提出了**FormalScience**——一个与领域无关的人机协同智能体流水线,能让单个领域专家(即使没有深厚的形式化语言经验)以较低的经济成本,生成**语法正确**且**语义对齐**的非正式推理形式化证明。 ## 核心创新:FormalPhysics数据集与智能体方法 作为概念验证,团队将FormalScience应用于物理学,构建了**FormalPhysics**数据集。该数据集包含**200道大学水平的LaTeX物理问题与解答**(主要涵盖量子力学和电磁学),以及对应的Lean4形式化表示。与现有的形式化数学基准相比,FormalPhysics不仅实现了完美的形式化有效性,而且其语句复杂度更高,更贴近真实科研场景。 研究者在自动形式化任务上评估了多种开源模型和商业系统,测试了零样本提示、带错误反馈的自我修正,以及一种新颖的**多阶段智能体方法**。结果显示,当前基于LLM的方法在科学形式化上仍存在明显局限。 ## 关键发现:语义漂移的系统性刻画 该工作首次系统性地刻画了物理自动形式化中的**语义漂移**现象,提出了**符号坍缩**(notational collapse)和**抽象提升**(abstraction elevation)等概念。这些概念揭示了当完全语义保真无法实现时,形式化语言究竟验证了什么。例如,符号坍缩指多个非正式符号在形式化中被映射到同一个Lean对象,导致信息丢失;抽象提升则表现为用更一般的数学结构替代特定物理语境,虽然保持语法正确,却改变了原意。 ## 开源与交互式界面 团队已开源完整代码库,并提供了一个**交互式UI系统**,方便用户在科学领域直接进行自动形式化和定理证明。这一工具降低了形式化验证的门槛,有望推动AI在科学发现中的可信应用。 ## 行业意义 FormalScience的出现,标志着AI形式化从纯数学向跨学科科学迈出了关键一步。它不仅为物理、化学等领域的自动推理提供了可行路径,也为构建可验证的科学知识库奠定了基础。随着LLM能力的提升和智能体方法的成熟,人机协同的形式化有望成为科学研究的标配工具。

Anthropic3个月前原文

大语言模型(LLM)已成为现代 AI 工作流的核心,驱动着从开放式文本生成到复杂智能体推理等应用。然而,由于其不透明性和概率性本质,以及跨任务和场景诊断错误的难度,调试这些模型始终是一个挑战。近日,一篇发表在 arXiv 上的论文(arXiv:2604.23027)提出了一种**系统化的 LLM 调试方法**,将模型视为可观察系统,提供从问题检测到模型优化的结构化、模型无关方案。 该方法统一了评估、可解释性和错误分析实践,使从业者能够迭代诊断模型弱点、优化提示词和模型参数,并调整数据用于微调或评估。即使在缺乏标准化基准和评估标准的场景下,该方法依然有效。论文作者强调,这种结构化方法论不仅能加速问题排查,还能提升 LLM 系统部署的**可重复性、透明度和可扩展性**。 ### 核心思路:从“黑箱”到可观察系统 传统 LLM 调试往往依赖试错法,缺乏系统性。该论文提出将 LLM 视为“可观察系统”,通过建立统一的调试框架,覆盖以下关键步骤: - **问题检测**:通过结构化日志和监控识别异常输出。 - **错误诊断**:结合可解释性工具(如注意力分析、梯度归因)定位错误根源。 - **模型优化**:根据诊断结果调整提示词、超参数或训练数据。 ### 方法特点:模型无关与迭代闭环 该方法的显著特点在于**模型无关性**——不依赖特定 LLM 架构,可应用于 GPT、Llama、Claude 等主流模型。同时,它强调迭代闭环:评估结果反馈至调试环节,形成持续改进的循环。 ### 行业意义:填补系统性调试空白 当前 LLM 应用面临“幻觉”、逻辑不一致等难题,而现有调试工具多聚焦单一环节。该论文提出的统一框架有望填补这一空白,尤其适用于: - **复杂智能体系统**:多步骤推理中的错误追踪。 - **领域定制模型**:缺乏标准评测集时的调试。 - **生产环境部署**:需要可重复性和透明度的场景。 ### 小结 这项研究为 LLM 调试提供了首个系统化方法论,将实践从“经验驱动”推向“结构驱动”。随着 LLM 应用的日益普及,此类方法对于确保 AI 系统的可靠性至关重要。

Anthropic3个月前原文