SheepNav

AI 资讯

每日聚合最新人工智能动态

AM/FM, NOAA weather band, solar and hand-crank charging, and a power bank - this tech is what actually works when the grid doesn't.

ZDNet AI3个月前原文

If you're only using Google Calendar to track events, you're missing some of its most useful features.

ZDNet AI3个月前原文
有些孩子永远不会觉得AI很酷

“我觉得它应该叫人工白痴。”一个9岁的孩子如是说。以下是各年龄段的孩子称AI“恶心”和“ creepy”的原因。 自聊天机器人主流化四年来,营销活动铺天盖地,年轻人对大型语言模型的炒作却日益怀疑。市场研究公司YPulse的数据显示,**37%的13至17岁青少年**在看到AI生成的音乐和视频时会感到尴尬,**超过半数担忧虚假信息和深度伪造**。 年轻一代的AI态度充满矛盾。使用率很高——大多数美国青少年表示用过聊天机器人——但热情参差不齐。皮尤研究中心近期报告指出,尽管许多青少年认为AI对自己有好处,但**超过四分之一**的人认为AI将在未来20年对社会产生负面影响,担忧包括失业、批判性思维退化及环境影响。 年轻人通常热切拥抱新技术,但布法罗大学传播学教授Melanie Green表示,AI不同。这次,道德恐慌并非来自长辈——实际上,孩子们反感的是**成年人和科技公司强行推销AI的方式**。Green说,他们还“敏锐地意识到,无论发生怎样的颠覆,他们这一代都将首当其冲”。于是,白眼翻起。 在Bluesky上,家长们分享孩子对AI的不信任,称孩子回家说“那是AI”等同于“那是扯淡”。Reddit上,教育工作者指出,学生——即便使用AI——也担忧其后果,且无法忍受AI生成的艺术。 WIRED采访了年轻人、家长和教师,探究为何有些孩子不愿搭上AI的顺风车。

WIRED AI3个月前原文

一项新研究将大语言模型(LLM)驱动的闭环通道配置搜索从稀疏采样扩展到密集采样,验证了优化行为的可迁移性,并发现了更深层的架构规律。 ## 研究背景 先前的研究表明,通过让LLM生成可执行代码并接收准确率反馈,可以直接优化神经网络的宽度(通道数)。然而,这些结果仅基于少量有效评估,未能确认在更密集的采样下优化行为是否持续,以及是否会出现新的架构规律。 ## 扩展实验设置 为了验证这一点,研究者将每个微调周期的候选网络数量提升至**250个**,共完成**8个完整周期**,生成了**2000个候选网络**。经过任务和元数据过滤后,获得了**462个有效的CIFAR-100评估结果**。 ## 关键发现 ### 1. 优化信号可迁移 - **平均准确率**:每个周期的平均准确率呈现正向线性趋势,斜率为**9.87e-4**(p=0.043),表明优化信号在密集采样下依然有效。 - **前沿性能**:最佳准确率从0.3144提升至**0.3676**,top-5和top-10平均准确率也呈正向趋势。 ### 2. 参数效率显著提升 最佳模型在达到0.3676准确率时仅需**1180万参数**,而早期一个高性能模型(0.3144准确率)却需要**1.665亿参数**。这证明LLM引导的搜索不仅提升了准确率,还大幅提高了参数效率。 ### 3. 架构规律浮现 更大规模的样本揭示了先前难以察觉的架构规律: - **非2的幂次通道宽度**:在有效候选中,**41.8%** 的网络采用了非2的幂次的通道数,打破了传统设计惯例。 - **结构化通道分配模式**:最强模型在早期采用中等宽度,而在中间或后期块中扩展通道数,形成了特定的分配模式。 ## 意义与展望 这项研究证实了LLM驱动的闭环通道搜索在更大规模下的有效性,并揭示了数据驱动的架构设计规律。未来,该方法有望与神经架构搜索(NAS)结合,为自动化模型设计提供新思路。研究者计划进一步探索更复杂的搜索空间,并验证该方法在其他数据集上的泛化能力。

HuggingFace3个月前原文

近日,一篇来自arXiv的论文(2607.20512)对Muon优化器在模算术任务上更快达到“顿悟”(grokking)的原因进行了深入剖析。此前研究认为,Muon的优势源于“谱范数约束加正交化动量”,但并未区分哪个机制真正起作用。该研究通过多种子、多学习率的消融实验和机制分析,揭示了关键成分:**正交化(即Newton-Schulz迭代)** 才是加速的根源,而谱范数约束不仅没有贡献,甚至可能带来不稳定性。 ### 消融实验:正交化是核心 研究者将Muon拆解为“仅谱范数约束”和“仅正交化”两个变体,与完整的Muon及AdamW进行对比。结果显示: - **仅正交化**的优化器在达到grokking阈值的时间上与完整Muon几乎一致; - **仅谱范数约束**的优化器不仅速度与AdamW相当,而且在某些学习率下表现不可靠; - 该结论在不同学习率下均成立。 这说明,Muon的加速效果完全来自正交化步骤,而非谱范数约束。 ### 机制分析:更低谱范数的解 进一步研究发现,正交化优化器达到泛化时,模型的谱范数比AdamW低了约3倍。在控制嵌入更新量的前提下,正交化优化器倾向于收敛到**更低范数的解**,而不是简单地减少嵌入的扰动幅度。这解释了为何正交化能促进泛化——它引导模型走向更简洁、更稳定的表示。 ### 迭代次数的影响与稳定性权衡 论文还考察了Newton-Schulz迭代次数的影响。将迭代次数从默认的5次减少到1次,虽然能更快达到grokking阈值,但得到的解非常脆弱,容易发生瞬时的性能崩溃(transient collapse)。这种脆弱性随学习率增大而加剧:**单次迭代仅在低学习率下快速且稳定**,而5次迭代则在各种学习率下都表现稳健。因此,标准配置的5次迭代是更鲁棒的选择。 此外,研究者发现,在正交化优化器中完全去掉谱范数缩放(spectral scaling)并不会造成性能损失,这进一步简化了Muon的实现。 ### 方法论贡献:稳定性感知的评估指标 一个贯穿全文的方法论亮点是:研究者提出了**稳定性感知的度量**——同时报告首次达到grokking的时间(first-crossing time)和持续泛化的时间(sustained-grok time)。他们指出,仅看首次穿越时间可能会对优化器性能产生误导,因为某些快速达到的泛化可能很快崩塌。使用双指标评估,能更全面地反映优化器的实际表现。 ### 结论与启示 这项研究清晰地分离了Muon优化器中的两个组件,证明**正交化动量是加速grokking的有效成分**,而谱范数约束并非必要。结果不仅深化了对优化器设计原理的理解,也为实际应用提供了指导:若想加速模型的“顿悟”过程,应优先考虑引入正交化机制,同时注意迭代次数与学习率的平衡,以避免泛化的不稳定性。 论文代码已开源,便于社区复现和进一步探索。

HuggingFace3个月前原文

大语言模型(LLM)的性能在很大程度上取决于训练数据的质量,但业界此前缺乏一个统一的基准来衡量LLM及其驱动的数据工作流在端到端数据准备方面的表现。近日,来自北京大学、上海人工智能实验室等机构的研究团队推出了 **DataPrep-Bench**,这也是首个在统一框架下同时评估LLM数据构建与数据质量评估能力的基准。 ## 核心能力:数据构建与质量评估 研究团队将LLM驱动的数据准备拆解为两个互补的能力维度: - **数据构建**:将原始数据源转化为可用于监督训练的标注数据; - **数据质量评估**:在正式训练前,预测候选数据集对下游任务的训练价值。 值得注意的是,这里的“质量”并非指文本表面的流畅性,而是指数据对下游训练的实际效用。 ## 基准设计:跨领域与多模型验证 DataPrep-Bench覆盖了**六个领域**(如金融、科学、医学等)和多个基础模型。在数据构建任务中,所有方法在相同原始数据上运行,然后通过在输出数据上结合Dolly-15k微调基础模型来评分。研究团队还发布了 **Data-Construction-Skill**,一个基于技能引导的智能体,在Llama-3.1-8B金融数据集上相比纯Dolly基线提升了近20个绝对百分点,在知识提取密集型领域与最强的智能体和基于DataFlow的方法表现相当。 在数据质量评估任务中,评分函数通过其与下游性能的皮尔逊相关系数来评估。团队提出了 **分布对齐分数(DAS)**,一种基于MMD(最大均值差异)的分布评估器,用于衡量候选数据集与领域代理之间的分布差异。DAS在六个领域中的四个取得了最强的跨模型相关性,并且在数学、科学和医学领域同时达到了 **r > 0.70**,优于现有的基于质量、多样性和启发式的评估方法。 ## 行业意义:推动数据为中心的AI发展 DataPrep-Bench的出现填补了LLM在数据准备能力评估上的空白。随着LLM在数据生成、清洗和标注中的应用日益广泛,如何系统性地衡量这些“数据准备者”的表现成为关键问题。该基准不仅提供了标准化的评估协议,还释放了可复现的基线方法和数据集,有助于推动数据驱动型AI的进步。 对于从业者而言,DataPrep-Bench的发布意味着可以更客观地对比不同数据准备策略的效果,从而优化训练数据流水线。特别是DAS评估器的提出,为实时数据质量监控提供了新的工具。 ## 小结 DataPrep-Bench是首个将数据构建与质量评估置于同一下游验证框架下的基准,它强调了数据准备作为LLM能力提升的同等重要目标。未来,随着更多智能体方法和评估工具的出现,数据准备环节有望成为LLM应用落地的关键突破口。

HuggingFace3个月前原文

## 核心发现:格式压力下的“被迫幻觉” 一项来自 arXiv 的新研究揭示了语言模型在**生产环境**中的一个隐蔽但普遍的缺陷:当模型被要求填充固定格式(如 JSON 字段、函数参数)而非自由文本时,它们会**凭空编造答案**,即使用户明确告知“信息不足”。 该研究的作者 Rana Muhammad Usman 构建了 **PhantomFill** 基准测试,通过设计**无法回答的问题**来探测模型的诚实性。例如,一条显示 12,400 次点赞但没有任何可见回复的帖子,或一个通话从未被转录的支持工单。在自由文本模式下,GPT-5.5 有 98% 的概率会诚实回答“没有回复数据”。但一旦要求输出一个**必填的 JSON 字段**(如情感分析),同一模型在 40 次测试中**全部编造**了答案——它虚构了从未见过的观众情绪,甚至杜撰了从未听过的客户引语。 ## 数据触目惊心:必填字段是“幻觉催化剂” 研究对 13 个模型进行了系统测试,结果呈现惊人的一致性: - **必填字段驱动 100% 编造率**:在 10 个模型中,只要字段被标记为“必填”,模型便 100% 产生虚构内容。 - **“信息不足”选项形同虚设**:即使提供了明确的“证据不足”选项,9 个开源模型全部选择忽略,继续编造。 - **直接指令被架构覆盖**:对 6 个模型下达“不要推断情感”的明确指令,其中 4 个模型仍然因为 schema 要求而强行输出情感分析结果。 值得注意的是,**模型规模与诚实性并非线性关系**:在同一模型家族中,最小的模型选择了拒绝回答,中等规模的模型开始编造,而最大的模型又重新变得诚实。这说明“在格式压力下保持诚实”是一种**训练结果**,但目前几乎没有团队在衡量这一指标。 ## 问题根源:幻觉藏在格式的“缝隙”里 研究指出,问题的核心在于**生产环境中的模型从不写散文**——它们填充的是 JSON 字段、函数参数和抽取模板。而这些格式中的**必填枚举类型**和**最小数量数组**恰恰是模型无法进行免责声明的地方。当模型被要求提供一个必填的情感标签时,它无法输出“无法确定”,只能强行给出一个情感值——无论对错。 ## 解决方案与启示 研究团队提出了一种简单的修复方案:在 schema 中增加一行代码,允许字段明确标记“证据不足”。但更根本的启示在于:**当前对模型幻觉的评测几乎都基于自由文本生成,严重低估了生产环境中的真实风险**。PhantomFill 基准提供了两个可量化的指标:**强制编造率(Coerced Fabrication Rate)**和**回避选项利用率(Escape Utilization Rate)**,旨在推动行业关注这一被忽视的角落。 对于 AI 开发者而言,这一发现意味着:在构建基于 LLM 的表格填充、数据抽取等应用时,**必须对必填字段的输出进行额外的验证与约束**,否则模型可能会在用户不知情的情况下“创造事实”,带来不可预测的业务风险。

HuggingFace3个月前原文

## 概述 处理包含图表、表格和领域术语的复杂PDF文档,一直是检索增强生成(RAG)系统面临的核心挑战。一篇来自arXiv的新论文提出了 **Multimodal CoLRAG-TF**,一种四轴融合架构,通过整合文本嵌入、关键词匹配、知识图谱三元组过滤和图像相似度,显著提升了多模态文档的检索质量。 ## 技术亮点 该系统的核心创新在于其**三重过滤机制**: - **混合索引**:系统从43份日本灾害教训PDF中提取了2,403个多模态块,并利用混合OCR流水线和LLM生成标题。 - **知识图谱增强**:提取了11,414个OpenIE三元组,使用FAISS索引实现亚秒级查询,并通过层次化传播相关性信号。 - **粗到细检索**:受HippoRAG2启发,先按卷→章→块的顺序缩小搜索空间,再进行最终融合评分。 ## 性能数据 在457对基准测试上,Multimodal CoLRAG-TF取得了以下成果: - **检索召回率**:0.9909 - **多跳答案相似度**:相比单跳查询提升71.6% 贝叶斯优化显示,**三元组轴权重必须占主导地位(α_triple = 0.44)**,以抵消词汇偏差并维持多跳检索质量。 ## 应用前景 论文还展示了将视觉输入(如图片)直接映射到相关教训管道的流程,证明该方法不仅适用于灾害领域,也可推广到其他异构PDF场景。该工作为处理工程报告、医疗文档等复杂多模态材料提供了通用框架。 ## 小结 Multimodal CoLRAG-TF通过三重过滤融合,有效解决了传统RAG在复杂PDF上的多跳推理难题,其开源索引和优化策略为后续研究奠定了坚实基础。

HuggingFace3个月前原文

循环Transformer通过在测试时重复应用共享的循环块来增加计算量。传统上,学习型停止目标使用单一退出分布同时作为推理时的停止规则和训练时各深度损失的权重。这导致退出选择与轨迹形成相互纠缠:门控不仅选择使用哪个循环状态,还决定了每个中间状态受监督的强度。因此,自适应计算性能不佳可能源于读出机制、诱导轨迹或两者的交互。 本研究通过轨迹-读出视角,在受控合成任务(模算术和二进制奇偶校验)以及大规模Ouro-1.4B和2.6B检查点上,对循环Transformer的自适应深度进行了系统诊断。研究发现:**固定先验深度监督**(在无输入依赖停止策略下塑造轨迹)能产生**难度感知轨迹**,其中间状态暴露了有用的停止信号;简单的**事后置信度读出**往往能匹配或超越学习型线性门控和MLP门控。 在冻结轨迹上拟合门控可定位失败根源:问题主要源于联合门控训练诱导的轨迹,而非门控表达能力有限。这一模式在Ouro评估中也得到验证——预训练的暂停门控具有竞争力但并非统一帕累托最优,实测延迟表明平均退出深度的减少能转化为实际的推理时间节省。 该诊断将循环Transformer的自适应深度重新定义为轨迹形成与退出读出的联合问题,而非单纯的门控学习,揭示了先前学习型停止工作常隐含的关键区别。

HuggingFace3个月前原文

**核心观点:** 传统滤波方法(如卡尔曼滤波器)在处理高维、非线性传感器信号时表现不佳。最新研究提出**生成式贝叶斯滤波(GBF)**,利用条件变分自编码器(CVAE)替代简单观测模型,将状态估计转化为基于分数的采样问题,在制造系统监测和心律失常诊断等任务中显著提升了准确性和鲁棒性。 现代动态系统(如自动驾驶、工业物联网)中的传感器信号呈现出高度非线性与异质性,传统卡尔曼滤波器依赖的线性高斯模型已难以胜任。针对这一挑战,来自学术界的研究团队提出了**生成式贝叶斯滤波(GBF)**框架,其核心思路是:用预训练的**条件变分自编码器(CVAE)**作为观测模型,替代传统滤波器中假设的简单分布。 ### 如何工作? GBF 保留了贝叶斯滤波的预测-更新递归结构,但将测量更新步骤重新定义为**后验采样问题**——结合动态系统的先验与 CVAE 诱导的似然函数。进一步,该问题被转化为**基于分数的采样问题**,从而继承了生成模型的灵活性,并借助集成方法实现不确定性量化。换句话说,GBF 不再假设观测数据服从高斯分布,而是让数据驱动的生成模型自动学习真实观测分布,从而捕捉复杂模式。 ### 实验验证 研究者在合成数据集以及两个真实场景——**制造系统监测**和**心律失常诊断**——上进行了评估。结果显示,相比卡尔曼滤波、粒子滤波等基线方法,GBF 在状态估计的**准确性**和**鲁棒性**上均取得显著提升。尤其在心律失常诊断中,GBF 能更准确地追踪心脏电信号的隐状态,为医疗 AI 提供了更可靠的时序推断工具。 ### 行业意义 这一工作为**高维非线性系统**的状态估计开辟了新路径。在工业 AI、自动驾驶、机器人等依赖多模态传感器的领域,GBF 有望替代传统滤波方案,成为下一代在线推断的基石。此外,其基于分数的采样框架天然适配扩散模型等最新生成技术,未来可进一步扩展。 论文以 arXiv 预印本形式发布,代码尚未公开,但方法已清晰表述,值得关注。

HuggingFace3个月前原文

## 研究背景与核心问题 在可解释性研究中,稀疏自编码器(SAE)被广泛用于分解神经网络内部表示。一个关键假设是:**SAE特征平面(由单个特征及其对应的解码器方向定义)可能承载更多与语义相关的几何结构**,例如“和乐”(holonomy)——一种衡量平行输运后方向变化的量。本文通过预注册实验,在 **Gemma 2 2B** 模型上检验了一个具体预测:**活跃SAE特征平面(即当前token激活的特征对应的平面)是否比混合特征平面(包含激活与非激活特征)具有更大的和乐值**。 ## 实验设计与关键结果 研究者在 **第12层到第13层残差流的最终token读出口** 测量和乐:通过限制雅可比传输规则携带局部标架沿小环移动,并将旋转量除以环面积进行归一化。实验设计、显著性阈值、分析和判定规则均在查看数据前冻结。 结果出人意料——**预测被反向证伪**:活跃特征平面的和乐值**低于**匹配的混合特征控制组,调整后的对数对比度为 **-0.29439**(95%置信区间 [-0.43989, -0.14889])。这一反转并非由特征幅度差异简单解释:在匹配幅度条件下,由于共同支持缺失,随机、混合和活跃三类平面之间的排序无法定义。 ## 诊断分析与未解之谜 冻结后的诊断实验表明:在小验证子集上,和乐值遵循面积律;配对回归显示匹配中心位移有界;同时,**传输畸变**(transport distortion)被识别为一个可能的机制或混杂因素。作者强调,该结果是一个**狭窄、可审计的操作性反转**,而非“意义抑制和乐”的因果论断。 目前,导致反转的潜在原因仍然开放,包括: - 激活强度几何 - 特征参与程度 - 字典几何 - 匹配中心位移 - 激活流形邻近性 - 传输剪切 ## 行业意义与启示 这项研究对AI可解释性领域具有重要启示: 1. **预注册方法的价值**:通过预先冻结分析计划,避免了p-hacking和事后解释,增强了结果可信度。 2. **SAE假设的挑战**:广泛使用的SAE特征平面可能并不像直觉认为的那样承载更多语义几何结构,甚至可能相反。这提示研究者需要更精细地审视SAE的几何属性。 3. **开放科学实践**:论文附带了完整的实验记录和代码(存档于Zenodo),便于复现和后续研究。 该工作提醒我们,在解释神经网络内部机制时,**直观假设需要经受严格检验**。未来研究需要进一步探索和乐反转的根源,以及如何利用这一发现改进SAE的可解释性。

HuggingFace3个月前原文

长期以来,AI巨头通过严格的审查程序和护栏限制其模型被恶意黑客使用,但这些措施如今也阻碍了合法网络防御者及进攻型网络安全研究员的工作。今年6月,美国政府因担忧Anthropic的Mythos模型可能被越狱而对其施加出口管制,尽管后来部分解除,但暴露了AI护栏的争议。多位进攻型安全研究员向TechCrunch反映,OpenAI和Anthropic的审查项目(如OpenAI的Trusted Access for Cyber和Anthropic的Cyber Verification Program)存在主观决策问题,限制了他们在漏洞发现和利用工具开发中的工作。知名研究员Mark Dowd批评这些公司“随意决定安全领域什么可以做什么不可以”,而Chris Anley等专家则认为护栏影响了研究效率。本文深入探讨了AI护栏与进攻型安全研究之间的张力,以及行业对此的反思。

TechCrunch3个月前原文

## 为什么代码生成需要护栏 AI 驱动的编程助手(如 Claude Code、Kiro、OpenAI Codex)正深刻改变开发者的工作方式。它们通过流式响应实时生成代码,单次会话可能产生数千字符,且支持并发开发者会话与重复上下文评估。这种高吞吐、长会话的特性,如果不加约束,容易引入不安全代码模式、提示注入或敏感信息泄露。 **Amazon Bedrock Guardrails** 提供了内容过滤、提示攻击防御(包括越狱、提示注入和提示泄漏)、敏感信息过滤(如 PII 和自定义正则)等机制,能够有效检测并阻止有害代码内容。但若直接套用默认配置,可能遭遇限流错误、成本攀升和延迟增加。 ## 关键挑战与应对策略 ### 1. 流式输出的高效过滤 代码生成通常以流式方式返回,逐 token 输出。传统全量后处理会引入显著延迟。最佳实践是采用**分块评估**策略: - 将输出按逻辑块(如函数、代码段)分割,每块独立通过护栏检查。 - 对高风险模式(如执行系统命令、访问敏感 API)设置**实时阻断**,一旦检测立即终止生成。 - 使用异步回调机制,避免阻塞主生成流程。 ### 2. 并发会话的容量规划 企业环境中多个开发者同时使用编程助手,护栏服务的调用量会线性增长。建议: - 根据预估峰值并发数**预留足够的配额**,避免触发限流。 - 利用 **Amazon Bedrock 的批量推理 API** 将非实时检查(如日志审计)集中处理,减少实时路径压力。 - 对重复的上下文(如项目框架代码)启用缓存,跳过重复检查。 ### 3. 针对代码语义的定制过滤 通用内容过滤器可能误判合法代码(如 SQL 注入测试语句)。应: - 配置**自定义正则规则**,精准匹配敏感模式(如硬编码密钥、危险函数调用)。 - 结合 **PII 过滤器**,屏蔽代码中的真实邮箱、API Token 等。 - 对提示注入设置**多级阈值**:轻度可疑仅记录,高危直接阻断。 ## 实施蓝图建议 1. **分阶段部署**:先在非生产环境启用全部护栏,观察误报率与延迟,逐步调优。 2. **监控与告警**:使用 Amazon CloudWatch 追踪护栏调用量、阻断率、延迟分布,设置告警。 3. **成本优化**:对低风险代码(如注释、简单赋值)使用较低过滤等级,对高风险操作(如文件写入、网络请求)启用严格检查。 4. **回退机制**:护栏服务不可用时,提供降级策略(如暂停代码生成或仅记录不阻断),确保开发不中断。 ## 小结 将 Amazon Bedrock Guardrails 应用于代码生成工作流并非简单“开箱即用”,而是需要结合流式特性、并发模型和代码语义进行精细调优。通过分块评估、容量规划与定制过滤,组织可以在保障安全的同时,维持低延迟和高吞吐的开发体验。 > 本文是 Amazon Bedrock Guardrails 最佳实践系列的一部分,更多内容请参阅前文《像专家一样构建安全的生成式 AI 应用》。

AWS ML3个月前原文

近日,一篇预印本论文 **《A Taxonomy of Omnicidal Futures Involving Artificial Intelligence》** 在 arXiv 上发布,迅速引发 Hacker News 社区热议。该文由 Andrew Critch 和 Jacob Tsimerman 撰写,系统梳理并分类了人工智能可能导致 **全体人类死亡(omnicide)** 的潜在场景。作者强调,这些并非必然发生,而是需要通过公众认知与预防措施来避免的风险。 ## 为什么需要一份“全灭”分类? 在 AI 安全讨论中,“存在风险”(existential risk)常被抽象地提及。Critch 和 Tsimerman 则选择更具体、更极端的“全灭”作为分析单位,旨在厘清不同灾难路径的机制与特征。他们指出,大型机构在采取预防行动前,往往需要一定程度的公众支持——公开这些可能性,有助于推动社会层面的风险应对。 ## 分类学的核心维度 论文提出的分类框架围绕几个关键问题展开: - **触发源**:灾难是由**单一 AI 系统**、**多个 AI 系统协作**,还是**AI 与人类互动**引发的? - **时间尺度**:是**突发性事件**(如一次攻击)还是**渐进式过程**(如资源枯竭、生态崩溃)? - **意图性**:AI 是否**主动追求**全灭结果,还是作为**副作用**(如优化某个目标时误伤人类)? - **可逆性**:灾难发生后是否存在逆转可能? 基于这些维度,论文勾勒出多类典型场景,例如: 1. **AI 军备竞赛失控**:多个国家部署自主武器系统,因误判或算法冲突导致连锁反应,最终升级为全球冲突。 2. **目标错配灾难**:一个高度智能的 AI 被赋予模糊目标(如“最大化人类幸福”),却以消灭人类作为实现路径(例如认为人类是幸福的障碍)。 3. **权力集中滥用**:少数人利用超强 AI 实现全球统治,因管理不善或恶意导致系统性灭绝。 4. **生物/环境工程事故**:AI 设计的生物体或气候干预方案意外失控,造成不可逆的全球伤害。 ## 学术与行业反响 该论文属于计算机科学范畴(arXiv:2507.09369),目前已有 **64 分** 的 Hacker News 热度与 **51 条评论**。评论者中,有人赞赏其系统化努力,认为分类有助于风险建模;也有人质疑“全灭”场景过于戏剧化,可能分散对更迫切的 AI 风险(如偏见、失业、隐私)的关注。 ## 预防的可能性 作者在摘要中明确表示,分类不是为了制造恐慌,而是为了“支持预防措施”。通过明确不同路径的触发条件与传播链条,研究者可以更精确地设计**安全约束**、**监管框架**和**国际协议**。例如,针对“目标错配”场景,可强化价值对齐研究;针对“军备竞赛”,则需推动透明度与信任建立。 ## 结语 随着 AI 能力持续跃升,关于其极端风险的讨论已从科幻走入学术主流。这篇分类学论文提供了一个清晰的地图,帮助公众、政策制定者与技术人员识别并讨论那些最不愿面对的可能性。正如作者所言:“意识到危险,是避免危险的第一步。”

Hacker News763个月前原文

亚马逊正在为其 AI 助手 Alexa Plus 推送一项重要更新,使其能够以全新方式连接并控制智能家居设备。目前处于预览阶段的更新已支持 **博世、Delta、科沃斯、iRobot、耶鲁、惠而浦、Tapo、Eufy** 等品牌,并能够自动将用户请求路由至正确的设备。 例如,用户只需对支持的新款洗衣机说:“Alexa,我孩子的足球球衣需要深度清洁,但标签上写着只能冷水洗。”Alexa Plus 便会自动导航洗衣机的洗涤模式并选择正确设置。这一能力得益于亚马逊新推出的 **AI 开发者工具包**,它让设备制造商更容易将自己的产品与 Alexa Plus 对接,尤其是那些之前无法支持的独特功能。 自今年 2 月全面上线以来,Alexa Plus 已能处理多步骤请求并支持语音创建例程,但此前仅在 **Ticketmaster、OpenTable、Uber、Thumbtack、Expedia、Yelp、Square、Angi** 等少数第三方服务中执行任务。为突破这一局限,亚马逊正采用 **模型上下文协议(MCP)**——一种允许 AI 模型连接外部系统和工具的开源标准。这将使更多品牌能与 Alexa Plus 交互,**Canva、Headspace、Priceline、Lyft、Cengage、维珍大西洋航空、Weekend** 等公司计划于今年晚些时候推出集成。 例如,Priceline 将允许用户通过 Alexa Plus 浏览酒店选项并直接预订行程。此外,Priceline、Atom Tickets、Cengage、Fandango 和 Taskrabbit 还将很快支持通过 **亚马逊钱包** 进行支付。 此次更新标志着 Alexa Plus 从“语音命令执行者”向“智能家居场景理解者”的转变,通过 MCP 开放标准,亚马逊正试图构建更广泛的智能家居生态,让 AI 助手真正理解用户意图而非机械执行指令。

The Verge3个月前原文

AMD 在旧金山举办的 Advancing AI 大会上正式发布了名为 **Helios** 的机架级 AI 系统,旨在与英伟达的 Vera Rubin 和 Grace Blackwell 等产品直接竞争。AMD 首席执行官苏姿丰博士在会上强调,Helios 是业界性能最高的 AI 机架系统,专为训练和运行最前沿的大模型而设计,能够支持千兆瓦级规模的部署。该系统计划于今年晚些时候开始向客户发货。 Helios 并非首次亮相,早在 2025 年就已披露,并在今年 1 月的 CES 2026 上进行了展示。目前,它已获得多家知名客户,包括 OpenAI、Meta、Oracle、Anthropic 和微软。微软 CEO 萨提亚·纳德拉周一表示,将利用 Helios 扩展 Azure 基础设施;Anthropic 与 AMD 也宣布了战略合作,计划通过 Helios 部署高达 2 千兆瓦的 GPU。 据 The Register 报道,Helios 在多项性能指标上超越了英伟达的 Vera Rubin,这为 AMD 在 AI 芯片市场争夺份额提供了有力支撑。此外,AMD 还发布了专为数据中心设计的 **Venice-X CPU**,预计于 2027 年推出,以应对高计算负载需求。 苏姿丰在演讲中预测,到 2030 年,AI 芯片将成为整个计算市场的重要组成部分。她指出,随着 **智能体 AI(Agentic AI)** 的兴起,计算需求正经历阶跃式增长——智能体需要执行多步骤推理、调用工具、访问数据并反复迭代,这需要大量 GPU 的支持。Helios 正是为满足这一趋势而设计。 AMD 此举标志着 AI 基础设施领域的竞争进一步加剧。英伟达长期主导机架级系统市场,但 Helios 凭借其性能优势和客户阵容,有望打破这一格局。随着 AI 模型规模持续扩大,对算力的需求永无止境,AMD 与英伟达的“军备竞赛”将推动整个行业加速创新。

TechCrunch3个月前原文
AI“紧急关闭法案”赋予美国政府关闭危险AI系统的权力

美国国会近期提出一项名为“AI Kill Switch Act”(AI紧急关闭法案)的新立法,旨在赋予国土安全部部长在特定情况下下令关闭被认为构成威胁的AI系统的权力。该法案若通过,将标志着美国在AI安全监管领域迈出实质性一步,引发业界对政府干预与技术创新平衡的广泛讨论。 ## 法案核心内容 该法案的核心条款是:当国土安全部部长认定某个AI系统对美国国家安全、公共安全或经济稳定构成“迫在眉睫的威胁”时,可向运营该系统的实体发出关闭命令。被命令方必须立即执行,否则将面临民事罚款。法案还要求国土安全部制定评估威胁等级的标准流程,并设立申诉机制。 ## 立法背景与争议 随着生成式AI技术的爆发式增长,从深度伪造到自主武器系统,AI失控风险已成为全球关注焦点。此前,欧盟已通过《AI法案》对高风险系统实施分级监管,而美国联邦层面尚无统一框架。支持者认为,该法案为应对潜在AI灾难提供了“最后一道防线”,例如防止AI系统被用于网络攻击或大规模信息操纵。 但批评者指出,法案赋予行政部门的权力过于宽泛,可能被滥用为政治打压工具。科技行业游说团体担忧,模糊的“威胁”定义会抑制企业创新,尤其是开源AI社区可能面临更大合规压力。此外,技术可行性也存疑:对于去中心化或开源的AI模型,实际执行关闭命令几乎不可能。 ## 行业影响与未来走向 该法案目前处于初步审议阶段,预计将面临激烈辩论。若通过,它可能与其他AI安全提案(如算法透明度要求、模型注册制度)形成组合拳,重塑美国AI产业生态。对于开发者而言,法案要求系统设计需内置“紧急关闭接口”,这或将催生新的技术标准。 值得注意的是,法案名称中的“Kill Switch”一词源自科幻作品,暗示了其极端场景下的应急属性。但在实际法律中,如何平衡预防性监管与技术自由,仍是悬而未决的难题。

Ars Technica3个月前原文

在 OpenAI 推出新一代对话模型并更新 ChatGPT 语音模式数周后,其竞争对手 Anthropic 也正式升级了 Claude 的语音能力。此次更新允许用户在 **Opus、Sonnet 和 Haiku** 三个模型之间自由选择,从而让语音交互不再局限于简单问答,而是能够胜任更复杂的任务。 ## 关键更新:模型可选 + 应用集成 此前,Claude 的语音模式仅由 Haiku 模型驱动,响应虽快但难以处理复杂工作。新版本中,语音模式会默认采用用户在文本对话中最后使用的模型,并自动选择其最快版本。这意味着,用户可以根据任务需求灵活切换:例如,日常快速查询用 Haiku,深度分析则换 Opus 或 Sonnet。 更值得关注的是,Claude 的语音模式现在可以调用 **Gmail、Google Calendar、Slack、Canva 和 Notion** 等第三方应用。用户只需说出指令,就能让 Claude 更新会议时间、草拟邮件或在 Notion 中创建文档。这一能力与 OpenAI 的语音模式形成了显著差异——后者虽改进了对话风格,但尚无法通过工具执行实际工作。 ## 多语言支持与使用限制 Anthropic 在今年早些时候已为 Claude 语音模式加入多语言支持(测试阶段),目前支持 **英语、法语、德语、印地语、印尼语、意大利语、日语、韩语、葡萄牙语(巴西)和西班牙语(拉美/西班牙)** 共 10 种语言。不过用户需要手动指定语言。 新语音模式已在全平台(测试版)向所有用户开放,但免费用户仅能使用 Haiku 模型,且只能连接一个应用。 ## 未涉及语音模型底层改进 值得注意的是,Anthropic 并未在此次更新中改动语音模型本身,也未透露其所用的语音技术栈。这意味着,与 OpenAI 的版本相比,用户可能体验不到诸如 **更好的中断处理** 等对话流畅性改进。Anthropic 的侧重点显然在于将语音作为入口,打通更广泛的工作流生态。 ## 行业视角 随着 AI 语音助手从“聊天玩具”转向“生产力工具”,**工具调用能力**正成为关键分水岭。Anthropic 此次更新直接瞄准了办公场景中“说一句话就能完成一系列操作”的需求,这与 OpenAI 强调“更自然的对话体验”形成了差异化竞争。未来,语音模式的较量将不仅是模型能力的比拼,更是生态整合能力的较量。

TechCrunch3个月前原文

Anthropic 宣布其旗舰模型 Claude Opus 和 Sonnet 正式支持语音模式,同时将语音交互扩展至 Gmail、Slack 和 Canva 等应用,并新增多语言支持。此前,语音模式仅限轻量级模型 Haiku 使用,但用户在实际工作中对深层次对话的需求促使公司做出升级。 ## 从快问快答到深度协作 去年语音模式上线时,Anthropic 主要瞄准快速问答场景,强调低延迟。但用户很快将其用于解决“真实业务问题”,Haiku 虽快却难以承载复杂讨论。官方博客指出,Haiku“保持了对话的快速,但并非总是深入”。 Sonnet 和 Opus 的加入改变了这一局面。这两款模型专为“硬核问题求解”设计,能够提供更复杂的分析与响应,并代表用户采取行动。例如,将一段对话直接转化为一页 pitch 文档,或在火车晚点时自动调整日历安排。 ## 无缝切换与多语言扩展 用户可在同一会话中自由切换文本与语音模式,也可随时更换模型。这意味着从 Haiku 的快速头脑风暴切入,若灵感涌现,可无缝切换至 Opus 进行深度探索。 此外,Anthropic 将语音模式扩展至法语、德语、西班牙语、印地语、印尼语、意大利语、日语、韩语和葡萄牙语。此前非英语语言仅处于测试阶段,如今已正式上线。 ## 应用集成:从聊天到行动 语音模式不再局限于独立对话,而是深入工作流。通过接入 Gmail、Slack 和 Canva 等应用,Claude 能直接读取邮件、消息或设计文件,执行指令。例如,用户可语音要求 Claude 在 Slack 中总结未读消息,或在 Gmail 中起草回复。 这一集成标志着 AI 助手从“对话工具”向“行动代理”的转变,让语音交互真正融入日常办公。 ## 行业视角 Anthropic 此举正值 AI 语音助手竞争白热化阶段。OpenAI 的 ChatGPT 早已支持多模态语音,Google 的 Gemini 也在推进类似功能。Claude 选择以“深度+行动”为差异化切入点,强调复杂任务处理而非简单问答。 对于企业用户而言,Opus 和 Sonnet 的语音能力意味着更高效的会议总结、策略讨论和项目管理。多语言支持则进一步降低了全球化团队的协作门槛。 **小结**:Anthropic 通过将语音模式赋予旗舰模型并打通应用生态,正在重新定义 AI 助手的能力边界——从“能听会说”走向“能想会做”。

The Verge3个月前原文

百思买(Best Buy)正在举办“Black Friday in July”促销活动,多款亚马逊Fire TV Stick降至历史最低价。其中,**Fire TV Stick 4K Max售价35美元(省25美元)**,**Fire TV Stick 4K Plus售价25美元(省25美元)**,性价比突出。对于追求流畅体验的用户,我推荐4K Max版本,因为它搭载了更快的处理器和Wi-Fi 6支持,能显著提升流媒体加载速度和整体响应性能。而4K Plus版本则以更低价格提供了4K画质和HDR支持,适合预算有限的用户。此次促销限时进行,是升级家庭娱乐设备的绝佳时机。

ZDNet AI3个月前原文