英伟达宣布向软银关联的数据中心开发商SB Energy投资15亿美元,并承诺提供高达1050亿美元的信贷支持,以确保其芯片成为OpenAI位于俄亥俄州辛辛那提附近Ports-Pike数据中心唯一的计算基础设施供应商。该设施初始规模为4.25吉瓦,未来可扩展至8吉瓦。SB Energy计划在该地(原美国能源部铀浓缩场地)建造一座9.2吉瓦的天然气发电厂,预计耗资330亿美元。英伟达此举旨在巩固其在AI算力市场的霸主地位,但高昂的能源成本和天然气价格波动风险不容忽视。
软件工程正站在一场范式转移的临界点。AMD的一位高管近日提出,下一场革命将不再是给开发者配一个更聪明的“副驾”,而是彻底重塑整个工作流。从AI Copilot(AI副驾)到Agent Swarms(智能体集群),这不仅是工具升级,更是开发模式的根本性变革。 ## 从“辅助”到“自主”:开发范式的跃迁 过去两年,以GitHub Copilot为代表的AI编程助手已经深入人心。它们擅长补全代码、生成测试,但本质上仍是“人在回路”的辅助工具——开发者负责决策,AI负责执行。而AMD描绘的下一步,是让多个AI智能体以集群形式协同工作,从需求分析、架构设计到代码实现、测试部署,全程自主推进。 这种转变的关键在于**工作流的重新定义**。在传统模式中,人类开发者是流程的中心,所有任务围绕其展开;而在智能体集群模式下,人类更像是一个“编排者”,负责设定目标和边界条件,具体执行由AI团队协作完成。AMD认为,这将极大释放生产力,让开发者从重复劳动中抽身,专注于更具创造性的问题。 ## 智能体集群的优势与挑战 智能体集群并非简单的多Agent并行,其核心在于**协作机制**。每个Agent可以专注于特定子任务,并通过消息传递或共享上下文进行协调。例如,一个Agent负责解析需求,另一个生成接口定义,第三个编写实现,第四个进行代码审查——它们之间需要高效的信息同步和冲突消解。 优势显而易见: - **速度提升**:多个Agent可并行处理,缩短开发周期。 - **质量保障**:自动化审查和测试Agent能持续监控代码质量。 - **规模扩展**:面对大型项目,集群可动态调整规模。 然而,挑战同样不容忽视。**任务分解的粒度**如何把握?**Agent间的通信开销**如何控制?**错误传播**如何阻断?这些都是需要解决的工程难题。此外,**安全与信任**问题也浮出水面——当AI自主修改代码时,如何确保其符合业务逻辑和安全规范? ## 对开发者角色的重塑 AMD的观点暗示,未来开发者的核心技能将从“写代码”转向“定义问题”和“监督AI”。这要求开发者具备更强的系统思维和抽象能力,能够将复杂需求拆解为可执行的Agent指令。同时,**人机协作的边界**也需要重新划定,哪些决策必须由人做出,哪些可以放心交给AI,将成为新的职业判断。 值得注意的是,这一趋势并非孤立。从OpenAI的AutoGPT到各类多智能体框架,行业早已开始探索。AMD的发言更多是对这一方向的背书,并暗示其硬件产品(如EPYC和Instinct)将针对此类工作负载进行优化。 ## 结语 从AI副驾到智能体集群,软件工程的生产力革命才刚刚开始。虽然技术细节和落地路径尚不明确,但方向已经清晰:**未来的开发者将不再是“码农”,而是AI团队的“导演”**。这场变革的深度和广度,可能远超我们的想象。
**Wispr** 近日宣布完成 **2.8亿美元** 新一轮融资,公司估值达到 **20亿美元**,累计融资总额已超过 **3.61亿美元**。这笔资金将用于支持其从语音听写工具向更广泛的人工智能通信平台转型。 ## 从听写工具到AI平台 Wispr 最初以语音听写技术切入市场,其核心产品能够将语音高效准确地转换为文本,帮助用户提升输入效率。然而,随着大模型能力的提升和用户需求的演变,Wispr 显然不满足于做一个单纯的听写工具。 公司正在将业务拓展至更广泛的 AI 通信领域,可能包括实时翻译、语音助手、会议纪要、智能回复等功能。这一转型方向与当前 AI 行业的趋势高度契合:**从单一功能工具向综合性 AI 平台演进**,以深度整合进用户的工作流。 ## 资本市场的信心 本轮融资由知名风投机构领投,但具体投资方尚未披露。高估值反映了资本市场对 AI 应用层公司的强烈兴趣,尤其是在语音交互和生产力工具赛道。Wispr 的快速增长也印证了市场对高效 AI 通信解决方案的旺盛需求。 值得注意的是,Wispr 的估值在短时间内大幅提升,表明其产品市场契合度较高,且投资者对其未来发展充满信心。 ## 未来展望 随着新资金的注入,Wispr 将加速产品研发和市场扩张。公司计划在保持语音听写核心优势的同时,推出一系列基于 AI 的创新功能,以构建一个完整的智能通信生态系统。 在竞争激烈的 AI 应用市场中,Wispr 能否凭借此轮融资巩固其地位,并成功拓展用户基础,值得持续关注。
**AI 在数学验证领域取得重大突破**:一个由人工智能驱动的系统成功验证了被称为“史上最难的数学证明之一”的定理,这一成果不仅标志着 AI 在逻辑推理与形式化验证方面的能力跃升,也为未来 AI 生成代码的可靠性保障开辟了新路径。 ## 验证的是什么? 这项突破的核心是 **AI 系统对一个极具挑战性的数学证明进行了自动化验证**。该证明涉及高度抽象和复杂的数学结构,此前一直被认为是形式化验证的“硬骨头”。研究人员表示,AI 能够处理如此复杂的证明,意味着其理解和操作形式化逻辑的能力已经达到新的高度。 ## 为什么重要? 数学证明的验证一直是人工智能的难点,因为证明过程不仅需要计算能力,更需要深层的逻辑推理和策略选择。传统计算机辅助验证工具往往需要人类专家预先定义大量规则和步骤,而此次 AI 系统的成功表明,它可以在更少人工干预的情况下,自主完成证明的检查和确认。 更深远的意义在于,**这种能力可以迁移到软件工程领域**。随着 AI 生成代码的普及,如何确保这些代码的正确性成为关键问题。如果 AI 能够验证复杂的数学证明,那么它同样有望用于检查 AI 自身生成的代码是否符合规格、是否存在逻辑错误,从而提升 AI 系统的可信度和安全性。 ## 未来展望 研究人员指出,**未来的版本有望用于验证 AI 生成代码的正确性**。这意味着,AI 不仅可以编写代码,还能像人类程序员一样(甚至更严格地)审查代码的逻辑正确性。这将是软件工程领域的一次潜在革命,尤其是在自动化系统和安全关键型应用中。 当然,目前这一技术仍处于早期阶段,距离大规模应用还有距离。但此次突破无疑为 AI 在逻辑推理和形式化验证领域的应用提供了有力证明,也为学术界和工业界带来了新的想象空间。 随着 AI 不断突破自身的边界,我们或许正在进入一个由 AI 辅助验证和保障自身工作的新时代。
## 快速省钱指南:利用 Google Play 商店等级折扣 最近,Google 向部分用户发送了 Pixel 11 系列的促销邮件,最高可优惠 150 美元。如果你错过了这封邮件,别担心,还有一个隐藏技巧可以帮你省下至少 125 美元——只需利用 Google Play Pass 的免费试用期,快速升级到 Gold 等级,即可解锁专属折扣。 ### 操作步骤:三步省下数百美元 1. **注册 Play Pass 免费试用**:Google Play Pass 提供超过 1000 款无广告、无内购的精选应用和游戏,通常每月 5 美元或每年 20 美元。但新用户可以享受一个月的免费试用,无需立即付费。 2. **获得 Gold 等级**:Play Pass 订阅会自动将你的 Play Store 账户升级到 Gold 等级。根据 Reddit 上的用户反馈,不同等级对应的折扣金额在 125 美元到 175 美元之间,具体取决于所购设备。以我自己的体验为例,临时 Gold 等级为我额外节省了 125 美元。 3. **使用折扣并取消订阅**:在获得 Gold 等级后,前往 Pixel 11 系列购买页面,折扣会自动应用。完成购买后,记得在试用期结束前取消 Play Pass 订阅,以免产生费用。 ### 值得注意的细节 - **折扣叠加**:这个折扣可以与以旧换新、商店积分等优惠叠加使用,进一步降低入手成本。 - **适用机型**:折扣适用于 Pixel 11 系列的不同机型,但具体金额可能因等级和设备而异。 - **时效性**:免费试用期结束后,Gold 等级会失效,因此务必在试用期内完成购买。 ### 总结 这个技巧不仅适用于 Pixel 11 系列,也可能适用于未来其他 Google 硬件产品的促销。如果你正考虑换新手机,不妨先检查自己的 Play Store 等级,或者利用 Play Pass 免费试用快速升级。花几分钟时间,就能省下上百美元,何乐而不为呢?
Google Workspace 的 Gemini 默认可以访问 Gmail、Docs、Calendar 和 Chat 等数据,这给企业带来了合规和隐私风险。本文将解释这一机制的重要性,并指导管理员如何关闭该功能。 ## 默认开启的 AI 访问权限 Google Workspace 管理员可能没有意识到,Gemini 默认拥有访问企业数据的权限。这意味着,即使用户没有主动调用 AI 功能,Gemini 也能读取 Gmail 中的邮件、Docs 中的文档、Calendar 中的日程以及 Chat 中的对话。对于依赖敏感信息的专业用户而言,这无疑是一个值得关注的隐私问题。 ## 为什么值得关注 尽管 Google 承诺不会将企业数据用于训练模型,也不会与企业外部共享数据,但默认开启的访问权限仍然可能引发合规风险。例如,在医疗、法律或金融等强监管行业,未经明确同意就允许 AI 读取数据可能违反相关法规。此外,内部 AI 访问也可能导致数据泄露,尤其是在员工误操作或系统漏洞的情况下。 ## 关闭方法 好消息是,管理员可以轻松关闭这一默认设置。具体步骤如下: 1. 登录 Google Admin Console。 2. 导航至“Apps” > “Google Workspace” > “Settings for Gemini”。 3. 在“Intelligence sources”部分,取消勾选允许 Gemini 访问的各个服务(如 Gmail、Docs、Calendar 等)。 4. 保存更改并等待生效。 关闭后,Gemini 将无法再读取这些数据,但用户仍然可以手动启用特定功能,前提是管理员允许。 ## 权衡与建议 关闭默认访问可能会降低 AI 的便利性,例如无法快速总结邮件或日程。但为了数据安全,企业应根据自身需求权衡利弊。建议在启用前进行风险评估,并制定明确的 AI 使用政策。 总之,Google Workspace 的默认设置虽然便捷,但也需要管理员主动管理,以确保企业数据的安全与合规。
近年来,宠物科技领域最伟大的发明莫过于自动猫砂盆。一台能自动铲屎的机器,猫主人还能奢求什么?或许是对猫咪如厕习惯的洞察,以便及时发现健康问题。这正是 Whisker 公司推出的 **Litter-Robot 5 Pro** 所承诺的,但经过六个月的测试,这款售价 **899 美元** 的高端产品在 AI 识别方面却翻了车。 ## 产品亮点与 AI 功能 Litter-Robot 5 Pro 是 Whisker 旗下最高端的型号,配备双摄像头和多种传感器,号称能通过 AI 算法和机器学习,不仅自动清理猫砂,还能准确识别每只猫的如厕行为,并追踪其健康状况。对于养多只猫的家庭来说,这无疑是个诱人的卖点。 ## 实际测试:AI 认错猫 然而,在实际使用中,AI 的表现却令人失望。记者 Jennifer Pattison Tuohy 在六个月的时间里,用两只猫(Smokey 和 Boone)测试了这款产品。结果发现,AI 经常将两只猫混淆,无法准确区分它们的身份。这意味着,基于个体猫咪的健康监测数据变得毫无意义,因为系统无法确定数据究竟属于哪只猫。 ## 价格与对比 Litter-Robot 5 Pro 售价 899 美元,而其更实惠的版本 **Litter-Robot Evo** 售价 599 美元。两者均于去年年底发布。尽管 5 Pro 在硬件上更胜一筹,但 AI 功能的失误让它的高价显得有些不值。 ## 结论:铲屎功能优秀,AI 仍需改进 尽管 AI 识别功能不尽如人意,但作为一款自动猫砂盆,Litter-Robot 5 Pro 的铲屎功能依然出色。它通过传感器和电机,在猫咪离开后自动旋转滚筒,将废物过滤到密封的垃圾箱中,确实省去了手动铲屎的麻烦。然而,对于依赖 AI 进行健康监测的用户来说,目前的识别准确率还不足以令人信赖。 总的来说,Litter-Robot 5 Pro 是一款优秀的铲屎机器,但它的 AI 功能更像是一个噱头,尚未达到宣传中的效果。对于多猫家庭,或许需要等待更成熟的识别技术。
为了满足欧盟《人工智能法案》的透明度要求,Anthropic 近日公布了其将如何为 Claude 生成的文本添加隐形水印。该公司表示,其文本标记系统采用了 Google DeepMind 开发的开源技术 SynthID-Text 的“一个版本”,该技术通过调整词语选择的概率来嵌入可检测的隐藏模式,而不会影响文本的阅读体验。 ## 水印如何工作? Anthropic 用了一个生动的例子来解释:在句子“The weather today was cold and…”中,下一个词是“sugary”的可能性极低,而“overcast”或“grey”则很常见。在大多数情况下,选择哪个词对读者来说无关紧要,因此模型通常通过随机数来决定。水印技术正是利用这些“低风险”的选择,通过预设的密钥和前面的几个词来引导选择,从而在整段文本中留下一种人类无法察觉、但持有密钥的检测工具可以识别的模式。 ## 不影响质量和成本 Anthropic 强调,该水印功能**不会增加用户的使用成本**,也**不会对 Claude 输出的质量或内容产生实际影响**。这意味着,无论是免费用户还是付费用户,都无需担心水印会改变文本的流畅性或准确性。 ## 欧盟 AI 法案的合规要求 欧盟《人工智能法案》要求,合成音频、图像、视频和文本必须包含机器可读的标记,以便识别内容是否由 AI 生成或操纵。Anthropic 的文本水印和针对 Claude 处理图像的 C2PA 支持,正是为了满足这一要求。值得注意的是,其他主要 AI 开发商也面临同样的合规压力,因此 Anthropic 的解决方案可能为行业提供参考。 ## 行业背景与展望 随着 AI 生成内容的普及,如何平衡透明度与用户体验成为关键。SynthID-Text 作为开源技术,其采用可能推动行业标准化。然而,水印的鲁棒性(例如能否被去除或篡改)仍是未知数,Anthropic 也未透露密钥的管理方式。对于企业和开发者而言,这一功能意味着更合规的 AI 应用,但具体实施效果还需在实际场景中检验。 总之,Anthropic 的隐形水印方案是 AI 透明度领域的一次重要尝试,它通过巧妙的技术设计,在满足监管要求的同时,尽量不打扰用户的正常使用。未来,随着 AI 法规的完善,类似的技术可能会成为行业标配。
开学季临近,平板电脑市场再度热闹起来。在众多新品中,TCL推出的Tab A1 Plus Nxtpaper凭借其独特的定位和亲民的价格,引起了我的注意。经过数周的深度体验,我认为它不仅是学生党的理想伴侣,更可能成为今年返校季的一匹黑马。 ## 护眼黑科技,读写体验焕然一新 Tab A1 Plus Nxtpaper最大的亮点在于其**Nxtpaper显示屏**。不同于传统LCD或OLED屏幕,Nxtpaper通过特殊的防眩光涂层和滤光层,模拟纸张的观感,即使在强光下也能清晰阅读,同时大幅减少蓝光对眼睛的刺激。对于需要长时间阅读电子书、文献或做笔记的学生而言,这无疑是一大福音。实际体验中,无论是浏览网页还是观看视频,屏幕的显示效果都相当柔和,长时间使用后眼部疲劳感明显减轻。 ## 性能均衡,满足学习与娱乐需求 在硬件配置上,Tab A1 Plus Nxtpaper搭载了八核处理器,配合4GB运行内存和64GB存储空间(支持microSD扩展),足以应对日常的文档处理、在线课程和轻量级游戏。其**10.4英寸的屏幕**尺寸适中,兼顾了便携性与阅读舒适度。电池续航方面,官方宣称可支持长达12小时的混合使用,实际测试中,在连续播放视频、浏览网页和记笔记的混合场景下,续航接近10小时,足以支撑一整天的学习需求。 ## 系统与配件:实用的学习工具 运行Android系统,Tab A1 Plus Nxtpaper内置了多款教育应用和笔记工具,并支持手写笔(需单独购买)。手写笔的延迟较低,书写体验流畅,配合Nxtpaper屏幕的纸张质感,手写笔记的体验非常接近真实纸笔。此外,TCL还提供了专用的键盘保护套,让平板瞬间变身轻量级笔记本,适合需要频繁输入文字的场景。 ## 价格与市场定位:性价比突出 目前,Tab A1 Plus Nxtpaper的售价约为**300美元**,在同类产品中极具竞争力。相较于iPad和三星Tab系列,它的价格优势明显,同时提供了独特的护眼屏幕和不错的基础性能。对于预算有限但又追求实用体验的学生用户来说,这款平板无疑是一个极具吸引力的选择。 ## 小结 TCL Tab A1 Plus Nxtpaper并非一款追求极致性能的旗舰设备,但它精准地抓住了学生群体的核心需求:**护眼、长效续航、足够的学习性能和亲民价格**。如果你正在寻找一款适合阅读和笔记的入门级平板,那么这款产品值得你重点关注。当然,如果你需要更高性能来应对专业级创作或大型游戏,那么可能需要考虑更高价位的产品。
随机向量功能链接(RVFL)网络以其轻量级和快速训练的特性,在机器学习领域占有一席之地。然而,传统RVFL模型在面对噪声标签、异常值和不平衡数据时表现脆弱,这限制了其在真实世界应用中的性能。为了应对这些挑战,研究人员提出了一种新的模型——基于核风险敏感均值p次幂的RVFL(KRPRVFL),该模型将RVFL的计算效率与核风险敏感均值p次幂(KRP)准则的鲁棒性相结合,通过用KRP损失替代标准的最小二乘目标,自适应地降低训练过程中受损或不可靠样本的影响,从而提升模型的稳定性和泛化能力。此外,该框架还引入了协作学习机制,使模型组件之间能够自适应交互,进一步增强在复杂和噪声环境中的鲁棒性。借助核诱导的特征映射,KRPRVFL无需显式选择隐藏层即可捕获非线性关系,保持了高效性和可扩展性。在UCI和KEEL基准数据集上的大量实验表明,KRPRVFL在准确性、鲁棒性和统计显著性方面均优于基线模型,为具有挑战性的分类任务提供了一种快速、可扩展且可靠的解决方案。
主动学习(Active Learning)通过挑选最具信息量的样本,能有效降低标注成本。但一个直觉上的矛盾是:模型最不确定的样本,往往也是最难被正确标注的。那么,不确定性采样(Uncertainty Sampling)的失败,究竟是因为它选到了更多错误标签,还是因为错误集中在困难区域而格外有害? 近期一篇来自 arXiv 的论文(编号 2608.13601)针对这一问题展开了系统测试。研究者 John Myron Uy 在三个公开的二分类表格数据集上,对比了基于边际(margin)的不确定性采样与随机采样,在三种标签噪声条件下的表现:干净标签、随机分类噪声(RCN)以及有界难度依赖噪声(难度越高的样本,噪声越大)。 实验设计相当严谨:使用 100 对配对随机种子、9 个期望噪声率(从 0 到 0.30)、标注预算从 20 到 120(干净标签延伸至 400),并采用逻辑回归作为基学习器,在每个预算下通过交叉验证重新选择正则化参数。 **核心结果**显示:在干净标签下,不确定性采样在所有数据集上均提升了归一化平衡准确率曲线下面积(AUC),提升幅度在 1.09 到 1.77 个百分点之间。然而,当引入难度依赖噪声后,情况变得复杂:在 Breast Cancer Wisconsin 数据集上,难度依赖噪声在 8 个噪声率中的 6 个上比 RCN 更削弱不确定性采样的优势;但在 Banknote Authentication 和 MAGIC Gamma Telescope 数据集上,这一现象并未出现。 进一步的“暴露匹配”(exposure-matched)分析发现,没有证据表明结构化错误位置会带来额外的普遍惩罚。换句话说,不确定性采样获取更多错误标签这一点,并不能完全解释其性能下降;错误的具体位置(是否集中在困难区域)的影响因数据集而异。 有趣的是,在干净的 MAGIC 数据上,不确定性采样在提升平衡准确率的同时,却降低了平均精度(average precision)和固定假阳性率下的真正例率。这说明,评估指标的选择会显著影响对采样策略优劣的判断。 **结论**:不确定性采样在标签效率上确实有优势,但其鲁棒性高度依赖数据集、预算、噪声结构以及评估指标。该研究提醒我们,在实际应用中,不能盲目信任不确定性采样,尤其是在标签质量参差不齐的场景下。 该论文共 14 页,包含 5 张图和 4 张表,并提供了代码和可复现材料。对于从事主动学习研究和应用的开发者而言,这项研究提供了一个重要的视角:在考虑标注成本的同时,必须将标签噪声的分布特性纳入考量。
XGBoost 作为机器学习领域的热门算法,凭借其高效、可扩展的特性,在各类预测任务中表现出色。然而,一项最新研究揭示了其在面对数据异常时的脆弱性,并提出了一种名为 **MM-XGBoost** 的改进方案,在保持预测精度的同时显著增强了模型的稳健性。该研究由 Iris Aragón Mladosich 与 Christophe Croux 合作完成,相关论文已提交至 arXiv(编号:2608.13590)。 ## 从残差拟合到稳健性挑战 XGBoost 的核心机制是迭代地拟合决策树,以捕捉前一步预测的残差。其默认的损失函数为二次损失(即均方误差),虽然计算简便,但对异常值极为敏感。即便引入了 Huber 损失作为替代,研究指出,**垂直异常值(vertical outliers)** 和 **高杠杆点(leverage points)** 依然能显著影响模型性能。垂直异常值指目标变量中的极端值,而高杠杆点则指特征空间中偏离主体分布的样本点,两者都可能导致模型过拟合或偏差。 ## 探索替代损失函数:M、S 与 τ 估计 为了应对这一挑战,研究者将目光投向了稳健回归领域的经典方法。他们系统评估了基于 **M 估计器**、**S 估计器** 以及 **τ 估计器** 的替代损失函数在 XGBoost 框架中的表现。这些估计器通过不同的方式降低异常值对模型拟合的影响,例如 M 估计器通过迭代加权最小二乘,S 估计器则基于残差尺度的高断点估计。 实验结果显示,单一的稳健损失函数虽然提升了抗异常能力,但往往以牺牲预测精度为代价。而将两种估计器结合的两步法——**MM-XGBoost**——在两者之间达到了最佳平衡。MM 估计器通常先使用高断点的 S 估计器获得初始稳健拟合,再通过 M 估计步骤优化效率,这一策略在 XGBoost 中同样奏效。 ## 稳健与精度的权衡之道 MM-XGBoost 的提出,为在真实世界数据中应用 XGBoost 提供了更可靠的选项。在金融、医疗、工业等常含噪声和异常值的领域,该方法的实用价值尤为突出。研究团队通过大量实验验证了其有效性,并提供了详尽的补充材料(30 页正文加 15 页附录),为后续研究提供了坚实基础。 尽管 MM-XGBoost 展现出显著优势,研究者也提醒,其计算成本可能略高于标准 XGBoost,且参数调优需要更多考量。未来,如何进一步降低计算开销,并将该方法扩展到分类任务,将是值得探索的方向。 这项研究不仅深化了我们对 XGBoost 鲁棒性的理解,也为稳健机器学习提供了新的工具。对于数据科学家而言,当面对可能包含异常值的数据集时,MM-XGBoost 无疑是一个值得尝试的选项。
在AI领域,模型规模的差异往往成为知识迁移的障碍。通常,将大型模型的能力迁移到小型模型需要复杂的对齐或训练过程。然而,一项新研究提出了一种无需训练的跨规模融合方法,通过激活引导的剪枝技术,在保持性能的同时实现知识的高效转移。 ## 创新方法:Activation-Prune-Merge (APM) 来自研究者的一项新工作提出了 **Activation-Prune-Merge (APM)** 框架,旨在解决异构模型融合中的跨规模问题。传统方法通常需要神经元级别的语义对齐,而APM则另辟蹊径。它通过构建任务条件下的激活图,识别大型模型(供体)中与任务相关的关键部分,然后进行剪枝以匹配小型模型(受体)的架构。具体来说,APM会剪枝供体的层、隐藏维度、注意力头和MLP神经元,使其与受体的结构对齐,最后通过微小的插值系数将剪枝后的供体部分注入受体。 这种方法的核心思想是,将供体视为功能组件的集中来源,而非要求精确的结构移植。这种设计使得跨规模融合无需显式的语义对齐,就能实现知识转移。 ## 显著性能提升 研究者在16个基准测试上进行了评估,涵盖推理、数学、代码生成、指令遵循和分类等任务。结果显示,APM将3B规模受体的平均准确率从 **55.5%** 提升至 **60.6%**。在具体任务上,RTE准确率从64.3%大幅提升至82.3%,QNLI从52.3%提升至65.7%,BoolQ从70.8%提升至79.2%。这些数据表明,激活引导的剪枝能够有效提取供体中的可迁移能力。 ## 分析与未来方向 研究还分析了注入比例的影响,并探索了多阶段顺序融合的可能性。结果表明,激活引导的提取能够提高可迁移供体切片的质量,同时保持小比例融合的机制。这为跨规模模型融合提供了新的思路,尤其是在无需额外训练的情况下,为资源受限场景下的模型增强提供了可能。 尽管结果令人鼓舞,但研究者也指出,当前方法依赖于任务条件激活图,可能需要对每个任务进行适配。未来的工作可以探索更通用的激活引导策略,以及在不同模型家族上的适用性。 这项研究为模型融合领域带来了新的视角,证明了在无需语义对齐的情况下,跨规模知识迁移是可行的,且效果显著。随着进一步的研究,这种方法有望在模型压缩和高效部署中发挥重要作用。
现代运营系统即使在常规条件下也面临不确定性,其中罕见、突发且自激的事件既源于外生协变量,也源于内生事件动力学。标准的神经算子通常被训练为回归式的函数到函数模型,而非条件强度估计器,这限制了它们在稀疏事件场景中的适用性。为此,我们引入了洛伦兹傅里叶神经算子(L-FNO),这是一种随机神经算子,它结合了FNO风格的协变量路径、用于历史依赖激发的洛伦兹谱核以及基于似然的训练目标。我们在八个合成点过程基准和三个真实世界数据集(涵盖疾病暴发预测和半导体故障或缺陷检测)上评估了L-FNO。与回归和基于似然的神经算子基线相比,L-FNO在事件似然、校准诊断和罕见事件检测方面均有提升。这些结果表明,结构化的谱记忆和基于似然的学习为随机事件动力学的神经算子模型提供了有效的归纳偏置。 ## 背景与挑战 在金融、医疗、制造等许多领域,系统面临的核心挑战之一是如何准确预测罕见但关键的事件,例如疾病暴发或半导体制造中的故障。这些事件往往表现出突发性和自激性,即一个事件的发生可能增加后续事件发生的概率。传统的神经算子模型通常以回归方式训练,直接学习输入到输出的映射,忽略了事件时间序列的随机性质,导致在稀疏事件场景下性能不佳。 ## L-FNO的核心设计 L-FNO的设计旨在克服上述局限。它结合了三个关键要素: - **FNO风格的协变量路径**:利用傅里叶神经算子高效处理函数型协变量,捕捉输入与事件之间的复杂关系。 - **洛伦兹谱核**:借鉴洛伦兹函数(即柯西分布)的谱形式,用于建模历史事件的激发效应。这种核函数能够有效捕捉事件的自激和互激特性,尤其适合描述突发和衰减过程。 - **基于似然的训练目标**:通过最大化事件序列的似然函数来训练模型,使其直接优化条件强度估计,而非简单的回归误差。 这种设计使得L-FNO能够更好地处理事件数据的随机性,并提高对罕见事件的预测能力。 ## 实验与性能 研究团队在八个合成点过程基准和三个真实数据集上进行了广泛实验。结果显示,L-FNO在事件似然、校准诊断和罕见事件检测方面均优于现有的回归和基于似然的神经算子基线。这表明,结构化的谱记忆和似然学习为神经算子模型提供了有效的归纳偏置,使其更适合于随机事件动力学建模。 ## 意义与展望 L-FNO的提出为神经算子家族增添了新的工具,特别是在处理随机事件序列时。其成功表明,将领域知识(如自激过程的谱特性)融入模型架构,并结合适当的训练目标,可以显著提升模型的实用价值。未来,该模型有望在更多需要实时预测和风险管理的领域中得到应用,例如金融风险管理、流行病学监控和工业质量控制等。 尽管L-FNO表现出色,但仍有改进空间。例如,如何扩展到更高维的事件类型、如何处理非平稳的协变量,以及如何进一步提高计算效率,都是值得探索的方向。
高能物理对撞机实验中,寻找超出标准模型的新物理信号是核心目标之一。然而,传统的事件级异常检测方法长期面临两大痛点:异常分数难以解释,以及异常分数与能量尺度、粒子多重性等变量强相关,导致误报率偏高。近期,一篇发表在arXiv上的论文提出了名为**ORCA**(Organized Representation via Contrastive learning for Anomaly detection)的两阶段框架,旨在解决上述问题,为对撞机物理中的异常检测提供更可靠且可解释的工具。 ORCA的核心思路是:首先,利用**监督对比学习**在涵盖多种已知物理过程的模拟数据上训练一个嵌入空间,使得不同物理过程在该空间中被清晰地分离;随后,在该嵌入空间上运行一个标准自编码器,生成事件级的异常分数。这种设计不仅提升了异常检测的灵敏度,更重要的是,嵌入空间的几何结构携带了高维的物理信息,使得异常样本的**可解释性**成为可能。 在模拟数据上(与高亮度大型强子对撞机(HL-LHC)条件一致),ORCA相比基线自编码器架构,在**灵敏度的广度和深度**上均取得了显著提升。更值得关注的是,研究团队开发了一种基于最大似然估计的模板拟合方法,能够将异常样本中的事件归因到已知的物理过程模板,并给出量化的不确定性。实验表明,该拟合方法能准确恢复注入的信号产额,即使这些信号在训练嵌入时未被包含;对于模板库中缺失的信号,也能通过其最相似的已知过程进行特征描述。 这一成果为对撞机实验中的异常检测搜索开辟了新的路径。传统方法通常输出一维的分数,而ORCA利用嵌入空间的几何结构,保留了更丰富的物理信息,有助于下游的统计分析。尽管该研究仍处于模拟验证阶段,但其提出的可解释异常检测框架,对于未来高能物理实验的数据分析具有重要的潜在应用价值。 值得注意的是,论文作者来自上海交通大学、印度科学研究院等机构,研究聚焦于机器学习与高能物理的交叉领域。随着HL-LHC等高精度实验的推进,这种结合对比学习与自编码器的方法,或将成为物理学家探索新物理的有力助手。
在 AI 领域,**SWE-bench** 和 **LiveCodeBench** 等编码基准已成为衡量大模型编程能力的重要标尺。然而,一项最新研究指出,过度依赖这些基准进行优化,可能会误导我们对模型通用编码能力的判断。该研究已收录于 **ICLR 2026** 的 DL4Code 研讨会,并提出了更全面的评估框架。 ## 基准分数的“意义鸿沟” 研究团队认为,当前许多论文、模型卡和博客将模型在少数基准上的高分,直接等同于其具备广泛的编码能力。但实际上,**针对特定基准的优化往往只能提升任务特定性能**,而非通用能力。这种“意义鸿沟”导致开发者难以依据现有指标做出可靠的决策。 ## 案例研究:Django 基准套件 为了验证这一观点,研究者构建了一个基于 **Django 框架**的基准套件,并评估了多个基础模型及经过 SWE-bench 轨迹后训练的检查点。结果显示: - **基准排名普遍无法泛化**:在 SWE-bench 上表现优异的模型,在 Django 任务上并未展现同等优势。 - **跨任务迁移有限**:后训练模型在不同任务间的能力迁移微乎其微,SWE-bench 优化对 Django 任务及 LiveCodeBench 的增益几乎为零。 - **模态微调不通用**:针对 Django 单个模态的微调,同样无法迁移到其他模态。 ## 评估策略建议 面对这一挑战,研究者提出分层评估策略: - **前沿模型**:采用整体性评估,全面考察各项能力。 - **研究模型**:使用多任务套件,覆盖更广泛的应用场景。 - **特定任务应用**:引入人工评估,确保实际场景中的有效性。 此外,他们呼吁社区**构建能力分类体系**,并持续维护基准,而非一次性发布。唯有如此,才能为 LLM 和智能体的开发与部署提供可靠依据。 ## 结语 这项研究提醒我们,**基准分数的提升并不等于通用能力的增强**。在 AI 技术快速迭代的今天,多样化的评估体系是确保技术健康发展的基石。
线性注意力模型因其固定大小的状态表示,在长上下文场景下面临着信息干扰的挑战。近日,Dhruman Gupta等人提出了一种名为QED的新方法,通过引入查询衍生的擦除方向,显著提升了模型的检索能力,甚至将有效上下文长度翻倍。 ## 背景:线性注意力的困境 传统的Softmax注意力机制虽然效果出众,但其计算复杂度随序列长度呈二次方增长,难以应对超长上下文。线性注意力通过固定大小的状态来近似全局信息,将复杂度降至线性。然而,这种压缩也带来了问题:当上下文极长时,大量信息被挤压在有限的状态中,相互干扰,导致检索准确率急剧下降。 ## QED:从查询中寻找擦除方向 现有方法(如Gated DeltaNet-2)在进行状态更新时,擦除向量仅由当前token的键(key)决定。但研究者发现,读取时干扰的度量依赖于查询(query),而键导向的擦除无法触及查询方向上的干扰。QED的灵感正是来源于此:既然查询能感知干扰,那么它也应该指导擦除。 QED在原有键导向擦除的基础上,增加了一个与键正交的、由查询衍生的第二擦除方向。在快速权重视角下,这种设计使得模型能够利用可编辑的部分,沿查询方向抵消旧状态中的干扰内容,从而更精准地更新记忆。 ## 性能提升:不止一点 实验表明,QED在多种长度超出训练窗口的测试中均提升了检索性能,尤其在S-NIAH-1任务上,有效上下文长度几乎翻倍。这意味着,在不改变模型架构的前提下,仅通过修改擦除机制,就能显著扩展线性注意力的可用范围。 ## 未来展望 QED为线性注意力模型的优化提供了新思路:擦除不应仅依赖键,查询中的信息同样重要。这一发现或许能启发更多关于注意力机制内部信息流的研究,推动高效长上下文模型的进一步发展。
Hacker News 热门 · 157 分 · 188 评论
According to the Financial Times, OpenAI disbanded its preparedness team at the end of last month. The job of the preparedness team was to assess if models posed serious risks and develop ways to mitigate those risks. (You know, like the possibility that it could go rogue and hack another company.) According to FT, responsibility […]
Hacker News 热门 · 254 分 · 152 评论