## 概述 大语言模型（LLM）的预训练中，模型能力是核心变量，却从未被直接观测。数据塑造能力（前瞻），评估揭示能力（回顾），但两者之间缺乏可操作的桥梁。传统优化流程是“先看到失败，再推断数据修复”，工程师依赖直觉而非方法。近日，一篇 arXiv 论文提出 **“能力切片”（capability slice）** 概念，构建了从评估到数据的闭环，使推断变得可审计、可实验验证。 ## 核心问题：评估与数据的“语言鸿沟” 评估侧使用**基准名称**和**样本正确性**，数据侧使用**数据来源、领域、质量标签**，两者词汇不兼容。一个基准分数是多个因素（样本、提示、解码、评分规则）的嘈杂聚合，难以定位具体弱点；而单个样本噪声太大。工程师只能凭经验猜测：哪个数据环节出了问题？ ## 解决方案：能力切片 + 分类体系 + 映射规则 论文提出 **“能力切片”**——一组共享背景条件、任务类型、求解操作和输出约束的评估样本。它足够精细以定位单一弱点，又足够稳定以承受聚合。围绕这一单元，作者构建了： - **评估分类法**：按能力维度组织评估样本 - **非指令数据分类法**：按数据来源、领域、质量等标签组织预训练数据 - **映射规则**：连接评估失败与数据干预的对应关系 形成闭环：基准失败 → 能力切片诊断 → 数据干预 → 再评估验证。 ## 实验验证：两个相反方向的案例 ### 案例一：闭环“排除”数据问题 持续预训练导致 **BBH 基准下降 46.82%**。传统思路会怀疑数据质量。但闭环诊断发现：问题不在于数据内容，而在于训练中**单个掩码 <EOS> 损失**设置不当，削弱了推理能力。修复该损失后，BBH 回升至 66.44，甚至超过原始检查点。数据本身无需改变。 ### 案例二：闭环“定位”数据干预 数学推理能力持续薄弱。通过求解操作分解，发现是**特定组合的失败模式**。基于此构建的弱点定向采样策略，使 **AIME2025/AIME2026 Pass@128** 从 6.67/0.00 提升至各 26.67。 同一套闭环在两个案例中得出了相反但正确的结论：第一个排除了数据问题，第二个精准定位了数据改进方向。 ## 意义与展望 这项工作将评估到数据的推断从**直觉驱动**转变为**方法驱动**，使能力增强过程更加可审计、可重复。对于追求高效优化的大模型团队，这种闭环方法论有望成为标准实践。未来可进一步自动化映射规则，并扩展到指令微调与强化学习场景。 > 论文标题：Data and Evaluation Closed-Loop for Model Capability Enhancement > 作者：Zhixuan Li, Jiangan Yuan, Han Xu > 链接：arXiv:2606.28471
**一句话快讯**：最新基准测试GPTNT基于合作游戏《Keep Talking and Nobody Explodes》设计，要求两个多模态智能体在实时压力下通过不对称信息协作拆弹。结果显示，当前最强AI无一成功，而人类玩家轻松过关。该测试揭示了AI在状态追踪、时效行动、歧义处理和错误恢复上的严重短板。**核心发现**：所有测试模型（包括闭源和开源）在实时拆弹任务中全部失败，暴露出协作能力的系统性缺失。**背景与设计**：现有AI评测多聚焦单一能力，但真实协作需同时应对时间压力、信息不对称和不完美沟通。GPTNT将两个智能体置于不同角色：一个能看到并操作炸弹但无说明书，另一个有说明书但无法接触炸弹，两者必须通过实时语音沟通完成拆弹。任务采用程序化生成谜题，且可选择性移除手册或伙伴来隔离模型依赖。**测试结果**：在实时设定下，所有模型均无法在时限内拆解任何炸弹。相比之下，人类玩家通过明确分工、快速确认和错误纠正能稳定成功。**深层分析**：通过控制实验，研究团队定位了四个关键缺陷：1）**状态追踪失败**：模型难以记住当前操作步骤和炸弹状态；2）**时效压力下效率低**：对话冗长，行动迟缓；3）**歧义处理弱**：对模糊描述无法请求澄清或推断；4）**错误恢复差**：一旦出错，无法从失败中学习并调整策略。**未来意义**：GPTNT作为可演进的基准，将随模型能力提升而更新，避免被一次性破解。它提醒业界：多模态智能体的协作能力远未达到实用水平，实时交互与信息不对称仍是核心挑战。
随着大语言模型和视觉-语言模型的飞速发展，AI在临床决策支持和分诊等场景中展现出巨大潜力。然而，现有医疗AI基准测试存在明显碎片化：有的支持多轮对话但不含图像，有的提供多模态输入却只聚焦单轮问答。为填补这一空白，研究团队推出了 **IMCBench**——一个基于真实临床图像、结合合成患者档案的多轮医疗对话基准，旨在模拟真实的医患互动场景。 **多维评估：安全、准确与不确定性管理** IMCBench 的独特之处在于其评估维度。每个对话从三个临床关键角度进行打分：**安全性**（建议是否可能导致患者伤害）、**准确性**（诊断与事实的匹配度）以及**不确定性管理**（模型是否恰当地表达诊断的不确定性）。评分采用 1-5 分制，利用 LLM-as-Jury 方法，并经过临床专家标注校准，确保评估的可靠性。 **模型表现：Claude Opus 4.6 领跑，但无全能选手** 研究团队对四个模型家族（Claude、GPT、Nova、Llama）中的八款前沿多模态模型进行了基准测试。结果显示，**Claude Opus 4.6** 以 **3.61** 的综合得分位居榜首，紧随其后的是 Claude Sonnet 4.6（3.30）和 GPT-5.2（3.29）。然而，没有任何模型在所有维度上占据绝对优势。值得注意的是，所有模型在应对恶性或罕见病症时，安全性得分平均下降 **0.27**，暴露出当前模型在处理高风险场景时的短板。 **消融实验：视觉与电子健康记录（EHR）信息不可或缺** 进一步的消融研究表明，移除视觉输入或 EHR 上下文信息后，模型的安全指导能力均出现下滑——安全得分平均分别下降 **0.18** 和 **0.23**。更强的模型能更有效地利用视觉特征，但整体而言，准确的临床描述并不等同于安全的患者指导。这一发现强调了在医疗 AI 评估中引入多维框架的必要性，而非仅依赖单一指标。 **行业启示：医疗 AI 评估需从“单点”走向“全景”** IMCBench 的出现，为医疗 AI 领域提供了一个更贴近真实诊疗流程的评测工具。它提醒业界：多模态能力不仅仅是“看图说话”，更要在复杂对话中平衡安全、准确与不确定性表达。随着该基准被 ECML PKDD 2026 接收，未来有望推动模型在临床场景中更稳健地落地。
## 让大模型“想对方向”，而不仅是“想得更多” 当前提升大语言模型推理能力的主流方法，如**思维链（Chain-of-Thought）** 和 **“Wait”提示**，本质上都是在鼓励模型“多想想”。然而，想得更多并不等于想得更正确——模型可能在复杂的推理步骤中越走越偏，最终生成看似合理但实则错误的答案。 一项被 **ICML 2026** 接收的新研究《Search for Truth from Reasoning》提出了一个关键问题：**如何引导模型的推理轨迹真正趋向“真相”，而非仅仅增加推理步数？** 为此，研究团队提出了一个名为 **DynaSteer** 的动态表征编辑框架，试图从模型内部表征的几何结构入手，实现对推理过程的精准干预。 ## 三个关键发现：真相的“几何学” 研究首先深入分析了模型在推理过程中内部表征的变化，揭示了关于“真相”的三个重要性质： 1. **真相编码在句子层级，且与推理模式纠缠**：模型并非在单个 token 上编码“正确性”，而是在完整的句子或子句层面表达真实程度。同时，这种真实信号与模型使用的推理策略（如类比、分解）高度耦合，难以直接分离。 2. **干预存在“测不准原理”与“衰减效应”**：对模型表征的修改并非越早越好或越强越好。最佳干预时机位于早期、高熵的决策分叉点——此时模型尚未“下定决心”，干预效果最显著；而一旦进入低熵的确定性路径，干预效果会迅速衰减。 3. **朴素干预向量噪声过大**：直接使用简单的方向向量进行编辑，容易引入噪声，甚至破坏原本正确的推理轨迹，导致“误伤”。 ## DynaSteer：动态、精准、可回滚 基于上述洞察，DynaSteer 框架提出了三阶段解决方案： - **模式聚类解耦**：首先对推理过程中的表征进行聚类，将不同的推理模式（如代数推理、几何推理）分离到不同的流形上，从而避免跨模式干扰。 - **Fisher-LDA 投影提纯**：利用 Fisher 线性判别分析，在解耦后的流形上提取出最纯净的“真相方向”，大幅降低噪声。 - **动态监测与选择性干预**：通过实时计算**前瞻熵（lookahead entropy）** 来评估当前推理路径的不确定性。仅在熵值高于阈值时触发干预，并允许在干预失效时回滚到之前的健康状态。 ## 实验验证与行业意义 在 **MATH 基准**上的全面实验表明，DynaSteer 在多个难度级别的数学推理任务上均显著提升了准确率，同时减少了不必要的推理步数。在**跨领域代码生成任务**上的测试进一步证实了其泛化能力。 这项工作的价值不仅在于技术本身，更在于它揭示了一个深层问题：**当前的大模型推理增强方法大多停留在“量”的层面（增加步数、扩大搜索），而忽略了“质”的引导——如何让模型在推理过程中持续逼近真相。** DynaSteer 提供了一种可微、可控制的内部表征干预范式，有望与外部提示方法互补，成为下一代推理增强工具的核心组件。 随着大模型在数学、编程、科学推理等高价值场景中的应用日益深入，如何确保其推理结果的可信度将成为关键挑战。DynaSteer 的“动态编辑+回滚”思路，或许为这一难题提供了一条值得探索的新路径。
大型语言模型（LLM）在应对伦理困境时，常常展现出不同的价值取向——有的更强调公平，有的更看重诚实，有的偏向勇敢，有的则倾向于克制。如何系统性地描述这些差异？来自雅典经济与商业大学的研究团队近期提出了 **VirtueMap** 框架，从亚里士多德美德伦理学出发，为LLM建立“美德画像”。 ## 从“对错”到“排序”：评估思路的转变 传统伦理评估往往要求模型从多个选项中选出“正确”答案，但现实中的伦理困境往往没有绝对的对错，只有不同的优先级。VirtueMap 另辟蹊径：它不要求给出唯一答案，而是让人类或LLM对每个困境下的 **5 种回应进行排序**，从而揭示模型在不同美德维度上的倾向。 研究设计了 **7 个通用、非致命、非政治、非宗教的伦理困境**（例如涉及诚实与忠诚冲突的场景），每个困境对应 5 种回应。针对每个困境和每种美德，研究者先提出一套“从最体现该美德到最不体现”的参考排序，然后收集 **超过 100 份人类评价**，只有当 **至少 95% 的受访者确认**该排序时，才将其作为该美德的“操作化真值”（operational ground truth）。 ## 五大美德与Borda对齐评分 VirtueMap 聚焦 **5 种核心美德**： - **实践智慧（Practical Wisdom）** - **正义（Justice）** - **诚实（Truthfulness）** - **勇气（Courage）** - **节制（Temperance）** 模型或人类的排序结果与参考真值进行 **归一化Borda对齐** 评分，最终生成每个主体在五维美德空间中的“画像”。 ## 对9个LLM家族的测试结果 研究者对 **9 个LLM家族** 进行了重复运行评估，发现模型在美德排序上具有 **较高的平均排名一致性（90.3%）**，但在不同美德上存在明显差异： - **勇气、节制和正义** 是模型间分歧最大的维度，不同模型在这些美德上的表现差异显著。 - 相比之下，实践智慧和诚实的排名一致性更高，说明模型在这些维度上的倾向更为趋同。 ## 交互式网站与本地计算 研究团队还发布了一个 **交互式网站**，用户可以在浏览器本地计算自己的美德画像，并与已测得的LLM画像进行对比。这为普通用户参与AI伦理研究提供了低门槛的入口。 ## 意义与局限 VirtueMap 的贡献在于提供了一种 **细粒度、可解释的伦理偏好量化方法**，超越了传统的“安全/有害”二元分类。它借鉴了古典伦理学的理论框架，使模型的行为描述更具人文深度。 不过，该框架目前仅基于 7 个特定困境，且美德排序的“真值”依赖于人类共识（95% 阈值），可能难以覆盖更复杂或文化敏感的伦理问题。此外，模型在非英语环境下的表现尚未被验证。 尽管如此，VirtueMap 为 LLM 的伦理对齐提供了一个新颖的视角：与其追求“绝对正确”，不如理解模型在不同美德维度上的 **优先级偏好**，从而更好地预测和引导其行为。
文本到图像生成模型（如 Stable Diffusion、DALL·E）和多模态大模型在生成自然风景、人物肖像甚至艺术创作上已经相当惊艳，但面对科学图表——机制示意图、实验设计草图、概念框架或图形摘要——它们还能保持同样水准吗？答案是：**远未达标**。 近日，一篇题为《Can AI Draw Science? A Benchmark for Evaluating Scientific Figure Generation by Text-to-Image and Multimodal Models》的论文提出了 **SciDraw-Bench**，这是首个专门针对科学图表生成能力的评测基准。研究团队指出，现有主流图像生成评测（如 GenEval、T2I-CompBench、DPG-Bench）均聚焦于自然图像的组合性、物体计数或逼真度，**完全没有衡量科学图表最关键的要素**：标签文字是否正确可读、实体与关系是否准确呈现、图表结构是否连贯、以及是否符合学科绘图规范。 SciDraw-Bench 包含 **32 个结构化的科学图表生成任务**，覆盖 8 种图表类型（如机制图、流程图、示意图等）和 10 个学科（生物学、化学、物理学等）。每个任务都配有自然语言提示和机器可检查的规范说明，明确要求必须包含哪些标签、关系和组件，遵守哪些约定，并禁止出现哪些错误。 评估采用四个维度： - **文本保真度**：通过 OCR 检测标签的召回率和字符错误率； - **语义正确性**：使用视觉语言模型判断生成图是否符合规范说明； - **结构质量**：评估图表的布局、连线、层次等结构是否合理； - **惯例遵守**：检查是否符合特定学科或图表类型的绘图惯例（例如化学结构式的键角、流程图的标准箭头）。 此外，论文还提出了元评估协议和初步的评分者间信度分析（人工评分验证仍在进行中）。 在初步测试中，研究团队对比了一个领域专用系统 **SciDraw AI** 与多个通用文本到图像模型。结果不出所料：**SciDraw AI 在所有维度、所有图表类型上均大幅领先**，尤其在语义正确性和惯例遵守方面差距最大。而文本保真度对所有系统来说都是最难攻克的一环——生成的文字常常模糊、错位或根本不可读。 这一基准的提出，不仅填补了评测空白，也为未来科学可视化生成模型的发展指明了方向。研究者计划扩展代码到图形的基线方法，并邀请更多社区参与人工验证。对于 AI 在科研辅助领域的落地，SciDraw-Bench 提供了一个清晰的“体检报告”：**AI 能画科学图，但离“可用”还有相当距离**。
### 核心结论：固定权重网络无法胜任网格智能 一篇来自 arXiv 的新论文（arXiv:2606.28413）提出了一个关键问题：在一个由**主权智能体**构成的网格中，每个智能体必须实时整合来自其他智能体的异步、不规则观测，且自身权重固定不可重训练。论文证明，满足这一需求的基质必须具备两个必要条件，而**固定增益滤波器**和**无视时间间隔的网络**均无法达到最优。 ### 两个必要条件 1. **自适应时间尺度**：由于被观测的潜在状态随时间变化，最优估计器也必须是时变的。固定增益滤波器（如标准 LSTM 虽满足第一个条件，但无法同时满足第二个）严格次优。 2. **时间间隔感知**：因为观测到达无统一时钟，最优估计必须依赖两次观测之间的**时间间隔**。论文证明，任何不感知时间间隔的网络，无论其宽度或深度如何，都无法恢复这一依赖关系——这是**容量无关**的缺陷，即单纯扩大模型规模无法弥补。 ### 液态基质的独特地位 同时满足这两个条件的基质属于**连续时间液态网络**类。例如，一个多时间尺度的液态网络可以兼顾时间自适应与间隔感知，而标准 LSTM 仅满足第一点，固定连续时间滤波器仅满足第二点。论文通过合成实验验证了这些结论。 ### 对网格智能的意义 该证明是**必要性**而非充分性，且针对固定权重基质。若允许重训练，网络可通过其他方式达到该类，但在主权智能体网格中，权重固定是核心约束。因此，**液态基质是网格智能的结构性前提**，每个智能体都必须具备这种能力。 ### 行业启示 这项研究为去中心化多智能体系统提供了理论基础，尤其是在无法集中训练或同步通信的场景（如边缘计算、自主机器人集群）中，**液态网络**或将成为关键架构选择。
强化学习（RL）研究中，模拟器常被用作部署环境中学习代理的替代。然而，一篇被 **ICML 2026** 接收的立场论文指出，研究者在实验时容易混淆两个截然不同的目标：**“解决模拟器”** 和 **“以模拟器为代理”**。前者追求在特定模拟器中获得高分，后者则旨在通过模拟器学习可泛化的决策能力。作者 Matthew Vandergrift 等认为，混淆两者会导致误导性结论，并呼吁社区明确区分两种使用场景。 ## 两种目标的核心差异 论文从三个维度对比了两种场景： - **约束条件**：解决模拟器时，代理可无限制访问模拟器内部状态或进行大量重试；而以模拟器为代理时，则需模拟真实部署的限制，如有限交互次数、部分可观测性等。 - **适用算法**：针对特定模拟器的优化算法（如利用环境漏洞）可能无法迁移；而面向泛化的算法（如元学习、域随机化）更适用于代理场景。 - **评估指标**：解决模拟器关注最终得分；代理场景则关注泛化性能、样本效率及鲁棒性。 ## 常见误区与实验佐证 作者通过简单实验展示了混淆两种目标的后果。例如，在经典控制任务中，使用过度拟合模拟器特定特征的策略（如依赖固定噪声模式）能在该模拟器上取得高分，但在参数略有变化的环境中表现极差。这种“伪泛化”现象在 **Atari** 和 **MuJoCo** 基准测试中均有出现，误导研究者高估算法的实际能力。 ## 社区实践建议 论文提出以下几点建议： 1. **明确声明**：论文需明确指出模拟器是作为“待解决问题”还是“代理工具”。 2. **约束透明化**：公开实验中的交互次数、环境随机性、重置机制等细节。 3. **多维度评估**：除最终得分外，报告泛化测试、样本效率及对分布偏移的鲁棒性。 4. **警惕“模拟器漏洞”**：避免利用特定模拟器的实现缺陷（如确定性种子、奖励结构漏洞）。 ## 行业启示 该立场论文触及 RL 社区的核心方法论问题。随着 RL 在机器人、游戏、自动驾驶等领域的应用，区分两种目标变得尤为关键。**DeepMind** 的 **XLand** 和 **OpenAI** 的 **Procgen** 等基准已开始强调泛化，但仍有大量研究沉迷于“刷榜”。作者呼吁更严谨的实验设计，避免“解决模拟器”的成就掩盖“学习通用决策”的初心。
在线潜在状态估计是人工智能领域的基础挑战，广泛应用于顺序决策、异常检测等场景。近日，一篇发表在 arXiv 上的论文提出了一种新颖的在线分布式感知框架——**协方差无关神经卡尔曼共识滤波器（CA-NKCF）**，通过智能体协作与信息交换实现高效的状态估计，无需依赖噪声统计知识。 ## 核心创新：融合领域知识与深度学习 传统分布式卡尔曼滤波依赖精确的系统模型和噪声协方差，但实际中这些信息往往部分未知或存在偏差。CA-NKCF 的设计巧妙地将**部分领域知识**（如已知的动力学结构）与**深度神经网络的表示能力**相结合。其核心机制包括： - 利用**先验估计**作为初始化 - 通过**优化共识权重**实现智能体间的信息融合 - 采用**类卡尔曼递归更新**进行去中心化推理 关键突破在于，该框架完全**不依赖噪声统计信息**（协方差无关），这大大增强了其在真实场景中的适用性。 ## 实验表现：全面超越传统方法 研究者在三类环境中进行了严格测试： 1. **线性系统**：基础验证场景 2. **混沌系统（Lorenz 吸引子）**：强非线性挑战 3. **实际无线追踪环境**：包含多径、遮挡等复杂因素 结果显示，CA-NKCF 在以下方面显著优于传统方法（如分布式卡尔曼滤波、粒子滤波）和纯数据驱动的深度网络： - **估计精度**：均方误差更低 - **鲁棒性**：即使系统模型（运动/观测模型）存在错误指定，性能依然稳定 - **适应性**：在不同噪声水平、随机通信拓扑、状态维度以及无线系统中的杂波密度下，优势始终保持 ## 技术意义与应用前景 这项工作代表了**智能感知系统**的一个重要进步。在无人机集群、物联网传感器网络、自动驾驶多车协同等场景中，分布式估计是核心能力。CA-NKCF 无需噪声先验、对模型误差具有鲁棒性，意味着它可以更容易地部署到实际系统中，而无需繁琐的校准。 此外，该方法将**传统控制论与机器学习**有机融合，为“模型辅助的深度学习”提供了新范例。未来，该框架有望扩展到更复杂的非线性系统，并与强化学习结合，实现端到端的决策与估计一体化。 论文目前正在 IEEE 期刊审稿中，其代码和详细实验设置预计将随最终版本公开，值得业界关注。
经典通用近似定理虽然证明了 Sigmoid 多层感知器（MLP）的表达能力，却未指明初始权重应如何编码数据分布的几何结构。针对这一缺口，研究者提出 **S-GAI（Spectral Geometry-Aware Initialization）**——一种专为单隐层 Sigmoid MLP 设计的谱几何感知初始化框架。该框架的核心思想是：将 Sigmoid 单元视为平滑的半空间门，从手动指定的平面几何出发，转向从图像数据中估计的**逐类谱几何**。 具体而言，S-GAI 对每个类别执行奇异值分解（SVD），获取均值、主方向及谱尺度，再通过能量阈值筛选保留的主方向。每个保留方向由两个 Sigmoid 门表示，这些类特定门共同构成一个直接由训练集初始化的共享隐藏层。此外，研究者还构建了一个基于 SVD 的子空间分类器作为非神经几何参考，以检验估计的谱类几何在嵌入 MLP 之前是否已具备判别性。 实验在 MNIST、Fashion-MNIST 以及更具挑战性的 CIFAR-10 上进行。结果显示： - **初始化质量**：S-GAI 初始化的 MLP 隐藏状态比 Xavier 初始化包含更多信息，且在全训练下能达到相近的最终精度。 - **冻结实验**：当隐藏层被冻结、仅训练输出层时，S-GAI 初始化的性能仍优于随机冻结门，证明其有效将类谱几何嵌入到 MLP 中。 这项工作将数据几何结构系统性地引入网络初始化，为理解深度学习中的先验知识提供新视角。未来，该方法有望扩展到更深的网络架构，或与其它初始化策略（如 Kaiming 初始化）结合，进一步提升训练效率。
在现实世界的回归任务中，数据驱动建模常面临训练样本有限、采集成本高、观测噪声大等挑战。受计算机视觉和自然语言处理领域数据增强成功经验的启发，来自西蒙菲莎大学、加拿大高等研究院（CIFAR）等机构的研究者提出了一种名为 **反事实残差数据增强（Counterfactual Residual Data Augmentation, CRDA）** 的新技术，专门针对表格数据的回归问题。该研究已被 **ICML 2026** 接收。 ### 核心思想：利用残差的“不变性”生成新样本 CRDA 的关键洞察在于：一旦回归模型成功捕捉了数据的系统性成分（即预测值），剩余的残差（噪声）在精心选择的特征发生微小扰动时，可以视为一种“不变”的残差。换句话说，对于某些特征，改变其取值不会显著改变残差的分布特性。基于这一发现，研究者可以生成新的、符合真实分布的训练样本，从而在不实际采集新数据的情况下有效扩充数据集。 ### 方法特点：模型无关且即插即用 CRDA 是一种 **模型无关** 的方法，可以轻松应用于各类回归模型，包括多层感知机（MLP）、XGBoost、随机森林等。其流程大致分为三步： 1. **训练初始模型**：在原始数据上训练一个回归器，得到预测值和残差。 2. **选择可扰动特征**：通过因果推断或相关性分析，识别出那些对残差影响较小的特征（即“不变特征”）。 3. **生成反事实样本**：对不变特征施加微小扰动，同时保持残差不变，从而合成新的输入-输出对。 这种方法避免了传统数据增强（如加噪声、SMOTE）可能引入的分布偏移问题，生成的样本在统计上更接近真实数据。 ### 实验表现：显著降低均方误差 在多个基准数据集上的实验表明，CRDA 能够带来显著的性能提升： * 对于 **MLP 回归器**，平均均方误差（MSE）降低了 **22.9%**。 * 对于 **XGBoost 回归器**，平均 MSE 降低了 **6.4%**。 与现有的先进数据生成方法（如 CTGAN、CopulaGAN）以及传统增强技术（如高斯噪声注入、SMOGN）相比，CRDA 在 MSE 减少方面 **持续领先**。特别是在样本量小、噪声水平高的场景下，CRDA 的优势更为明显。 ### 行业意义：小样本回归的实用解法 在工业界，许多回归问题——如预测设备剩余寿命、估计药物剂量反应、分析经济指标——都受困于数据稀缺和测量噪声。CRDA 提供了一种轻量级、易部署的解决方案：无需额外数据采集，仅通过算法层面的操作即可提升模型精度。这尤其适合那些数据收集成本高昂或涉及隐私的场景（如医疗记录）。 此外，CRDA 的“反事实”视角也为理解模型行为提供了新思路。通过观察特征扰动如何影响残差，工程师可以识别出哪些特征对预测结果“稳定”，哪些特征则更具因果影响力。 ### 局限与展望 尽管 CRDA 效果显著，但研究者也指出，其特征选择步骤依赖于一定的领域知识或因果结构，在完全无先验信息的情况下可能需要额外的自动化探索。未来工作可能包括将 CRDA 扩展到分类任务，或与深度学习端到端框架结合。 总体而言，CRDA 为表格数据的回归增强提供了一种新颖且有效的范式，有望成为数据科学家工具箱中的又一利器。
arXiv:2606.28464v1 Announce Type: new Abstract: In the optimization of neural networks, gradient dynamics are influenced by critical points that arise from the model's architecture. These critical points occur where the Jacobian of the model's parametrization is rank-deficient, and are the most pronounced singularities studied in Singular Learning Theory. We investigate such points in deep fully-connected networks with monomial activations via tools from polynomial algebra such as Mason's Theore
arXiv:2606.28692v1 Announce Type: new Abstract: Treatment reasoning underpins every therapeutic decision, integrating disease context, comorbidities, medications, contraindications, and evolving biomedical knowledge to select an appropriate therapy. It is inherently iterative: candidates are weighed against many constraints, revised as evidence emerges, and grounded in verifiable sources. Here we introduce ATHENA-R1, an AI agent for treatment reasoning across all FDA approved drugs since 1939, t
## 引言 在图像生成与理解领域，“构图”一直是一个棘手的高阶视觉意图。它决定了主体放在哪里、场景如何组织，但当前的主流统一多模态模型在细粒度构图识别上仍不可靠，更难以将这种意图转化为可控的生成。近日，来自多家机构的研究团队提出了 **COMPASS**，号称首个将构图意图控制落地到单一系统的统一多模态框架，同时覆盖构图感知与构图引导生成两个环节。 ## 核心设计：共享专家令牌 τ_c COMPASS 的核心创新在于引入了一个**共享专家令牌 τ_c**，作为构图意图的中央锚点。在感知侧，COMPASS 以最小侵入方式将构图专家知识注入 MoE（混合专家）骨干网络，并将推断出的意图蒸馏到 τ_c 中。在生成侧，COMPASS 复用同一个 τ_c 作为全局条件信号，引导去噪轨迹，从而将被动的构图分析转化为显式的布局控制。这种设计让感知与生成共享同一个意图表示，避免了传统两阶段方法中信息丢失的问题。 ## 数据集 Comp-11：大规模构图指令数据集 为了支持系统性的指令跟随构图学习与评估，研究团队构建了 **Comp-11** 数据集。该数据集包含 **11 类构图分类体系**（如居中、三分法、对角线、前景-背景等），并配有推理增强的标注。这为模型学习从自然语言描述到具体布局的映射提供了大规模训练资源。 ## 实验表现 大量实验表明，COMPASS 在**类别级构图理解**上显著优于现有方法，生成的图像在构图一致性和提示忠实度方面均超过强基线模型。例如，在 Comp-11 的零样本评估中，COMPASS 的构图分类准确率比当前最好的统一多模态模型高出 15 个百分点以上，而生成图像的布局与提示描述的匹配度也提升了 20% 以上。 ## 行业意义 COMPASS 的出现，标志着多模态模型从“能看懂构图”向“能按构图意图生成”迈出了关键一步。对于 AI 内容创作、广告设计、虚拟场景构建等应用，构图控制一直是难以绕过的基础能力。过去，用户只能通过反复调整提示词（prompt）来间接影响布局，而 COMPASS 提供了一条直接、可解释的路径：你用自然语言描述构图意图，模型就能忠实执行。 ## 局限与展望 尽管 COMPASS 在 11 类构图分类上表现优秀，但真实世界的构图远不止这 11 种。此外，当前框架仍依赖 MoE 架构的特定设计，通用性有待验证。不过，共享意图令牌的思路为后续研究打开了一扇门——或许未来，其他高阶视觉属性（如光照、材质、动作）也能通过类似方式被“锚定”并控制生成。 ## 小结 COMPASS 通过共享专家令牌 τ_c 和 Comp-11 数据集，首次实现了统一的构图感知与生成，在多个指标上达到新 SOTA。对于关注可控图像生成的研究者和开发者来说，这是一篇值得深入阅读的工作。论文已发布于 arXiv，代码和数据预计后续开源。
大语言模型（LLM）智能体正越来越多地通过演化自然语言构件（如反思、工作流、剧本、备忘单或优化提示）来提升性能，而无需更新模型权重。这类方法通常只在单个基准上报告成功。一篇新论文《Recursive Self-Evolving Agents via Held-Out Selection》对此进行了公平对比，并揭示了更清晰的图景。 ## 核心方法：RSEA 研究者提出**RSEA（递归自进化智能体）**，它维护一个紧凑的三层自然语言状态：**策略**（命令式）、**技能**（可重用）和**剧本**（程序化）。在每一代演化中，RSEA根据自身轨迹重写所有三层，并仅当候选版本在**留出数据**上不退化时才提交，采用严格的“保留更好”门控。 ## 主要发现 论文在四个多样化基准（**ALFWorld**、**GAIA**、**τ-bench**、**WebShop**）上，与六个忠实基线（ReAct、Reflexion、GEPA、AWM、ACE、Dynamic Cheatsheet）进行对比，所有方法使用同一本地骨干模型，得出三个主要结论： 1. **没有通用最优构件**。RSEA在ALFWorld上是单次方法中最强的，达到**69.3%**（ReAct为64.6%，McNemar检验p=0.015），配合重试后达到**79.4%**，为整体最佳。然而，在强骨干工具使用任务上，**AWM**（具体工作流归纳）表现最佳。 2. **无门控的上下文演化高风险且不安全**。**Dynamic Cheatsheet**在线整理上下文但无留出门控，在ALFWorld上接近最佳（70.7%），但在WebShop上崩溃，得分**0.14**（ReAct为0.43）。 3. **严格留出选择是RSEA单调安全的关键**：RSEA在所有基准上从未显著低于基础智能体，当演化上下文可能有害时，它会回退到标准ReAct。 ## 行业意义 这项研究揭示了LLM智能体自演化领域的关键挑战：**性能提升的不可靠性和退化风险**。RSEA通过留出验证提供了安全网，但同时也表明不同任务需要不同的演化策略。对于AI从业者，这意味着在部署自演化智能体时，必须引入严格的验证机制，而非盲目信任单一代际的改进。 论文还强调了**公平比较**的重要性：许多方法在单一基准上宣称成功，但跨任务评估后优势消失。未来，社区需要更系统的基准和验证协议，以确保智能体演化技术的可靠落地。
单细胞RNA测序（scRNA-seq）聚类是识别细胞类型的关键技术，但高维度、稀疏性、数据缺失及技术噪声等问题，使得稳健的基因表达表征和细胞图构建面临巨大挑战。现有方法中，掩码自编码器主要依赖表达恢复进行特征重建，而图聚类方法通常使用固定的KNN图，未能将恢复后的表达信息反馈到图优化中。针对这一痛点，来自中国的研究团队提出了一种名为 **scKDGM** 的新型框架，将 **KAN（Kolmogorov-Arnold Network）** 与动态图掩码学习相结合，显著提升了scRNA-seq聚类性能。 ## 核心创新：四步协同机制 scKDGM 的核心设计包含四个环环相扣的模块： 1. **GDP-Mask（图感知分布保持基因掩码）**：该模块通过扰动细胞身份信息，在保留数据分布特征的同时生成掩码视图，为后续学习提供高质量的监督信号。 2. **KAN驱动的TAKGCN编码器**：引入KAN网络替代传统多层感知机，增强模型对非线性关系的建模能力，从而从掩码视图中提取更鲁棒的细胞表征。 3. **掩码引导的表达恢复与动态图构建**：利用恢复后的表达信息动态更新细胞间拓扑结构，打破传统固定KNN图的局限性，使图结构随学习过程持续优化。 4. **跨视图对比学习**：将表达恢复信号传递至图拓扑更新中，通过对比学习对齐不同视图的表征，进一步提升聚类一致性。 此外，模型还引入了 **ZINB损失函数**，专门用于处理scRNA-seq数据中常见的过度离散和零膨胀问题，使重建过程更符合数据生成机制。 ## 性能表现：全面超越10个基线方法 研究团队在 **12个真实scRNA-seq数据集** 上进行了系统评估，对比了包括传统聚类方法、深度聚类方法及图神经网络方法在内的10种基线模型。结果显示，scKDGM在 **平均NMI（归一化互信息）** 和 **平均ARI（调整兰德指数）** 两项关键指标上均取得最优结果，尤其在数据噪声大、细胞类型不平衡的场景下优势更为明显。 ## 行业意义：AI驱动单细胞分析的新范式 scKDGM的提出不仅解决了scRNA-seq聚类中图结构静态化的问题，更展示了 **KAN网络在生物信息学中的巨大潜力**。KAN通过可学习的激活函数替代固定激活函数，理论上能以更少的参数捕获更复杂的特征交互，这对于高维、稀疏的基因表达数据尤为适用。 该框架的“动态图+掩码学习”思路也为其他单细胞分析任务（如批次校正、轨迹推断）提供了可借鉴的范式。随着单细胞测序技术向大规模、多模态方向演进，scKDGM这类兼具鲁棒性与可解释性的AI工具，将加速细胞图谱构建和疾病机制研究。 ## 局限与展望 尽管实验结果亮眼，论文也指出当前模型在超大规模数据集（百万级细胞）上的计算效率仍有优化空间。未来工作可能聚焦于： - 结合图稀疏化技术降低内存开销； - 将框架扩展至多模态单细胞数据（如同时整合转录组与染色质可及性数据）。 scKDGM已在arXiv公开，代码预计后续发布。对于从事单细胞分析的研究者而言，这无疑是一个值得关注的新工具。
一年前被Wix以8000万美元收购的Vibe Coding平台Base44，最近开始推出自己的AI模型。这一动作背后，是AI行业对“基于他人模型构建的业务是否具有持久防御性”这一核心问题的激烈讨论。 Base44创始人Maor Shlomo表示，自研模型能让平台在延迟、成本和效率上获得更多优化。目前，该模型名为Base1，基于平台上“数千万次真实用户交互”生成的数据集训练而成。Shlomo认为，随着规模扩大，其他主要玩家也必然会走上自研模型之路。 从竞争格局看，Base44不仅要面对Lovable等同类初创公司，还要警惕Anthropic、xAI等前沿AI实验室的逼近——Cursor、Claude Code等工具正在侵入同一领域。Shlomo相信，专业化是Base44的胜算所在：“模型在进步，但它们会保持通用性。”不过，风投机构Headline的合伙人Jonathan Userovici提醒，不要低估前沿模型的能力。 这场“护城河”之争的核心在于数据、分发和技术栈三大要素。Base44拥有来自真实用户交互的独特数据，这是其差异化优势。然而，随着竞争加剧，所有玩家都在加速积累数据，最终胜负可能取决于谁能更快地形成数据飞轮。 ## 关键启示 - **自研模型趋势**：越来越多的AI应用层公司开始自研模型，以降低对外部模型的依赖，提升防御性。 - **数据是核心资产**：真实用户交互数据成为训练专用模型的宝贵资源，但数据的持续增长是保持优势的前提。 - **竞争多维化**：Base44不仅要应对同类平台，还要警惕前沿AI实验室的“降维打击”，后者拥有更强大的通用模型和更广泛的用户基础。
OpenAI 今日正式发布 **GeneBench-Pro**，一个面向计算生物学领域、专为评估 AI 系统在真实科研场景中高阶判断能力而设计的基准测试。该基准在原有 GeneBench 基础上大幅升级，覆盖基因组学、定量生物学与转化医学中更具挑战性的任务，旨在衡量模型处理模糊性、迭代修正分析路径以及做出关键科研决策的能力。 ## 为何需要新的基准？ 科研数据很少自带“说明书”。研究人员必须自行判断：某个模式是生物学信号还是噪声？现有数据能否支撑待解答的问题？每一个结果又该如何指导下一步行动？尽管当前 AI 模型已能熟练执行复杂的数据分析流程，但真实的科学研究还依赖于更高层次的判断——这正是 GeneBench-Pro 试图量化的核心能力。 OpenAI 指出，此前业界缺乏令人信服的评估手段来衡量这类“系统性判断”，包括处理歧义、修正假设、选择正确分析路径，以及判断结果是否已具备决策条件。这些能力难以形式化，因此也难以严格评估，但恰恰成为制约 AI 在科研领域整体表现的关键瓶颈。 ## “科研品味”的可量化评估 GeneBench-Pro 引入了一个独特概念——**“科研品味”**（research taste），将其定义为塑造整个分析过程的判断链条：数据能回答哪些问题？早期诊断结果应如何改变模型或估计目标？初始计划何时需要修订？ 每个问题都会提供给模型一个真实且杂乱的数据集、简要的实验背景，以及一个与下游决策直接关联的目标估计量。模型必须主动探索数据、选择恰当的分析方法、进行迭代实验，并最终给出答案——整个过程模拟了科研中从数据到结论的完整推理路径。 ## 数据构造与行业背景 在生物学领域，数据生成成本（如基因组测序）已大幅下降。一些研究人员甚至认为，当前科研的瓶颈已不再是样本采集，而是下游分析。GeneBench-Pro 正是为应对这一转变而设计——它要求 AI 不仅要会“跑流程”，更要会“做判断”。 该基准的推出，标志着 AI 在科学发现领域的评估标准从“能否执行任务”向“能否像科学家一样思考”迈进。对于从事计算生物学、精准医学以及 AI for Science 的团队而言，GeneBench-Pro 提供了一套可复用的、高难度的能力检验框架。 ## 影响与展望 GeneBench-Pro 的发布不仅为模型开发者提供了更清晰的优化方向，也为科研社区如何信任和使用 AI 辅助工具设立了新的标尺。未来，具备高阶判断能力的 AI 有望在药物发现、基因功能解读、疾病机制探索等场景中发挥更大价值。 论文已同步公开，详细介绍了基准设计、数据集构建与评估方法。
## 核心转储流行病学：修复一个18年的老Bug OpenAI 的工程师最近通过大规模核心转储（core dump）分析，成功定位并修复了其数据基础设施中两个看似不可能的错误——其中一个竟然是来自底层库 **GNU libunwind** 中潜伏了 **18年** 的竞态条件。 ### 奇怪的崩溃现象 故事始于 OpenAI 的 **Rockset** 服务（ChatGPT 数据基础设施的关键组件）出现一系列崩溃。崩溃表现为：一个正常的 C++ 函数执行完毕后，返回到一个无效地址，导致程序被内核终止。有时返回地址是 NULL，有时栈指针寄存器 `%rsp` 莫名其妙地偏移了 8 字节。这些异常模式在常规应用代码中几乎不可能出现。 团队尝试了所有常规调试手段，甚至借助 ChatGPT 分析，但每个假设都被证据推翻。这个 Bug 看起来“不可能”。 ### 流行病学方法 传统调试依赖对少数核心转储的深入检查，但面对这种罕见且诡异的崩溃，团队改变了策略——**像流行病学家一样思考**。他们收集了所有崩溃的核心转储，构建了一个高质量的全量数据集，从统计模式中寻找线索。 通过大规模分析，他们发现崩溃其实源于两个完全独立的问题，只是恰好在同一时间被发现： 1. **硬件故障**：某个 Azure 主机上的 CPU 存在静默计算错误，导致指令执行异常。 2. **软件 Bug**：GNU libunwind 中一个存在了 18 年的竞态条件。该库用于栈回溯，在特定并发场景下会破坏栈帧，导致返回地址被覆盖。 ### 修复与启示 硬件问题通过更换主机解决；软件 Bug 则提交了补丁给上游社区。这个案例展示了**大规模崩溃数据分析**在定位极低概率 Bug 上的威力——当单点检查失效时，全量统计能揭示隐藏的规律。 OpenAI 的工程师强调，随着 AI 系统对底层基础设施依赖加深，**C++ 的内存安全问题**与**硬件可靠性**将成为持续挑战。而“核心转储流行病学”这种跨领域方法，或许会成为未来大型系统调试的标配。
2026年6月30日，OpenAI发布了Genebench-Pro基准测试的详细案例研究，揭示了10个具有代表性的问题及其背后的数据集与支撑材料。这些案例覆盖了从体细胞肿瘤学到药物基因组学等关键领域，旨在评估AI模型在复杂生物医学推理任务中的表现。 ## 案例一：体细胞肿瘤学中的结构变异引导治疗决策 第一个案例聚焦于**结构变异驱动的肿瘤靶向治疗**。模型需要基于长读长测序、基因表达、肿瘤质量和药物基因组学证据，判断一个合成的TXR1导向抑制剂在特定肿瘤亚群中的临床效用。任务要求模型估算治疗获益、毒性风险，并计算净临床效用值，最终以JSON格式输出决策代码和推理过程。 该案例强调**多模态数据整合与因果推断**——模型必须从分散的证据中恢复靶点激活状态，再评估治疗干预的边际效应。这不仅是数值计算，更考验模型的**分析推理质量**。 ## 基准设计的深层意图 Genebench-Pro的设计体现了对AI能力的更高要求： - **数据复杂性**：每个问题都附带真实实验数据，包括患者ID、基因组变异、表达谱等，要求模型具备处理异构数据的能力。 - **推理透明度**：模型不仅需要给出答案，还必须提供详细的推理过程（如方法描述与质量控制），以评估其逻辑严谨性。 - **领域特异性**：问题涉及合成生物学标记（如TXR1、DLR1），模拟了真实研究中因隐私或专利原因而脱敏的数据场景。 ## 行业意义与启示 此次发布的案例研究对AI在精准医学中的应用具有重要参考价值： 1. **从预测到决策**：Genebench-Pro超越了简单的分类或回归任务，要求模型在不确定条件下做出治疗决策，这与临床实践中“权衡获益与风险”的思维高度一致。 2. **基准的实用性**：通过公开提示词与数据集，研究社区可以复现、验证并改进模型的表现，推动可重复性AI的发展。 3. **人机协作的边界**：尽管AI在数据整合方面展现出潜力，但案例中明确的“不尝试走捷径”的指令表明，当前模型仍需在推理质量上追赶人类专家。 ## 小结 Genebench-Pro的案例研究不仅是一次技术展示，更是对AI生物医学推理能力的一次“压力测试”。它揭示了当前模型的优势与局限，为未来研究方向提供了清晰的路标。随着更多案例的发布，我们有望看到AI在基因组学、药物研发和个性化治疗中扮演更核心的角色。