## 从种子分子到数万反应：机器学习如何重塑化学发现 化学反应网络——由极小值、过渡态（TS）及其连接路径构成的图——是化学的“自然语言”，从催化、燃烧到生命起源，无不依赖对反应路径的完整理解。然而，为特定化学体系构建这样的网络长期以来几乎不可能：传统方法如密度泛函理论（DFT）虽准确，但计算速度极慢，且需要用户预先指定反应物和产物，难以大规模、自动化地探索未知反应空间。 ### ReactionAtlas：无规则、无预设的自动探索 最新发表于 arXiv 的论文《ReactionAtlas: Ab origine exploration of chemical reaction networks with machine learning》提出了一种名为 **ReactionAtlas** 的框架，首次实现了**从少量种子分子出发，无需人工规则，自动构建完整化学反应网络**。其核心流程是： 1. **生成候选反应**：利用机器学习生成模型，从动力学采样的候选化合物中提出可能的反应路径。 2. **验证过渡态**：通过经 DFT 训练的**机器学习力场（MLFF）** 快速筛选出有效的过渡态。 3. **迭代扩展**：将产物作为新种子，重复上述过程，实现网络的自动扩张。 ### 前生命化学的里程碑式映射 研究团队以 **8 种前生命化学种子**（CH₂O、H₂O、OH⁻、H₃O⁺、CO₂、H₂CO₃、HCO₃⁻、H）为起点，ReactionAtlas 在无人干预下发现了 **约 47,000 个反应**，涉及 **约 12,000 种化合物**，覆盖了从简单分子到 C₄H₈O₄ 的碳水化合物化学，并包含完整的电荷与立体化学信息。 验证结果显示，MLFF 预测的过渡态结构在 **85% 的情况下与高精度 PBE0 参考值的 RMSD 偏差在 0.5 Å 以内**，且可轻松提升至 PBE0 精度，兼顾了规模与准确性。 ### 重新审视生命起源的关键路径 这一网络尤其为研究 **甲醛循环（formose cycle）**——与化学起源生命密切相关的经典反应路径——提供了全新视角。ReactionAtlas 不仅重现了已知的甲醛循环路径，还发现了**多条替代反应通道**，暗示早期地球化学可能拥有比想象中更丰富的反应多样性。 ### 意义与展望 ReactionAtlas 的突破在于将机器学习力场从“单点预测”提升到“网络级自动探索”的高度。它无需专家预设反应规则，也不依赖于繁琐的输入构造，而是让数据驱动模型自主发现化学空间。这一方法有望应用于催化机理研究、药物代谢路径预测、甚至地外化学模拟等领域。 当然，目前网络仍限于小分子碳水化合物体系，且 MLFF 的泛化能力需进一步验证。但作为“从头构建”反应网络的首次规模化实践，ReactionAtlas 为计算化学开辟了一条全新的道路——让机器学习成为化学发现的“自动探险家”。 > 论文链接：[arXiv:2606.30778](https://arxiv.org/abs/2606.30778)
## 从单数据集到多源数据：方程发现的瓶颈与突破 在科学机器学习领域，**从观测数据中自动发现控制方程**是实现可解释性AI的关键一步。然而，现有数据驱动方法大多局限于单一数据集，当观测受限时（如空间采样稀疏或边界条件不完整），其性能往往大打折扣。现实中，同一物理系统常有多组数据集可用，它们仅因初始条件或边界配置不同而有所区别。 ## MCO-PDE：竞争优化框架的核心设计 针对上述问题，来自北京大学等机构的研究团队提出了 **MCO-PDE**（Multi-source Competitive Optimization for PDE discovery）框架，旨在从多源数据中联合发现共享的偏微分方程。该框架包含三个关键模块： 1. **独立神经代理训练**：为每个数据源单独训练一个神经网络，作为该数据源动态行为的代理模型。 2. **软竞争加权机制**：动态评估每个数据源的“可信度”，并为全局共识系数的聚合分配权重。这种软竞争方式使得低质量或信息量少的数据源自动被降权，而高质量数据源主导方程发现。 3. **遗传算法结构搜索**：在系数空间和函数形式空间中进行全局优化，同时识别控制方程的**函数形式**和**参数**。 ## 实验验证：小样本、复杂几何与真实数据 研究团队在多个案例上验证了MCO-PDE的有效性： - **小样本恢复**：仅需每个数据源50个观测点，即可高精度恢复经典方程（如Burgers方程、波动方程等）。 - **二维/三维不规则区域**：框架天然支持不规则边界和异质系数，无需特殊处理。 - **真实波槽实验数据**：成功从实际物理实验中提取出有意义的波浪传播方程，展示了从真实噪声数据中自动发现物理定律的潜力。 ## 意义与展望 MCO-PDE的提出标志着**数据驱动科学发现**从单数据集向多源异构数据融合的重要跨越。其竞争优化策略不仅提高了方程发现的鲁棒性，还为处理现实世界中数据质量参差不齐的问题提供了新思路。未来，该框架有望推广至更复杂的耦合系统、高维问题，甚至与主动学习结合，进一步降低数据需求。 > 论文链接：arXiv:2606.30699
## 摘要 语言模型通常分阶段进行适配：先学习公共技能，再注入私有记忆，最后进行安全微调以学会拒绝输出与记忆实体相关的内容。然而，在安全阶段之后撤销记忆并非简单的减法问题——后续的安全优化器会改变记忆方向。为此，研究者提出了一种名为**过程侧车（Process Sidecars）**的方法，通过一个双系数编辑族实现记忆撤销。 ## 核心思想 过程侧车方法定义了一个编辑族： $$ \hat{\theta}(\lambda,\gamma)=\theta_{\mathrm{AMS}}-\lambda\Delta_{\mathrm{M}}-\gamma\hat{R}_{\mathrm{S}\leftarrow\mathrm{M}} $$ 其中 $\hat{R}_{\mathrm{S}\leftarrow\mathrm{M}}=\hat{J}_{\mathrm{S},\varepsilon}(\Delta_{\mathrm{M}})-\Delta_{\mathrm{M}}$，而 $\hat{J}_{\mathrm{S},\varepsilon}$ 是通过 AdamW 安全训练过程的中心割线近似得到的。该方法只需计算一个额外的安全轨迹，即可实现更高精度的记忆撤销。 ## 理论证明 论文证明了两个关键结论： - **精确侧车**：若使用真实的传输方向 $R_{\mathrm{S}\leftarrow\mathrm{M}}$ 而非割线估计，当 $(\lambda,\gamma)=(1,1)$ 时，可以恢复反事实的安全-only 模型 $\theta_{\mathrm{AS}}$，且误差达到二阶精度。证明将 AdamW 视为参数、一阶矩、二阶矩的增广状态映射。 - **必要性**：当未来安全训练会弯曲记忆方向时，任何标量任务算术编辑都会留下一阶反事实误差，而过程侧车编辑具有二阶精度。 ## 实验结果 在三个模型上，验证集选择的二维编辑在所有试验中均优于朴素任务算术；在与 $\gamma=\lambda$ 过程-JVP 子族的比较中，二维编辑在成对试验中也全面胜出。 ## 行业背景 随着大语言模型在商业和开源领域的广泛应用，**模型安全与隐私**成为焦点。许多模型需要先注入特定知识（如用户数据），再通过安全微调防止泄露。但传统任务算术（如模型合并）在撤销记忆时效果不佳，因为安全微调改变了参数空间。过程侧车提供了一种**可撤销学习状态**的精确方法，有望用于模型遗忘、版权移除等场景。 ## 总结 过程侧车是一种新颖的模型编辑技术，通过双系数编辑族和过程信息（安全训练轨迹）实现了比任务算术更优的撤销效果。该工作为模型安全与记忆管理提供了理论支撑和实用工具。
## 从经验拟合到第一性原理：GRPO训练动力学的可预测模型 Group Relative Policy Optimization（GRPO）已成为提升大语言模型推理能力的关键技术。然而，其训练动力学长期依赖于经验描述：奖励曲线被拟合为低参数函数，常数缺乏物理意义，超参数选择也主要依靠试错。这一现状随着arXiv上的一篇新论文《Predictable GRPO: A Closed-Form Model of Training Dynamics》而有望改变。 ### 核心突破：闭合形式的动力学模型 研究团队从**第一性原理**出发，开发了一个**降阶模型**，以闭合形式描述了GRPO的训练动力学。该模型不仅统一了现有的经验规律，还引入了新的预测能力。 关键创新包括： - **统一经验规律**：将广泛使用的**单指数饱和律**视为该模型在过阻尼极限下的特例，从而把拟合中的平台值、时间尺度和规模指数重新解释为势能函数的固定点、逆刚度和曲率缩放指数。同时，通过保留惯性项，模型还能捕捉单指数无法表示的**慢启动阶段**。 - **可验证的预测**：与经验模型依赖拟合参数不同，新模型的预测直接关联到可独立测量的量。例如： - **组大小不变性**：确定性轨迹与组大小无关，且稳定波动与组大小成反比（$1/G$）。 - **稳定性阈值**：刷新间隔存在一个尖锐的稳定性阈值。 - **相变现象**：动力学从过阻尼向振荡的转变。 - **诊断能力**：模型能够区分仅凭奖励曲线难以辨别的失败模式，如**奖励黑客**、**优势退化**、**策略集中**和**动态不稳定性**。 ### 实验验证：高精度拟合与跨场景泛化 研究者在**三个不同模型**和**两种组大小**上进行了验证。结果表明： - **拟合精度高**：闭合形式轨迹对训练奖励的拟合 $R^2 \geq 0.91$。 - **组大小不变性成立**：不仅在奖励曲线上成立，还能泛化到八个数学基准测试的**分布外转移**场景。 此外，在一个软最大-老虎机（softmax-bandit）的简化环境中，模型精确复现了**过阻尼到振荡的转变**，并将刷新间隔的稳定性阈值定位到独立测量的刚度值。深度网络的实际演示留待未来工作。 ### 意义与展望 这项研究为GRPO的训练动力学提供了**理论基础**，有望将超参数选择从试错转变为基于模型预测的科学过程。对于AI从业者而言，这意味着更可控的训练、更快的调试以及更深入的机制理解。尽管从简化环境到实际深度网络仍需验证，但该工作已为可预测的强化学习训练迈出了重要一步。
文本到图像生成模型（如 Stable Diffusion、DALL·E）和多模态大模型在生成自然风景、人物肖像甚至艺术创作上已经相当惊艳，但面对科学图表——机制示意图、实验设计草图、概念框架或图形摘要——它们还能保持同样水准吗？答案是：**远未达标**。 近日，一篇题为《Can AI Draw Science? A Benchmark for Evaluating Scientific Figure Generation by Text-to-Image and Multimodal Models》的论文提出了 **SciDraw-Bench**，这是首个专门针对科学图表生成能力的评测基准。研究团队指出，现有主流图像生成评测（如 GenEval、T2I-CompBench、DPG-Bench）均聚焦于自然图像的组合性、物体计数或逼真度，**完全没有衡量科学图表最关键的要素**：标签文字是否正确可读、实体与关系是否准确呈现、图表结构是否连贯、以及是否符合学科绘图规范。 SciDraw-Bench 包含 **32 个结构化的科学图表生成任务**，覆盖 8 种图表类型（如机制图、流程图、示意图等）和 10 个学科（生物学、化学、物理学等）。每个任务都配有自然语言提示和机器可检查的规范说明，明确要求必须包含哪些标签、关系和组件，遵守哪些约定，并禁止出现哪些错误。 评估采用四个维度： - **文本保真度**：通过 OCR 检测标签的召回率和字符错误率； - **语义正确性**：使用视觉语言模型判断生成图是否符合规范说明； - **结构质量**：评估图表的布局、连线、层次等结构是否合理； - **惯例遵守**：检查是否符合特定学科或图表类型的绘图惯例（例如化学结构式的键角、流程图的标准箭头）。 此外，论文还提出了元评估协议和初步的评分者间信度分析（人工评分验证仍在进行中）。 在初步测试中，研究团队对比了一个领域专用系统 **SciDraw AI** 与多个通用文本到图像模型。结果不出所料：**SciDraw AI 在所有维度、所有图表类型上均大幅领先**，尤其在语义正确性和惯例遵守方面差距最大。而文本保真度对所有系统来说都是最难攻克的一环——生成的文字常常模糊、错位或根本不可读。 这一基准的提出，不仅填补了评测空白，也为未来科学可视化生成模型的发展指明了方向。研究者计划扩展代码到图形的基线方法，并邀请更多社区参与人工验证。对于 AI 在科研辅助领域的落地，SciDraw-Bench 提供了一个清晰的“体检报告”：**AI 能画科学图，但离“可用”还有相当距离**。
### 核心结论：固定权重网络无法胜任网格智能 一篇来自 arXiv 的新论文（arXiv:2606.28413）提出了一个关键问题：在一个由**主权智能体**构成的网格中，每个智能体必须实时整合来自其他智能体的异步、不规则观测，且自身权重固定不可重训练。论文证明，满足这一需求的基质必须具备两个必要条件，而**固定增益滤波器**和**无视时间间隔的网络**均无法达到最优。 ### 两个必要条件 1. **自适应时间尺度**：由于被观测的潜在状态随时间变化，最优估计器也必须是时变的。固定增益滤波器（如标准 LSTM 虽满足第一个条件，但无法同时满足第二个）严格次优。 2. **时间间隔感知**：因为观测到达无统一时钟，最优估计必须依赖两次观测之间的**时间间隔**。论文证明，任何不感知时间间隔的网络，无论其宽度或深度如何，都无法恢复这一依赖关系——这是**容量无关**的缺陷，即单纯扩大模型规模无法弥补。 ### 液态基质的独特地位 同时满足这两个条件的基质属于**连续时间液态网络**类。例如，一个多时间尺度的液态网络可以兼顾时间自适应与间隔感知，而标准 LSTM 仅满足第一点，固定连续时间滤波器仅满足第二点。论文通过合成实验验证了这些结论。 ### 对网格智能的意义 该证明是**必要性**而非充分性，且针对固定权重基质。若允许重训练，网络可通过其他方式达到该类，但在主权智能体网格中，权重固定是核心约束。因此，**液态基质是网格智能的结构性前提**，每个智能体都必须具备这种能力。 ### 行业启示 这项研究为去中心化多智能体系统提供了理论基础，尤其是在无法集中训练或同步通信的场景（如边缘计算、自主机器人集群）中，**液态网络**或将成为关键架构选择。
强化学习（RL）研究中，模拟器常被用作部署环境中学习代理的替代。然而，一篇被 **ICML 2026** 接收的立场论文指出，研究者在实验时容易混淆两个截然不同的目标：**“解决模拟器”** 和 **“以模拟器为代理”**。前者追求在特定模拟器中获得高分，后者则旨在通过模拟器学习可泛化的决策能力。作者 Matthew Vandergrift 等认为，混淆两者会导致误导性结论，并呼吁社区明确区分两种使用场景。 ## 两种目标的核心差异 论文从三个维度对比了两种场景： - **约束条件**：解决模拟器时，代理可无限制访问模拟器内部状态或进行大量重试；而以模拟器为代理时，则需模拟真实部署的限制，如有限交互次数、部分可观测性等。 - **适用算法**：针对特定模拟器的优化算法（如利用环境漏洞）可能无法迁移；而面向泛化的算法（如元学习、域随机化）更适用于代理场景。 - **评估指标**：解决模拟器关注最终得分；代理场景则关注泛化性能、样本效率及鲁棒性。 ## 常见误区与实验佐证 作者通过简单实验展示了混淆两种目标的后果。例如，在经典控制任务中，使用过度拟合模拟器特定特征的策略（如依赖固定噪声模式）能在该模拟器上取得高分，但在参数略有变化的环境中表现极差。这种“伪泛化”现象在 **Atari** 和 **MuJoCo** 基准测试中均有出现，误导研究者高估算法的实际能力。 ## 社区实践建议 论文提出以下几点建议： 1. **明确声明**：论文需明确指出模拟器是作为“待解决问题”还是“代理工具”。 2. **约束透明化**：公开实验中的交互次数、环境随机性、重置机制等细节。 3. **多维度评估**：除最终得分外，报告泛化测试、样本效率及对分布偏移的鲁棒性。 4. **警惕“模拟器漏洞”**：避免利用特定模拟器的实现缺陷（如确定性种子、奖励结构漏洞）。 ## 行业启示 该立场论文触及 RL 社区的核心方法论问题。随着 RL 在机器人、游戏、自动驾驶等领域的应用，区分两种目标变得尤为关键。**DeepMind** 的 **XLand** 和 **OpenAI** 的 **Procgen** 等基准已开始强调泛化，但仍有大量研究沉迷于“刷榜”。作者呼吁更严谨的实验设计，避免“解决模拟器”的成就掩盖“学习通用决策”的初心。
在线潜在状态估计是人工智能领域的基础挑战，广泛应用于顺序决策、异常检测等场景。近日，一篇发表在 arXiv 上的论文提出了一种新颖的在线分布式感知框架——**协方差无关神经卡尔曼共识滤波器（CA-NKCF）**，通过智能体协作与信息交换实现高效的状态估计，无需依赖噪声统计知识。 ## 核心创新：融合领域知识与深度学习 传统分布式卡尔曼滤波依赖精确的系统模型和噪声协方差，但实际中这些信息往往部分未知或存在偏差。CA-NKCF 的设计巧妙地将**部分领域知识**（如已知的动力学结构）与**深度神经网络的表示能力**相结合。其核心机制包括： - 利用**先验估计**作为初始化 - 通过**优化共识权重**实现智能体间的信息融合 - 采用**类卡尔曼递归更新**进行去中心化推理 关键突破在于，该框架完全**不依赖噪声统计信息**（协方差无关），这大大增强了其在真实场景中的适用性。 ## 实验表现：全面超越传统方法 研究者在三类环境中进行了严格测试： 1. **线性系统**：基础验证场景 2. **混沌系统（Lorenz 吸引子）**：强非线性挑战 3. **实际无线追踪环境**：包含多径、遮挡等复杂因素 结果显示，CA-NKCF 在以下方面显著优于传统方法（如分布式卡尔曼滤波、粒子滤波）和纯数据驱动的深度网络： - **估计精度**：均方误差更低 - **鲁棒性**：即使系统模型（运动/观测模型）存在错误指定，性能依然稳定 - **适应性**：在不同噪声水平、随机通信拓扑、状态维度以及无线系统中的杂波密度下，优势始终保持 ## 技术意义与应用前景 这项工作代表了**智能感知系统**的一个重要进步。在无人机集群、物联网传感器网络、自动驾驶多车协同等场景中，分布式估计是核心能力。CA-NKCF 无需噪声先验、对模型误差具有鲁棒性，意味着它可以更容易地部署到实际系统中，而无需繁琐的校准。 此外，该方法将**传统控制论与机器学习**有机融合，为“模型辅助的深度学习”提供了新范例。未来，该框架有望扩展到更复杂的非线性系统，并与强化学习结合，实现端到端的决策与估计一体化。 论文目前正在 IEEE 期刊审稿中，其代码和详细实验设置预计将随最终版本公开，值得业界关注。
经典通用近似定理虽然证明了 Sigmoid 多层感知器（MLP）的表达能力，却未指明初始权重应如何编码数据分布的几何结构。针对这一缺口，研究者提出 **S-GAI（Spectral Geometry-Aware Initialization）**——一种专为单隐层 Sigmoid MLP 设计的谱几何感知初始化框架。该框架的核心思想是：将 Sigmoid 单元视为平滑的半空间门，从手动指定的平面几何出发，转向从图像数据中估计的**逐类谱几何**。 具体而言，S-GAI 对每个类别执行奇异值分解（SVD），获取均值、主方向及谱尺度，再通过能量阈值筛选保留的主方向。每个保留方向由两个 Sigmoid 门表示，这些类特定门共同构成一个直接由训练集初始化的共享隐藏层。此外，研究者还构建了一个基于 SVD 的子空间分类器作为非神经几何参考，以检验估计的谱类几何在嵌入 MLP 之前是否已具备判别性。 实验在 MNIST、Fashion-MNIST 以及更具挑战性的 CIFAR-10 上进行。结果显示： - **初始化质量**：S-GAI 初始化的 MLP 隐藏状态比 Xavier 初始化包含更多信息，且在全训练下能达到相近的最终精度。 - **冻结实验**：当隐藏层被冻结、仅训练输出层时，S-GAI 初始化的性能仍优于随机冻结门，证明其有效将类谱几何嵌入到 MLP 中。 这项工作将数据几何结构系统性地引入网络初始化，为理解深度学习中的先验知识提供新视角。未来，该方法有望扩展到更深的网络架构，或与其它初始化策略（如 Kaiming 初始化）结合，进一步提升训练效率。
在现实世界的回归任务中，数据驱动建模常面临训练样本有限、采集成本高、观测噪声大等挑战。受计算机视觉和自然语言处理领域数据增强成功经验的启发，来自西蒙菲莎大学、加拿大高等研究院（CIFAR）等机构的研究者提出了一种名为 **反事实残差数据增强（Counterfactual Residual Data Augmentation, CRDA）** 的新技术，专门针对表格数据的回归问题。该研究已被 **ICML 2026** 接收。 ### 核心思想：利用残差的“不变性”生成新样本 CRDA 的关键洞察在于：一旦回归模型成功捕捉了数据的系统性成分（即预测值），剩余的残差（噪声）在精心选择的特征发生微小扰动时，可以视为一种“不变”的残差。换句话说，对于某些特征，改变其取值不会显著改变残差的分布特性。基于这一发现，研究者可以生成新的、符合真实分布的训练样本，从而在不实际采集新数据的情况下有效扩充数据集。 ### 方法特点：模型无关且即插即用 CRDA 是一种 **模型无关** 的方法，可以轻松应用于各类回归模型，包括多层感知机（MLP）、XGBoost、随机森林等。其流程大致分为三步： 1. **训练初始模型**：在原始数据上训练一个回归器，得到预测值和残差。 2. **选择可扰动特征**：通过因果推断或相关性分析，识别出那些对残差影响较小的特征（即“不变特征”）。 3. **生成反事实样本**：对不变特征施加微小扰动，同时保持残差不变，从而合成新的输入-输出对。 这种方法避免了传统数据增强（如加噪声、SMOTE）可能引入的分布偏移问题，生成的样本在统计上更接近真实数据。 ### 实验表现：显著降低均方误差 在多个基准数据集上的实验表明，CRDA 能够带来显著的性能提升： * 对于 **MLP 回归器**，平均均方误差（MSE）降低了 **22.9%**。 * 对于 **XGBoost 回归器**，平均 MSE 降低了 **6.4%**。 与现有的先进数据生成方法（如 CTGAN、CopulaGAN）以及传统增强技术（如高斯噪声注入、SMOGN）相比，CRDA 在 MSE 减少方面 **持续领先**。特别是在样本量小、噪声水平高的场景下，CRDA 的优势更为明显。 ### 行业意义：小样本回归的实用解法 在工业界，许多回归问题——如预测设备剩余寿命、估计药物剂量反应、分析经济指标——都受困于数据稀缺和测量噪声。CRDA 提供了一种轻量级、易部署的解决方案：无需额外数据采集，仅通过算法层面的操作即可提升模型精度。这尤其适合那些数据收集成本高昂或涉及隐私的场景（如医疗记录）。 此外，CRDA 的“反事实”视角也为理解模型行为提供了新思路。通过观察特征扰动如何影响残差，工程师可以识别出哪些特征对预测结果“稳定”，哪些特征则更具因果影响力。 ### 局限与展望 尽管 CRDA 效果显著，但研究者也指出，其特征选择步骤依赖于一定的领域知识或因果结构，在完全无先验信息的情况下可能需要额外的自动化探索。未来工作可能包括将 CRDA 扩展到分类任务，或与深度学习端到端框架结合。 总体而言，CRDA 为表格数据的回归增强提供了一种新颖且有效的范式，有望成为数据科学家工具箱中的又一利器。
arXiv:2606.28464v1 Announce Type: new Abstract: In the optimization of neural networks, gradient dynamics are influenced by critical points that arise from the model's architecture. These critical points occur where the Jacobian of the model's parametrization is rank-deficient, and are the most pronounced singularities studied in Singular Learning Theory. We investigate such points in deep fully-connected networks with monomial activations via tools from polynomial algebra such as Mason's Theore
单细胞RNA测序（scRNA-seq）聚类是识别细胞类型的关键技术，但高维度、稀疏性、数据缺失及技术噪声等问题，使得稳健的基因表达表征和细胞图构建面临巨大挑战。现有方法中，掩码自编码器主要依赖表达恢复进行特征重建，而图聚类方法通常使用固定的KNN图，未能将恢复后的表达信息反馈到图优化中。针对这一痛点，来自中国的研究团队提出了一种名为 **scKDGM** 的新型框架，将 **KAN（Kolmogorov-Arnold Network）** 与动态图掩码学习相结合，显著提升了scRNA-seq聚类性能。 ## 核心创新：四步协同机制 scKDGM 的核心设计包含四个环环相扣的模块： 1. **GDP-Mask（图感知分布保持基因掩码）**：该模块通过扰动细胞身份信息，在保留数据分布特征的同时生成掩码视图，为后续学习提供高质量的监督信号。 2. **KAN驱动的TAKGCN编码器**：引入KAN网络替代传统多层感知机，增强模型对非线性关系的建模能力，从而从掩码视图中提取更鲁棒的细胞表征。 3. **掩码引导的表达恢复与动态图构建**：利用恢复后的表达信息动态更新细胞间拓扑结构，打破传统固定KNN图的局限性，使图结构随学习过程持续优化。 4. **跨视图对比学习**：将表达恢复信号传递至图拓扑更新中，通过对比学习对齐不同视图的表征，进一步提升聚类一致性。 此外，模型还引入了 **ZINB损失函数**，专门用于处理scRNA-seq数据中常见的过度离散和零膨胀问题，使重建过程更符合数据生成机制。 ## 性能表现：全面超越10个基线方法 研究团队在 **12个真实scRNA-seq数据集** 上进行了系统评估，对比了包括传统聚类方法、深度聚类方法及图神经网络方法在内的10种基线模型。结果显示，scKDGM在 **平均NMI（归一化互信息）** 和 **平均ARI（调整兰德指数）** 两项关键指标上均取得最优结果，尤其在数据噪声大、细胞类型不平衡的场景下优势更为明显。 ## 行业意义：AI驱动单细胞分析的新范式 scKDGM的提出不仅解决了scRNA-seq聚类中图结构静态化的问题，更展示了 **KAN网络在生物信息学中的巨大潜力**。KAN通过可学习的激活函数替代固定激活函数，理论上能以更少的参数捕获更复杂的特征交互，这对于高维、稀疏的基因表达数据尤为适用。 该框架的“动态图+掩码学习”思路也为其他单细胞分析任务（如批次校正、轨迹推断）提供了可借鉴的范式。随着单细胞测序技术向大规模、多模态方向演进，scKDGM这类兼具鲁棒性与可解释性的AI工具，将加速细胞图谱构建和疾病机制研究。 ## 局限与展望 尽管实验结果亮眼，论文也指出当前模型在超大规模数据集（百万级细胞）上的计算效率仍有优化空间。未来工作可能聚焦于： - 结合图稀疏化技术降低内存开销； - 将框架扩展至多模态单细胞数据（如同时整合转录组与染色质可及性数据）。 scKDGM已在arXiv公开，代码预计后续发布。对于从事单细胞分析的研究者而言，这无疑是一个值得关注的新工具。
## 研究背景与问题定义 在在线学习领域，**马尔可夫赌博机（Markovian bandits）** 是一类重要的模型，其特点是每个臂（arm）的状态按马尔可夫链演化。然而，现有工作通常假设状态可观测且决策时点无约束。本文《Learning in Markovian bandits with non-observable states and constrained decision epochs》首次系统研究了**状态不可观测**且**决策时点受限**的场景下的遗憾最小化问题。 作者聚焦于**纯遗憾基准（pure regret benchmark）**，即比较学习算法的性能与最优**纯策略**（pure policy）——该策略类似经典随机赌博机的最优策略，从头到尾选择同一个最优臂，绝不切换。这一设定简化了分析，但已能揭示核心挑战。 ## 核心贡献：自退化马尔可夫赌博机与遗憾下界 论文提出了**自退化马尔可夫赌博机（self-degrading Markovian bandits）** 这一新概念，它是经典休憩型（rested）马尔可夫赌博机的推广。在该模型中，纯策略总是渐近最优的，这为后续理论分析提供了基础。 一个重要发现是：**若算法极少切换臂，则其遗憾必然超对数增长**，即 $\omega(\log(T))$（$T$ 为学习时域）。这意味着在状态不可观测且决策受限时，对数遗憾（如经典 UCB 算法）在无先验知识的情况下是不可达的。 ## 算法设计与遗憾上界 面对这一下界，作者设计了 **UCB-NOM**（Upper Confidence Bound for Non-Observable Markovian bandits），一种基于乐观原则的算法。其遗憾接近对数形式，具体表现为： - **无先验知识时**：遗憾为 $O(\log(T) \cdot \text{某个因子})$，略高于对数但未达超对数下界。 - **给定先验知识时**：若已知臂的偏差函数（bias function）的界，则 UCB-NOM 可实现 **$O(\log(T))$ 的遗憾**，且最坏情况遗憾为 $O(\sqrt{T \log(T)})$。 值得注意的是，**遗憾界不依赖于马尔可夫链的状态数**，这大大增强了算法的实用性。 ## 行业意义与展望 该工作揭示了状态不可观测性在自退化马尔可夫赌博机中仅是“轻微不便”，而非根本性障碍。对于实际应用——如推荐系统、临床试验、通信网络中的资源分配——这意味着即使无法观测用户状态或系统内部状态，仍可通过精心设计的算法获得接近最优的性能。 未来方向包括：扩展到更一般的纯策略不一定最优的模型，以及考虑有限切换次数下的遗憾分析。 > **一句话总结**：本文证明了在不可观测状态和受限决策时点的马尔可夫赌博机中，超对数遗憾下界不可避免，但 UCB-NOM 算法可达到近乎对数的遗憾，且不依赖状态数。
Transformer架构中的多头注意力机制通常在每个层均分隐藏维度，导致所有头共享相同的子空间维度（dh = dmodel/h）。这种均匀分配被视为一种结构性瓶颈：早期层的头因维度受限，难以捕捉复杂的高维上下文模式。为此，研究者提出了 **Prism Transformer**，一种新型架构，用渐进式头调度替代静态均匀配置。通过逐层单调增加头的数量，Prism Transformer 自然形成了从局部到全局的表征层次：早期层使用更少但更宽的“头”来捕捉复杂的局部组合模式，而深层则部署大量窄头，将这些模式分解为专门的语言特征。关键在于，这种结构变化是参数中性和计算中性的，不引入任何训练或推理开销，保持了与标准Transformer相同的权重矩阵和FLOP预算。 在三种模型规模（124M、354M、757M参数）上，Prism Transformer 持续优于均匀基线，验证损失降低，并在多个零样本下游基准（包括PIQA、HellaSwag、ARC-Easy和WinoGrande）上取得增益。实验表明，非均匀子空间分配能够释放标准Transformer预算内的潜在容量，使模型能力得到更有效的利用。 ## 核心创新点 - **渐进式头调度**：头数随层数增加，早期层头少维度高，深层多头维度低，形成层次化表征。 - **零额外开销**：不增加参数或计算量，仅改变注意力头的分配方式。 - **一致性能提升**：在多种规模下验证，证明非均匀分配的有效性。 ## 行业意义 这一工作挑战了Transformer中“均匀分配”的默认假设，为改进注意力机制提供了新思路。它不依赖额外数据或计算资源，即可提升模型性能，对资源受限场景尤为实用。未来，Prism Transformer 有望与稀疏注意力、混合专家模型等技术结合，进一步推动高效Transformer的发展。
近日，arXiv 上发布了一项新研究（arXiv:2606.27459），提出了一种**几何条件化的傅里叶神经算子**，用于求解二维平坦环面上的三次非线性薛定谔方程。该工作的核心创新在于：通过将环面的**纵横比参数**显式纳入算子学习框架，使得模型能够捕捉不同几何形状下截然不同的高频级联行为。 **问题背景** 在二维环面上，NLS 方程的动力学强烈依赖于环面的纵横比。当纵横比为有理数时，傅里叶共振结构丰富，能量可以高效地向高频模式传递，导致 Sobolev 范数快速增长；而当纵横比为无理数时，共振受限，能量传递受到抑制，解的行为更为温和。传统数值方法需要精细分辨这种几何效应，计算成本高昂。 **方法亮点** 研究者设计了一个**几何条件化 FNO**，其输入不仅包含解的实部和虚部，还额外拼接了纵横比参数 \(\omega^2\)。模型通过端到端训练学习一步时间推进算子，并在随机相位初始条件生成的未见轨迹上进行评估。训练数据采用傅里叶伪谱方法生成，保证了高频分辨率的准确性。 **实验结果** 数值实验表明，该学习算子成功复现了两种几何下的关键动力学特征： - **有理环面**：Sobolev \(H^2\) 范数显著增长，反映强烈的能量级联； - **无理环面**：\(H^2\) 范数增长受限，行为更接近平滑解。 这一结果与理论分析（如 Hrabski 等人 2021 年的工作）高度一致。 **消融研究** 作者还进行了系统的消融实验，考察了保留傅里叶模态数、激活函数、傅里叶层深度以及显式几何条件的影响。关键发现包括： - **引入 \(\omega^2\) 参数**显著提升了长期预测精度，尤其对有理几何效果更为明显； - 较深的傅里叶层有助于捕捉复杂的非线性相互作用，但存在过拟合风险； - 激活函数的选择对收敛速度和最终精度有一定影响，GELU 表现优于 ReLU。 **意义与展望** 这项工作展示了**几何感知的神经算子**在非线性色散偏微分方程中的潜力。它不仅为 NLS 方程的数值求解提供了新工具，也为更广泛的**谱传输现象**（如等离子体物理、光学中的湍流）的机器学习建模开辟了道路。未来可将该方法推广至三维情形或更复杂的非线性项，并探索与物理信息网络的结合。
## 激活修补的盲点：自然间接效应并非“纯粹” 在机械可解释性领域，**激活修补（Activation Patching）** 是归因模型行为至具体组件的核心工具。其通过估计**自然间接效应（NIE）** 来衡量单个组件对模型输出的因果贡献。然而，一篇来自 arXiv 的新论文指出：NIE 并非仅仅捕捉通过该组件的因果效应——它同时包含了**交互效应（INT）**，即该组件的因果效应本身如何依赖于模型中其他组件的状态。 ## 交互效应从何而来？ 论文重新从因果中介分析推导了激活修补的估计量，发现 NIE 实质上混合了“纯间接效应”和“交互效应”。INT 衡量的是：当其他组件处于“干净”或“修补”状态时，同一组件的因果影响可能截然不同。这种依赖关系意味着，单个组件的“重要性”并非固有属性，而是随上下文动态变化。 ## 为何无法简单消除？ 面对 INT，直觉上的补救措施——如调整估计器或改变分析单元——均存在可预见的失效模式。作者在 **GPT-2 的 IOI（间接对象识别）电路** 上进行了实证： - 某些组件的因果重要性在状态依赖下要么完全不可见（被低估），要么被人为放大（虚假归因）。 - **INT 的方差** 解释了此前文献中报告的**忠实度分数不稳定性**——当交互效应显著时，同一组件在不同 prompt 下的归因结果可能剧烈波动。 ## 理论根源与可预测性 论文从数学上证明： - INT 的大小与**干净激活和修补激活之间的距离**成正比。即，当修补引入的扰动越大，交互效应越强。 - 当模型在局部满足**仿射（affine）性质**（如线性层）时，INT 可忽略；但在非线性激活函数（如 ReLU、LayerNorm）作用下，INT 必然存在。 - INT 可**组合分解**为两两交互、三阶交互乃至更高阶的组交互。这意味着，即使每个组件的单独效应看似稳定，组合后仍可能涌现出显著的非线性因果依赖。 ## 是噪声，还是信号？ 论文的核心观点是：INT 不应被视为需要消除的“噪声”，而应作为可解释性研究中的**诊断工具**。 - **个体及组级别的 INT 符号与大小** 可提示因果结论是否**依赖于特定 prompt**。如果 INT 显著，则说明该组件的作用仅在特定上下文中成立。 - 当研究采用**贪心的 NIE 排序**来寻找重要组件时，INT 的存在意味着**仅靠单次修补会遗漏那些只有通过组合搜索才能发现的机制**。例如，两个组件各自 NIE 很小，但它们的交互效应却共同驱动了模型行为。 ## 对可解释性研究的启示 这项研究揭示了当前机械可解释性方法的一个根本性局限：**线性归因假设在非线性模型中可能失效**。未来的研究可能需要： 1. 将交互效应显式纳入因果归因框架，例如报告 NIE 与 INT 的分解结果。 2. 开发能够捕捉高阶交互的搜索算法，而非仅依赖逐组件修补。 3. 对 prompt 的选择更加谨慎——在单一 prompt 上得出的因果结论可能无法泛化。 总之，论文提醒社区：**组件间的依赖关系不是需要规避的麻烦，而是理解模型内部协同机制的关键线索。**
## 引言 城市交通拥堵中，**队列溢出**是一个严重问题——当车辆排队长度超过交叉口容量时，会阻塞上游交通，引发连锁式交通瘫痪。现有的交通信号控制（TSC）算法大多以优化通行效率为目标，在高峰时段往往无法有效应对溢出，反而加剧拥堵并带来安全隐患。 ## 方案：OverFlowLight 针对这一痛点，研究团队提出了 **OverFlowLight**，一个实时框架，旨在预防性地解决队列溢出并提升整体 TSC 性能。该框架首先利用摄像头和雷达的多模态感知，实时准确检测溢出状态。一旦检测到溢出，系统会动态生成并插入专用溢出相位到信号周期中，以清除阻塞队列。其核心是**混合控制设计**：快速基于规则的溢出干预与强化学习等控制器后端相结合，兼顾短期应急和长期效率。 ## 实际部署与效果 研究团队在 **三个主要城市的 43 个交叉口** 进行了大规模真实部署。结果表明，与现有基线相比，OverFlowLight 将溢出事件减少了 **60.4%**，网络通行能力提升了 **18.2%**。同时，它大幅减少了专家调优信号方案所需的人工干预。 ## 行业意义 这项工作首次提出了一个**实用、可扩展、数据驱动**的主动预防交通瘫痪框架，为构建韧性与高效的城市交通系统提供了关键组件。其模块化设计可无缝集成到现有基于强化学习的 TSC 系统中，具有良好的实际应用前景。
计算机视觉领域广泛使用的RANSAC（随机采样一致性）算法，其核心步骤——模型评分——长期依赖一个关键参数：**内点尺度**（inlier scale）。该参数需要用户预先设定，或从被污染的数据中估计，而估计本身又容易受异常值干扰，形成“先有鸡还是先有蛋”的困境。近日，来自德国基尔大学等机构的研究者在arXiv上提交了一篇论文，提出了一种**真正摆脱内点尺度依赖**的新型RANSAC评分方法，为这一经典问题提供了优雅的数学解。 ## 核心创新：从“估计尺度”到“边缘化尺度” 传统RANSAC变体（如MSAC、MAGSAC）的评分函数，无论是简单的内点计数还是带饱和函数的逐点得分，都隐含或显式地依赖于一个阈值参数，该参数本质上是内点尺度的函数。新方法的关键思路是**反转推理顺序**：不再先估计尺度再用其评分，而是通过共轭先验（Inverse-Gamma分布）将内点尺度在闭合形式下解析地边缘化（marginalize），然后直接优化数据划分（即哪些点是内点）。 这一数学处理带来了几个显著优势： - **单一公式覆盖多种先验**：从无信息的Jeffreys先验到有信息的经验贝叶斯先验，同一个评分函数可以自适应地切换，无需修改算法。 - **计算高效**：评分函数可通过排序扫描（sort-and-sweep）实现 **O(N log N)** 的复杂度，与经典方法相当。 - **参数真正“消失”**：这是第一个在评分公式中完全不出现内点尺度的RANSAC变体。 ## 实验验证：近7万图像对上的全面碾压 研究团队在包含近7万对图像的基准测试上进行了评估，覆盖了多种双视图估计问题（如基础矩阵、本质矩阵、单应矩阵估计），并使用手工特征（SIFT）和深度学习特征（SuperPoint+SuperGlue）两种管线。结果令人印象深刻： 1. **阈值误标定下的鲁棒性**：当用户提供的阈值偏离真实值时，传统方法（RANSAC、MSAC、GaU、MAGSAC）的准确率急剧下降，而新方法的性能**几乎保持平坦**。 2. **极低数据量下的高效性**：在仅用**2对验证点**进行模型选择时，新方法即可达到接近最优的精度，而基线方法通常需要**约100倍**的验证数据。 3. **先验正则化的自适应收紧**：当验证数据稀缺时，评分函数会自动加强先验的正则化作用，防止过拟合。 ## 行业意义与未来展望 RANSAC自1981年提出以来，一直是计算机视觉中鲁棒估计的基石。其评分环节的尺度依赖问题虽被长期认知，但始终缺少一个既理论严谨又计算可行的解决方案。这项工作不仅从数学上填补了这一空白，更在实用层面展示了巨大的潜力： - **降低用户调参门槛**：对于非专业用户，无需再为不同场景手动调整内点阈值。 - **提升自动化管线稳定性**：在SLAM、三维重建、视觉定位等需要大量自动处理的系统中，一个对参数不敏感的评分函数能显著减少故障率。 - **适应数据稀缺场景**：在只有少量匹配对的极端条件下（如纹理匮乏或视角剧烈变化），新方法仍能可靠工作。 当然，论文也指出该方法目前主要在双视图几何估计上验证，未来可以扩展到更复杂的多视图问题。此外，边缘化框架理论上也适用于其他需要阈值参数的任务，如点云配准中的RANSAC变体。 总的来说，这项研究以简洁的数学形式解决了RANSAC领域一个存在四十余年的痛点，堪称“评分问题”的终极解法。对于计算机视觉从业者而言，这是一个值得密切关注并尝试集成到现有管线中的新工具。
时间序列分析是机器学习的重要分支，广泛应用于金融、气象、物联网等领域。自 2020 年首次发布以来，**Darts** 已成为最受欢迎的开源 Python 时间序列库之一。然而，随着 Chronos-2、TimesFM 2.5、TiRex、PatchTST-FM 等基础模型相继涌现，零样本预测能力显著提升，却因接口碎片化、缺乏互操作性而难以集成。 近日，Darts 团队在 arXiv 发布论文《Unified Zero-Shot Time Series Forecasting: A Darts Foundation》，提出统一 **FoundationModel** 类集合，将上述主流基础模型封装为标准化接口，实现“只需改个名字”即可在现有 Darts 流水线中调用。 ## 零样本预测的范式转移 传统时间序列预测需要针对每个数据集训练定制模型，成本高、泛化差。基础模型通过海量数据预训练，可直接用于未见过的任务，无需微调即可取得竞争性结果。但问题在于：每个模型都有独立的 API、预处理逻辑和输出格式，用户被迫在多个代码库间切换。 ## Darts 的解决方案 Darts 的 FoundationModel 类提供了**全周期预测接口**，涵盖零样本推理、微调、不确定性估计和回测。用户只需将模型名称从 `ARIMA` 改为 `Chronos-2`，即可体验零样本能力。新流水线也能无缝集成数据处理与评估工具。 论文以 Chronos-2、TimesFM 2.5、TiRex、PatchTST-FM 为例，展示了统一框架如何降低使用门槛。例如，在能源负荷预测任务中，零样本模型的表现已接近甚至超越领域专用模型，且无需重新训练。 ## 行业意义与未来 这项工作的核心价值在于**生态整合**。Darts 作为已有庞大用户基础的库，其统一接口有望加速基础模型在工业界的落地。未来，更多模型（如 Lag-Llama、MOMENT）可能被纳入，推动时间序列预测向“预训练+零样本”范式全面转型。 对于开发者而言，这意味着更少的代码、更高的复用性；对于业务方，则意味着更快地从数据中获取洞察。基础模型不再是孤立的“黑盒”，而是可组合、可评估的标准化组件。
蛋白质结构预测的基础模型（如AlphaFold、Boltz-2）在生物分子结构预测和设计方面展现了惊人能力，但模型内部特征如何驱动输出仍是一个难题。标准稀疏自编码器（SAE）在Transformer序列嵌入上表现良好，但无法直接应用于Pairformer架构——对成对表征进行朴素操作会导致特征数量二次爆炸，并掩盖跨序列和成对表征分布的概念。 来自哈佛医学院、MIT等机构的研究人员提出了**PairSAE**，一种专门为Pairformer架构设计的机械可解释性方法。PairSAE通过**N模式奇异值分解（N-mode SVD）**将成对张量总结为“token级交互角色”，然后使用稀疏自编码器学习一组共享的token级特征，这些特征可以解码回序列和成对表征。 在**Boltz-2**模型处理**PLINDER蛋白质-配体复合物数据集**的激活值上评估，PairSAE能够提取出与**UniProt注释**对齐的可解释特征，并预测Boltz-2的亲和力值。这表明PairSAE成功将结构生物学基础模型的潜在空间与可解释的结构概念联系起来，阐明了模型“知道什么”，同时避免了传统SAE在Pairformer架构中遇到的陷阱。 该研究已被**机器学习结构生物学研讨会（MLSB 2025）**接收。 ## 核心挑战：为什么标准SAE在Pairformer上失效？ 蛋白质共折叠模型（如Boltz-2）使用**Pairformer架构**，其核心是处理成对表征——即描述每对残基（或原子）之间相互作用的张量。这种表征天然是二次的（N×N），并且与序列表征（1D）深度耦合。 标准SAE假设特征可以独立地从单一模态嵌入中学习，但直接应用于成对表征时面临两个问题： 1. **二次爆炸**：如果对每个成对元素独立学习特征，特征数量会随序列长度平方增长，计算和存储开销巨大。 2. **概念割裂**：许多生物概念（如结合位点）同时涉及序列信息和成对交互信息，标准SAE无法联合建模这种分布式表征。 ## PairSAE：两步走，让成对表征“透明化” PairSAE的核心思想是将高维成对张量压缩为token级的低维“交互角色”，再通过SAE学习共享特征。具体分为两步： ### 1. N模式SVD降维 将成对张量视为一个三维张量（token×token×特征通道），通过N模式SVD将其分解为三个因子矩阵。其中，token模式上的因子矩阵提供了每个token的“交互角色向量”，这些向量编码了该token与其他所有token的交互模式。通过保留前k个奇异值，实现了从O(N²)到O(Nk)的压缩（k远小于N）。 ### 2. 共享稀疏自编码器 将token级角色向量与序列表征拼接，输入到一个稀疏自编码器中。该自编码器学习一组稀疏的、可解释的token级特征，这些特征同时解码回序列表征和成对表征。由于特征是在token级别学习的，它们自然地捕捉了跨模态的分布式概念（如“这是一个结合口袋残基”）。 ## 实验验证：特征对齐与亲和力预测 研究者在**Boltz-2**模型（蛋白质-配体共折叠模型）上测试了PairSAE，使用**PLINDER数据集**（包含数千个蛋白质-配体复合物）。 - **特征可解释性**：PairSAE学习到的特征与**UniProt**数据库中的功能注释（如“活性位点”、“金属结合位点”）高度对齐。例如，某个特征在配体结合残基上激活强度显著高于其他残基。 - **亲和力预测**：将PairSAE的特征作为输入，训练一个线性模型预测Boltz-2输出的亲和力值，取得了较高的相关性（R²≈0.65），表明这些特征捕捉了与结合强度相关的关键信息。 ## 意义与展望 PairSAE为结构生物学基础模型的可解释性提供了新工具。它不仅帮助研究者理解模型预测的分子机制，还可能指导蛋白质设计：通过识别与特定功能相关的特征，可以更有针对性地优化序列。 未来工作可以扩展到更复杂的多聚体系统，或与蛋白质设计方法结合。该研究也提示，针对特定架构设计可解释性方法至关重要——通用方法可能因架构差异而失效。 ## 小结 - PairSAE通过N-mode SVD和共享SAE，成功对Pairformer架构的成对表征进行可解释性分析。 - 在Boltz-2上提取的特征与生物注释对齐，并能预测亲和力。 - 方法避免了标准SAE在成对表征上的二次爆炸和概念割裂问题。