AI 资讯

arXiv:2606.23742v1 Announce Type: new Abstract: Physical neural networks promise low-power machine learning by computing directly with analogue device physics, but most architectures force nonlinear device responses to act as scalar weights. Inspired by Kolmogorov-Arnold networks, we place trainable nonlinear functions on the connections, making each physical connection a learnable computational element. Realising these functions as analogue band-pass filters on field-programmable analogue array

arXiv:2606.23739v1 Announce Type: new Abstract: We present an automated large-scale search pipeline for heterogeneous 4-Expert Mixture-of-Experts (MoE4) architectures within the LEMUR neural network dataset ecosystem. Building on a hand-crafted heterogeneous MoE reference model, we replace manual design with a deterministic code-assembly generator that systematically combines base architecture families drawn from the LEMUR database into MoE4 ensembles, each governed by a convolutional gating net

arXiv:2606.23830v1 Announce Type: new Abstract: Molecular surfaces encode the geometric and physicochemical patterns that determine antibody-antigen recognition, central to epitope prediction. However, existing methods rely on sequences or backbone structures and struggle to capture discontinuous, surface-driven epitopes. This study presents SurfBind, a surface-centric learning framework for epitope prediction that operates directly on molecular surface representations. SurfBind integrates geome

arXiv:2606.23767v1 Announce Type: new Abstract: Headline accuracies on the Tuebingen cause-effect pairs are routinely compared across papers even though each is measured under its authors' own protocol -- different pair subsets, weightings, model-selection, and decision rates. We argue this is the wrong comparison and run the right one: a same-hands re-evaluation in which every method is run by us on the identical 102 pairs, with one strict rule -- no tuning and a decision forced on every pair.

## 概述 大型语言模型（LLM）推理中的预填充阶段正成为云端能耗的日益增长的贡献者。许多用户提示包含社交性内容——如礼貌用语、道歉式开场白、重复表达和建立关系的话术——这些对人类交流重要，但对机器推理却信息量低。这种差异被称为**社交-语义鸿沟**。最新研究提出**SPSD（情感保留语义蒸馏）**，一种在边缘设备上运行的提示压缩管道，旨在减少发送到云端LLM的输入长度，从而降低能耗，同时保持响应质量。 ## 方法 SPSD 在用户终端（如手机或物联网设备）上部署一个 4-bit 量化的小型语言模型（SLM），在将提示传输到云端之前对其进行压缩。SLM 负责过滤掉社交性填充内容，仅保留核心语义信息，并保留情感基调。压缩后的提示再发送给云端的大型语言模型（如 Llama-3.1-8B-Instruct）进行推理。对于安全关键领域（如医疗或法律咨询），系统通过规则门控自动将提示原样透传，避免风险。 ## 关键结果 研究团队使用 **Gemma-2-2B-Instruct (Q4_K_M)** 作为 SLM，**Llama-3.1-8B-Instruct** 作为云端评估模型，在 248 条提示的语料库上进行了评估。主要结果包括： - **输入 token 节省**：每次蒸馏调用平均节省 **99.9 个 token**，所有 146 次蒸馏调用均实现正节省。 - **响应质量**：通过盲法 LLM-as-judge 评分（121 对对比），蒸馏路径的响应质量在 15 分制下与原始路径相比**非劣效**（预设 1 分边界）。评判结果中 43% 平局，28% 蒸馏胜出，29% 原始胜出。 - **余弦相似度**：平均 0.682，中位数 0.712，54.1% 的对超过 0.70 参考阈值。 - **能耗节省**：每次调用净节能估计为 **70-270 μWh**（基于假设）。 ## 意义与展望 SPSD 证明了在设备端进行提示蒸馏可以有效降低云端 LLM 的输入 token 成本，同时在实际非劣效性边界内保持响应质量。该工作对边缘计算与云推理的协同具有重要启示：通过将轻量级处理卸载到边缘，可以显著减少云端负载和能源消耗，而无需牺牲用户体验。未来方向包括扩展 SLM 的压缩能力、优化安全路由策略，以及在更广泛的提示类型上验证鲁棒性。

分布估计算法（EDA）是一类强大的黑箱优化进化方法，尤其适用于目标函数结构未知的场景。与依赖手工设计变异和交叉算子的经典进化算法不同，EDA 通过直接对最优个体拟合概率分布并从中采样生成下一代，从而避免了算子设计的偏差和复杂性。然而，传统 EDA 在连续参数空间上表现良好，却未能推广到稀疏参数空间——即大部分最优解系数恰好为零的场景。现有稀疏黑箱优化器不得不重新引入手工设计的稀疏算子、双层交替优化机制、零阈值截断等方法，恰恰违背了 EDA 的设计初衷。 为了填补这一空白，研究者提出将**多变量零膨胀高斯（ZIG）分布**作为 EDA 的采样法则。ZIG 分布通过一个潜高斯模型，将稀疏模式（指示维度）与活跃参数值（数值维度）分离又联合建模，能够同时刻画稀疏结构、活跃参数间的相关性以及两者之间的交互作用。这意味着稀疏模式和活跃参数值可以在无层级结构的情况下联合优化，无需任何手工干预。 **关键贡献**在于证明了该模型的潜参数可以从观测样本中**识别**，这与传统缺失数据场景中的相关构造不同。研究者还提出了实用的**摊销逆推估计器**，能够高效恢复潜相关结构。在 Lunar Lander 基准测试中，基于 ZIG 的 EDA 相比稠密高斯 EDA、手工设计的稀疏进化算法以及临时稀疏 EDA，**收敛速度更快、最终回报更高**，且找到的控制器仅激活了少量参数。 这一工作将 EDA 的适用边界扩展到了稀疏优化问题，为机器学习中的特征选择、模型压缩、神经网络剪枝等需要稀疏解的领域提供了新的理论工具和实用算法。未来，ZIG-EDA 有望在更复杂的黑箱优化任务中展现优势，并推动进化计算与稀疏表示研究的交叉融合。

## 自博弈加少量人类数据，自动驾驶习得类人行为 近日，一篇发表于 arXiv 的研究论文《Human-like autonomy emerges from self-play and a pinch of human data》提出了一种新颖的自动驾驶策略训练方法。该方法结合自博弈强化学习与少量人类驾驶数据，仅需 **30 分钟** 的人类驾驶示范和 **15 小时** 的单消费级 GPU 训练，即可训练出能与人类驾驶行为协调的自动驾驶策略。 ### 背景与挑战 自博弈强化学习近年来成为训练驾驶策略的新方向，其核心优势在于无需人类数据，仅通过大规模仿真即可训练。然而，纯自博弈训练的策略往往习得“高效但怪异”的驾驶风格——例如在并道时采取人类难以预料的激进行为，导致与人类驾驶员的交互出现安全隐患。此前的研究尝试通过大量奖励工程和域随机化来缓解行为不匹配，但这些方法不仅脆弱，而且人工调参成本高昂。 ### 方法核心：人类数据作为“调味料” 该研究的核心思路是：**不彻底抛弃人类数据，而是将其作为正则化目标**，叠加在一个最小安全目标达成奖励之上。作者将人类数据比作“好炖菜里的香料”——少量即可显著改善风味。具体而言，他们仅使用了 **30 分钟** 的人类驾驶示范，这比传统模仿学习方法少 **2500 倍** 的数据量。 训练流程如下： 1. 在仿真环境中使用自博弈强化学习，以最小安全目标达成奖励为基础进行训练。 2. 引入一个正则化项，惩罚策略与人类示范行为的偏离。 3. 通过权重平衡，使策略在保持自博弈高效性的同时，输出类人行为。 ### 实验结果与意义 实验表明，该策略能够与预留的人类轨迹进行协调，有效避免“外星驾驶”行为。训练效率极高：在单张消费级 GPU 上仅需 **15 小时** 即可完成训练。作者已在 GitHub 上开源完整代码和视频演示。 这项研究的价值在于： - **数据效率**：将人类数据需求从海量示范降低至分钟级，大幅降低数据采集成本。 - **训练效率**：15 小时的单 GPU 训练时间，使研究团队和小型企业也能轻松复现。 - **行为对齐**：通过少量人类数据引导，解决了纯自博弈策略与人类行为不兼容的痛点。 ### 局限与展望 尽管方法高效，但仍有改进空间：30 分钟的人类数据是否覆盖足够多的驾驶场景？在极端或罕见情境下，正则化是否仍能有效引导？未来工作可探索动态调整正则化强度，或结合元学习自动确定最优数据量。 总体而言，该研究为自动驾驶行为学习提供了一种“轻量级”解决方案，在自博弈与模仿学习之间找到了实用平衡点。

近日，一篇来自 arXiv 的论文（编号 2606.19366）提出了一个有趣的理论框架：将**信息格学习（Information Lattice Learning, ILL）**重新诠释为概率图模型的结构学习过程。该研究由 Haizi Yu 和 Lav R. Varshney 共同完成，为理解 ILL 与经典概率模型之间的关系提供了新思路。 ## 核心思想 ILL 原本是一种通过学习可解释规则来理解信号的方法。它通过交替进行两个步骤：将信号投影到一个**分区格（partition lattice）**上（该格编码了抽象层次的层级结构），再将选中的规则提升回信号域。当信号为概率质量函数时，作者发现 ILL 学到的概率规则天然具有概率图模型解释。 具体而言，ILL 中的一个分区会诱导出一个确定性的商变量，而一条规则就是该商变量的边际分布。一组规则因此构成了对可解释抽象的边际约束集合。**一般提升**是指满足这些约束的所有联合分布的可行族，而**特殊提升**则选择一个最大无知重建，在 ILL 中通过 L2 均匀性原理（与最大熵密切相关）实现。 ## 关键发现 论文指出，若采用香农熵提升，相同的约束会生成一个**对数线性因子图**，其因子由学到的抽象索引。然而，信息格本身并非贝叶斯网络：它的边编码的是抽象的细化与粗化关系，而非条件依赖。因此，ILL 应被理解为针对商变量上的可解释约束因子图的结构学习。 这一观点清晰地揭示了 ILL 与图模型和最大熵模型的关联，同时为推理、可识别性以及混合符号-概率学习指明了新方向。 ## 行业意义 在 AI 领域，可解释性一直是个难题。ILL 通过将抽象层次与概率约束结合，提供了一种**结构化的可解释学习方法**。与传统的黑箱模型不同，ILL 学到的规则具有明确的语义，且与概率图模型的理论工具兼容。这意味着未来可能将 ILL 用于构建更透明、更可信的 AI 系统，尤其是在需要严格推理和不确定性量化的场景中。 论文还暗示了 ILL 在信号处理、机器学习和人工智能中的潜在应用。由于因子图结构可以高效进行推理，ILL 或许能成为连接符号推理与概率学习的桥梁。

一篇最新的预印本研究揭示了Transformer模型在AdamW优化器训练过程中，其权重分布中的Weibull尺度参数λ为何会呈现先增长、过冲、再松弛的独特动态。该研究来自Tiexin Ding，论文《Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics》为理解深度学习训练动力学提供了新的理论视角。 ## 背景：Weibull框架为何重要？ 此前研究已发现，Transformer模型的权重分布可以用双参数Weibull分布很好地拟合，其中尺度参数λ反映了权重的整体量级。然而，λ在训练中并非单调变化，而是先迅速上升，超过最终稳定值，再缓慢回落。这种现象背后的驱动力一直缺乏系统解释。 ## 核心发现：三力分解模型 研究者从AdamW更新规则出发，对权重范数的平方进行了一阶动力学分解，识别出三种主要作用力： - **对齐力（Alignment Force）**：衡量权重与自适应更新方向之间的相关性。它主导了λ的上升阶段，贡献了**88%至94%**的绝对力预算（基于四个随机种子的实验），并且对移除极端权重（super-weight）保持稳健。 - **注入力（Injection Force）**：来自自适应步长的大小，与梯度历史相关。 - **衰减力（Decay Force）**：来自解耦的权重衰减（decoupled weight decay），持续将权重向零拉回。 当λ接近峰值时，对齐力与衰减力趋于平衡，从而解释了从增长到松弛的转变。这些力直接驱动了λ背后的平方范数分量。此外，均方根（RMS）到Weibull的重构偏移量可分解为桥接与积分两部分，总计约**5%至6%**。 ## 实用方法：从稀疏检查点恢复对齐力 一个关键挑战是：真实训练中优化器动量（如一阶矩、二阶矩）通常不可获取。为此，作者提出了**样条位移法（Spline Displacement Method）**，仅从稀疏保存的检查点即可恢复对齐力，准确率达到**92%至94%**，约为朴素两点基准（two-point baseline）的两倍。这使得该方法可应用于实际训练场景。 ## 数据依赖性与未来方向 实验还观察到，λ的峰值与训练数据的连贯性（coherence）有关，暗示权重尺度增长存在数据依赖成分。作者计划在后续控制性研究中深入探索这一点。 ## 总结 该工作不仅为AdamW训练中权重尺度的非单调演化提供了清晰的物理图像，还给出了实用的诊断工具。对于从事大模型训练、优化器设计或理解神经网络内部动力学的从业者，这一框架有望帮助更精细地监控训练过程，甚至指导超参数调整。 论文代码与数据已公开：https://arxiv.org/abs/2606.19367

**快讯：KDD 2026 接收论文提出 Guard 框架，解决科学时间序列预测中基础模型分布偏移与计算成本矛盾。** 时间序列基础模型在物理科学领域面临两难：它们虽编码了丰富的通用时间动态，但在零样本应用于特定科学领域时存在严重分布偏移，且计算成本过高，无法部署于边缘计算传感器网络。最新研究提出 **Guard**（门控不确定性感知路由蒸馏框架），将多教师蒸馏重塑为实例级决策过程，通过两大自适应机制提取知识： - **上下文路由器**：基于局部输入统计动态选择最相关的教师模型，利用不同基础模型的互补性。 - **不确定性门控温度**：充当断路器，当教师置信度与领域现实偏离时自动削弱蒸馏强度。 该轻量级框架在气象学、生态系统碳通量、土壤湿度和能源网格四个气候关键领域进行了评估。相比固定权重的多教师蒸馏基线，Guard 显著降低了 **RMSE**。即使预训练基础模型因分布偏移在目标域上零样本精度不佳，Guard 仍能成功蒸馏知识，甚至在某些最困难实例（占 28.5%）上超越全局最优的基础模型。 这为资源受限的边缘部署场景提供了高精度科学预测方案。代码已开源。

在因果推断领域，**可识别性**（identifiability）是核心概念——它回答一个关键问题：给定数据和因果图，我们能否唯一确定某个因果效应？传统理论通常假设无限样本、渐近性质等理想条件，但现实世界的数据往往有限、图结构不完整，甚至混杂着干预与观测数据。近日，来自纽约大学的 Lucius E.J. Bynum、Rajesh Ranganath 和 Kyunghyun Cho 在 arXiv 上发表了一篇题为《Computational Identifiability》的论文，提出了一种全新的框架——**计算可识别性**（computational identifiability），试图弥合理论与实际应用之间的鸿沟。 ### 从理论到计算：重新定义可识别性 传统可识别性（或称“理论可识别性”）依赖于数学证明，在渐近条件下推导出目标效应的唯一表达式。但这一过程往往忽略了计算约束：有限样本、近似误差、算法选择等。论文作者指出，这种理想化条件在实际场景中难以满足，导致许多理论上可识别的模型在实证中却无法得到可靠估计。 为此，他们提出了**计算可识别性**的新定义：给定一个有限计算搜索过程，如果该过程能够在期望误差容限内找到经验估计量，则认为该目标查询是可识别的。这一框架将可识别性从“理论存在性”问题转化为“计算可行性”问题，并明确依赖于搜索过程的假设（如参数先验分布）和算法本身。 ### 实验验证：细粒度识别问题的解答 研究团队通过多项实验展示了计算可识别性的应用价值： - **小样本识别**：在仅有数十个样本的情况下，传统理论可识别性无法保证，但计算可识别性通过贝叶斯搜索仍能给出可靠估计。 - **模糊图标准则**：当因果图中存在未观测混淆变量或结构不确定性时，计算可识别性可基于数据驱动的方法评估识别可行性。 - **混合数据场景**：同时包含观测数据和干预数据时，理论识别条件可能复杂难解，而计算框架能自动适应数据组合。 - **反事实数据与估计量**：对于反事实推理这类更具挑战性的任务，计算可识别性提供了实用的验证手段。 ### 行业意义与未来方向 这项工作的意义不仅在于理论创新，更在于为实践者提供了可操作的工具。在机器学习、流行病学、社会科学等领域，因果推断的应用常受限于数据质量和模型复杂性。**计算可识别性**框架允许研究者根据实际计算资源（如时间、精度要求）来判断识别是否可行，从而更灵活地设计实验和分析流程。 作者还开源了相关代码（见论文链接），方便社区复现和扩展。未来，这一框架有望与自动因果发现、贝叶斯优化等技术结合，推动因果推断从理论证明走向大规模实证应用。 --- **一句话总结**：当理论可识别性遇上现实数据，计算可识别性提供了新的判断标准——不再依赖无限样本，而是通过有限搜索验证估计可行性。

扩散模型已成为高保真3D MRI合成的重要工具，但其部署受限于巨大的GPU资源需求——每个样本需执行数百次U-Net评估，且内核行为高度异构。一篇最新arXiv论文对先进医学扩散模型Med-DDPM在三代NVIDIA架构上进行了全面性能分析，从内核级运行时分解、指令混合特征、内存系统利用率、线程束级活动及分析器优先级评分等维度展开研究。 ### 核心发现 研究表明，训练过程主要由cuDNN卷积和隐式GEMM内核主导，效率低下源于内存访问模式、张量布局转换及Tensor Core利用率不足。基于此，作者评估了两种架构感知优化：**TF32 Tensor Core激活**和**3D channels-last布局**。实验结果显示，优化后SM周期减少高达100倍，动态指令削减100倍，Tensor Core利用率从1.45倍提升至9.98倍，A100上IPC提升7%，且合成质量无损。 ### 背景与挑战 3D MRI合成在医学影像领域价值巨大，但扩散模型的高计算成本限制了实际应用。Med-DDPM作为代表性模型，其U-Net架构在推理和训练时均需大量显存与算力。论文指出，不同GPU架构（如Volta、Ampere、Hopper）对模型性能影响显著，而现有优化多聚焦算法层面，缺乏系统性的硬件适配研究。 ### 优化策略详解 1. **TF32 Tensor Core**：利用Ampere及后续架构的TF32精度模式，在保持模型精度的同时加速矩阵运算，尤其适用于卷积和GEMM内核。 2. **3D channels-last布局**：将张量从默认的channels-first转换为channels-last，改善内存访问局部性，减少布局转换开销，从而提升缓存命中率和带宽利用率。 ### 实验结果 在A100 GPU上，优化后的Med-DDPM训练速度提升显著：SM周期从基线值降至1%以下，动态指令数从数亿级降至百万级。Tensor Core利用率从1.45倍跃升至9.98倍，意味着硬件加速能力得到更充分释放。IPC（每周期指令数）提升7%，表明处理器流水线效率改善。所有优化均未影响生成MRI图像的质量，PSNR和SSIM指标保持稳定。 ### 行业意义 这项工作为**医学影像生成模型的硬件适配**提供了系统方法论。随着3D扩散模型在临床诊断、手术规划等场景的渗透，其计算效率直接关系到落地可行性。论文揭示的优化方向——如张量布局调整和精度模式选择——不仅适用于Med-DDPM，也可推广至其他3D生成任务，如CT合成、多模态配准等。 未来，随着GPU架构持续演进（如Blackwell的FP8/FP4支持），类似研究将帮助开发者提前适配硬件特性，实现“算法-硬件”协同设计。对于AI制药、数字病理等数据密集型领域，这类优化有望将训练时间从数周缩短至数天，加速科研转化。

混合专家（Mixture-of-Experts, MoE）模型虽能高效扩展计算，但其巨大的内存占用和推理开销仍制约着实际部署。现有压缩方法多在专家级别操作，要么移除整个专家，要么依据粗粒度的重要性分数对专家排序。然而，这种专家级别的决策往往过于粗糙，无法捕捉细粒度冗余，导致剪枝预算分配不当，压缩效果有限。 针对这一问题，研究团队观察到：MoE专家中的信息高度集中在少量通道上，即使是重要的专家也存在大量冗余。基于这一发现，他们提出了一种专为MoE模型设计的结构化剪枝框架。该方法将剪枝比例分配重新定义为通道分数覆盖最大化问题，并通过基于归因的近似方法高效求解。 在 **DeepSeek** 和 **Qwen** 系列MoE模型上的实验表明，该方法在结合4比特量化后，即使在50%或25%的结构化剪枝率下仍能保持模型精度。以 **Qwen3-30B-A3B** 为例，该方法将内存占用减少了 **5.27倍**，并在多个基准测试中持续优于现有最优基线。 ## 技术原理 ### 细粒度冗余的发现 传统方法认为专家整体重要性有高低之分，但该研究通过归因分析发现，即使是被认为重要的专家，其内部通道的贡献也极不均衡——少数关键通道贡献了大部分信息，而大量通道存在冗余。这为在通道级别进行剪枝提供了理论依据。 ### 覆盖最大化问题 剪枝的核心挑战在于如何为不同专家分配剪枝比例。研究者将其建模为一个优化问题：在总剪枝预算约束下，最大化保留通道的“归因分数”覆盖度。通过贪心算法近似求解，可以自动为冗余多的专家分配更高剪枝率，而保留关键专家的核心通道。 ## 实验效果 在 **Qwen3-30B-A3B** 模型上，该方法实现了 **5.27倍** 的内存压缩，同时保持与原始模型相当的准确率。在 **DeepSeek-MoE** 系列上，50%结构化剪枝后，模型在多个NLP任务上的性能下降不足1%。与专家级剪枝、通道级均匀剪枝等基线相比，该方法在精度-压缩比曲线上均显著占优。 ## 行业意义 MoE模型因其稀疏激活特性，在训练阶段表现出色，但部署时所有专家权重需同时加载，导致显存需求巨大。该研究提出的通道级结构化剪枝，能够在不改变模型架构的前提下大幅减少参数，且兼容常见的量化与蒸馏技术。这对于将MoE模型部署到资源受限的边缘设备或降低云端推理成本具有重要价值。 该论文已被 **ICML 2026** 接收，研究者来自多所高校与机构，代码将开源。

## 从高斯宽度到Fisher宽度：统计流形的几何复杂度新视角 在高维概率、压缩感知、凸优化和学习理论中，**高斯宽度**（Gaussian width）一直扮演着核心角色。它通过衡量一个集合在随机方向上的平均延伸程度，有效刻画了约束集、假设类和下降锥的“有效维度”。然而，这一概念本质上依赖于欧几里得几何——而统计模型本身拥有由**Fisher信息度量**诱导的自然黎曼几何，其中方向的重要性取决于统计可区分性，而非欧氏长度。 近期一篇arXiv论文（arXiv:2606.18306）提出了**Fisher宽度**（Fisher width），作为统计流形上高斯宽度的黎曼几何类比。作者Vu Khac Ky从理论到应用，系统构建了这一新概念的基础。 ### 核心思想：用Fisher度量“重新标度” 在参数点 θ 处，Fisher宽度用局部度量张量 G(θ)^(1/2) 替代欧几里得单位矩阵，从而测量**Fisher重新标度后的集合的高斯宽度**。这使得该度量对局部统计曲率敏感，且在平滑重参数化下保持不变。简单来说，Fisher宽度将“方向的重要性”从欧氏长度转移到统计可区分性上，更贴合统计模型的本质几何。 ### 理论性质：保留高斯宽度的优点，捕捉各向异性 论文证明Fisher宽度保留了高斯宽度的关键结构性质，包括： - **浓度性质**：高维概率下的集中性； - **度量扰动稳定性**：对度量微小变化的鲁棒性； - **谱比较界**：与欧几里得基线的比较。 更重要的是，它能捕捉欧几里得度量无法体现的**各向异性几何效应**——例如，在统计流形上不同参数方向可能具有截然不同的曲率，Fisher宽度能自然反映这种差异。 ### 应用与实证 作为应用，作者推导了**Fisher-Lipschitz假设类的泛化界**，并提出了可计算的估计量。在MNIST数据集上，针对三种模型类（如神经网络、概率模型等）的实证评估显示，Fisher宽度能有效反映模型在统计流形上的复杂度，为泛化性能提供新的几何解释。 ### 意义与展望 “Fisher宽度之于统计流形，正如高斯宽度之于欧几里得凸体。”这一工作为在弯曲统计流形上研究复杂性和学习问题奠定了基础。未来，该度量有望用于模型选择、正则化设计以及理解深度学习中的泛化现象——尤其是在参数空间具有非平凡几何结构的场景中。 对于机器学习研究者而言，Fisher宽度提供了一个更符合统计本质的复杂度工具。它在理论上的优雅性和实证中的有效性，使其成为连接信息几何与学习理论的一座新桥梁。

多模态神经影像技术通过融合fMRI的功能连接与DTI的结构连接，结合图神经网络（GNN）分析脑网络，为脑疾病诊断提供了非侵入式手段。然而，年龄、性别等人口统计学因素会系统性混杂脑连接与临床结果之间的关系，导致GNN模型学习到虚假关联而非因果不变表征。现有因果GNN方法虽在图建模层面引入因果性，但其因果机制是领域无关的，未能针对临床神经影像数据中固有的真实混杂因素进行调整。此外，脑网络基于脑图谱分区构建，不同脑区对人口统计学因素的敏感性各异，亟需区域感知的调整策略。 为此，来自多所机构的研究团队提出了**Artemis**——一种区域级别的因果框架，通过为每个脑区独立学习轻量化的混杂表征，实现因果干预。该框架作为一个即插即用模块，可兼容任意GNN主干网络，并充分利用多模态功能和结构特征进行图推理。 在三个基准数据集上的实验表明，Artemis显著优于代表性的GNN基线方法： - **ADNI**（阿尔茨海默病诊断） - **OASIS**（痴呆分期） - **HCP**（性别分类） 多项补充实验进一步验证了其统计显著性和神经科学可解释性。 ### 核心创新 - **区域级因果干预**：针对每个脑区独立学习混杂因子表征，精细调整因果效应。 - **轻量即插即用**：模块化设计，不改变GNN主干结构，易于集成。 - **多模态融合**：同时利用fMRI和DTI信息，增强图推理的鲁棒性。 ### 行业背景与意义 当前，AI在医疗影像中的应用面临两大挑战：**混杂因素干扰**和**模型可解释性不足**。Artemis通过引入解剖级因果干预，直接回应了这两个痛点。其区域感知的设计更贴近神经科学实际——不同脑区对年龄、疾病的敏感性确实存在差异，例如海马体对阿尔茨海默病高度敏感，而额叶在衰老中变化显著。这种细粒度的因果建模不仅提升了预测准确性，还为医生提供了可解释的脑区级分析依据。 ### 局限与展望 论文目前基于脑图谱分区（如AAL、Desikan-Killiany），未来可探索更精细的皮层分区或功能性网络定义。此外，混杂因素主要考虑了年龄和性别，实际应用中可能还需纳入教育水平、基因型等更多变量。Artemis的模块化设计为扩展预留了空间。 ### 小结 Artemis代表了因果图神经网络在神经影像领域的一次重要进展。它从“领域无关”走向“区域感知”，从“黑箱预测”走向“可解释因果”，为脑疾病研究和临床决策支持提供了更可靠的工具。随着多模态数据获取技术的普及，这类方法有望在早期诊断、疗效预测等场景中发挥更大价值。

Transformer 架构中的标准点积注意力机制，因其密集的 token 间交互模式，在扩展到长上下文时面临计算瓶颈。一篇发表于 arXiv 的新论文提出 **高斯混合注意力（Gaussian Mixture Attention, GMA）**，通过概率潜路由替代显式的成对查询-键比较，实现线性时间序列混合。 ## 核心思想：从成对比较到潜路由 GMA 的核心创新在于引入 $K$ 个可学习的高斯混合组件，将查询和键映射到这些组件上的后验“责任”向量。这里的“责任”表示每个 token 属于某个潜在路由组件的概率。两个 token 的亲和度由它们在责任空间中的重叠隐式定义，而非直接计算点积。值则通过一个 $K$ 槽的潜在记忆进行写入和读取。 这种方法巧妙地利用了矩阵乘法的结合律：GMA 不需要构造 $N \times N$ 的亲和矩阵，而是维护两个责任矩阵，其存储和计算复杂度为 $\mathcal{O}(NK)$，其中 $K$ 是固定的组件数量。相比标准注意力的 $\mathcal{O}(N^2)$ 复杂度，GMA 实现了线性缩放。 ## 模型变体与实现 论文提出了 **双向（bidirectional）** 和 **因果（causal）** 两种变体。双向 GMA 适用于分类等非自回归任务，因果 GMA 则适用于语言建模等自回归生成任务。研究者设计了端到端可微的高斯混合组件参数化方法，并分析了责任调制梯度结构、约束非负低秩亲和性解释以及局部路由稳定性。 ## 实验表现：线性记忆与竞争性能 实验结果表明，GMA 在长上下文分类任务上与注意力基线性能相当，同时保持固定的线性记忆缩放。在 WikiText-103 语言建模任务上，因果 GMA 优于测试的线性/随机特征注意力变体，但在当前实现中仍落后于优化后的因果 SDPA（标准点积注意力）和 Mamba 状态空间模型。 对学习到的责任向量进行分析显示，GMA 广泛使用了所有组件，并与表面形式的 token 类别存在中等程度对齐。这表明 GMA 是一种概率性、可解释、固定 K 的线性时间注意力替代方案，而非针对优化后的 softmax 注意力或状态空间模型的通用替代品。 ## 行业意义 长上下文处理是当前大语言模型领域的核心挑战之一。GMA 提供了一种兼顾效率与可解释性的新思路：通过概率路由实现线性复杂度，同时保留注意力机制的部分特性。虽然目前性能尚未超越顶尖方法，但其理论框架和初步结果展示了在保持线性扩展的同时实现类似注意力行为的可能性，为未来序列混合器设计开辟了新方向。

## 研究背景与问题 在代码大语言模型（Code LLM）的监督微调（SFT）中，传统方法对所有响应 token 施加统一的交叉熵损失，隐含假设每个 token 提供同等有用的学习信号。然而，自然语言领域的 token 级选择性监督方法（如仅对高价值 token 计算损失）直接迁移到代码上时，可能会破坏语法和语义上完整的程序单元，因为代码依赖于结构完整性和定义-使用关系。 ## 方法：CODEBLOCK 框架 为解决上述问题，来自多所机构的研究者提出了 **CODEBLOCK**，一种结构感知的稀疏监督框架。其核心思想是：**选择结构完整的代码片段（code block）而非孤立 token 进行监督**。具体流程如下： 1. **高质量数据筛选**：首先筛选出高质量的指令-响应对。 2. **代码分区**：将代码响应划分为语法上连贯的“编码项”（coding items），例如完整的语句、函数或代码块。 3. **效用估计**：通过聚合核心逻辑 token 上的广义交叉熵，估计每个编码项的效用。 4. **重排序**：利用数据流可达性和桥接信号（bridge signals）对编码项进行重排序，优先选择那些传播或连接重要程序依赖的块。 在训练过程中，完整响应仍作为上下文可用，但损失仅计算在选中的代码项和有信息的自然语言 token 上，实现稀疏监督。 ## 实验结果与亮点 在 **六个代码生成基准** 上的实验表明，CODEBLOCK 在 **pass@1** 指标上平均优于全 token SFT 及多种竞争性选择基线，同时仅使用了 **1.9%** 的监督响应 token。这意味着 CODEBLOCK 能以极低的计算成本实现更优或相当的性能，验证了结构感知稀疏监督的有效性。 ## 行业意义与展望 该工作为代码大模型的微调提供了新思路：**从 token 级到代码块级的粒度转换**，更符合代码的结构特性。未来可探索将 CODEBLOCK 集成到更多代码智能任务中，如代码修复、测试生成等，并进一步优化编码项划分和效用估计策略。

强化学习（RL）训练智能体的资源瓶颈正逐渐转向“前沿任务供给”——那些有效、可解、且刚好足够挑战当前模型的任务。随着推理和智能体模型能力的提升，固定任务分布迅速饱和，而简单的合成生成又会产生琐碎、不可能或不适定的任务。为此，来自多个机构的研究者在论文《Breaking the Solver Bottleneck: Training Task Generators at the Learnable Frontier》中提出了**PROPEL框架**，一种求解器摊销（solver-amortized）方法，能够在不频繁调用求解器的情况下，训练任务生成器以瞄准目标求解率。 ## 核心挑战：任务生成与求解器评估的权衡 在RL中，任务生成器通常需要与求解器（solver）配合：生成器创建任务，求解器尝试解决。理想的生成器应产出处于“可学习前沿”的任务——既不过于简单（已学会）也不过于困难（无法学会）。然而，直接优化任务生成器需要大量求解器评估：每一个候选任务都需要求解器实际运行，对于软件工程（SWE）任务，单次求解可能耗时数十分钟，导致训练难以扩展。 ## PROPEL框架：轻量级探针作为代理 PROPEL的核心思想是**解耦生成器优化与求解器评估**。具体来说，它首先在一个一次性标注的语料库上训练一个轻量级激活探针（activation probe）。该语料库由生成器生成的任务及其在目标求解器上的结果组成。探针从冻结的生成器参考模型中提取特征，并预测任务在目标求解器上的通过率。一旦探针训练完成，它就可以作为求解率的代理，在生成器优化过程中仅需一次前向传播即可评估任务质量，从而避免了昂贵的求解器调用。 ## 实验结果：显著提升前沿任务比例 在数学、代码和软件工程等多种任务上，PROPEL均有效将生成分布向目标求解率偏移。例如： - **代码任务**：对于Qwen2.5-3B-Instruct求解器，可学习前沿任务占比从10.1%提升至20.0%；对于Qwen2.5-7B-Instruct求解器，从5.3%提升至12.6%。 - **软件工程任务**：在未见过的仓库上，对于Qwen3.5-27B求解器，前沿任务占比从9.8%提升至19.6%。 这些结果表明，PROPEL能够在不牺牲效率的前提下，显著提升任务生成的“前沿性”。 ## 意义与展望 PROPEL为RL中的任务生成瓶颈提供了一种实用解决方案。通过摊销求解器评估，它使得训练更强大的任务生成器成为可能，进而推动智能体在更复杂、更真实的环境中进行持续学习。未来工作可进一步探索探针的泛化能力，以及将其应用于多求解器场景。

在监督微调（SFT）中，训练数据的分布直接影响大语言模型（LLM）的最终能力。传统数据筛选方法虽能在有限预算下加速训练，但往往难以突破模型性能的上限。近期一篇来自 arXiv 的论文提出了一种名为 **DRIFT**（Data Refinement via On-Policy Influence Functions for Supervised Fine-Tuning）的新方法，通过同策略数据归因来精细化调整指令数据分布，从而持续提升模型能力边界。 ## 核心问题：从“筛选”到“精炼” 现有数据筛选方法侧重于从大规模数据中选出子集以维持性能，但研究者指出，真正的挑战已不再是“找更小的子集”，而是“将数据分布调整为最有助于提升模型能力的实例”。为此，DRIFT 引入了基于影响函数（Influence Functions, IF）的实例级数据归因。 ## 技术突破：解决影响函数的两大局限 影响函数虽能估计每个训练样本对模型输出的贡献，但在 SFT 场景中面临两个结构性问题： 1. **邻近性差距（Proximity Gap）**：由于使用离线（off-policy）验证目标，导致参数空间中的局部近似失效。 2. **梯度范数偏差（Gradient Norm Bias）**：影响分数严重偏向梯度范数大的样本，掩盖了真实贡献。 DRIFT 的创新在于： - **同策略验证目标**：利用模型自身的同策略（on-policy）生成结果作为验证目标，而非依赖外部参考数据。这有效缩小了参数邻近性差距，使影响函数更符合局部线性假设。 - **轨迹正确性加权**：根据模型在验证查询上的生成轨迹正确性进行符号加权，并针对“梯度黑客”问题对影响分数去偏，从而仅用少量验证查询就能作为可靠锚点，归因整个训练集。 ## 实验效果：突破性能天花板 在 7B 参数的指令微调和推理模型上，DRIFT 持续提升了性能上限，优于现有数据筛选基线。这表明，通过精细化的数据归因，可以更高效地利用训练数据，推动模型在复杂任务上达到更高水平。 ## 行业意义：数据精炼成为新焦点 随着 LLM 参数规模的增长，数据质量对模型能力的影响愈发关键。DRIFT 提供了一种从“量”到“质”的转变思路：不是简单地剔除低质量数据，而是主动优化数据分布，使每个实例都能最大化地贡献于模型进步。这对于构建更强大、更可靠的 AI 系统具有重要参考价值。

近日，一篇发表于 arXiv 的研究论文（编号 2606.18303）为理解深度神经网络的训练动力学提供了全新的数学视角。该论文被 2026 年国际人工神经网络会议（ICANN 2026）接收，作者 Taiki Miyagawa 巧妙地将冲击波理论与随机梯度下降（SGD）的对称约化学习动力学联系起来，揭示了神经网络训练中隐藏的物理结构。 ### 核心思想：对称约化与粗粒化 现代神经网络（如 Transformer、卷积神经网络）的参数空间通常存在大量对称性——例如权重缩放、排列不变性等。这些对称性使得原始参数轨迹充满冗余，难以直接揭示学习本质。论文的核心创新在于：**首先对参数对称性进行商化（quotienting），然后应用局部熵粗粒化（coarse-graining）**，从而得到有效动力学方程。研究证明，经过这些处理后，神经网络的训练动力学满足一个**粘性 Hamilton-Jacobi 方程**，这是一个在经典力学和流体力学中广泛研究的偏微分方程。 ### 从 Hamilton-Jacobi 到 Burgers 方程：冲击波形成 进一步地，论文假设商化空间上的原始参数动力学可以用一个梯度场来概括。在此假设下，粗粒化损失函数的梯度满足一个**Burgers 型方程**——这是一个描述非线性波传播和冲击波形成的基本方程。Burgers 方程的一个关键特性是，即使初始条件光滑，解也会在有限时间内形成间断（即冲击波）。这意味着，**神经网络的训练过程中，损失景观的梯度场可能自发地形成“冲击波”**，对应着训练阶段的相变，例如从欠拟合到过拟合的转变、或学习速率的突然调整。 ### 广泛应用与实用价值 论文验证了该理论适用于多层感知机、卷积神经网络、Transformer 以及平均场网络等多种架构，均满足 Hamilton-Jacobi 或 Burgers 型方程。更重要的是，作者指出，**原始参数范数常常因对称性冗余而失真**，例如在 Transformer 中，层归一化后的参数范数可能误导我们对模型行为的判断。而对称性校正后的商化可观测量（quotient observables）则提供了监控、预测和控制训练阶段相变的原理性基础。这意味着，该框架有望发展为一种实用的诊断工具，帮助研究者实时识别训练中的关键转折点。 ### 意义与展望 这项工作将深度学习的训练动力学与流体力学中的冲击波理论联系起来，为理解神经网络的泛化能力、训练稳定性等核心问题提供了新的数学工具。未来，或许我们可以利用 Burgers 方程的解来预测学习率衰减的最佳时机，或通过控制冲击波的形成来避免训练崩溃。这一跨学科的融合，再次印证了物理直觉在 AI 理论中的强大解释力。