## 背景：MoE模型的本地部署挑战 Sparse Mixture-of-Experts（MoE）架构通过将总参数量与每个token的激活计算量解耦，大幅提升了模型的效率。然而，在本地推理场景中，设备通常需要将完整模型、KV缓存、运行时缓冲区以及操作系统开销全部装入有限的内存中，这往往导致内存不足或性能下降。 ## MawForge：一种全新的系统假设 来自 arXiv 的一篇新论文提出了 **MawForge**，一种针对本地 MoE 推理的**内存受限专家物化（Memory-Bounded Expert Materialization）** 方案。其核心思想非常直接：将完整模型存储在磁盘上，仅将常用张量常驻内存，而按需将路由到的专家张量物化到一个有界执行缓存中。这种方法旨在让 MoE 模型在**统一内存架构**（如 Mac 等设备）上变得实用，即使内存有限。 ## 关键发现与性能权衡 论文的主要结论是：**MawForge 作为一个有界执行机制和测量平台是有效的，但并非一个缓存最大化策略**。其性能取决于多个因素的平衡： - **专家复用率** vs **常驻内存占用**：频繁被调用的专家可以留在缓存中，但需要权衡占用空间。 - **KV缓存大小**：KV缓存对长序列推理至关重要，但会占用大量内存。 - **量化级别**：低精度量化可以显著减少模型体积，但可能影响精度。 - **路由局部性**：MoE 的路由模式（哪些专家被频繁调用）会影响缓存命中率。 - **macOS内存压力**：在 macOS 系统上，需要与操作系统的内存管理机制协调。 ## 实际意义与未来方向 MawForge 的出现为在**消费级设备**（如笔记本电脑、边缘设备）上运行大规模 MoE 模型提供了新思路。它表明，通过巧妙的磁盘-内存分层和按需物化，可以突破内存瓶颈。未来，进一步优化缓存替换策略、结合更智能的路由预测，或许能让本地 MoE 推理变得真正高效。
低自相关二进制序列问题（LABS）是一类极具挑战性的组合优化问题，在通信、信号处理和卫星导航等领域具有重要应用。近日，来自斯洛文尼亚的研究团队提出了一种混合搜索框架，通过结合**汤普森采样**与**并行自回避行走**，在LABS搜索空间中自适应地分配计算资源，显著提升了长序列的**优值因子**。 ### 核心方法：多臂老虎机视角下的搜索空间分区 LABS问题的搜索空间随序列长度呈指数增长，传统方法难以高效探索。研究团队将搜索空间划分为若干**限制类**，并将每个类视为多臂老虎机问题中的一个“臂”。通过**汤普森采样**，算法能够动态地将更多计算资源分配给历史上产生较高优值因子的分区，同时保持对采样不足区域的探索。这种在线、数据驱动的资源分配策略避免了盲目均匀搜索，大幅提升了效率。 并行自回避行走则用于在每个分区内进行局部搜索，通过GPU并行执行和共享后验更新进一步加速。此外，研究引入了**布隆过滤器**防止循环重复探索，并采用**两阶段优化策略**：首先在约束的偏斜对称空间中搜索，再对最优候选解在无限制空间中进行精细化调优。 ### 实验结果：打破35项序列长度纪录 在长二进制序列上的实验显示，该方法在**450≤L≤527**范围内的35个序列长度以及L=573上，均改进了此前已知的最优结果。特别地，研究团队报告了**优值因子超过8.0的最长序列**，在L=451时取得。这一成果标志着LABS问题在中等长度区间内的显著进步。 ### 行业意义与未来方向 LABS问题在雷达波形设计、CDMA通信和GPS信号编码中至关重要。更高的优值因子意味着更低的干扰和更好的信噪比。本研究的混合框架不仅为组合优化提供了新工具，其“在线分配-局部搜索-精细化”的范式也可推广至其他NP难问题。未来，结合更先进的强化学习算法或更大规模GPU集群，有望进一步突破序列长度限制。
在机器学习模型的训练与评估中，**真实基准（Ground Truth）数据集**一直被视为“黄金标准”。然而，一篇即将发表在 ICML 2026 上的立场论文尖锐指出：**这些基准并非中立的客观测量结果，而是由人类与技术共同构建的产物**。 由 Charlotte Högberg、Ericka Johnson 和 Kiri L. Wagstaff 合著的论文《Position: Every Ground Truth is a Human Construction, not an Objective Truth》认为，ML 社区长期忽视了基准数据集背后的**主观选择与情境依赖**。例如，标注者的偏见、采集设备的局限、分类体系的取舍，都会在数据集中嵌入隐性假设。论文呼吁业界公开讨论这些“看不见的选择”，并承认参考数据集是**有条件的、非普适的**。 ### 核心论点：从“客观真理”到“情境可靠性” 作者提出，与其追求虚幻的“客观真理”，不如转向**“情境可靠性”（Situated Reliability）**——即明确说明模型及其“真理主张”的适用边界。具体而言： - **透明性**：记录标注指南、数据来源、预处理步骤等构建细节； - **问责制**：承认构建者的主观性及其对模型行为的影响； - **跨学科协作**：引入社会学、人类学视角，理解数据的社会技术属性。 ### 为什么这对 AI 行业至关重要？ 当前，大模型和自动驾驶等高风险应用高度依赖基准测试。若基准本身存在系统性偏差（如 ImageNet 中某些类别标注的种族倾向），模型可能放大这些偏见。论文强调：**“更可靠”不等于“更客观”**，而是更清晰地界定模型在何时、何地、对谁有效。 例如，一个在特定摄像头参数下训练的医学影像模型，若未说明其训练基准的采集设备条件，部署到不同医院时可能失效。通过公开基准的构建情境，开发者能更好地预测模型的迁移表现。 ### 行业影响与展望 该论文呼应了近年来对“负责任 AI”的讨论，但将焦点从模型本身转向了数据根基。若其观点被广泛采纳，未来 ML 论文可能需要额外提供**“基准构建说明书”**，类似数据集的“营养标签”。这或许会增加初期工作负担，但长期看能减少因基准误导导致的资源浪费。 作者最后指出，承认基准的人为性并非否定其价值，而是让科学实践更诚实。正如论文所写：**“真理是创造的，而非发现的——但这不意味着它没有用。”**
## 核心发现：上下文并非越多越好 现代编码 AI 智能体（coding agent）可以轻松将整个代码仓库塞进上下文窗口，但一篇最新 arXiv 预印本研究指出：**绝大多数阅读是浪费的**。真正关键的问题不是“智能体能处理多少上下文”，而是“它实际需要多少”。 该研究将智能体的工作拆解为两个阶段：**定位（finding）** 和 **执行（acting）**。研究者通过“oracle”固定定位环节，仅改变代码的表示方式，并在 SWE-bench Verified 基准上评估真实问题修复效果。结果令人惊讶：**智能体真正需要的上下文非常有限**。 ## 核心实验与数据 ### 1. 自然语言摘要几乎无用 当把待编辑代码替换为自然语言摘要时，智能体的表现从源文件的 **27/45** 骤降至 **4/45**（独立评估，保留仓库）。这说明摘要无法回答源代码中包含的行为性问题。更关键的是，**这一差距源于表示形式本身，而非摘要质量**：前沿模型生成的摘要与 3B 小模型的摘要得分几乎一样差。 ### 2. 周围上下文几乎不影响结果 在多文件实例中，将文件剩余部分渲染为 UML 骨架和签名，与直接删除剩余部分相比，解决问题的数量没有显著差异（N=70，精确 McNemar 检验 p=0.75）。研究者原本假设上下文压缩会有效，但这一注册假设（registered hypothesis）**被证伪**。 ### 3. 压缩上下文可大幅降低 token 消耗 好消息是，使用压缩上下文表示（如方法签名和关键结构）可以在 **1/3 token 量** 下达到与完整文件相同的效果：每个已解决问题平均消耗 **19K** 上下文 token，而非完整文件的 **94K**。 ## 不可忽视的噪声：温度 0 也不稳定 研究还发现一个对整个领域有警示意义的结论：即使在 **temperature=0** 的 API 推理中，**约 9% 的实例结果会在字节相同的两次运行之间翻转**。这意味着所有在 SWE-bench 上报告的小效应都面临一个噪声基底，本研究的结果也不例外。 ## 研究工具与开源 研究者发布了完整的实验工具，包括金标准验证环境、每个实例的参考编辑可表达性证明、确定性补丁构建方法，以及预注册假设及其零假设。这为后续研究提供了可复现的基础。 ## 对 AI 编码实践的启示 - **不要盲目堆上下文**：给智能体完整代码库可能不如给精准的局部代码有效，且 token 成本高昂。 - **优先代码结构而非自然语言**：方法签名、类型定义等结构化信息比文字描述更有用。 - **关注噪声问题**：temperature=0 并非绝对确定，小样本实验结果需谨慎解读。 该研究挑战了“上下文越大越好”的直觉，为设计更高效、更经济的编码智能体提供了重要参考。
知识蒸馏（Knowledge Distillation, KD）是压缩大型语言模型（LLM）的主流技术，但其成功背后的统一原理一直缺乏清晰解释。近日，来自同济大学的研究团队在 arXiv 上提交了一篇论文，提出了一种基于“交互”（interaction）的统一分析框架，揭示了不同 KD 方法共有的底层机制——**交互稀疏化**，并据此设计出一款即插即用的损失函数 CIP，可显著提升蒸馏效果。 ## 从交互视角理解蒸馏 论文的核心思路是将 LLM 的输出分数分解为大量“交互”的线性加和。每个交互代表一组输入变量（如单词）之间的非线性关系，其强度衡量了模型对该组合的依赖程度。例如，某些交互可能捕捉到“not”与“good”之间的转折语义，而更复杂的交互则可能涉及多个词的高阶协同。 通过对比教师模型与学生模型的交互模式，研究者发现：**所有成功的 KD 方法都促使学生模型保留少数关键交互，而将其他交互的效应压制为零**。这一过程被称为“交互稀疏化”。换句话说，蒸馏的本质是让学生学会“抓重点”——只依赖最核心的变量组合进行推理。 ## 复杂交互的稀疏度决定性能差异 进一步分析表明，不同 KD 方法的性能差异主要源于它们对**复杂交互**（涉及更多变量的高阶交互）的处理能力。复杂交互通常蕴含更深层的语义关系，但也更容易引入噪声。研究发现：**如果一种 KD 方法能让学生模型对复杂交互实现更高程度的稀疏化（即更精准地保留有效交互、剔除无效交互），则其下游性能往往更优**。 这一发现解释了为何某些蒸馏策略（如基于 logit 的软标签蒸馏）在特定任务上优于其他方法——它们更擅长引导学生关注高价值的复杂交互。 ## CIP：专治复杂交互的“稀疏化神器” 基于上述洞察，团队提出了一个即插即用的损失项——**复杂交互惩罚（Complex Interaction Penalty, CIP）**。CIP 在标准蒸馏损失的基础上，显式地惩罚学生模型中复杂交互的“非零效应”，迫使模型在训练过程中自动抑制冗余的高阶关系。 实验在多个基准（包括领域内和分布外场景）上验证了 CIP 的有效性：无论搭配哪种基础 KD 方法（如 KD、DistilBERT 式蒸馏等），加入 CIP 后都能带来一致且显著的性能提升。这表明，直接调控交互稀疏度是一种比单纯拟合输出更通用的优化方向。 ## 意义与展望 该工作为 LLM 知识蒸馏提供了一面“理论透镜”，将以往经验性的蒸馏技巧统一到交互稀疏化的框架下。未来，研究者可以借助交互分析来诊断蒸馏失败的原因，或者设计更高效的蒸馏策略——例如，通过主动识别并保留教师模型中的关键复杂交互，而非简单模仿全部输出。 对于 AI 工程实践而言，CIP 的低成本集成特性意味着它有望成为蒸馏流程的标准组件。随着 LLM 部署对效率要求的不断提高，这种“知其然更知其所以然”的优化方法，或将成为模型压缩领域的新范式。
arXiv:2607.08779v1 Announce Type: new Abstract: The signed integer alphabet contains one more negative representable value than positive. Yet, by convention, the standard symmetric integer quantizer fixes its scale to be strictly positive, which assigns this extra representable value to the negative tail and can force clipping of positive outliers. In this work, we show that, at few-bit precision, such clipping is a non-trivial source of quantization error. Asymmetric quantization addresses this
## 背景：MoE模型在边缘设备上的内存瓶颈 混合专家（Mixture-of-Experts, MoE）模型通过稀疏激活机制，每个token只调用少数专家，从而在保持模型容量的同时降低计算成本。然而，在边缘设备（如手机、IoT设备）上部署MoE模型时，一个隐藏的性能杀手逐渐浮出水面：**相邻token频繁激活不同的专家**，导致模型需要不断从慢速存储（如闪存）中加载专家权重到快速内存（如DRAM）中。这种“权重交换”操作严重拖慢推理速度，并增加功耗。 现有解决方案主要分为两类：系统层面的缓存启发式策略，以及训练后的路由器微调。但这些方法都只是“治标”——它们没有从根源上改变模型在预训练阶段形成的路由行为。 ## 核心创新：StickyMoE 损失函数 来自研究者 Ali Kayyam 的最新论文提出了一种名为 **StickyMoE** 的方法，通过一个可微的路由一致性损失函数，在**训练阶段**直接干预路由器的决策行为。该损失函数对相邻token之间的专家切换进行惩罚，鼓励路由器在语义连贯的文本段内保持相同的专家分配。 StickyMoE 的关键优势在于： - **无需修改模型架构**，仅在损失函数中添加一项，超参数仅为一个 λ（控制惩罚强度）。 - **与训练过程协同适应**：专家表示和路由决策从第一步训练开始就共同优化，而非事后修补。 - **实验效果显著**：在小规模MoE语言模型上的实验表明，StickyMoE能将专家切换率降低高达 **60%**，而困惑度（perplexity）仅退化不到 **4%**，在“质量-局部性”前沿上全面优于后微调方法。 ## 为什么训练阶段干预更有效？ 论文的核心洞察是：**路由的时间局部性最好在训练时灌输**。后处理方法（如微调路由器）虽然也能减少切换，但专家表示已经固化，路由器只能在有限空间内调整，容易导致性能下降。而StickyMoE让路由器和专家共同适应，使得专家能够学习到更适合“粘性”路由的表示，从而实现更优的权衡。 ## 行业意义与展望 随着AI模型向边缘设备迁移，内存带宽和存储速度成为关键瓶颈。StickyMoE提供了一种轻量级、高效的训练策略，有望推动MoE模型在资源受限设备上的实用化部署。未来，该方法可能进一步扩展到更大规模的模型，并与其他稀疏激活技术（如动态专家分配）结合。 论文以预印本形式发布于 arXiv，代码尚未开源，但方法本身简洁高效，预计将引起学术界和工业界的广泛关注。
联邦持续学习（FCL）旨在评估分布式客户端如何从不断变化的数据流中学习，同时保留已学知识。然而，现有评估因数据集、任务划分、客户端数据分配、任务顺序、骨干网络、内存假设和报告规则等频繁同时变动而难以比较。为此，研究人员提出了 **HERO**（Heterogeneity-Aware Benchmark Library），一个面向FCL的异构感知基准库。 ## 解耦关键因素，构建可比基准 HERO的核心创新在于将通常耦合的三个选择分离：**任务划分**、**客户端数据划分**和**客户端任务序列**。在主要可比基准 **HERO-Core** 中，参数 α 控制客户端数据偏斜，ρ 控制任务顺序不匹配。这种设计使得研究者能够独立控制异构性来源，从而进行更公平的方法比较。 ## 实验设置与关键发现 研究团队在 **CIFAR-100** 和 **TinyImageNet** 上评估了代表性FCL方法，采用**最终平均准确率**、**平均遗忘率**和**底部10%客户端准确率**作为指标。此外，还包含了基于图的 **Domain-IL** 可移植性案例研究（使用 **OGB-MolPCBA** 数据集），其中支架域粒度改变输入分布，但预测任务保持不变。 实验结果揭示了几个重要现象： - 方法行为在简单和异构设置之间存在显著差异； - 平均准确率可能掩盖底层客户端的弱性能； - 任务顺序不匹配时，不同策略的表现与同步评估时截然不同； - HERO的统一接口能够暴露图像分类之外的域偏移难度。 ## 开放与可复现 HERO 提供了完整的基准流、配置、方法实现和报告脚本，以支持可重复且感知设置的FCL评估。该库通过分离异构性维度，为社区提供了更精细的评估工具，有助于推动联邦持续学习领域的标准化比较。 ## 总结 HERO 通过解耦关键变量，解决了FCL评估中缺乏可比性的核心问题。其模块化设计和丰富的实验结果不仅验证了现有方法的局限性，也为未来研究提供了清晰的方向。随着联邦学习在现实场景中的广泛应用，HERO 有望成为该领域基准测试的重要参考。
阿尔茨海默病（AD）是一种复杂的神经退行性疾病，全球数百万患者深受其影响。在疾病前驱阶段预测其向痴呆的转化，对于疾病理解和患者护理至关重要。尽管生存分析模型已被广泛应用于AD风险预测，但传统模型多为静态预测器，可解释性有限，且缺乏自然语言推理能力。针对这一痛点，最新研究提出了 **iLENS**（Interpretable LLM-Guided Mixture-of-Experts），一种融合大语言模型（LLM）与混合专家（MoE）框架的可解释生存预测方法。 ### 核心创新：LLM引导专家路由 iLENS 的核心思路是利用 LLM 处理结构化的神经影像测量数据与非结构化信息（如临床文本），并基于这些信息智能地选择最合适的“专家”模型进行生存预测。传统 MoE 通常依赖硬编码规则或简单统计特征进行专家路由，而 iLENS 借助 LLM 的语义理解能力，将路由决策转化为自然语言推理过程，从而提升预测的灵活性与可解释性。 ### 性能与可解释性兼得 实验表明，iLENS 在 AD 转化预测任务上取得了具有竞争力的性能，同时能够进行患者亚型分型。更关键的是，该框架为每一次路由决策提供了透明、生物学合理的解释，例如明确指出“海马体体积萎缩程度较高”和“APOE ε4 基因携带”等因素如何共同影响风险分层。这种可解释性弥合了高性能生存分析与临床决策支持之间的鸿沟，使模型输出更易被医生信任和采纳。 ### 临床价值与未来展望 iLENS 的提出标志着 AI 在医疗领域应用的重要进步——不再仅追求预测精度，而是将可解释性作为核心设计原则。对于阿尔茨海默病这类需要长期跟踪与个性化干预的疾病，一个既能给出风险概率，又能用自然语言说明原因的工具，将极大辅助临床医生制定早期干预策略。未来，该框架有望推广至其他神经退行性疾病，并整合多模态数据（如基因、脑脊液生物标志物），进一步拓展其应用边界。
## 核心发现：耦合不仅是计算选择，更是对齐接口 在生成模型中，**流匹配（Flow Matching）** 通过定义噪声向量与数据点之间的配对规则（即耦合）来学习概率路径。传统上，这种耦合被视为纯粹的计算选择。然而，近日发表于 arXiv 的一篇论文《Reward Transport: Property Control in Flow Matching via Noise-Space Alignment》提出了一个颠覆性观点：**耦合可以作为一种对齐接口**——通过根据目标分子属性匹配噪声与数据，可控结构被直接嵌入到学习到的流场中。 ## 方法：Reward Transport 的机制 基于这一洞察，研究团队引入了 **Reward Transport** 方法。其核心思想是：在训练阶段，使用最优传输（Optimal Transport）耦合将**标量噪声空间坐标**与分子奖励（如 logP、QED）对齐。在推理时，通过简单地改变这个噪声坐标，即可引导生成分布向高奖励区域偏移，**无需依赖 Oracle 模型、奖励模型、梯度引导或额外计算**。 值得注意的是，在耦合保持的极限情况下，对该坐标进行阈值化可以恢复**交叉熵方法（Cross-Entropy Method）** 的截断奖励分布，从而提供一个原理清晰、连续可调的分布级控制旋钮。 ## 实验验证：单调控制与特异性响应 实验在 **ZINC-250K** 和 **GuacaMol** 基准上进行。结果表明，通过扫描标量噪声坐标，模型实现了对 logP 的单调控制，以及对 QED 在其操作范围内的一致控制。最令人印象深刻的是，**同一个旋钮对不同目标产生了相反的结构响应**：对于 logP 倾向于生成更大的分子，而对于 QED 则倾向于更小的分子——这排除了简单的大小偏差干扰。 ## 与现有方法的兼容性与局限性 Reward Transport 与无分类器指导（Classifier-Free Guidance）和条件流匹配是互补的。然而，论文也报告了一个负面结果：在 epsilon 预测扩散（epsilon-prediction diffusion）下，该方法失效，这恰好说明了**耦合级别对齐的结构缺失**。 ## 行业意义与未来方向 这项工作为**分子生成中的属性控制**提供了一种轻量级、无需额外训练的解决方案，有望加速药物发现和材料设计中的逆向优化。其核心思想——利用耦合作为对齐接口——也可能启发其他生成任务（如图像、文本）中的可控生成方法。 论文代码已开源，感兴趣的读者可进一步探索。
混合专家模型（MoE）凭借其稀疏激活特性，已成为大语言模型主流架构之一。但在分布式推理场景中，如何高效地将不同专家（Expert）分配到各GPU上，始终是影响端到端延迟的关键瓶颈。现有方案多基于历史请求的专家激活模式进行静态或离线优化，面对多样且快速变化的请求流量时显得力不从心。 最新发表于arXiv的论文《Director: Accelerating Distributed MoE Serving via Online Proactive Expert Placement》提出了一套全新的在线主动式专家放置框架，旨在从根本上解决这一挑战。该研究已被INFOCOM 2026接收。 ### 核心挑战与设计思路 Director的设计围绕三大难点展开： - **请求的专家激活模式存在不确定性**，无法提前预知每个请求会触发哪些专家； - **专家迁移本身有成本**，频繁移动专家会引入额外通信开销与服务中断； - **放置优化是NP难问题**，在大规模集群中寻找最优解几乎不可能。 为此，Director采用**预测驱动、在线迁移**的策略。系统首先通过一个轻量级级联预测器（cascaded predictor）或低位量化副本（low-bit quantized replica），对即将到来的请求进行专家激活模式预测。随后，在线迁移模块在计算密集阶段（compute-bound phase）执行专家迁移，将服务中断时间降至接近零。 ### 松弛优化的数学保证 在优化器层面，Director设计了一个基于松弛（relaxation-based）的在线放置算法，在容量约束下运行于多项式时间，并实现了 **(1+ε) 近似比**的数学保证。这意味着算法能在有限时间内给出接近理论最优的放置方案，兼顾了效率与质量。 ### 实测效果：端到端延迟降低11%～55% 研究团队在主流MoE模型（包括Mistral、DeepSeek、Qwen）上进行了全面实验。结果表明，相比现有最优的专家放置方案，Director将端到端推理延迟降低了 **11%至55%**。这一提升在请求模式剧烈波动时尤为显著，验证了主动预测+在线迁移的有效性。 ### 行业启示 随着DeepSeek-V3、Qwen2.5-MoE等模型在工业界广泛应用，MoE服务的部署效率直接关系到成本和用户体验。Director提出的“预测+在线调整”思路，跳出了传统静态优化的框架，为分布式推理系统提供了新的设计范式。特别是在多租户、高并发场景下，这种自适应能力可能成为未来推理引擎的标配。 不过，该方案仍处于原型阶段，预测器的额外开销、大规模集群下的迁移调度策略等细节还有待进一步工程验证。但无论如何，Director已经为MoE服务系统指明了一条值得深入探索的技术路径。
## 解决流形归一化的通用难题 在机器学习中，流形值数据（如对称正定矩阵、旋转矩阵）广泛出现在视觉、机器人、医学成像等领域。虽然深度神经网络已能处理这些非欧几里得数据，但如何有效归一化流形上的样本分布仍是难题。现有黎曼归一化方法多针对特定流形设计，缺乏通用性，且难以真正控制分布均值和方差。 ## LieBN：统一李群上的归一化 为突破这一瓶颈，来自意大利特伦托大学、中国江南大学等机构的研究者提出了 **LieBN**，一个基于李群理论的黎曼批量归一化框架。李群是同时具有群结构和光滑流形结构的数学对象，典型例子包括旋转群 SO(3)、对称正定矩阵群等。LieBN 的核心思路是利用李群上天然存在的**左不变和右不变度量**——这些度量在群作用下保持几何性质不变，从而为归一化提供理论保障。 ## 九种几何实例与创新度量 研究团队在九种不同几何结构上实例化了 LieBN： - **SPD 流形**（对称正定矩阵）：四种度量，包括一种新提出的右不变度量，以及通过矩阵幂变形扩展的三种李群结构 - **旋转矩阵群 SO(3)**：一种度量 - **满秩相关矩阵流形**：四种度量 值得注意的是，在 SPD 流形上，研究者引入了一种全新的 **右不变度量**，并利用矩阵幂变形技术将三种现有黎曼度量转化为李群结构，极大丰富了可选的几何工具。 ## 理论保证与实验验证 LieBN 提供了理论上的保证：通过左/右不变度量，归一化过程能有效控制黎曼均值与方差，避免传统方法中分布偏移的问题。实验在多种流形任务上验证了 LieBN 的有效性，表明其优于现有的特定流形归一化方法。代码已开源。 ## 意义与展望 LieBN 为流形深度学习提供了一个统一、可扩展的归一化解决方案。它不仅简化了不同流形上归一化方法的设计，也为处理更复杂的结构（如李群上的图神经网络、时间序列建模）奠定了基础。未来，该框架有望在计算机视觉、机器人操控、医学图像分析等需要处理流形数据的领域发挥作用。
时间图网络在社交网络、金融交易、生物信息等动态场景中广泛应用，但其内部记忆模块——负责记录和更新节点历史状态的核心组件——长期处于“黑箱”状态。现有解释方法多聚焦于拓扑结构，却忽略了记忆模块如何整合历史事件来驱动预测。来自北京邮电大学、里海大学和香港科技大学的研究团队提出了一种名为**记忆回溯与拓扑归因（Memory Backtracking and Topological Attribution）** 的方法，首次系统地将TGN的记忆机制纳入可解释性框架，相关工作已被ICML 2026接收为Spotlight论文。 ## 两大回溯树：从拓扑到记忆的完整归因 该方法的核心在于构建两棵互补的归因树： - **拓扑归因树**：捕捉邻居节点及其记忆向量对当前预测的贡献。通过层级分解，模型能够定位哪些相邻节点在特定时间步产生了关键影响。 - **记忆回溯树**：进一步量化历史事件如何塑造节点记忆向量本身。这意味着，即使一个事件发生在较远的时间点，只要它对记忆向量产生持续影响，也能被准确追溯。 这种“从拓扑到记忆”的双树结构，使得归因链条能够完整覆盖事件→记忆→预测的全路径。 ## LRP适配与优化目标：解决概率映射失真 研究团队将**分层相关性传播（LRP）** 适配到TGN中，确保所有历史事件的总贡献等于模型输出的logits值，从而在数学上保证了归因的忠实性。此外，针对传统top-k选择方法因logits到概率的非线性映射而可能失真的问题，他们设计了专门的优化目标来筛选真正重要的事件，而非简单依赖阈值截断。 ## 九大数据集验证：全面超越现有基线 实验覆盖了节点属性预测、链接预测和图分类三类任务，涉及九个公开时间图数据集。结果表明，该方法不仅在忠实度指标上显著优于现有最先进基线，还能提供更符合直觉的解释。例如，在社交网络动态链接预测中，模型能够正确识别出导致好友关系建立的关键早期互动，而非仅仅关注近期事件。 ## 行业意义：从“能用”到“可信”的关键一步 时间图网络在金融反欺诈、交通流量预测、推荐系统等领域具有巨大潜力。然而，缺乏可解释性一直制约其在合规要求严格的行业落地。记忆回溯与拓扑归因方法首次揭示了记忆模块中的“因果链”，使开发者能够验证模型是否依赖了合理的业务逻辑，而非偶然的统计关联。随着ICML 2026的认可，这一思路有望成为TGN可解释性的标准范式。
近年来，神经算子（Neural Operator）已成为学习偏微分方程（PDE）解映射并加速数值模拟的主流方法之一。其中，基于Transformer的神经算子尤为引人关注，因为注意力机制能够捕捉计算域中的长程依赖关系。然而，标准注意力机制在应用于PDE时存在两大缺陷：**计算复杂度随节点数呈二次增长**，且**缺乏对局部交互的显式偏置**。 为克服这些局限，来自特拉维夫大学的研究者Oded Ovadia和Eli Turkel提出了**局部线性Transformer（Local Linear Transformer, LLT）**。该架构创新性地将**线性全局注意力**与**局部空间混合**相结合，并融入了坐标与几何信息，从而在保持全局感知能力的同时，显著提升计算效率和对局部特征的捕捉能力。 ### 性能表现：精度与效率的双重提升 LLT在多个经典PDE问题上进行了评估，涵盖**弹性力学、塑性力学、翼型绕流、管道流以及达西流**等。参考数据来自**有限元、有限体积和有限差分**等不同离散化方法，且同时适用于结构化与非结构化网格。 与先前研究中的多种神经算子和Transformer基线相比，LLT在这些问题上取得了**具有竞争力或更低的相对L₂误差**。更值得一提的是其计算效率：在匹配的结构化离散化设置下，LLT每个训练迭代的**墙钟时间相比Transolver降低了1.8至2.5倍**。 ### 大规模应用验证 研究团队还将LLT扩展至一个**三维汽车空气动力学数据集**，每个样本包含多达**32,186个非结构化网格点**。实验结果表明，LLT在该大规模复杂问题上依然保持高精度和高效性，证明了其处理实际工程问题的潜力。 ### 行业意义与未来方向 LLT的提出为PDE求解领域提供了一种**准确且计算高效的算子学习方案**，尤其适用于跨离散化类型、网格类型和问题设置的场景。相比传统Transformer，LLT通过局部线性化设计有效缓解了二次复杂度瓶颈，同时保留了全局注意力对长程依赖的建模能力。 这一工作也反映出AI for Science领域的一个趋势：**在通用架构基础上，融入领域先验知识（如局部性、几何结构）来提升模型在科学计算中的适用性**。未来，类似LLT的混合架构有望在流体力学、固体力学、气候模拟等更广泛的实际应用中发挥关键作用。
大语言模型在连续多任务微调时，常因新任务覆盖旧知识而出现灾难性遗忘。最新研究 ReCoLoRA 提出一种频谱感知的递归整合框架，通过动态重分解权重空间，在不增加参数量的前提下有效保留历史任务能力，在四个 7-8B 级模型上取得了领先的持续学习效果。 ## 问题背景：LoRA 在持续学习中的困境 参数高效微调方法（如 LoRA）虽然能低成本适配单一任务，但在面对任务序列时，新任务的低秩更新会不断叠加在相同的冻结权重上，导致旧任务特征被覆盖。这种“遗忘”问题限制了 LLM 在多轮微调场景中的实用价值，例如对话系统的持续人格更新或企业级模型的分阶段领域适配。 ## ReCoLoRA 的核心创新：递归整合与频谱感知 ReCoLoRA（Recursive Consolidation of Low-Rank Adapters）从两个维度解决上述问题： 1. **频谱感知初始化**：对预训练权重进行随机 SVD 分解，利用肘部准则（elbow criterion）自动选择每层有效秩，优先适配主成分子空间，再开放残差容量。 2. **递归整合机制**：在每个新任务开始前，ReCoLoRA 重新分解当前的“有效权重”（而非原始权重），将其拆分为三个部分：冻结残差、缓慢更新的主成分、以及全新的适配器。这样，新任务从已经吸收了前序知识的模型状态出发，实现渐进式整合。 该方法的优势在于：无需记忆旧任务数据，也不增加推理时的参数量，仅通过改变权重分解方式实现知识保留。 ## 实验结果：全面超越基线 团队在六个连续 GLUE 任务序列上测试了四个 7-8B 级模型（如 LLaMA-2、Mistral 等），与 LoRA、PiSSA、AdaLoRA、DoRA 等方法进行对比。结果显示： - ReCoLoRA 在 **4 个主干模型中的 3 个上取得了最佳最终平均分**； - 训练参数更少，效率更高； - 作为上限的 oracle-routed 任务银行变体，在完全任务隔离条件下展现了理论最优性能。 此外，频谱感知的秩选择机制使模型能够自适应不同层的容量需求，避免了人工调参。 ## 行业价值与未来方向 持续微调是 LLM 落地的关键瓶颈之一。ReCoLoRA 提供了一种轻量级、无需数据回放的解决方案，尤其适合隐私敏感或数据存储受限的场景。未来工作可探索将该框架扩展到跨模态模型（如视觉-语言模型），或与动态架构结合实现更灵活的容量分配。 论文代码已开源（链接见原文），为社区提供了可直接复现的基线。
## 从生理学出发，重新定义睡眠基础模型 现有睡眠基础模型在处理多模态生理信号（如脑电图、心电图、呼吸等）时，往往采用拓扑无关的融合方式，忽视了中枢神经系统（CNS）与自主神经系统（ANS）之间固有的生理层级结构。近日，一项发表于 arXiv 的研究提出了 **Omni-Sleep**——一个利用 CNS/ANS 分区作为生理先验的睡眠基础模型，在表征学习中引入拓扑约束，从而更准确地捕捉睡眠过程中的脑-体动态。 ## 三大学习目标：层级对比与时间建模 Omni-Sleep 的核心在于三个精心设计的训练目标： - **系统内一致性**：在神经信号（如 EEG、EOG、EMG）和心肺信号（如 ECG、呼吸）内部，分别学习共享的子系统级表征，捕捉同一系统内不同通道的共性因素。 - **系统间同步性**：对齐 CNS 与 ANS 的表征轨迹，建模脑与身体之间的动态耦合关系。 - **潜空间掩码时间建模**：通过掩码预测任务，学习长时程的睡眠动态，提升对时间依赖关系的建模能力。 这种设计使得模型能够从超过 **10 万小时** 的多中心多模态多导睡眠图（PSG）数据中，学习到具有生理意义的结构化表征。 ## 性能全面超越现有基线 在睡眠分期和多疾病分类任务上，Omni-Sleep 均表现出色。与当前最强的基础模型基线相比，它在标签效率、跨数据集泛化能力以及对缺失模态的鲁棒性方面实现了显著提升。即使在某些模态缺失的情况下，Omni-Sleep 依然能保持较高的分类精度，这在实际临床场景中尤为重要——因为患者数据常因设备或记录条件限制而不完整。 ## 生理层级先验的价值 Omni-Sleep 的成功证明了将生理学知识融入模型设计的巨大潜力。传统方法将不同信号一视同仁，而 Omni-Sleep 通过显式利用 CNS/ANS 分区，让模型学会区分“大脑的内部状态”与“身体的自主调节”，从而更准确地表征睡眠的不同阶段和病理特征。 研究者已在 GitHub 上开源代码（论文中提供的链接），这将推动睡眠医学领域的基础模型研究，并为其他生物医学信号处理任务提供新思路。 ## 小结 Omni-Sleep 并非简单的“更大数据+更大模型”，而是从睡眠生理学本质出发，设计了匹配生物系统的表征学习框架。对于睡眠研究者而言，它可能意味着更精准的自动分期工具；对于 AI 从业者，则是一次将领域知识与自监督学习巧妙结合的示范。未来，这一思路有望扩展到其他依赖多模态生理信号的领域，如癫痫监测、重症监护等。
## 一句话总结 **块稀疏注意力**通过为每个查询选择 top-k 键块来降低长上下文语言模型的计算复杂度，但传统 top-k 截断在分数接近时可能遗漏关键信息。新提出的**不确定性门控路由器**能在这种“犹豫”时刻自动增加保留块数，在多个模型上显著提升召回率，且几乎不增加额外延迟。 ## 背景：长上下文的效率与精度之困 处理超长文本（如 128K token）时，标准 Transformer 的 O(N²) 注意力计算成本过高。块稀疏注意力（Block-sparse Attention）是一种主流加速方案：它将键划分为块，对每个查询只保留得分最高的 k 个块，从而将复杂度降至 O(Nk)。然而，这种“一刀切”的 top-k 选择存在固有缺陷——当第 k 块与第 k+1 块得分非常接近时，选择器仍会硬性截断，而那个被丢弃的块可能恰好包含关键证据，且后续层无法恢复。 ## 方法：给注意力加上“犹豫”机制 Thomas Rossi 提出的 **Uncertainty-gated selection**（不确定性门控选择）核心是一个 **价值信息路由器**，它衡量每个查询在 top-k 截断时的决策置信度。具体而言，计算第 k 块与第 k+1 块得分之差，差值越小说明决策越“犹豫”。对于这些低置信度查询，路由器将保留的块数加倍（即 2k），从而在不全局增加预算的前提下，为关键查询提供更多上下文。该路由器与现有块评分方法（如 Quest）正交，可直接叠加使用。 ## 实验结果：显著提升召回，逼近全注意力 在 **LongBench-v2 medium**（n=215 全子集）上，路由器加持的 Quest 达到 **配对召回率 0.75**，而传统 top-k 仅为 0.47，提升 28 个百分点（McNemar 检验 p<0.01）。在 **RULER NIAH multikey** 任务中，相同上下文长度下，路由器结果与全注意力（dense）仅差 2 个百分点。 该提升在 **Qwen2.5、Mistral-Nemo、Qwen3.6** 四种模型、三种架构上均得到复现。在 128K 上下文下，路由器使 Qwen2.5-7B-1M 和 Qwen3.6 分别保持全注意力精度的 **0.81 和 0.89**，而传统 top-k 在 Qwen2.5-7B-1M 上仅剩 0.09。 ## 效率：几乎无额外开销 融合选择与核的流水线在保持高精度的同时，运行时间为全注意力的 **0.62 倍（Qwen2.5）和 0.80 倍（Qwen3.6）**，证明了该方法的实用价值。 ## 总结 这项研究直击块稀疏注意力的“短视”痛点，通过轻量级的不确定性门控动态调整保留块数，在长上下文场景下实现了精度与效率的更好平衡。对于需要处理超长文档、代码库或多轮对话的 LLM 应用，该技术有望成为标准组件。
在精准肿瘤学中，跨机构部署基因组预测模型常因测序面板差异导致特征结构性缺失，现有方法或限制分析共有基因、或剔除不完整病例、或依赖测试时插补，均影响鲁棒性与多中心数据利用。近日，研究团队提出 **SHIFT（Survival prediction Handling Incomplete Features using Transformer）**，一种无需测试时插补即可直接从缺失基因组输入预测的生存模型。 ## 核心思路：缺失感知的Transformer架构 SHIFT 将每个基因组特征独立表示，通过**掩码自注意力机制**与**特征可用性掩码**，使模型仅基于观测到的输入进行预测。训练时引入**可变比率特征掩码**，模拟不同缺失模式，增强对异构缺失的鲁棒性。该方法无需像传统方案那样限制分析范围或丢弃数据，而是将缺失本身作为模型输入的一部分。 ## 实验验证：跨队列泛化能力突出 研究团队在**胶质母细胞瘤**与**肺鳞状细胞癌**数据集上评估 SHIFT，并进行跨多个队列的外部验证，包括极具挑战的**严重跨队列面板不匹配**场景。结果显示，SHIFT 在泛化性能上显著优于标准生存基线模型与基于插补的方法，且**单一模型即可适配不同特征集**。此外，在模型开发阶段纳入不完整队列的病例数据，能进一步提升外部数据上的表现，表明部分观测队列无需被排除在模型构建之外。 ## 行业意义：推动多中心精准医疗落地 当前多中心基因组数据整合面临两大障碍：**测序技术差异**导致的特征缺失，以及**数据隐私**限制下的模型迁移。SHIFT 提供了一种实用策略——通过缺失感知建模，在不依赖插补或数据对齐的情况下实现稳健预测。这为真实世界中医疗记录不完整、测序方案各异的场景提供了可行的技术路径，有望加速精准肿瘤学从单中心研究向多中心大规模应用的转化。 ## 小结 SHIFT 以 Transformer 架构为核心，巧妙地将特征缺失转化为可学习的信号，在保持预测性能的同时大幅提升了模型的适用性。未来，该方法可进一步扩展至其他组学数据（如转录组、蛋白质组），并与其他缺失处理机制（如生成式插补）结合，构建更通用的临床决策支持框架。
大语言模型正被广泛部署于检索增强生成、仓库级代码编写和智能体工作流等长上下文场景。在这些应用中，累积的推理与工具调用痕迹常常将输入长度推至预训练窗口的十倍以上，使得零样本上下文扩展成为开源权重模型的主要部署路径。然而，现有零样本方法大多预先固定单一重缩放因子——激进的因子会牺牲短上下文保真度，保守的因子则在长上下文处失效。 针对这一困境，来自MIT的研究团队提出了 **Jet-Long**，一种无需微调的零样本方法。其核心思想是**双焦位置编码**：将注意力计算拆分为一个局部RoPE忠实窗口和一个远程窗口。局部窗口严格保留原始旋转位置编码，确保短输入时模型行为与基座完全一致；远程窗口的重缩放因子则根据当前序列长度动态调整，在长输入时实现平滑外推。 通过**容斥注意力合并**与**即时RoPE校正旋转**，双焦结构在推理时几乎不引入额外开销。研究团队将其融合为单个CuTe内核，在H100 GPU上，长上下文预填充吞吐量达到FlashAttention 2的1.39倍，接近Hopper专属的FlashAttention 4；单批生成时，各长度下的开销均不超过4%。 实验在**Qwen3-1.7B/4B/8B**模型上展开，上下文长度达128K。在RULER评测中，Jet-Long在1.7B/4B/8B规模上分别领先最强基线**+4.79、+2.18、+2.03个百分点**；在HELMET-RAG基准上取得最佳总体准确率（该基准被HELMET识别为下游长上下文性能最有效的预测指标）；并在PG-19困惑度指标上达到最低值。 此外，Jet-Long可泛化至**混合注意力架构**（如Jet-Nemotron），无需重新训练即可进一步改善长上下文效果。其超参数鲁棒性强，易于部署，为长上下文LLM的实际应用提供了高效、可靠的解决方案。
在胸部X光（CXR）分类任务中，即使模型在排序指标上表现良好，仍可能将罕见阳性患者置于阈值之下，尤其是在特定亚组中。一篇发表于arXiv的新研究将这一部署前的公平性问题作为审计问题来探讨：当长尾多标签CXR模型从分数转换为决策时，谁被遗漏了？ 研究团队在**VinDr-CXR**和**MIMIC-CXR/CXR-LT**两个数据集上，使用一种“诊断阶梯”方法，分别考察了类别级长尾损失、亚组感知加权、群体鲁棒性和阈值选择的影响。在VinDr-CXR上，采用**组尾加权**结合**尾感知阈值**，将尾部假阴性率（FNR）从0.665降至0.269，性别最差组FNR从0.705降至0.157，年龄最差组FNR从0.822降至0.133，同时宏观平均精度（macro-mAP）从0.611提升至0.635。在MIMIC-CXR/CXR-LT上，相同的分数到阈值比较将尾部FNR从0.866降至0.741，并降低了性别、年龄、种族和保险类型的最差组FNR；然而，残余的漏诊率仍然较高。 通过配对Bootstrap对比验证了VinDr上阈值化FNR的降低效果，而GroupDRO参考运行表明，仅靠聚合群体鲁棒性并不能消除该场景下的罕见亚组漏诊。研究支持一个狭窄的审计主张：CXR中的罕见标签公平性**共同取决于发现类别、亚组和操作阈值**，而非仅依赖于标签频率或排序指标。 ### 关键发现 - **问题本质**：长尾分布下，模型对罕见阳性患者的漏诊存在亚组偏差，传统排序指标无法反映阈值后的公平性问题。 - **解决方案**：通过组尾加权和尾感知阈值调整，可显著降低最差亚组的假阴性率，但无法完全消除漏诊。 - **剩余挑战**：即使使用GroupDRO等鲁棒性方法，罕见亚组的漏诊仍难以根除，表明阈值选择和亚组特异性处理至关重要。 ### 行业意义 该研究为医疗AI部署前的公平性审计提供了方法论框架，强调了从“分数排序”到“实际决策”的转换过程中，必须考虑亚组差异和阈值效应。对于CXR分类系统，仅追求整体性能提升可能掩盖对特定人群（如老年、女性或少数种族）的诊断不足，需引入细粒度的公平性评估。