科学机器学习（SciML）方法——如神经常微分方程（NODE）、物理信息神经网络（PINN）和通用微分方程（UDE）——在结构先验准确反映真实动力学时表现优异。但如果这一假设不成立，会发生什么？一项新研究以宏观经济预测为“压力测试”领域，给出了令人警醒的答案。 ## 实验设计：用23国数据检验五类模型 来自多所机构的研究团队选取了**23个国家**的稀疏年度经济数据，评估了**ARIMA、LSTM、NODE、PINN和UDE**五种模型家族。他们采用多种时间划分方式，并使用五个随机种子重复实验，以确保结果的稳健性。 ## 核心发现：结构先验可能成为“误正则化器” 结果令人意外：**没有一个模型能持续取得强劲的预测表现**，这凸显了低频宏观经济预测的固有困难。然而，一个清晰的相对排序浮现出来：**约束较少的模型（ARIMA和NODE）持续优于约束较强的启发式先验模型（PINN和UDE）**。 研究团队并未将此视为对SciML的否定，而是将其解读为**诊断性结果**：当结构先验与数据生成过程不匹配时，它们会充当“误正则化器”（misregularizer），反而损害模型性能。 ## 四大失败模式 研究识别了结构先验失效的四种典型场景： - **先验错配**：预设的物理或经济规律与实际数据不符； - **制度转换**：经济体系发生结构性变化，旧先验不再适用； - **结构断裂**：数据中出现突发事件（如金融危机），打破原有模式； - **优化不稳定**：强先验引入的复杂约束导致训练困难。 ## 对AI行业的启示 这项研究的核心建议是：**在假定“更多结构更好”之前，先测试结构是否真的有用**。对于AI从业者而言，这意味着： 1. 在应用SciML时，应首先进行先验验证，而非默认添加物理约束； 2. 对于数据稀疏、动态不稳定的领域（如宏观经济、社会科学），**纯数据驱动模型可能反而更可靠**； 3. 结构先验应被视为**可选择的工具**，而非必然的改进方案。 该研究为SciML的落地应用提供了重要警示：**在“野外”环境中，模型的有效性取决于先验与现实的匹配程度，而非先验的复杂程度**。论文预印本已在arXiv发布，编号2607.09684。
## 研究背景与核心问题 大语言模型（LLM）推理时，**KV缓存（Key-Value Cache）** 是决定内存占用与吞吐量的关键瓶颈。随着模型规模膨胀，如何在不显著牺牲生成质量的前提下压缩KV缓存，成为工业界与学术界的热点。近期，一项题为《Ablation, Statistical Inference, and Validation for KV-Cache Compression》的研究，对两类主流压缩方案——**Turbo-Quant** 与 **SpectralQuant**——进行了系统性对比，并提出了一套严谨的统计验证框架。 ## 方法论：剥离实现差异，聚焦算法本质 研究团队指出，此前许多压缩方法的性能评估混杂了**算法本身的优劣**与**工程实现的差异**。为此，他们设计了一套**统计推断与验证流程**，通过消融实验（ablation）和假设检验，将系统性的编解码差异与实现噪声分离开来。 具体评估的非支配方案（non-dominated schemes）包括： - **WHT旋转 + Beta Lloyd-Max量化** - **QJL（随机投影+量化）** 这些方案覆盖了基于旋转、量化及随机投影的不同技术路线。 ## 关键发现：协方差稳定性决定方法成败 研究最引人注目的结论是：**基于特征基（eigenbasis）的方法**（如SpectralQuant的核心思想）在处理**重尾数据**时表现不佳，原因是数据协方差矩阵的估计不稳定。然而，在**结构化数据**场景下，这类方法却能发挥优势，因为此时协方差结构清晰可辨。 此外，研究引入了一个重要概念——**有效语义维度（$d_{eff}$）**。该指标揭示了压缩方法的一个反直觉特性：$d_{eff}$ 并不反映数据的真实秩，而是随**校准预算（calibration budget）** 动态调整。这意味着压缩器的实际容量受限于可供学习的样本量，而非数据的内在维度。 ## 行业意义与展望 当前，LLM推理优化正从“暴力扩展”转向“精细调优”。这项研究为KV缓存压缩提供了两个重要启示： 1. **方法选择需匹配数据分布**：重尾数据（常见于长尾知识或高方差激活）应避免特征基方法，转而选择WHT旋转或随机投影类方案。 2. **校准预算至关重要**：实际部署时，应权衡校准数据量与压缩精度，避免过拟合到有限的校准样本。 该论文还附带开源代码（基于arXiv链接），为社区复现与进一步探索提供了基础。随着LLM上下文窗口不断增长，KV缓存压缩的统计可靠性将成为模型服务的关键一环。
随着AI系统越来越多地介入审计、金融和医疗等受监管领域的决策，组织面临一项持续义务：事后必须能够重建支撑某一结论的证据链条，并证明该推理记录未被篡改。现有工具（如模型可观测性、漂移监控、治理报告）主要面向运维工程师，而非需要追溯具体结论证据的审查者。为此，研究者提出 **AuditWeave**——一个轻量级、无运行时依赖的 Python 库，可将 AI 辅助与数据转换工作流的步骤记录到单一、仅可追加、哈希链式的账本中。 ### 核心设计：哈希链账本 AuditWeave 的核心是一个**仅可追加的哈希链账本**。每个事件（event）包含时间戳、操作类型、输入输出摘要等元数据，并链接到前一个事件的哈希值。任何对已记录事件的修改、重排、插入或删除都会破坏哈希链，从而被检测到。这种设计借鉴了区块链的防篡改思想，但去除了共识机制等冗余，专注于轻量级审计场景。 ### 通用事件词汇表 一个关键的创新是**系统无关的事件词汇表**，它统一覆盖了检索增强生成（RAG）流水线和表格/湖仓转换两类工作流。这意味着，如果一个结论同时依赖文本检索和表格数据处理，审计者可以通过同一份记录进行端到端追溯，无需在多个日志系统间切换。 ### 性能与安全性评估 在参考实现上，AuditWeave 的**完整性保证开销仅为每事件数十微秒**。研究者通过 2000 次随机试验，对四类篡改操作（修改、重排、插入、删除）进行测试，验证算法均能正确标记所有注入的篡改。该库以开源形式发布，代码托管在 GitHub。 ### 应用场景与意义 AuditWeave 填补了 AI 治理工具链中的一个空白：它面向的是**审查者**而非运维者。在金融合规、医疗诊断记录、审计报告生成等场景中，组织需要向监管机构证明决策过程的可追溯性与完整性。现有工具往往只关注模型性能监控，而忽略了“证据链”的防篡改记录。 ### 局限性与未来方向 目前，AuditWeave 主要关注事件记录的完整性，但**不涵盖证据本身的真实性**（例如，输入数据本身是否被污染）。此外，账本仅支持追加，不支持删除或修改，这符合审计要求，但可能增加存储开销。未来工作可能包括与外部身份认证系统集成，以及支持更丰富的事件类型。 总的来说，AuditWeave 为 AI 系统的可审计性提供了一种简洁、高效的解决方案，尤其适合需要满足严格监管要求的组织。其开源特性也便于社区审查和改进。
图神经网络（GNN）因其天然适合处理图结构数据，已成为知识图谱（KG）领域的重要工具。然而，目前尚缺乏一篇系统梳理 GNN 在知识图谱全技术栈中应用的综述。为此，一篇被 ACM Computing Surveys 接收的论文提出了一个新颖的双层分类框架，从“KG 技术流水线”和“GNN 视角”两个维度，全面回顾了 GNN 在知识图谱构建、嵌入、推理和应用中的方法，并分析了优势与局限，最后指明了未来研究方向。 ## 研究动机与现有缺口 知识图谱以结构化的方式表示实体及其关系，广泛应用于问答、推荐、信息检索等场景。图神经网络则通过消息传递机制，能有效学习节点和边的表示。尽管两者结合产生了大量工作，但现有综述多聚焦于单一任务（如链接预测或实体分类），缺乏对 GNN 在整个 KG 生命周期（从构建到应用）中角色的全景式梳理。这篇新综述正是为了填补这一空白。 ## 双层分类框架 作者提出的框架包含两个层次： 1. **KG 技术流水线**：覆盖知识图谱的完整生命周期，包括**知识图谱构建**（实体识别、关系抽取）、**知识图谱嵌入**（学习实体和关系的低维向量）、**知识推理**（基于规则或表示进行推断）以及**知识图谱应用**（如问答、推荐）。 2. **GNN 视角**：根据使用的 GNN 模型类型进行划分，例如**图卷积网络（GCN）**、**图注意力网络（GAT）** 和**异构图神经网络（HGNN）**。这一分类帮助研究者理解不同 GNN 架构在特定 KG 任务中的适用性。 ## 关键发现 - **构建阶段**：GNN 能通过端到端学习提升实体链接和关系抽取的准确性，尤其在结合文本特征时效果显著。 - **嵌入阶段**：相比传统翻译模型（如 TransE），GNN 能更好地捕获多跳邻居信息，生成更丰富的实体表示。 - **推理阶段**：GNN 在归纳式推理（处理未见过的实体）上表现出色，但可解释性仍是挑战。 - **应用层面**：GNN 驱动的知识图谱补全和推荐系统已在工业场景中取得实际收益，但大规模动态图上的效率问题有待解决。 ## 挑战与未来方向 综述也指出了当前研究的不足： - **可扩展性**：多数 GNN 模型在超大规模知识图谱上的训练成本高，亟需更高效的采样和分布式训练方案。 - **动态性**：现实知识图谱不断演化，现有方法大多假设静态图，动态 GNN 的研究尚不成熟。 - **可解释性**：GNN 的“黑箱”特性阻碍了其在医疗、金融等敏感领域的落地。 - **多模态融合**：如何将文本、图像等非结构化信息与图结构无缝集成，是一个开放问题。 ## 小结 这篇综述为 GNN 在知识图谱领域的应用提供了系统化的参考地图。对于研究者，它可以快速定位特定任务的现有方法；对于从业者，它揭示了技术选型的权衡。随着大模型与图学习的交叉日益紧密，这一方向有望催生更多突破。
## 解决流形归一化的通用难题 在机器学习中，流形值数据（如对称正定矩阵、旋转矩阵）广泛出现在视觉、机器人、医学成像等领域。虽然深度神经网络已能处理这些非欧几里得数据，但如何有效归一化流形上的样本分布仍是难题。现有黎曼归一化方法多针对特定流形设计，缺乏通用性，且难以真正控制分布均值和方差。 ## LieBN：统一李群上的归一化 为突破这一瓶颈，来自意大利特伦托大学、中国江南大学等机构的研究者提出了 **LieBN**，一个基于李群理论的黎曼批量归一化框架。李群是同时具有群结构和光滑流形结构的数学对象，典型例子包括旋转群 SO(3)、对称正定矩阵群等。LieBN 的核心思路是利用李群上天然存在的**左不变和右不变度量**——这些度量在群作用下保持几何性质不变，从而为归一化提供理论保障。 ## 九种几何实例与创新度量 研究团队在九种不同几何结构上实例化了 LieBN： - **SPD 流形**（对称正定矩阵）：四种度量，包括一种新提出的右不变度量，以及通过矩阵幂变形扩展的三种李群结构 - **旋转矩阵群 SO(3)**：一种度量 - **满秩相关矩阵流形**：四种度量 值得注意的是，在 SPD 流形上，研究者引入了一种全新的 **右不变度量**，并利用矩阵幂变形技术将三种现有黎曼度量转化为李群结构，极大丰富了可选的几何工具。 ## 理论保证与实验验证 LieBN 提供了理论上的保证：通过左/右不变度量，归一化过程能有效控制黎曼均值与方差，避免传统方法中分布偏移的问题。实验在多种流形任务上验证了 LieBN 的有效性，表明其优于现有的特定流形归一化方法。代码已开源。 ## 意义与展望 LieBN 为流形深度学习提供了一个统一、可扩展的归一化解决方案。它不仅简化了不同流形上归一化方法的设计，也为处理更复杂的结构（如李群上的图神经网络、时间序列建模）奠定了基础。未来，该框架有望在计算机视觉、机器人操控、医学图像分析等需要处理流形数据的领域发挥作用。
混合专家模型（MoE）凭借其稀疏激活特性，已成为大语言模型主流架构之一。但在分布式推理场景中，如何高效地将不同专家（Expert）分配到各GPU上，始终是影响端到端延迟的关键瓶颈。现有方案多基于历史请求的专家激活模式进行静态或离线优化，面对多样且快速变化的请求流量时显得力不从心。 最新发表于arXiv的论文《Director: Accelerating Distributed MoE Serving via Online Proactive Expert Placement》提出了一套全新的在线主动式专家放置框架，旨在从根本上解决这一挑战。该研究已被INFOCOM 2026接收。 ### 核心挑战与设计思路 Director的设计围绕三大难点展开： - **请求的专家激活模式存在不确定性**，无法提前预知每个请求会触发哪些专家； - **专家迁移本身有成本**，频繁移动专家会引入额外通信开销与服务中断； - **放置优化是NP难问题**，在大规模集群中寻找最优解几乎不可能。 为此，Director采用**预测驱动、在线迁移**的策略。系统首先通过一个轻量级级联预测器（cascaded predictor）或低位量化副本（low-bit quantized replica），对即将到来的请求进行专家激活模式预测。随后，在线迁移模块在计算密集阶段（compute-bound phase）执行专家迁移，将服务中断时间降至接近零。 ### 松弛优化的数学保证 在优化器层面，Director设计了一个基于松弛（relaxation-based）的在线放置算法，在容量约束下运行于多项式时间，并实现了 **(1+ε) 近似比**的数学保证。这意味着算法能在有限时间内给出接近理论最优的放置方案，兼顾了效率与质量。 ### 实测效果：端到端延迟降低11%～55% 研究团队在主流MoE模型（包括Mistral、DeepSeek、Qwen）上进行了全面实验。结果表明，相比现有最优的专家放置方案，Director将端到端推理延迟降低了 **11%至55%**。这一提升在请求模式剧烈波动时尤为显著，验证了主动预测+在线迁移的有效性。 ### 行业启示 随着DeepSeek-V3、Qwen2.5-MoE等模型在工业界广泛应用，MoE服务的部署效率直接关系到成本和用户体验。Director提出的“预测+在线调整”思路，跳出了传统静态优化的框架，为分布式推理系统提供了新的设计范式。特别是在多租户、高并发场景下，这种自适应能力可能成为未来推理引擎的标配。 不过，该方案仍处于原型阶段，预测器的额外开销、大规模集群下的迁移调度策略等细节还有待进一步工程验证。但无论如何，Director已经为MoE服务系统指明了一条值得深入探索的技术路径。
## 核心发现：耦合不仅是计算选择，更是对齐接口 在生成模型中，**流匹配（Flow Matching）** 通过定义噪声向量与数据点之间的配对规则（即耦合）来学习概率路径。传统上，这种耦合被视为纯粹的计算选择。然而，近日发表于 arXiv 的一篇论文《Reward Transport: Property Control in Flow Matching via Noise-Space Alignment》提出了一个颠覆性观点：**耦合可以作为一种对齐接口**——通过根据目标分子属性匹配噪声与数据，可控结构被直接嵌入到学习到的流场中。 ## 方法：Reward Transport 的机制 基于这一洞察，研究团队引入了 **Reward Transport** 方法。其核心思想是：在训练阶段，使用最优传输（Optimal Transport）耦合将**标量噪声空间坐标**与分子奖励（如 logP、QED）对齐。在推理时，通过简单地改变这个噪声坐标，即可引导生成分布向高奖励区域偏移，**无需依赖 Oracle 模型、奖励模型、梯度引导或额外计算**。 值得注意的是，在耦合保持的极限情况下，对该坐标进行阈值化可以恢复**交叉熵方法（Cross-Entropy Method）** 的截断奖励分布，从而提供一个原理清晰、连续可调的分布级控制旋钮。 ## 实验验证：单调控制与特异性响应 实验在 **ZINC-250K** 和 **GuacaMol** 基准上进行。结果表明，通过扫描标量噪声坐标，模型实现了对 logP 的单调控制，以及对 QED 在其操作范围内的一致控制。最令人印象深刻的是，**同一个旋钮对不同目标产生了相反的结构响应**：对于 logP 倾向于生成更大的分子，而对于 QED 则倾向于更小的分子——这排除了简单的大小偏差干扰。 ## 与现有方法的兼容性与局限性 Reward Transport 与无分类器指导（Classifier-Free Guidance）和条件流匹配是互补的。然而，论文也报告了一个负面结果：在 epsilon 预测扩散（epsilon-prediction diffusion）下，该方法失效，这恰好说明了**耦合级别对齐的结构缺失**。 ## 行业意义与未来方向 这项工作为**分子生成中的属性控制**提供了一种轻量级、无需额外训练的解决方案，有望加速药物发现和材料设计中的逆向优化。其核心思想——利用耦合作为对齐接口——也可能启发其他生成任务（如图像、文本）中的可控生成方法。 论文代码已开源，感兴趣的读者可进一步探索。
阿尔茨海默病（AD）是一种复杂的神经退行性疾病，全球数百万患者深受其影响。在疾病前驱阶段预测其向痴呆的转化，对于疾病理解和患者护理至关重要。尽管生存分析模型已被广泛应用于AD风险预测，但传统模型多为静态预测器，可解释性有限，且缺乏自然语言推理能力。针对这一痛点，最新研究提出了 **iLENS**（Interpretable LLM-Guided Mixture-of-Experts），一种融合大语言模型（LLM）与混合专家（MoE）框架的可解释生存预测方法。 ### 核心创新：LLM引导专家路由 iLENS 的核心思路是利用 LLM 处理结构化的神经影像测量数据与非结构化信息（如临床文本），并基于这些信息智能地选择最合适的“专家”模型进行生存预测。传统 MoE 通常依赖硬编码规则或简单统计特征进行专家路由，而 iLENS 借助 LLM 的语义理解能力，将路由决策转化为自然语言推理过程，从而提升预测的灵活性与可解释性。 ### 性能与可解释性兼得 实验表明，iLENS 在 AD 转化预测任务上取得了具有竞争力的性能，同时能够进行患者亚型分型。更关键的是，该框架为每一次路由决策提供了透明、生物学合理的解释，例如明确指出“海马体体积萎缩程度较高”和“APOE ε4 基因携带”等因素如何共同影响风险分层。这种可解释性弥合了高性能生存分析与临床决策支持之间的鸿沟，使模型输出更易被医生信任和采纳。 ### 临床价值与未来展望 iLENS 的提出标志着 AI 在医疗领域应用的重要进步——不再仅追求预测精度，而是将可解释性作为核心设计原则。对于阿尔茨海默病这类需要长期跟踪与个性化干预的疾病，一个既能给出风险概率，又能用自然语言说明原因的工具，将极大辅助临床医生制定早期干预策略。未来，该框架有望推广至其他神经退行性疾病，并整合多模态数据（如基因、脑脊液生物标志物），进一步拓展其应用边界。
联邦持续学习（FCL）旨在评估分布式客户端如何从不断变化的数据流中学习，同时保留已学知识。然而，现有评估因数据集、任务划分、客户端数据分配、任务顺序、骨干网络、内存假设和报告规则等频繁同时变动而难以比较。为此，研究人员提出了 **HERO**（Heterogeneity-Aware Benchmark Library），一个面向FCL的异构感知基准库。 ## 解耦关键因素，构建可比基准 HERO的核心创新在于将通常耦合的三个选择分离：**任务划分**、**客户端数据划分**和**客户端任务序列**。在主要可比基准 **HERO-Core** 中，参数 α 控制客户端数据偏斜，ρ 控制任务顺序不匹配。这种设计使得研究者能够独立控制异构性来源，从而进行更公平的方法比较。 ## 实验设置与关键发现 研究团队在 **CIFAR-100** 和 **TinyImageNet** 上评估了代表性FCL方法，采用**最终平均准确率**、**平均遗忘率**和**底部10%客户端准确率**作为指标。此外，还包含了基于图的 **Domain-IL** 可移植性案例研究（使用 **OGB-MolPCBA** 数据集），其中支架域粒度改变输入分布，但预测任务保持不变。 实验结果揭示了几个重要现象： - 方法行为在简单和异构设置之间存在显著差异； - 平均准确率可能掩盖底层客户端的弱性能； - 任务顺序不匹配时，不同策略的表现与同步评估时截然不同； - HERO的统一接口能够暴露图像分类之外的域偏移难度。 ## 开放与可复现 HERO 提供了完整的基准流、配置、方法实现和报告脚本，以支持可重复且感知设置的FCL评估。该库通过分离异构性维度，为社区提供了更精细的评估工具，有助于推动联邦持续学习领域的标准化比较。 ## 总结 HERO 通过解耦关键变量，解决了FCL评估中缺乏可比性的核心问题。其模块化设计和丰富的实验结果不仅验证了现有方法的局限性，也为未来研究提供了清晰的方向。随着联邦学习在现实场景中的广泛应用，HERO 有望成为该领域基准测试的重要参考。
## 背景：MoE模型在边缘设备上的内存瓶颈 混合专家（Mixture-of-Experts, MoE）模型通过稀疏激活机制，每个token只调用少数专家，从而在保持模型容量的同时降低计算成本。然而，在边缘设备（如手机、IoT设备）上部署MoE模型时，一个隐藏的性能杀手逐渐浮出水面：**相邻token频繁激活不同的专家**，导致模型需要不断从慢速存储（如闪存）中加载专家权重到快速内存（如DRAM）中。这种“权重交换”操作严重拖慢推理速度，并增加功耗。 现有解决方案主要分为两类：系统层面的缓存启发式策略，以及训练后的路由器微调。但这些方法都只是“治标”——它们没有从根源上改变模型在预训练阶段形成的路由行为。 ## 核心创新：StickyMoE 损失函数 来自研究者 Ali Kayyam 的最新论文提出了一种名为 **StickyMoE** 的方法，通过一个可微的路由一致性损失函数，在**训练阶段**直接干预路由器的决策行为。该损失函数对相邻token之间的专家切换进行惩罚，鼓励路由器在语义连贯的文本段内保持相同的专家分配。 StickyMoE 的关键优势在于： - **无需修改模型架构**，仅在损失函数中添加一项，超参数仅为一个 λ（控制惩罚强度）。 - **与训练过程协同适应**：专家表示和路由决策从第一步训练开始就共同优化，而非事后修补。 - **实验效果显著**：在小规模MoE语言模型上的实验表明，StickyMoE能将专家切换率降低高达 **60%**，而困惑度（perplexity）仅退化不到 **4%**，在“质量-局部性”前沿上全面优于后微调方法。 ## 为什么训练阶段干预更有效？ 论文的核心洞察是：**路由的时间局部性最好在训练时灌输**。后处理方法（如微调路由器）虽然也能减少切换，但专家表示已经固化，路由器只能在有限空间内调整，容易导致性能下降。而StickyMoE让路由器和专家共同适应，使得专家能够学习到更适合“粘性”路由的表示，从而实现更优的权衡。 ## 行业意义与展望 随着AI模型向边缘设备迁移，内存带宽和存储速度成为关键瓶颈。StickyMoE提供了一种轻量级、高效的训练策略，有望推动MoE模型在资源受限设备上的实用化部署。未来，该方法可能进一步扩展到更大规模的模型，并与其他稀疏激活技术（如动态专家分配）结合。 论文以预印本形式发布于 arXiv，代码尚未开源，但方法本身简洁高效，预计将引起学术界和工业界的广泛关注。
arXiv:2607.08779v1 Announce Type: new Abstract: The signed integer alphabet contains one more negative representable value than positive. Yet, by convention, the standard symmetric integer quantizer fixes its scale to be strictly positive, which assigns this extra representable value to the negative tail and can force clipping of positive outliers. In this work, we show that, at few-bit precision, such clipping is a non-trivial source of quantization error. Asymmetric quantization addresses this
知识蒸馏（Knowledge Distillation, KD）是压缩大型语言模型（LLM）的主流技术，但其成功背后的统一原理一直缺乏清晰解释。近日，来自同济大学的研究团队在 arXiv 上提交了一篇论文，提出了一种基于“交互”（interaction）的统一分析框架，揭示了不同 KD 方法共有的底层机制——**交互稀疏化**，并据此设计出一款即插即用的损失函数 CIP，可显著提升蒸馏效果。 ## 从交互视角理解蒸馏 论文的核心思路是将 LLM 的输出分数分解为大量“交互”的线性加和。每个交互代表一组输入变量（如单词）之间的非线性关系，其强度衡量了模型对该组合的依赖程度。例如，某些交互可能捕捉到“not”与“good”之间的转折语义，而更复杂的交互则可能涉及多个词的高阶协同。 通过对比教师模型与学生模型的交互模式，研究者发现：**所有成功的 KD 方法都促使学生模型保留少数关键交互，而将其他交互的效应压制为零**。这一过程被称为“交互稀疏化”。换句话说，蒸馏的本质是让学生学会“抓重点”——只依赖最核心的变量组合进行推理。 ## 复杂交互的稀疏度决定性能差异 进一步分析表明，不同 KD 方法的性能差异主要源于它们对**复杂交互**（涉及更多变量的高阶交互）的处理能力。复杂交互通常蕴含更深层的语义关系，但也更容易引入噪声。研究发现：**如果一种 KD 方法能让学生模型对复杂交互实现更高程度的稀疏化（即更精准地保留有效交互、剔除无效交互），则其下游性能往往更优**。 这一发现解释了为何某些蒸馏策略（如基于 logit 的软标签蒸馏）在特定任务上优于其他方法——它们更擅长引导学生关注高价值的复杂交互。 ## CIP：专治复杂交互的“稀疏化神器” 基于上述洞察，团队提出了一个即插即用的损失项——**复杂交互惩罚（Complex Interaction Penalty, CIP）**。CIP 在标准蒸馏损失的基础上，显式地惩罚学生模型中复杂交互的“非零效应”，迫使模型在训练过程中自动抑制冗余的高阶关系。 实验在多个基准（包括领域内和分布外场景）上验证了 CIP 的有效性：无论搭配哪种基础 KD 方法（如 KD、DistilBERT 式蒸馏等），加入 CIP 后都能带来一致且显著的性能提升。这表明，直接调控交互稀疏度是一种比单纯拟合输出更通用的优化方向。 ## 意义与展望 该工作为 LLM 知识蒸馏提供了一面“理论透镜”，将以往经验性的蒸馏技巧统一到交互稀疏化的框架下。未来，研究者可以借助交互分析来诊断蒸馏失败的原因，或者设计更高效的蒸馏策略——例如，通过主动识别并保留教师模型中的关键复杂交互，而非简单模仿全部输出。 对于 AI 工程实践而言，CIP 的低成本集成特性意味着它有望成为蒸馏流程的标准组件。随着 LLM 部署对效率要求的不断提高，这种“知其然更知其所以然”的优化方法，或将成为模型压缩领域的新范式。
在胸部X光（CXR）分类任务中，即使模型在排序指标上表现良好，仍可能将罕见阳性患者置于阈值之下，尤其是在特定亚组中。一篇发表于arXiv的新研究将这一部署前的公平性问题作为审计问题来探讨：当长尾多标签CXR模型从分数转换为决策时，谁被遗漏了？ 研究团队在**VinDr-CXR**和**MIMIC-CXR/CXR-LT**两个数据集上，使用一种“诊断阶梯”方法，分别考察了类别级长尾损失、亚组感知加权、群体鲁棒性和阈值选择的影响。在VinDr-CXR上，采用**组尾加权**结合**尾感知阈值**，将尾部假阴性率（FNR）从0.665降至0.269，性别最差组FNR从0.705降至0.157，年龄最差组FNR从0.822降至0.133，同时宏观平均精度（macro-mAP）从0.611提升至0.635。在MIMIC-CXR/CXR-LT上，相同的分数到阈值比较将尾部FNR从0.866降至0.741，并降低了性别、年龄、种族和保险类型的最差组FNR；然而，残余的漏诊率仍然较高。 通过配对Bootstrap对比验证了VinDr上阈值化FNR的降低效果，而GroupDRO参考运行表明，仅靠聚合群体鲁棒性并不能消除该场景下的罕见亚组漏诊。研究支持一个狭窄的审计主张：CXR中的罕见标签公平性**共同取决于发现类别、亚组和操作阈值**，而非仅依赖于标签频率或排序指标。 ### 关键发现 - **问题本质**：长尾分布下，模型对罕见阳性患者的漏诊存在亚组偏差，传统排序指标无法反映阈值后的公平性问题。 - **解决方案**：通过组尾加权和尾感知阈值调整，可显著降低最差亚组的假阴性率，但无法完全消除漏诊。 - **剩余挑战**：即使使用GroupDRO等鲁棒性方法，罕见亚组的漏诊仍难以根除，表明阈值选择和亚组特异性处理至关重要。 ### 行业意义 该研究为医疗AI部署前的公平性审计提供了方法论框架，强调了从“分数排序”到“实际决策”的转换过程中，必须考虑亚组差异和阈值效应。对于CXR分类系统，仅追求整体性能提升可能掩盖对特定人群（如老年、女性或少数种族）的诊断不足，需引入细粒度的公平性评估。
时间图网络在社交网络、金融交易、生物信息等动态场景中广泛应用，但其内部记忆模块——负责记录和更新节点历史状态的核心组件——长期处于“黑箱”状态。现有解释方法多聚焦于拓扑结构，却忽略了记忆模块如何整合历史事件来驱动预测。来自北京邮电大学、里海大学和香港科技大学的研究团队提出了一种名为**记忆回溯与拓扑归因（Memory Backtracking and Topological Attribution）** 的方法，首次系统地将TGN的记忆机制纳入可解释性框架，相关工作已被ICML 2026接收为Spotlight论文。 ## 两大回溯树：从拓扑到记忆的完整归因 该方法的核心在于构建两棵互补的归因树： - **拓扑归因树**：捕捉邻居节点及其记忆向量对当前预测的贡献。通过层级分解，模型能够定位哪些相邻节点在特定时间步产生了关键影响。 - **记忆回溯树**：进一步量化历史事件如何塑造节点记忆向量本身。这意味着，即使一个事件发生在较远的时间点，只要它对记忆向量产生持续影响，也能被准确追溯。 这种“从拓扑到记忆”的双树结构，使得归因链条能够完整覆盖事件→记忆→预测的全路径。 ## LRP适配与优化目标：解决概率映射失真 研究团队将**分层相关性传播（LRP）** 适配到TGN中，确保所有历史事件的总贡献等于模型输出的logits值，从而在数学上保证了归因的忠实性。此外，针对传统top-k选择方法因logits到概率的非线性映射而可能失真的问题，他们设计了专门的优化目标来筛选真正重要的事件，而非简单依赖阈值截断。 ## 九大数据集验证：全面超越现有基线 实验覆盖了节点属性预测、链接预测和图分类三类任务，涉及九个公开时间图数据集。结果表明，该方法不仅在忠实度指标上显著优于现有最先进基线，还能提供更符合直觉的解释。例如，在社交网络动态链接预测中，模型能够正确识别出导致好友关系建立的关键早期互动，而非仅仅关注近期事件。 ## 行业意义：从“能用”到“可信”的关键一步 时间图网络在金融反欺诈、交通流量预测、推荐系统等领域具有巨大潜力。然而，缺乏可解释性一直制约其在合规要求严格的行业落地。记忆回溯与拓扑归因方法首次揭示了记忆模块中的“因果链”，使开发者能够验证模型是否依赖了合理的业务逻辑，而非偶然的统计关联。随着ICML 2026的认可，这一思路有望成为TGN可解释性的标准范式。
近年来，神经算子（Neural Operator）已成为学习偏微分方程（PDE）解映射并加速数值模拟的主流方法之一。其中，基于Transformer的神经算子尤为引人关注，因为注意力机制能够捕捉计算域中的长程依赖关系。然而，标准注意力机制在应用于PDE时存在两大缺陷：**计算复杂度随节点数呈二次增长**，且**缺乏对局部交互的显式偏置**。 为克服这些局限，来自特拉维夫大学的研究者Oded Ovadia和Eli Turkel提出了**局部线性Transformer（Local Linear Transformer, LLT）**。该架构创新性地将**线性全局注意力**与**局部空间混合**相结合，并融入了坐标与几何信息，从而在保持全局感知能力的同时，显著提升计算效率和对局部特征的捕捉能力。 ### 性能表现：精度与效率的双重提升 LLT在多个经典PDE问题上进行了评估，涵盖**弹性力学、塑性力学、翼型绕流、管道流以及达西流**等。参考数据来自**有限元、有限体积和有限差分**等不同离散化方法，且同时适用于结构化与非结构化网格。 与先前研究中的多种神经算子和Transformer基线相比，LLT在这些问题上取得了**具有竞争力或更低的相对L₂误差**。更值得一提的是其计算效率：在匹配的结构化离散化设置下，LLT每个训练迭代的**墙钟时间相比Transolver降低了1.8至2.5倍**。 ### 大规模应用验证 研究团队还将LLT扩展至一个**三维汽车空气动力学数据集**，每个样本包含多达**32,186个非结构化网格点**。实验结果表明，LLT在该大规模复杂问题上依然保持高精度和高效性，证明了其处理实际工程问题的潜力。 ### 行业意义与未来方向 LLT的提出为PDE求解领域提供了一种**准确且计算高效的算子学习方案**，尤其适用于跨离散化类型、网格类型和问题设置的场景。相比传统Transformer，LLT通过局部线性化设计有效缓解了二次复杂度瓶颈，同时保留了全局注意力对长程依赖的建模能力。 这一工作也反映出AI for Science领域的一个趋势：**在通用架构基础上，融入领域先验知识（如局部性、几何结构）来提升模型在科学计算中的适用性**。未来，类似LLT的混合架构有望在流体力学、固体力学、气候模拟等更广泛的实际应用中发挥关键作用。
大语言模型在连续多任务微调时，常因新任务覆盖旧知识而出现灾难性遗忘。最新研究 ReCoLoRA 提出一种频谱感知的递归整合框架，通过动态重分解权重空间，在不增加参数量的前提下有效保留历史任务能力，在四个 7-8B 级模型上取得了领先的持续学习效果。 ## 问题背景：LoRA 在持续学习中的困境 参数高效微调方法（如 LoRA）虽然能低成本适配单一任务，但在面对任务序列时，新任务的低秩更新会不断叠加在相同的冻结权重上，导致旧任务特征被覆盖。这种“遗忘”问题限制了 LLM 在多轮微调场景中的实用价值，例如对话系统的持续人格更新或企业级模型的分阶段领域适配。 ## ReCoLoRA 的核心创新：递归整合与频谱感知 ReCoLoRA（Recursive Consolidation of Low-Rank Adapters）从两个维度解决上述问题： 1. **频谱感知初始化**：对预训练权重进行随机 SVD 分解，利用肘部准则（elbow criterion）自动选择每层有效秩，优先适配主成分子空间，再开放残差容量。 2. **递归整合机制**：在每个新任务开始前，ReCoLoRA 重新分解当前的“有效权重”（而非原始权重），将其拆分为三个部分：冻结残差、缓慢更新的主成分、以及全新的适配器。这样，新任务从已经吸收了前序知识的模型状态出发，实现渐进式整合。 该方法的优势在于：无需记忆旧任务数据，也不增加推理时的参数量，仅通过改变权重分解方式实现知识保留。 ## 实验结果：全面超越基线 团队在六个连续 GLUE 任务序列上测试了四个 7-8B 级模型（如 LLaMA-2、Mistral 等），与 LoRA、PiSSA、AdaLoRA、DoRA 等方法进行对比。结果显示： - ReCoLoRA 在 **4 个主干模型中的 3 个上取得了最佳最终平均分**； - 训练参数更少，效率更高； - 作为上限的 oracle-routed 任务银行变体，在完全任务隔离条件下展现了理论最优性能。 此外，频谱感知的秩选择机制使模型能够自适应不同层的容量需求，避免了人工调参。 ## 行业价值与未来方向 持续微调是 LLM 落地的关键瓶颈之一。ReCoLoRA 提供了一种轻量级、无需数据回放的解决方案，尤其适合隐私敏感或数据存储受限的场景。未来工作可探索将该框架扩展到跨模态模型（如视觉-语言模型），或与动态架构结合实现更灵活的容量分配。 论文代码已开源（链接见原文），为社区提供了可直接复现的基线。
## 从生理学出发，重新定义睡眠基础模型 现有睡眠基础模型在处理多模态生理信号（如脑电图、心电图、呼吸等）时，往往采用拓扑无关的融合方式，忽视了中枢神经系统（CNS）与自主神经系统（ANS）之间固有的生理层级结构。近日，一项发表于 arXiv 的研究提出了 **Omni-Sleep**——一个利用 CNS/ANS 分区作为生理先验的睡眠基础模型，在表征学习中引入拓扑约束，从而更准确地捕捉睡眠过程中的脑-体动态。 ## 三大学习目标：层级对比与时间建模 Omni-Sleep 的核心在于三个精心设计的训练目标： - **系统内一致性**：在神经信号（如 EEG、EOG、EMG）和心肺信号（如 ECG、呼吸）内部，分别学习共享的子系统级表征，捕捉同一系统内不同通道的共性因素。 - **系统间同步性**：对齐 CNS 与 ANS 的表征轨迹，建模脑与身体之间的动态耦合关系。 - **潜空间掩码时间建模**：通过掩码预测任务，学习长时程的睡眠动态，提升对时间依赖关系的建模能力。 这种设计使得模型能够从超过 **10 万小时** 的多中心多模态多导睡眠图（PSG）数据中，学习到具有生理意义的结构化表征。 ## 性能全面超越现有基线 在睡眠分期和多疾病分类任务上，Omni-Sleep 均表现出色。与当前最强的基础模型基线相比，它在标签效率、跨数据集泛化能力以及对缺失模态的鲁棒性方面实现了显著提升。即使在某些模态缺失的情况下，Omni-Sleep 依然能保持较高的分类精度，这在实际临床场景中尤为重要——因为患者数据常因设备或记录条件限制而不完整。 ## 生理层级先验的价值 Omni-Sleep 的成功证明了将生理学知识融入模型设计的巨大潜力。传统方法将不同信号一视同仁，而 Omni-Sleep 通过显式利用 CNS/ANS 分区，让模型学会区分“大脑的内部状态”与“身体的自主调节”，从而更准确地表征睡眠的不同阶段和病理特征。 研究者已在 GitHub 上开源代码（论文中提供的链接），这将推动睡眠医学领域的基础模型研究，并为其他生物医学信号处理任务提供新思路。 ## 小结 Omni-Sleep 并非简单的“更大数据+更大模型”，而是从睡眠生理学本质出发，设计了匹配生物系统的表征学习框架。对于睡眠研究者而言，它可能意味着更精准的自动分期工具；对于 AI 从业者，则是一次将领域知识与自监督学习巧妙结合的示范。未来，这一思路有望扩展到其他依赖多模态生理信号的领域，如癫痫监测、重症监护等。
## 一句话总结 **块稀疏注意力**通过为每个查询选择 top-k 键块来降低长上下文语言模型的计算复杂度，但传统 top-k 截断在分数接近时可能遗漏关键信息。新提出的**不确定性门控路由器**能在这种“犹豫”时刻自动增加保留块数，在多个模型上显著提升召回率，且几乎不增加额外延迟。 ## 背景：长上下文的效率与精度之困 处理超长文本（如 128K token）时，标准 Transformer 的 O(N²) 注意力计算成本过高。块稀疏注意力（Block-sparse Attention）是一种主流加速方案：它将键划分为块，对每个查询只保留得分最高的 k 个块，从而将复杂度降至 O(Nk)。然而，这种“一刀切”的 top-k 选择存在固有缺陷——当第 k 块与第 k+1 块得分非常接近时，选择器仍会硬性截断，而那个被丢弃的块可能恰好包含关键证据，且后续层无法恢复。 ## 方法：给注意力加上“犹豫”机制 Thomas Rossi 提出的 **Uncertainty-gated selection**（不确定性门控选择）核心是一个 **价值信息路由器**，它衡量每个查询在 top-k 截断时的决策置信度。具体而言，计算第 k 块与第 k+1 块得分之差，差值越小说明决策越“犹豫”。对于这些低置信度查询，路由器将保留的块数加倍（即 2k），从而在不全局增加预算的前提下，为关键查询提供更多上下文。该路由器与现有块评分方法（如 Quest）正交，可直接叠加使用。 ## 实验结果：显著提升召回，逼近全注意力 在 **LongBench-v2 medium**（n=215 全子集）上，路由器加持的 Quest 达到 **配对召回率 0.75**，而传统 top-k 仅为 0.47，提升 28 个百分点（McNemar 检验 p<0.01）。在 **RULER NIAH multikey** 任务中，相同上下文长度下，路由器结果与全注意力（dense）仅差 2 个百分点。 该提升在 **Qwen2.5、Mistral-Nemo、Qwen3.6** 四种模型、三种架构上均得到复现。在 128K 上下文下，路由器使 Qwen2.5-7B-1M 和 Qwen3.6 分别保持全注意力精度的 **0.81 和 0.89**，而传统 top-k 在 Qwen2.5-7B-1M 上仅剩 0.09。 ## 效率：几乎无额外开销 融合选择与核的流水线在保持高精度的同时，运行时间为全注意力的 **0.62 倍（Qwen2.5）和 0.80 倍（Qwen3.6）**，证明了该方法的实用价值。 ## 总结 这项研究直击块稀疏注意力的“短视”痛点，通过轻量级的不确定性门控动态调整保留块数，在长上下文场景下实现了精度与效率的更好平衡。对于需要处理超长文档、代码库或多轮对话的 LLM 应用，该技术有望成为标准组件。
在精准肿瘤学中，跨机构部署基因组预测模型常因测序面板差异导致特征结构性缺失，现有方法或限制分析共有基因、或剔除不完整病例、或依赖测试时插补，均影响鲁棒性与多中心数据利用。近日，研究团队提出 **SHIFT（Survival prediction Handling Incomplete Features using Transformer）**，一种无需测试时插补即可直接从缺失基因组输入预测的生存模型。 ## 核心思路：缺失感知的Transformer架构 SHIFT 将每个基因组特征独立表示，通过**掩码自注意力机制**与**特征可用性掩码**，使模型仅基于观测到的输入进行预测。训练时引入**可变比率特征掩码**，模拟不同缺失模式，增强对异构缺失的鲁棒性。该方法无需像传统方案那样限制分析范围或丢弃数据，而是将缺失本身作为模型输入的一部分。 ## 实验验证：跨队列泛化能力突出 研究团队在**胶质母细胞瘤**与**肺鳞状细胞癌**数据集上评估 SHIFT，并进行跨多个队列的外部验证，包括极具挑战的**严重跨队列面板不匹配**场景。结果显示，SHIFT 在泛化性能上显著优于标准生存基线模型与基于插补的方法，且**单一模型即可适配不同特征集**。此外，在模型开发阶段纳入不完整队列的病例数据，能进一步提升外部数据上的表现，表明部分观测队列无需被排除在模型构建之外。 ## 行业意义：推动多中心精准医疗落地 当前多中心基因组数据整合面临两大障碍：**测序技术差异**导致的特征缺失，以及**数据隐私**限制下的模型迁移。SHIFT 提供了一种实用策略——通过缺失感知建模，在不依赖插补或数据对齐的情况下实现稳健预测。这为真实世界中医疗记录不完整、测序方案各异的场景提供了可行的技术路径，有望加速精准肿瘤学从单中心研究向多中心大规模应用的转化。 ## 小结 SHIFT 以 Transformer 架构为核心，巧妙地将特征缺失转化为可学习的信号，在保持预测性能的同时大幅提升了模型的适用性。未来，该方法可进一步扩展至其他组学数据（如转录组、蛋白质组），并与其他缺失处理机制（如生成式插补）结合，构建更通用的临床决策支持框架。
大语言模型正被广泛部署于检索增强生成、仓库级代码编写和智能体工作流等长上下文场景。在这些应用中，累积的推理与工具调用痕迹常常将输入长度推至预训练窗口的十倍以上，使得零样本上下文扩展成为开源权重模型的主要部署路径。然而，现有零样本方法大多预先固定单一重缩放因子——激进的因子会牺牲短上下文保真度，保守的因子则在长上下文处失效。 针对这一困境，来自MIT的研究团队提出了 **Jet-Long**，一种无需微调的零样本方法。其核心思想是**双焦位置编码**：将注意力计算拆分为一个局部RoPE忠实窗口和一个远程窗口。局部窗口严格保留原始旋转位置编码，确保短输入时模型行为与基座完全一致；远程窗口的重缩放因子则根据当前序列长度动态调整，在长输入时实现平滑外推。 通过**容斥注意力合并**与**即时RoPE校正旋转**，双焦结构在推理时几乎不引入额外开销。研究团队将其融合为单个CuTe内核，在H100 GPU上，长上下文预填充吞吐量达到FlashAttention 2的1.39倍，接近Hopper专属的FlashAttention 4；单批生成时，各长度下的开销均不超过4%。 实验在**Qwen3-1.7B/4B/8B**模型上展开，上下文长度达128K。在RULER评测中，Jet-Long在1.7B/4B/8B规模上分别领先最强基线**+4.79、+2.18、+2.03个百分点**；在HELMET-RAG基准上取得最佳总体准确率（该基准被HELMET识别为下游长上下文性能最有效的预测指标）；并在PG-19困惑度指标上达到最低值。 此外，Jet-Long可泛化至**混合注意力架构**（如Jet-Nemotron），无需重新训练即可进一步改善长上下文效果。其超参数鲁棒性强，易于部署，为长上下文LLM的实际应用提供了高效、可靠的解决方案。