深度学习中一个广为接受的信念是：损失景观中的平坦极小值（flat minima）比尖锐极小值具有更好的泛化性能，基于此的算法如Sharpness-Aware Minimization（SAM）被广泛使用。然而，一篇来自arXiv的最新论文提出了颠覆性观点：平坦极小值可能只是一个“幻觉”。 该研究指出，通过保函数重参数化（function-preserving reparameterisation），可以在不改变任何预测的情况下，将任意极小值的Hessian矩阵特征值放大两个数量级。这意味着权重空间的几何形状可以被任意“制造”，因此它不能是泛化的根本原因。 作者提出，真正的驱动力是“弱性”（weakness），即在学习者的具身语言中与所学函数兼容的完成体积。弱性是重参数化不变的，因为它定义在网络“做什么”而非“如何参数化”上。理论证明，弱性在可交换需求下是极小极大最优的，并且PAC-Bayes界限之所以有效正是因为它们与弱性相关。 实验提供了有力证据：在MNIST数据集上，大批次训练带来的泛化优势随着数据量增加而消失——从n=2000时的+1.6%下降到n=60000时的+0.02%。这表明，一个预测能力依赖于数据量的量并非原因，而是混杂因子。 进一步，作者在100个相同架构和训练过程的网络上进行正面比较：对于MNIST，弱性显著预测泛化（ρ=+0.374，p=0.00012），而尖锐度呈负相关（ρ=-0.226），简单性（simplicity）则完全不显著（p=0.848）。对于Fashion-MNIST，弱性依然有效（ρ=+0.384，p=8.15×10⁻⁵），但简单性有一定预测力。 结论：平坦极小值从来就不是答案。简单性是数据集依赖的，而弱性是不变的。这一发现挑战了当前对损失景观几何的普遍理解，可能引导未来研究转向更本质的泛化机制。
大语言模型（LLM）的推理延迟优化一直是业界关注的核心问题，其中 **前缀缓存（Prefix Caching）** 是一种被广泛采用的关键技术。传统方法假设每个 token 的键值（Key/Value）都需要密集缓存，以便在共享前缀的请求之间复用计算结果。然而，随着 **状态空间模型（State-Space Models, SSM）** 和混合架构的兴起，这一假设正面临根本性挑战。 ### 问题：不对称的缓存需求 在自回归 Transformer 中，每个 token 都需要存储完整的键值对（KV Cache），缓存规模随序列长度线性增长。而 SSM 的循环层（Recurrent Layer）具有不同的特性：它可以从一个单一的隐藏状态恢复，无需保留完整的 token 历史。这种不对称性创造了一个全新的设计空间——介于“完全不缓存”和“密集缓存”之间。 ### 方案：稀疏检查点缓存 来自俄罗斯的研究团队（Mikhail Shirokikh 与 Sergey Nikolenko）在最新论文中提出了 **稀疏前缀缓存（Sparse Prefix Caching）** 方法。其核心思想是：在稀疏的检查点位置存储精确的循环状态，当缓存命中时，从最深的已存储检查点恢复，并精确重算剩余的 token 后缀。 该方法形式化为一个 **检查点放置优化问题**：给定重叠深度的分布，通过一个精确的 O(NM) 动态规划算法，找到最优的检查点位置集合。这里的“重叠深度”指的是两个请求共享前缀的长度分布。 ### 实验：帕累托前沿的改进 在真实数据集（QuALITY 和 System Prompts）上的测试表明，**分布感知的缓存策略** 在所有固定预算基线中占据帕累托前沿的支配地位。与最强的启发式方法（块缓存）相比，该方法在匹配或超越其性能的同时，通常使用更少的检查点。尤其在低缓存预算下，当重叠分布高度非均匀时，增益最为显著。 ### 适用范围与优势 该方法最适合 **多个请求共享一个较大但不完全相同的前缀** 的场景，例如针对同一份长文档提出不同问题。它保持精确输出，不改变循环计算本身，也不需要新的循环更新内核。对于混合模型（Hybrid Models），它可以与现有的 KV 缓存压缩技术结合使用。 ### 行业意义 随着 Mamba、RWKV 等线性注意力或循环架构逐渐进入生产部署，传统的 KV 缓存优化方法需要重新审视。稀疏前缀缓存提供了一种轻量级、理论支撑强且易于集成的优化方案，尤其适合长上下文和文档问答等实际场景。 未来，该技术有望与推理系统（如 vLLM、TensorRT-LLM）中的调度策略深度结合，进一步降低重复计算开销，提升吞吐量。
机器学习中的预测多样性与混沌动力学长期被视为独立挑战，但最新研究首次从理论上揭示了二者的深层关联。来自多所机构的研究团队提出“地平线约束Rashomon集合”框架，揭示了混沌系统中模型多样性随预测步长演化的规律，并在风能、交通、天气等真实场景中将决策质量提升18%-34%。 ## 从静态到动态：Rashomon集合的混沌演化 传统机器学习中，Rashomon集合指代在训练集上表现相近却结构迥异的模型群。在静态预测任务里，这个集合相对固定；但面对混沌系统，情况截然不同——**初始表现相似的模型会因混沌动力学特性指数级发散**。研究发现，有效Rashomon集合的收缩速率由最大李雅普诺夫指数决定，这意味着预测步长越长，真正“等效”的模型越少。 ## 理论突破：李雅普诺夫加权度量 团队提出了**李雅普诺夫加权度量**，为预测不一致性提供更紧的上界。这一理论工具不仅能精确量化模型分歧，还为下游决策提供了新思路：与其追求绝对精度，不如选择在特定预测时域内对决策效用最稳健的模型。基于此开发的“决策对齐选择算法”，在Lorenz-96、Kuramoto-Sivashinsky等合成混沌系统以及真实场景中均表现优异。 ## 应用价值：安全关键领域的决策优化 在风力发电预测中，传统方法可能因模型分歧导致调度失误，而新框架通过约束有效模型集，将决策失误率降低近三成。交通流量预测和天气预报也验证了类似效果。研究团队指出，这一框架为**在安全关键混沌场景中部署机器学习提供了理论指导**，例如金融风险控制、气候建模等需要长时预测的领域。 ## 行业意义 该研究首次建立了混沌理论与预测多样性的严格联系。对于AI从业者而言，它提示了一个重要转向：在复杂动态系统中，**模型选择不应仅看静态精度，而需评估其在混沌演化中的决策鲁棒性**。未来，该框架有望与强化学习、在线学习等方向结合，推动更可靠的动态决策系统发展。
慢性鼻窦炎（CRS）是一种常见的异质性炎症性疾病，导致显著的发病率和医疗成本。由于症状与过敏性鼻炎等常见疾病重叠，且表型多样，早期识别极为困难。此前预测研究多依赖单一机构队列，缺乏人群层面的泛化能力。 为解决这一问题，研究团队利用美国国立卫生研究院“All of Us”研究项目的全国性纵向电子健康记录数据，基于患者确诊前两年的病史预测CRS诊断。面对编码EHR数据中特征稀疏和维度极高（约11万个候选编码）的挑战，他们设计了一种混合特征选择流程，结合基于患病率的统计筛选与基于模型的重要性排序，最终将特征压缩至100个可解释的变量。 为了捕捉不同人口群体的异质性，研究针对六个成年性别-生命阶段亚组训练了分层模型，并进行亚组特定的超参数调优。最终框架的整体AUC达到0.8461，较最佳基线提升0.0168。 **关键结论**：该研究证明了常规收集的EHR数据能够支持具有人群代表性的CRS风险分层，有望在初级保健中实现更早的分诊和转诊优先级排序。论文已被IEEE EMBC 2026接收，共同第一作者为Sicong Chang和Yidan Shen。
**传统表示系统**（如傅里叶级数、小波）虽解析优雅，却难以适应高维数据的复杂结构；**神经网络**虽能学习特征，却常以牺牲可解释性和数学透明性为代价。arXiv上最新的论文《Data-Driven Variational Basis Learning Beyond Neural Networks》提出了一种**非神经框架DVBL**，直接通过变分优化从数据中学习基函数，在保持显式、可解释的同时实现自适应表示。 ### 核心思路：基函数作为优化变量 DVBL将**基原子**视为可直接优化的变量，与样本特定系数、潜在线性演化算子联合学习。这不同于固定基扩展，而是让基函数根据数据内在结构自动调整，形成数据自适应的基展开。 ### 理论保障与算法设计 论文严格证明了**极小值存在性**，并设计了**交替最小化算法**，具有块坐标下降的收敛性质。同时给出了**系数恢复**与**基可辨识性**的条件，确保学习到的基函数有实际意义。此外，流形正则化与动力学正则化可被无缝集成，无需借助任何神经网络架构。 ### 与现有方法的对比 - **经典字典学习**：通常基于稀疏编码，基原子更新依赖固定规则；DVBL则直接变分优化，更具灵活性。 - **谱方法与Koopman算子**：限于线性或特定动力学假设；DVBL可处理更一般的非线性数据。 - **深度表示学习**：依赖多层非线性变换，黑箱性强；DVBL保持显式基展开，数学上更透明。 ### 意义与展望 DVBL为**可解释的AI**提供了一条新路径：在保留数据驱动适应性的同时，恢复经典表示理论的清晰结构。未来可应用于物理建模、动力系统识别、信号处理等领域，尤其适合需要**严格数学保证**且对解释性要求高的场景。不过，论文目前主要提供理论框架与算法设计，大规模实验验证有待后续工作。 ## 小结 这项研究提醒我们：**神经网络的统治地位并非不可动摇**。通过巧妙的设计，非神经方法同样能在适应性与可解释性之间取得优雅平衡。DVBL或许只是开始，未来或将涌现更多“后神经网络”时代的表示学习范式。
物理信息神经网络（PINN）近年来在科学机器学习领域备受关注，其核心优势在于能将物理定律（如偏微分方程）嵌入网络训练，从而在数据稀缺时仍能做出合理预测。然而，传统PINN面临一个经典难题：**物理残差与数据损失之间的权重如何设定**？固定权重或启发式调参往往导致训练不稳定或泛化能力差，尤其在仅有少量实验或模拟数据时，这一问题尤为突出。 近日，一篇发表于arXiv的论文提出了一种**自监督PINN框架**，通过引入一个**可学习的混合神经元**，动态调整物理项与数据项的贡献比例。该机制基于**不确定性**自动平衡两项损失——不确定性较高的项权重自动降低，从而避免训练被噪声或误差较大的信号主导。这相当于让网络自己“学会”如何权衡物理先验与观测数据，无需人工反复调参。 ## 关键创新：可学习混合神经元 论文的核心模块是一个**可学习的混合神经元**，它输出两个权重系数，分别对应物理残差损失和数据损失。权重通过softmax归一化，并随训练迭代更新。这种设计借鉴了多任务学习中的不确定性加权思想，但专门适用于物理与数据两种异构监督信号的平衡。实验表明，该机制能显著提升训练稳定性，并让模型在测试集上取得更低的误差。 ## 迁移学习：让知识“举一反三” 为进一步缓解数据稀缺问题，论文还整合了**迁移学习策略**：先在一个相关但数据充足的源域上预训练模型，再将其表示迁移到目标域，仅用少量目标域数据进行微调。这种“先学通识、再学专长”的方式，大幅降低了目标域所需的数据量。 ## 验证案例：液态金属微型散热器的热传导预测 作者在**液态金属微型散热器**的热传导预测任务上验证了框架。仅使用**87个CFD模拟数据点**，自适应PINN的预测误差**低于8%**，显著优于浅层神经网络、核方法以及仅依赖物理方程的基线模型。这一结果充分展示了该方法在**工业级数据稀缺场景**下的实用价值。 ## 行业意义与未来方向 这项研究为**科学机器学习中的数据-物理融合**提供了一条通用且鲁棒的路径。其意义不仅在于性能提升，更在于**自动化**与**可迁移性**：无需专家手动调节超参数，且能跨系统复用知识。未来，该框架有望应用于流体动力学、材料建模、气候预测等更多领域，推动PINN从实验室走向真实工程。 当然，论文也指出当前工作主要基于仿真数据，未来需在真实实验数据上进一步验证。此外，可学习混合神经元的计算开销与更复杂的物理约束形式（如多PDE耦合）下的表现，也是值得探索的方向。
arXiv:2605.05216v1 Announce Type: new Abstract: Large language models (LLMs) with a large number of parameters achieve strong performance but are often prohibitively expensive to deploy. Recent work explores using teams of smaller, more efficient LLMs that collectively match or even outperform a single large model. However, jointly updating multiple agents introduces compounding distribution shifts, making coordination and stability during training difficult. We address this by introducing Seque
生成模型（如扩散模型和大语言模型）的中间表示操控（steering）是一种在部署后对齐和安全场景中广泛使用的技术，但长期以来缺乏系统的理论支撑。近日，一篇发表于 arXiv 的论文《MidSteer: Optimal Affine Framework for Steering Generative Models》填补了这一空白，提出了一个统一且最优的仿射操控框架。 ## 从概念擦除到概念切换 论文首先建立了操控与仿射概念擦除之间的理论联系。作者证明，标准的概念移除方法实际上是 LEACE（一种闭式仿射擦除方法）的特例。在此基础上，他们提出了 **LEACE-Switch**，一个用于概念切换（concept switching）的最优仿射框架，并明确了其成立所需的假设条件。 然而，LEACE-Switch 的假设在实际应用中可能过于严格。为此，作者进一步提出了 **MidSteer（最小扰动概念操控）**，这是一个更通用的仿射框架，它放松了 LEACE-Switch 的假设，允许进行 **有方向、最小扰动** 的变换。MidSteer 的核心思想是：在保持生成模型原有性能（即最小化对表示的扰动）的同时，精确地将指定概念的方向进行操纵（如增强或抑制）。 ## 跨模态、跨架构的验证 论文在多个任务、模态和架构上验证了 MidSteer 的效果，包括 **视觉扩散模型**（如 Stable Diffusion）和 **大语言模型**（如 GPT-2 和 Llama）。实验结果表明，MidSteer 在概念操控的准确性、生成质量的保持以及计算效率方面均优于现有方法。 例如，在扩散模型中，MidSteer 可以更精准地控制图像中的属性（如“微笑”或“年龄”），同时不改变与目标属性无关的部分；在语言模型中，它可以用于调整输出的情感倾向或主题，而避免生成不自然或语法错误的文本。 ## 理论贡献与行业意义 这项工作的理论贡献在于： - 首次将操控问题形式化为仿射变换下的优化问题，并给出了最优闭式解。 - 统一了概念擦除和概念切换两种任务，揭示了它们的内在联系。 从行业角度看，MidSteer 为生成模型的安全部署提供了更可靠的工具。例如，在内容审核中，可以精确移除有害概念（如暴力、偏见），同时保留模型的其他能力；在个性化生成中，可以按需增强特定风格或主题。由于 MidSteer 是 **模型无关** 的，它可以直接应用于现有预训练模型，无需重新训练或微调，降低了落地成本。 ## 小结 MidSteer 不仅为生成模型操控提供了坚实的理论基础，还给出了一个实用且高效的算法。随着生成模型在更多领域落地，这类可解释、可控制的技术将变得越来越重要。未来，研究者可以进一步探索 MidSteer 在多概念联合操控、动态环境适应等方向的扩展。
神经网络架构搜索（NAS）长期面临一个核心矛盾：如何在昂贵的评估成本下，既利用已有架构知识，又探索新设计。大语言模型（LLM）凭借其丰富的架构与编码先验知识，成为NAS的得力助手——它能将先验知识转化为可执行的代码修改。然而，实践中一个看似局部的修改往往引发非局部的行为与性能变化，因为单次编辑可能无意中耦合多个相互影响的功能因素，研究者称之为**功能纠缠**。 为解决这一问题，来自中国的研究团队提出**SPARK（Structured Progressive Knowledge Activation）**，一种结构化渐进知识激活方法。其核心思路是：明确选择要修改的功能因素，并让编辑操作以该因素为条件，从而减少纠缠带来的副作用，实现更精准、更可靠的架构修改。 ### 方法亮点 SPARK并非盲目依赖LLM的直觉，而是通过结构化流程逐步激活相关知识。它首先识别架构中可独立调整的功能因素（如卷积核大小、层数、跳跃连接等），然后针对选定因素生成条件化编辑。这种“因素条件化”设计使得每次修改都目标明确，避免了牵一发而动全身的困境。 ### 实验结果 在**CLRS-DFS**基准测试上，SPARK展现出惊人效果： - **样本效率提升28.1倍**：架构进化速度大幅加快，意味着用更少的评估次数找到更优架构。 - **OOD准确率相对提升22.9%**：在分布外数据上泛化能力显著增强，说明搜索到的架构更具鲁棒性。 ### 行业意义 这项研究为LLM驱动的自动化机器学习（AutoML）提供了新范式。传统NAS方法如强化学习或进化算法通常需要数千次评估，而SPARK通过精准激活LLM的先验知识，大幅降低了搜索成本。尤其对于资源受限的团队，这意味着能用更少的算力获得高性能模型。 此外，SPARK提出的“功能纠缠”概念揭示了LLM在代码修改中的常见陷阱，对AI辅助编程、模型压缩等下游任务也有借鉴意义。未来，团队计划将SPARK扩展到更多NAS搜索空间和图像分类任务中，探索其通用性。 ### 小结 SPARK通过结构化知识激活与因素条件化编辑，有效解决了LLM在NAS中的功能纠缠问题，实现了效率与性能的双重提升。这不仅推动了NAS技术的发展，也为LLM在工程优化领域的应用提供了新思路。
无监督表示学习的目标是从感官数据中提取有意义的特征，但什么才算是“好”的表示，至今缺乏统一的理论解释。近日，东京大学的研究团队在 arXiv 上发表了一项新研究，提出一种基于群分解理论的变换分类方法，通过参数划分与同态约束来识别变换中的结构，无需监督信号即可将旋转、平移、缩放等变换归入不同类别。 ## 从解耦到群分解：表示学习的新视角 经典解耦学习追求表示中各个因子相互独立，但当真实世界的变换因子相互耦合时（比如物体同时发生旋转和平移），独立假设便不再成立。此前，该团队曾利用伽罗瓦理论，通过将变换分解为两个变换的乘积来学习群结构，其中一个因子被限制在正规子群内。然而，该方法依赖运动、等距等辅助假设，且消融实验未能清晰分离理论约束与辅助假设的效果。 ## 参数划分：更简洁的理论框架 新方法**参数划分**（Parameter Division）摒弃了辅助假设，直接对单个变换的参数进行拆分：将完整变换的参数分为若干分量，并施加同态约束——要求完整变换到某一分量的映射保持群运算结构。该分量的核（即映射到单位元的变换集合）恰好构成一个正规子群。通过这种方式，模型可以自动识别出变换中哪些成分构成结构化的子群。 实验在包含旋转、平移、缩放的图像对上进行。消融研究显示，正是群分解约束驱动了正确的分类行为，而非数据中的统计偏差。 ## 理论意义与潜在应用 这项工作为无监督表示学习提供了更坚实的代数基础。相比依赖统计独立性的方法，群分解框架能够处理非交换变换（如三维旋转），并有望推广到更复杂的视觉变换场景。未来，该方法或可应用于机器人感知中的运动分类、图像生成中的可控编辑，以及任何需要从数据中自动发现变换结构的问题。 不过，研究目前仍停留在合成数据阶段，真实场景下的泛化能力还有待验证。但无论如何，将抽象代数引入表示学习，不失为一条值得探索的方向。
实现内生机制切换是自主智能涌现的关键，但现有机器学习系统通常依赖外部调度来改变行为模式。近日，一篇发表于 arXiv 的论文提出了一种全新的分类框架，将学习动力学划分为**标量可约**与**标量不可约**两类，并证明后者能够自发产生机制切换，为构建真正自主的学习系统提供了理论基础。 ## 核心思想：从外部预设到内部组织 传统机器学习系统（如深度神经网络训练）大多采用梯度下降及其变体，其动力学可被归结为某个标量目标函数（如损失函数）的梯度流。作者将这类系统称为“标量可约”动力学——无论其优化过程多么复杂，最终行为都受单一标量势能面引导。这种设计使得系统只能在预设的损失景观中“滑行”，无法自主跨越不同的行为模式。 与之相对，“标量不可约”动力学无法被任何标量势能函数描述。它通过**快变量与慢变量之间的循环反馈**产生内在驱动：快变量（如神经元活动）迅速响应环境，而慢变量（如突触权重或网络结构）则缓慢适应，两者耦合形成非平衡态循环。这种结构使得系统能够在不依赖外部调度的情况下，自发地从一种稳定模式跃迁到另一种模式，即实现**内生机制切换**。 ## 最小模型与涌现行为 论文通过一个最小动力学模型展示了该机制：模型包含一对快慢变量，其演化方程不存在全局势能函数。当快变量驱动慢变量越过某个临界阈值时，系统会突然切换至新的动力学吸引子，随后慢变量在新状态下继续演化，为下一次切换埋下伏笔。这种“积累-爆发”式的循环与自然界中的地震、神经脉冲等现象类似，但首次被严格证明可在学习系统中内生实现。 实验表明，该系统能够持续产生无外部干预的机制切换，且切换频率和模式由内部参数自然调控，而非外部预设。这暗示了一种**自主探索**的可能性：学习系统不再被动等待工程师调整学习率或网络结构，而是能够根据内部状态变化主动调整自身行为。 ## 对 AI 行业的启示 当前大模型训练高度依赖精心设计的调度策略（如余弦退火、课程学习），这些本质上都是外部机制切换。论文提出的框架提供了一条新路径：未来或许可以设计出**自组织训练算法**，让模型在训练过程中自动切换学习阶段，甚至涌现出类似“理解-反思-重构”的认知循环。 此外，该理论对强化学习中的探索-利用困境、持续学习中的灾难性遗忘等问题也有参考价值。标量不可约动力学可能天然具备在多个任务模式间自适应切换的能力，从而缓解传统方法中“固定目标函数导致僵化”的弊病。 ## 局限与展望 目前工作仍停留在理论证明与最小模型验证阶段，尚未在真实规模的任务上测试。如何将标量不可约动力学具体实现为可训练的神经网络架构，以及如何确保其稳定性与可解释性，仍是待解决的关键问题。但这一方向无疑为“自主智能”提供了新的数学语言，正如作者所言：“自适应行为应由内部组织，而非外部规定。” ## 小结 这篇论文通过重新审视学习动力学的数学结构，揭示了标量不可约性作为内生机制切换的充分条件。它挑战了“所有学习都是优化”的传统观点，并为构建能够自发组织、持续演化的自主系统指明了可能的方向。对于关注 AI 基础理论的研究者而言，这是一篇值得深入研读的里程碑式工作。
## 背景：上下文学习的机制谜题 大型语言模型（LLM）能够通过少量示例（few-shot demonstrations）快速学习新任务，这一能力被称为**上下文学习（In-Context Learning, ICL）**。然而，模型究竟如何从示例中提取任务身份（task identity）？过去的研究多采用线性探针（linear probing）方法，发现模型在特定层能高精度解码任务信息，暗示任务表征可能集中于少数位置。 ## 核心发现：探针精度 ≠ 因果重要性 来自 arXiv 的新研究（论文 ID：2605.04061）对此提出了挑战。作者在 **Llama-3.2-3B** 模型上进行实验，发现一个惊人的**解离现象**： - 线性探针在单一位置（如最后一个示例的输出 token）能达到 **100% 的分类准确率**。 - 但若在该位置进行激活干预（替换激活值），任务迁移成功率却为 **0%**——干预完全不起作用。 这意味着：探针能读取出任务信息，但该位置并非任务表征的因果来源。任务编码本质上是**分布式**的。 ## 关键突破：多位置干预与分布式模板假说 当研究者同时替换**所有演示输出 token** 的激活值时，任务迁移率在**第 8 层（约 30% 网络深度）** 飙升至 **96%**（N=50, 95% CI: [87%, 99%]）。这是首次精确定位 ICL 任务身份的因果位点。 进一步因果追踪揭示了一个**不对称架构**： - **查询位置**（query position）是**严格必要**的（干预后任务破坏率 53-100%）。 - 没有任何单个演示位置是必要的（破坏率 0%）。 这解决了此前文献中的关键歧义。更重要的是，任务迁移取决于**内部表征的兼容性**（r=0.31），而非表面相似性（r=-0.05），排除了简单模式匹配的解释。 基于这些证据，作者提出**分布式模板假说**：ICL 任务身份并非存储于单一位置，而是作为**输出格式模板**分布在所有演示 token 的激活中。模型通过整合这些分布式信号来“理解”任务。 ## 跨模型验证与通用性 该发现在 **LLaMA、Qwen、Gemma** 三个架构家族的四个模型中得到验证，均存在一个约 30% 网络深度的通用干预窗口。这表明分布式模板机制可能是 LLM 中 ICL 的通用原理。 ## 意义与影响 这项研究对可解释性领域有重要启示： 1. **方法论警示**：线性探针的高准确率可能具有误导性，因果干预才是验证表征必要性的金标准。 2. **理论更新**：从“局部表征”转向“分布式模板”，重新定义了 ICL 的运作方式。 3. **未来方向**：如何利用分布式模板设计更高效的 ICL 方法？如何防止对抗性操纵？ 该论文已被 **ICLR 2026** 相关研讨会接收，标志着我们对 ICL 机制的理解迈出了关键一步。
近年来，扩散模型在图像生成领域取得了突破性进展，但其多步迭代采样的过程往往耗时较长。为了解决这一问题，**单步神经函数评估（NFE）** 成为研究热点。2025年，一种名为 **Drifting Model** 的新范式被提出，它通过计算一个“漂移项”来引导模型输出，在 ImageNet 上以单步 NFE 实现了 SOTA 性能。近日，来自新西兰维多利亚惠灵顿大学和日本 NTT 的研究团队在此基础上提出了 **Lookahead Drifting Model**，进一步提升了生成质量。 ### 从单步漂移到多步“前瞻” 原始 Drifting Model 的核心思想是：在每次训练迭代中，计算一个漂移项，然后将模型输出往该漂移项的方向推动。这个漂移项本质上利用了正样本的信息，引导模型输出向真实分布靠近。然而，单次漂移项只能捕捉一阶梯度信息，对于复杂的分布映射可能不够充分。 Lookahead Drifting Model 的关键改进在于：**在每次训练迭代中，顺序计算一组漂移项**。每个新的漂移项都会利用之前计算出的漂移项、正样本以及当前模型输出。这样，后续的漂移项能够捕获 **高阶梯度信息**，从而更精准地指向正样本区域。最后，模型输出会朝着这些漂移项的加权求和方向进行优化。 ### 实验表现：简单数据上的显著提升 研究团队在 **Toy 示例** 和 **CIFAR-10** 数据集上进行了验证。实验结果表明，Lookahead Drifting Model 在生成质量上显著优于原始 Drifting Model 基线。虽然目前尚未在 ImageNet 等大规模数据集上进行测试，但这一改进思路为单步生成模型提供了新的方向。 ### 行业意义与未来展望 Lookahead Drifting Model 的提出，体现了生成模型领域对 **“更快 + 更好”** 的持续追求。单步 NFE 方法有望大幅降低推理延迟，使得高保真图像生成在实时应用（如视频编辑、交互式设计）中成为可能。此外，该方法的“前瞻”机制类似于优化算法中的 **Nesterov 动量**，或许能启发更多跨领域的技术融合。 当然，该研究仍处于早期阶段。如何将 Lookahead Drifting Model 扩展到更高分辨率、更复杂的数据集，以及如何与其他生成框架（如 GAN、流匹配）结合，都是值得探索的方向。对于关注生成模型效率的研究者而言，这篇论文提供了一个简洁而有效的改进方案。
随着深度学习模型规模不断膨胀，部分大模型的存储需求甚至超过了许多大型数据集。针对这一趋势，来自东京大学的研究团队提出了一种全新范式——**持续蒸馏（Continual Distillation, CD）**，旨在让一个轻量级学生模型从一系列教师模型中顺序学习，而无需保留对早期教师模型的访问权限。相关论文已被 **CVPR 2026** 接收，代码也已开源。 ## 核心挑战：无数据与遗忘 CD 面临两大核心挑战：第一，教师模型的训练数据通常不可获取；第二，不同教师来自不同领域，专长各异。传统知识蒸馏通常假设教师数据可用，但在持续学习场景下，学生只能依赖教师输出的软标签或 logits，而无法接触到原始训练样本。此外，顺序蒸馏会导致灾难性遗忘——学生从后序教师学到新知识时，会遗忘先前教师传递的知识。 ## 创新机制：未知知识迁移与遗忘 研究团队发现，利用外部无标签数据可以实现 **未知知识迁移（Unseen Knowledge Transfer, UKT）**，即学生能够从教师那里获取训练数据中未出现的领域知识，而这些知识对教师而言是已知的。例如，一个在自然图像上训练的教师，可能通过外部数据间接传递医学影像的特征。 然而，顺序蒸馏也引发了 **未知知识遗忘（Unseen Knowledge Forgetting, UKF）** 问题：当学生学习后续教师的知识时，先前迁移的未知知识可能被覆盖。 ## SE2D：平衡迁移与遗忘的解决方案 为了在 UKT 和 UKF 之间取得更好权衡，该研究提出了 **SE2D（Self External Data Distillation）** 方法。其核心思想是：在外部数据上保存每个教师模型的 logits，并在后续训练中利用这些 logits 作为稳定信号，从而抑制遗忘。具体来说，SE2D 在蒸馏过程中引入了一个外部数据集（无需标签），学生不仅要拟合当前教师的输出，还要回顾之前保存的 logits，以此维持对旧知识的记忆。 ## 实验效果与意义 在多个基准测试上，SE2D 显著减少了 UKF，并提升了跨域泛化能力。例如，在从自然图像到医学图像再到卫星图像的序列蒸馏中，SE2D 相比基线方法在目标域准确率上提升了 5-10%。这一工作为模型压缩与持续学习交叉领域提供了新思路，尤其适用于边缘设备上的模型更新——当云端教师不断升级时，本地学生可以通过 CD 持续吸收知识，而无需重新收集历史数据或访问旧模型。 ## 小结 持续蒸馏将知识蒸馏与持续学习相结合，解决了数据不可访问和领域异质性两大痛点。SE2D 通过外部数据上的 logits 缓存，有效缓解了遗忘，为未来多源知识融合提供了实用方案。研究者已公开代码，感兴趣的读者可进一步探索。
深度学习模型的训练中，不同层和模块往往具有异构的优化动态（optimization dynamics），但主流自适应优化器如 **AdamW** 对所有参数组应用统一的超参数，忽略了这种差异。针对这一局限，来自研究者提出了一种新型优化器 **MetaAdamW**，通过引入自注意力机制（self-attention）为每个参数组动态调节学习率和权重衰减。 ## 核心设计：轻量级Transformer编码器 MetaAdamW 的核心是一个轻量级的 Transformer 编码器，它接收每个参数组提取的统计特征（包括梯度范数、动量范数、梯度与动量之间的相关性等），并输出对应组的调制因子（modulation factors），用于动态调整该组的学习率和权重衰减。这种设计使得优化器能够感知不同层在训练过程中的状态差异，从而做出更精细的调整。 ## 元学习目标与任务优先级 为了训练这个注意力模块，论文设计了一个元学习目标（meta-learning objective），该目标同时考虑三个信号：梯度对齐（gradient alignment）、损失下降（loss decrease）以及泛化差距（generalization gap）。特别值得注意的是，作者扩展了同方差不确定性加权（Homoscedastic Uncertainty Weighting, HUW）方法，引入了**任务特定优先级**（task-specific priorities），直接对损失中的正则项进行缩放，从而允许将领域知识融入自动损失平衡过程。 ## 实验结果：显著提升与效率兼顾 研究者在五个不同任务上进行了广泛实验： - **时间序列预测**（ETT） - **语言建模**（WikiText-2） - **机器翻译**（Multi30k） - **图像分类**（CIFAR-10） - **情感分析**（IMDB） 结果显示，MetaAdamW 在验证损失、准确率或困惑度上一致优于标准 AdamW 基线。具体而言，根据任务不同，MetaAdamW 要么**减少总训练时间（最高达 17.11%）**，要么**提升最终性能（最高达 11.08%）**，同时仅引入适度的计算开销。在某些情况下，它还能缓解因过早停止（early stopping）导致的收敛不足问题。 ## 消融研究：各组件均有效 通过消融实验，论文验证了不同特征版本、分组策略以及所提出的优先级注入不确定性加权（priority-injected uncertainty weighting）各自的有效性。这表明 MetaAdamW 的每个设计环节都对其最终效果有贡献。 ## 意义与展望 MetaAdamW 代表了一种将元学习与自注意力机制结合的优化器设计新思路。它不仅提升了现有优化器的性能，还为未来自适应优化器的发展提供了可扩展的框架——通过轻量级神经网络动态调整超参数，有望在更大规模的模型和数据集上取得进一步突破。对于追求训练效率与模型性能的实践者而言，这一方法值得关注。
## 背景与挑战 大模型迁移学习（Transfer Learning）虽已广泛用于下游任务，但传统参数高效微调（PETL）方法在减少可训练参数的同时，仍因反向传播导致显存开销巨大。为此，**记忆高效迁移学习（METL）** 通过轻量侧网络绕过骨干梯度计算，大幅降低显存占用，但侧网络的学习能力受限于严格的记忆约束，性能往往不尽如人意。 ## 核心创新：MP-ISMoE 针对上述矛盾，来自研究团队的论文（已被AAAI 2026接收）提出 **MP-ISMoE（混合精度交互式侧边混合专家框架）**，从两个维度实现突破： ### 1. 高斯噪声扰动迭代量化（GNP-IQ） 通过引入高斯噪声扰动，对模型权重进行**迭代式低比特量化**，在将权重压缩至更低比特位的同时，有效降低量化误差。相比传统量化方法，GNP-IQ能保留更多原始信息，为后续扩展侧网络腾出宝贵的显存空间。 ### 2. 交互式侧边混合专家（ISMoE） 利用GNP-IQ节省的显存，MP-ISMoE引入**交互式侧边混合专家**模块。与常规混合专家（MoE）不同，ISMoE并非独立选择专家，而是**与冻结骨干网络中的显著特征进行交互**，根据下游任务动态挑选最合适的专家。这种设计不仅抑制了知识遗忘，还显著提升了侧网络的学习容量。 ## 实验结果 在**多模态视觉-语言任务**（如VQA、图像描述）和**纯语言任务**（如GLUE基准）上的广泛实验表明： - MP-ISMoE在**准确率**上全面超越现有最优METL方法，例如在VQA v2数据集上提升约1.5个百分点。 - 同时，其**参数量和显存效率**与最先进的METL方法持平，甚至更优。 ## 行业意义 MP-ISMoE的核心价值在于打破了METL中“记忆-容量”的固有权衡。通过混合精度量化腾出空间，再以交互式MoE注入容量，为大模型在资源受限设备（如移动端、边缘计算）上的高效微调提供了可行路径。 > 一句话总结：**用量化“省”出来的显存，喂给更聪明的侧边专家，让轻量迁移学习不再牺牲性能。**
一篇即将发表于 AAAI 2026 夏季研讨会系列的论文揭示了一个令人不安的现象：**在完全良性的数据上微调防护模型，可能导致其安全对齐彻底失效**——这并非通过对抗性攻击，而是通过常规的领域专业化过程。 来自多所大学的研究团队对三类主流安全分类器——**LlamaGuard、WildGuard 和 Granite Guardian**——进行了系统测试。这些模型通常作为智能体 AI 管线中的保护层部署，负责拦截有害输出。然而，研究发现，即使在微调中仅使用无害数据，这些模型的安全边界也会逐渐崩溃。 ### 安全几何结构的消解 论文的核心发现是：微调破坏了模型的“潜在安全几何结构”——即隐空间中区分有害与良性表征的结构化边界。研究团队通过 SVD 分解类条件激活差异，逐层提取安全子空间，并追踪其在微调中的演化。结果触目惊心： - **Granite Guardian** 完全崩溃，拒绝率从 **85% 骤降至 0%**，CKA（表征相似度指标）归零，**100% 的输出变得模糊**。 - 这种脆弱性远超此前在通用大语言模型上的观察，研究者将其归因于**专业化假设**：安全表征越集中、越高效，就越容易因领域偏移而灾难性失效。 ### 从破坏到修复：FW-SSR 正则化方法 为应对这一风险，团队提出了 **Fisher 加权安全子空间正则化（FW-SSR）**。该方法在训练时引入两项惩罚： 1. **曲率感知方向权重**：基于对角 Fisher 信息矩阵，识别对安全分类关键的方向。 2. **自适应 λt**：根据任务梯度与安全梯度的冲突程度动态调整正则化强度。 实验结果表明，FW-SSR 能够有效恢复安全性能： - **Granite Guardian** 的拒绝率回升至 **75%**，CKA 达到 **0.983**。 - **WildGuard** 的攻击成功率降至 **3.6%**，甚至优于未经微调的基线模型——原因在于 FW-SSR 并非简单地锚定原有边界，而是主动锐化安全子空间。 ### 对智能体部署的启示 研究还指出，**结构表征几何指标（如 CKA、Fisher 分数）比简单的位移度量更能预测安全行为**。这意味着，在智能体系统的持续部署中，仅监控输出拒绝率远远不够，必须引入几何层面的表征监控。 ### 行业背景与展望 随着 AI 智能体从原型走向生产环境，安全防护模型正成为关键基础设施。然而，这项研究提醒我们：**安全对齐并非一劳永逸**。即使是看似无害的微调——比如为了让模型适应特定领域术语或格式——也可能意外瓦解精心构建的安全防线。FW-SSR 提供了一种可行的训练时保护机制，但更根本的启示在于：我们需要重新审视安全对齐的鲁棒性，尤其是在持续学习和领域适应场景中。 论文链接：arXiv:2605.02914
在软件运维领域，大语言模型（LLM）正受到越来越多的关注。然而，现有研究因数据质量低、知识碎片化和学习不充分，尚未实现高效、有效的端到端智能运维。为探索 LLM 在软件运维中的潜力，研究团队提出了 **OpsLLM**——一个支持基于知识的问答（QA）和根因分析（RCA）的专用大模型。 ## 构建流程：从数据到模型 OpsLLM 的构建遵循一套完整的端到端工作流： 1. **数据构建**：引入人机协同（Human-in-the-Loop）机制，从海量运维原始数据中筛选并构建高质量微调数据集。 2. **监督微调**：基于上述数据集进行监督式微调，获得基础模型。 3. **强化学习优化**：在强化学习阶段引入领域过程奖励模型（Domain Process Reward Model, DPRM），专门针对 RCA 任务优化模型的准确性和可靠性。 ## 性能表现：超越现有模型 实验在多种难度任务上进行，结果显示 OpsLLM 能够有效学习并对齐运维领域知识，在准确率上显著优于现有的开源和闭源 LLM： - **QA 任务**：提升 **0.2%~5.7%** - **RCA 任务**：提升 **2.7%~70.3%** 此外，OpsLLM 表现出强大的迁移能力。 ## 开源计划 研究团队将开源三个版本的 OpsLLM，参数量分别为 **7B、14B 和 32B**，同时附带一个 **15K 规模的微调数据集**，以推动该领域的进一步研究。
近日，一项名为 **StateSMix** 的新型无损压缩方案引发关注。该方案完全自包含，无需预训练权重、GPU或外部依赖，仅通过在线训练一个轻量级 Mamba 风格状态空间模型（SSM），结合稀疏 N-gram 上下文混合与算术编码，即可在标准基准上超越传统压缩工具如 xz。 ## 核心架构：SSM + 稀疏 N-gram 混合 StateSMix 的核心是一个参数约 12 万的 SSM（维度 32，层数 2），它在压缩过程中逐 token 在线训练，为每个 BPE token 提供连续更新的概率估计。与此同时，系统维护了 9 个稀疏 N-gram 哈希表（从 bigram 到 32-gram，每个表 1600 万槽位），通过 softmax 不变的对数偏置机制精确记忆局部和长距离模式。SSM 和 N-gram 的贡献由熵自适应缩放机制动态调节——当 SSM 预测置信度高时，N-gram 的影响自动减弱，避免过度修正。 ## 性能表现：轻量级击败传统算法 在标准 enwik8 基准上，StateSMix 在 1MB、3MB 和 10MB 数据上分别达到 **2.123、2.149 和 2.162 bpb**，相比 xz -9e（LZMA2）压缩率分别提升 8.7%、5.4% 和 0.7%。消融实验显示，SSM 是主要压缩引擎：单凭 SSM 即可比频数基线减少 46.6% 体积，且无需 N-gram 组件已超越 xz；而 N-gram 表通过精确上下文记忆额外贡献 4.1% 的增益。 ## 工程实现与效率 StateSMix 完全用纯 C 语言实现，并利用 AVX2 SIMD 指令集加速。在普通 x86-64 硬件上，每秒可处理约 **2000 个 token**。训练循环通过 OpenMP 并行化，在 4 核上获得 1.9 倍加速。这意味着它无需 GPU 即可在 CPU 上高效运行，非常适合资源受限的环境。 ## 行业意义与展望 StateSMix 展示了将现代序列模型（如 Mamba）与传统压缩技术结合的巨大潜力。其在线学习特性尤其适合流式数据或一次性文件压缩场景，避免了预训练模型对海量数据和算力的依赖。未来，该方法有望进一步扩展到图像、音频等领域的无损压缩，或与更高效的 tokenizer 结合以提升性能。
Transformer 推理过程中，键值（KV）缓存的大小随序列长度线性增长，成为长上下文部署的主要瓶颈。近日，一篇来自 arXiv 的论文提出了一种名为 **eOptShrinkQ** 的新型压缩方法，将随机矩阵理论引入 KV 缓存压缩，在近乎无损的前提下将缓存压缩至约 2.2 bits 每项，并在多项基准测试中超越现有方法。 ## 核心发现：KV 缓存的双重结构 研究人员发现，Transformer 注意力头中的 KV 缓存天然可分解为两部分：一个**低秩的“共享上下文”成分**和一个**满秩的“逐词残差”**。这一结构恰好可以用“尖峰随机矩阵模型”（spiked random matrix model）精确描述。共享上下文捕获了跨 token 的公共信息，而残差则包含每个 token 的独特细节，且其坐标具有“薄壳性质”（thin shell property）——即能量在各维度上均匀分布。 ## 两阶段压缩流水线 基于上述发现，eOptShrinkQ 设计了一个两阶段流程： 1. **最优奇异值收缩（eOptShrink）**：利用随机矩阵理论中的 BBP 相变（BBP phase transition），自动确定共享上下文的秩，并对奇异值进行最优收缩，从而干净地分离出低秩结构。这一步不仅提取了主要信息，还**恢复了残差的各向同性**——这是后续标量量化的关键前提。 2. **残余量化（TurboQuant）**：对去噪后的残差，使用近期提出的近最优逐向量标量量化器 TurboQuant 进行压缩。由于第一步恢复了各向同性，量化过程不再需要专门处理异常值或修正内积偏差，从而将节省的比特用于提升重建质量。 ## 理论保证与实验验证 论文从随机矩阵理论出发，提供了三个关键的理论保证： - **自动秩选择**：通过 BBP 相变阈值，无需手动调参即可确定低秩成分的维数。 - **近零内积偏差**：去噪后的残差在理论上保证内积偏差几乎为零。 - **坐标离域性**：残差的能量均匀分布，确保量化失真接近理论最优。 实验在 **Llama-3.1-8B** 和 **Ministral-8B** 两个模型上进行了全面验证： - **逐层指标**：在每头 MSE 和内积保真度上，eOptShrinkQ 在同等质量下比 TurboQuant 每项节省近 1 bit。 - **长文本基准**：在 LongBench（16 个任务）上，eOptShrinkQ 在约 **2.2 bits 每项**时性能优于 TurboQuant 在 3.0 bits 时的表现。 - **多针检索**：在需要精确回忆的检索任务中，2.2 bits 的 eOptShrinkQ 接近甚至超过未压缩的 FP16 基线，表明谱去噪本身可能对检索密集型任务起到有益的正则化作用。 ## 行业意义 这项工作的价值在于将严谨的数学理论与工程压缩需求结合。传统的 KV 缓存压缩方法往往依赖启发式异常值处理或逐层调参，而 eOptShrinkQ 提供了一套理论指导的自动化方案。随着大模型上下文窗口不断扩展，近乎无损的 2-bit 级别压缩有望大幅降低推理成本，使长序列应用（如文档分析、多轮对话）更加实用。