## 从高斯宽度到Fisher宽度：统计流形的几何复杂度新视角 在高维概率、压缩感知、凸优化和学习理论中，**高斯宽度**（Gaussian width）一直扮演着核心角色。它通过衡量一个集合在随机方向上的平均延伸程度，有效刻画了约束集、假设类和下降锥的“有效维度”。然而，这一概念本质上依赖于欧几里得几何——而统计模型本身拥有由**Fisher信息度量**诱导的自然黎曼几何，其中方向的重要性取决于统计可区分性，而非欧氏长度。 近期一篇arXiv论文（arXiv:2606.18306）提出了**Fisher宽度**（Fisher width），作为统计流形上高斯宽度的黎曼几何类比。作者Vu Khac Ky从理论到应用，系统构建了这一新概念的基础。 ### 核心思想：用Fisher度量“重新标度” 在参数点 θ 处，Fisher宽度用局部度量张量 G(θ)^(1/2) 替代欧几里得单位矩阵，从而测量**Fisher重新标度后的集合的高斯宽度**。这使得该度量对局部统计曲率敏感，且在平滑重参数化下保持不变。简单来说，Fisher宽度将“方向的重要性”从欧氏长度转移到统计可区分性上，更贴合统计模型的本质几何。 ### 理论性质：保留高斯宽度的优点，捕捉各向异性 论文证明Fisher宽度保留了高斯宽度的关键结构性质，包括： - **浓度性质**：高维概率下的集中性； - **度量扰动稳定性**：对度量微小变化的鲁棒性； - **谱比较界**：与欧几里得基线的比较。 更重要的是，它能捕捉欧几里得度量无法体现的**各向异性几何效应**——例如，在统计流形上不同参数方向可能具有截然不同的曲率，Fisher宽度能自然反映这种差异。 ### 应用与实证 作为应用，作者推导了**Fisher-Lipschitz假设类的泛化界**，并提出了可计算的估计量。在MNIST数据集上，针对三种模型类（如神经网络、概率模型等）的实证评估显示，Fisher宽度能有效反映模型在统计流形上的复杂度，为泛化性能提供新的几何解释。 ### 意义与展望 “Fisher宽度之于统计流形，正如高斯宽度之于欧几里得凸体。”这一工作为在弯曲统计流形上研究复杂性和学习问题奠定了基础。未来，该度量有望用于模型选择、正则化设计以及理解深度学习中的泛化现象——尤其是在参数空间具有非平凡几何结构的场景中。 对于机器学习研究者而言，Fisher宽度提供了一个更符合统计本质的复杂度工具。它在理论上的优雅性和实证中的有效性，使其成为连接信息几何与学习理论的一座新桥梁。
在监督微调（SFT）中，训练数据的分布直接影响大语言模型（LLM）的最终能力。传统数据筛选方法虽能在有限预算下加速训练，但往往难以突破模型性能的上限。近期一篇来自 arXiv 的论文提出了一种名为 **DRIFT**（Data Refinement via On-Policy Influence Functions for Supervised Fine-Tuning）的新方法，通过同策略数据归因来精细化调整指令数据分布，从而持续提升模型能力边界。 ## 核心问题：从“筛选”到“精炼” 现有数据筛选方法侧重于从大规模数据中选出子集以维持性能，但研究者指出，真正的挑战已不再是“找更小的子集”，而是“将数据分布调整为最有助于提升模型能力的实例”。为此，DRIFT 引入了基于影响函数（Influence Functions, IF）的实例级数据归因。 ## 技术突破：解决影响函数的两大局限 影响函数虽能估计每个训练样本对模型输出的贡献，但在 SFT 场景中面临两个结构性问题： 1. **邻近性差距（Proximity Gap）**：由于使用离线（off-policy）验证目标，导致参数空间中的局部近似失效。 2. **梯度范数偏差（Gradient Norm Bias）**：影响分数严重偏向梯度范数大的样本，掩盖了真实贡献。 DRIFT 的创新在于： - **同策略验证目标**：利用模型自身的同策略（on-policy）生成结果作为验证目标，而非依赖外部参考数据。这有效缩小了参数邻近性差距，使影响函数更符合局部线性假设。 - **轨迹正确性加权**：根据模型在验证查询上的生成轨迹正确性进行符号加权，并针对“梯度黑客”问题对影响分数去偏，从而仅用少量验证查询就能作为可靠锚点，归因整个训练集。 ## 实验效果：突破性能天花板 在 7B 参数的指令微调和推理模型上，DRIFT 持续提升了性能上限，优于现有数据筛选基线。这表明，通过精细化的数据归因，可以更高效地利用训练数据，推动模型在复杂任务上达到更高水平。 ## 行业意义：数据精炼成为新焦点 随着 LLM 参数规模的增长，数据质量对模型能力的影响愈发关键。DRIFT 提供了一种从“量”到“质”的转变思路：不是简单地剔除低质量数据，而是主动优化数据分布，使每个实例都能最大化地贡献于模型进步。这对于构建更强大、更可靠的 AI 系统具有重要参考价值。
近日，一篇发表于 arXiv 的研究论文（编号 2606.18303）为理解深度神经网络的训练动力学提供了全新的数学视角。该论文被 2026 年国际人工神经网络会议（ICANN 2026）接收，作者 Taiki Miyagawa 巧妙地将冲击波理论与随机梯度下降（SGD）的对称约化学习动力学联系起来，揭示了神经网络训练中隐藏的物理结构。 ### 核心思想：对称约化与粗粒化 现代神经网络（如 Transformer、卷积神经网络）的参数空间通常存在大量对称性——例如权重缩放、排列不变性等。这些对称性使得原始参数轨迹充满冗余，难以直接揭示学习本质。论文的核心创新在于：**首先对参数对称性进行商化（quotienting），然后应用局部熵粗粒化（coarse-graining）**，从而得到有效动力学方程。研究证明，经过这些处理后，神经网络的训练动力学满足一个**粘性 Hamilton-Jacobi 方程**，这是一个在经典力学和流体力学中广泛研究的偏微分方程。 ### 从 Hamilton-Jacobi 到 Burgers 方程：冲击波形成 进一步地，论文假设商化空间上的原始参数动力学可以用一个梯度场来概括。在此假设下，粗粒化损失函数的梯度满足一个**Burgers 型方程**——这是一个描述非线性波传播和冲击波形成的基本方程。Burgers 方程的一个关键特性是，即使初始条件光滑，解也会在有限时间内形成间断（即冲击波）。这意味着，**神经网络的训练过程中，损失景观的梯度场可能自发地形成“冲击波”**，对应着训练阶段的相变，例如从欠拟合到过拟合的转变、或学习速率的突然调整。 ### 广泛应用与实用价值 论文验证了该理论适用于多层感知机、卷积神经网络、Transformer 以及平均场网络等多种架构，均满足 Hamilton-Jacobi 或 Burgers 型方程。更重要的是，作者指出，**原始参数范数常常因对称性冗余而失真**，例如在 Transformer 中，层归一化后的参数范数可能误导我们对模型行为的判断。而对称性校正后的商化可观测量（quotient observables）则提供了监控、预测和控制训练阶段相变的原理性基础。这意味着，该框架有望发展为一种实用的诊断工具，帮助研究者实时识别训练中的关键转折点。 ### 意义与展望 这项工作将深度学习的训练动力学与流体力学中的冲击波理论联系起来，为理解神经网络的泛化能力、训练稳定性等核心问题提供了新的数学工具。未来，或许我们可以利用 Burgers 方程的解来预测学习率衰减的最佳时机，或通过控制冲击波的形成来避免训练崩溃。这一跨学科的融合，再次印证了物理直觉在 AI 理论中的强大解释力。
强化学习（RL）训练智能体的资源瓶颈正逐渐转向“前沿任务供给”——那些有效、可解、且刚好足够挑战当前模型的任务。随着推理和智能体模型能力的提升，固定任务分布迅速饱和，而简单的合成生成又会产生琐碎、不可能或不适定的任务。为此，来自多个机构的研究者在论文《Breaking the Solver Bottleneck: Training Task Generators at the Learnable Frontier》中提出了**PROPEL框架**，一种求解器摊销（solver-amortized）方法，能够在不频繁调用求解器的情况下，训练任务生成器以瞄准目标求解率。 ## 核心挑战：任务生成与求解器评估的权衡 在RL中，任务生成器通常需要与求解器（solver）配合：生成器创建任务，求解器尝试解决。理想的生成器应产出处于“可学习前沿”的任务——既不过于简单（已学会）也不过于困难（无法学会）。然而，直接优化任务生成器需要大量求解器评估：每一个候选任务都需要求解器实际运行，对于软件工程（SWE）任务，单次求解可能耗时数十分钟，导致训练难以扩展。 ## PROPEL框架：轻量级探针作为代理 PROPEL的核心思想是**解耦生成器优化与求解器评估**。具体来说，它首先在一个一次性标注的语料库上训练一个轻量级激活探针（activation probe）。该语料库由生成器生成的任务及其在目标求解器上的结果组成。探针从冻结的生成器参考模型中提取特征，并预测任务在目标求解器上的通过率。一旦探针训练完成，它就可以作为求解率的代理，在生成器优化过程中仅需一次前向传播即可评估任务质量，从而避免了昂贵的求解器调用。 ## 实验结果：显著提升前沿任务比例 在数学、代码和软件工程等多种任务上，PROPEL均有效将生成分布向目标求解率偏移。例如： - **代码任务**：对于Qwen2.5-3B-Instruct求解器，可学习前沿任务占比从10.1%提升至20.0%；对于Qwen2.5-7B-Instruct求解器，从5.3%提升至12.6%。 - **软件工程任务**：在未见过的仓库上，对于Qwen3.5-27B求解器，前沿任务占比从9.8%提升至19.6%。 这些结果表明，PROPEL能够在不牺牲效率的前提下，显著提升任务生成的“前沿性”。 ## 意义与展望 PROPEL为RL中的任务生成瓶颈提供了一种实用解决方案。通过摊销求解器评估，它使得训练更强大的任务生成器成为可能，进而推动智能体在更复杂、更真实的环境中进行持续学习。未来工作可进一步探索探针的泛化能力，以及将其应用于多求解器场景。
多模态大语言模型（MLLMs）的知识编辑技术虽能高效更新模型知识，但最新研究揭示了一个关键漏洞：当输入为图文配对时，实体知识可被成功更新；然而一旦将配对输入拆分为单模态（仅文本或仅图像），模型往往会“遗忘”更新内容，回退至编辑前的旧知识。这一现象被称为**编辑解耦失败（editing decoupling failure）**，其根源在于MLLMs中的实体知识并非以统一表征存储，而是分散在解耦的模态特定通路中。 来自多所机构的研究团队（Tingchao Fu等）在论文《Correct When Paired, Wrong When Split: Decoupling and Editing Modality-Specific Neurons in MLLMs》中，通过深入实证分析揭示了这一机制：多模态查询（图文对）引发的更新偏向于多模态通路，但无法有效传播至单模态回路，导致模型在单模态输入下“失忆”。 为解决该问题，团队提出**DECODE**方法，核心思路是显式解耦并定位不同模态对应的神经元群组，然后针对性地实施知识编辑。具体而言，DECODE首先通过激活模式分析识别出与文本、图像及多模态关联紧密的神经元子集，随后在编辑过程中对这些模态特定神经元分别施加约束，确保更新能同时作用于多模态和单模态推理路径。 实验在多个基准数据集上验证了DECODE的有效性： - 在多模态触发（图文对）下，DECODE的知识更新准确率与现有方法持平或更优； - 在单模态触发（仅文本或仅图像）下，DECODE显著优于基线，编辑后模型能保持更新知识，而基线方法则出现大幅衰退； - 消融实验进一步证实，模态解耦与局部编辑是缓解解耦失败的关键组件。 这项工作的启示在于：**MLLMs的知识编辑不能仅关注多模态表现，必须兼顾单模态泛化能力**。DECODE通过模态特定神经元定位提供了一种轻量级解决方案，不依赖额外训练数据或模型结构修改。未来，该方向可延伸至更多模态（如视频、音频）以及动态知识更新场景。 论文已发布于arXiv（2606.17057），并提供了实验代码与可视化分析工具。对于从事模型编辑、多模态对齐及AI安全的研究者而言，该工作揭示了当前编辑范式的盲区，并为构建更鲁棒的知识更新机制奠定了基础。
电子健康记录中的实验室检测数据往往采集不规律，而检测的缺失本身可能蕴含着与测量值同等重要的信息。近日，一项发表在 arXiv 上的研究提出了一种基于扩散模型的新方法，能够联合建模实验室检测值及其观察模式，从而生成更真实的临床时间序列数据。 ## 研究背景与核心问题 在临床实践中，医生决定何时进行某项实验室检测——例如，病情稳定的患者可能检测频率较低，而危重患者则可能接受更密集的监测。这种检测的“缺失”并非随机，而是反映了临床决策和患者生理状态。传统方法通常将缺失值视为预处理中的噪声或插补对象，但这样做会丢失缺失模式本身所携带的信息。该研究试图将缺失模式作为模型的一部分，直接捕捉其与生理指标之间的关联。 ## 方法：扩散模型联合建模 研究团队基于 **TimeDiff** 框架进行扩展，设计了一个能够同时处理连续实验室值和离散缺失模式的扩散模型。模型使用 **MIMIC-III** 数据库中的 **DACMI** 基准数据集，将检测时间对齐到 4 小时间隔，并将每次住院分割为 7 天窗口。每个时间点的数据包含一个实验室值和对应的观察指示器（0/1，表示是否在该时间点进行了检测）。通过互补的扩散目标函数，模型学习值分布和缺失模式的联合分布。 ## 实验结果与意义 实验结果显示，生成的数据在单个实验室值分布以及“值-缺失”联合嵌入空间上，均与真实患者轨迹高度吻合。这表明扩散模型能够捕捉临床实践中 **非随机缺失** 条件下的生理-检测行为依赖关系。研究者指出，这项工作可作为开发临床基础模型的初始组件——通过生成保留关键生理-缺失关系的合成先验，为后续训练 **先验数据拟合网络** 提供基础，从而充分利用信息性缺失模式。 ## 行业背景与展望 在医疗 AI 领域，如何处理不规则时间序列中的缺失数据一直是个难题。传统插补方法可能引入偏差，而忽略缺失模式则损失临床洞察。该研究将缺失视为“信号”而非“噪声”，为电子健康记录的数据生成、模型预训练和下游任务（如预后预测）提供了新思路。未来工作在更大规模数据上的验证，有望推动临床决策支持系统更准确地模拟真实医疗场景。
## 核心观点：KV缓存不只是缓存，更是可编辑的“笔记” 大型语言模型（LLM）推理中的前缀缓存（Prefix Caching）通常假设：只有完全匹配的前缀才能复用预填充结果。一旦前缀中某个字段发生变化，整个下游缓存就会失效，必须重新计算。然而，一篇来自 arXiv 的新论文提出了颠覆性观点：**KV 缓存本质上是模型在预填充阶段写下的“笔记”**，它不仅可复用，还**可编辑**和**可组合**。 ## 发现：字段自身KV对决策贡献不足1% 研究者在四个模型家族上进行因果分析后发现，当模型在预填充阶段处理一个字段（例如用户输入中的某个参数）时，它实际上已经将该字段的条件结论写入了后续位置的“笔记”（即 KV 缓存中的 value 向量）中。**字段自身的 key/value 向量对最终决策的贡献不足 1%**，真正起作用的是那些“笔记”内容。因此，直接覆盖字段的 key/value 向量并复用其余缓存，模型仍然会基于旧值行动——因为笔记没有被修改。 ## 能力一：可编辑的KV缓存 既然 KV 缓存是笔记，那么就可以像修改文档一样编辑它。论文提出了一种“勘误”（erratum）机制：只需在缓存末尾追加一个修正标记，就能修改笔记中的结论。实验表明，**结合思维链（Chain-of-Thought）时，仅编辑字段本身即可完全恢复正确决策**（在 8B 模型上准确率 1.00，仅需约 1% 的计算量）；而不使用思维链时，编辑则被忽略。这意味着编辑效果依赖于模型内部的推理结构。 ## 能力二：可组合的KV缓存 笔记还有一个关键特性：**位置可移植**。由于笔记内容与绝对位置解耦（通过旋转位置编码 RoPE 调整），一个预编译好的“技能”（例如一段推理步骤的 KV 缓存）可以被重新定位并拼接到任意上下文中，效果与完全重新计算**不可区分**（logit 余弦相似度 0.90-0.999，涵盖 12 个模型）。而拼接的时间复杂度仅为 O(L)，远低于完全重算的 O(L²)，大幅降低首 token 延迟。 ## 统一框架：编辑+组合，延迟降低14.9倍 论文将编辑和组合能力统一到一个智能体框架中，在保持决策与完全重算一致的前提下，**延迟最高降低 14.9 倍**。该方法适用于任何逐 token 注意力 KV 缓存，并在不同规模、量化、混合专家模型（MoE）以及多模态缓存上得到验证。对于部分注意力变体，只需通过小型适配器即可扩展。 ## 兼容现有生产系统：vLLM缓存命中率98.5% 由于勘误仅追加在缓存末尾，它天然兼容生产级前缀缓存系统。在在线 vLLM 基准测试中，该方法**保持了 98.5% 的缓存命中率**，并将 p90 首 token 延迟降低了 **53-398 倍**——这意味着用户几乎感觉不到延迟。 ## 意义与展望 这项工作从根本上重新定义了 KV 缓存的角色：它不再是被动的高速缓存，而是模型推理过程中主动生成的、可修改、可迁移的“笔记”。这为 LLM 推理优化开辟了新方向——例如在线持续学习、个性化模型调整、多轮对话中的动态上下文编辑等。未来，我们或许能看到模型在推理过程中实时“涂改”自己的笔记，而非每次都从头计算。
在药物警戒领域，区分真实的药物不良反应（ADE）与虚假关联一直是个核心难题。InferBERT框架将Transformer模型与Do-calculus相结合，但其成功高度依赖于底层分类模型的选择。最新研究对InferBERT框架下的四种分类模型进行了系统性比较，揭示了领域预训练的重要性远超模型规模。 ## 研究背景与实验设计 药物不良反应的因果推断面临两大挑战：一是混杂因素导致的虚假关联，二是传统信号检测方法（如PRR、ROR、EBGM）无法区分因果与非因果关联。InferBERT通过整合Transformer的上下文理解能力与因果推断的Do-calculus，为这一问题提供了新思路。但框架中的分类模型选择是否影响最终效果？研究者选取了**XGBoost**（基线模型）、**ALBERT**（原始InferBERT模型）、**BioBERT**（生物医学领域预训练Transformer）和**Med-LLaMA**（医学大语言模型）四种代表性模型，在两个基准数据集——**镇痛药诱导的急性肝衰竭（AILF）**和**曲马多相关死亡率（TRAM）**上进行了严格比较。 实验采用**5折交叉验证重复20次**，评估指标包括准确率、校准误差（ECE，含等渗回归前后）以及因果术语与PRR、ROR、EBGM的一致性（Jaccard系数），并辅以配对t检验验证显著性。 ## 关键发现：领域预训练胜过规模扩展 结果明确显示，**BioBERT在两个数据集上均取得了最高准确率**，而**Med-LLaMA尽管参数规模庞大且采用参数高效微调，表现却不尽如人意**。这一反直觉结果说明，对于药物警戒这一专业领域，**领域特定的预训练（如BioBERT在生物医学语料上的预训练）比单纯扩大模型规模更具优势**。校准技术虽能改善ECE，但对准确率和因果发现的影响参差不齐。在因果术语一致性方面，BioBERT同样表现最佳，与传统信号检测方法高度吻合。 ## 行业启示：小模型大智慧 该研究为AI制药和药物安全监测提供了重要参考：在资源有限的实际部署场景中，**投资于可管理、领域感知的模型（如BioBERT）比追求大语言模型更高效**。这并非否定LLM的价值，而是强调在特定任务上，**领域适配性比通用能力更重要**。未来，研究者可进一步探索如何将领域预训练与因果推断框架更深度融合，或开发混合模型以兼顾规模与专业性。
基模型（Foundation Models，FMs）在医学数据表征提取方面展现了强大潜力，但其在分布偏移数据集上的泛化能力尚未得到充分探索。近日，一篇发表于 arXiv 的研究论文系统评估了基于 FM 的表征在计算病理学任务中的表现，涉及两个真实世界商业队列——IH-BC 和 IH-NSCLC（来自授权内部肿瘤数据集）。该研究聚焦全切片图像与转录组图谱两种模态，首先在五个 FM 上对八项下游分类任务进行单模态探针性能基准测试，发现图像与组学表征携带互补的预测信号。随后，通过比较三种基于配对表征的图像-组学融合策略，探讨多模态融合能否带来额外增益。最后，利用共形预测评估所选单模态与多模态管线的可信度。 结果显示，FM 表征在分布外数据上取得了具有竞争力的性能，且多模态融合仅在单一模态信号不占主导时发挥主要作用。共形预测揭示，在大多数点预测失败的案例中，真实诊断仍能在预测集中被找回，这强化了不确定性感知推理在临床支持中的价值。该研究为多模态癌症分析中基模型的表征质量、融合策略与可信度评估提供了系统性参考。
混合专家多模态大语言模型（MoE-MLLMs）在性能上表现出色，但巨大的GPU显存开销成为部署瓶颈。模型压缩因此变得至关重要。在已有的后训练量化（PTQ）方案中，专家级混合精度量化已被证明对MoE-LLMs有效，然而直接应用于MoE-MLLMs时却出现明显的性能退化。研究者发现，根本原因在于专家重要性估计中存在两种被忽视的偏差：**跨模态偏差**和**视觉内偏差**。 **偏差来源** - **跨模态偏差**：在MoE-MLLMs中，视觉token在数量上占据绝对优势，导致专家选择频率统计被视觉token主导，从而掩盖了对文本模态至关重要的专家。 - **视觉内偏差**：大量冗余的视觉token进一步扭曲了频率统计，使得对信息性视觉内容关键的专家被淹没。 **MODE框架** 为弥补上述偏差，来自中国科学院等机构的研究团队提出了**MODE（Modality-Decomposed Expert-Level Mixed-Precision Quantization）**，一个专门针对MoE-MLLMs的模态分解专家级混合精度量化框架。核心思路包括： 1. **按模态分解专家选择频率**：分别统计各模态（文本、视觉）下的频率，避免视觉token的数值优势掩盖文本专家的重要性。 2. **过滤冗余视觉token**：通过去噪处理得到更纯净的视觉频率，突出对有效视觉内容贡献大的专家。 3. **引入模态级量化敏感度**：将每个模态下的量化敏感度作为频率估计的补充信号，更全面地评估专家重要性。 4. **整数线性规划（ILP）**：将上述多维度信号整合到ILP优化问题中，在给定比特预算下为每个专家分配最优位宽。 **实验效果** 大量实验表明，MODE特别适配MoE-MLLMs。在**W3A16**（权重3比特，激活16比特）设置下，平均性能损失控制在**2.9%以内**；在极端的**2比特**设置下，性能提升更为显著。该方法有效解决了传统混合精度量化在多模态场景下的失效问题，为部署高容量MoE多模态模型提供了切实可行的压缩方案。
## 研究背景 基于学习的单次条纹投影轮廓测量术（FPP）在近距离场景下已取得显著进展，但远程（>1米）应用仍面临挑战：强度随距离平方衰减导致信噪比下降，单次拍摄缺乏条纹阶次信息，且现有网络架构的机制尚未被深入理解。 ## 诊断：模型走“捷径”而非真正解码相位 研究团队通过**机械可解释性（MI）**和**共形不确定性量化（UQ）**两种方法，对UNet基线模型进行诊断。在包含15,600张条纹图像、50个物体、距离1.5-2.1米的光照真实合成基准上，最佳UNet基线达到**14.54毫米**物体平均绝对误差（MAE）。 三项探针实验（线性探针、Grad-CAM、平面外分布测试）一致表明：基线模型并非通过解码条纹相位来求解深度，而是依赖**物体边界的形状先验**——即通过物体轮廓直接猜测深度，这相当于“作弊”式的捷径学习。 ## 修复：从架构层面消除捷径 研究者提出 **PhiCalNet**，其核心创新在于**不直接回归深度**，而是输出包裹相位，再通过一个固定的可微分标定层将相位映射为深度。这一架构设计从根本上移除了形状先验解存在的假设空间，而非通过损失函数惩罚来抑制。 实验显示，物理信息损失函数（将相同物理约束作为软惩罚施加给深度回归网络）并未带来可测量的提升，证明**架构本身是决定性因素**。PhiCalNet将物体MAE降低了**3.3倍**，达到**4.46毫米**；残余误差主要来自±π包裹不连续处的**0.103%**像素。 ## 验证：不确定性量化确认诊断 像素级共形UQ进一步验证了诊断结论：若按快照差异拒绝前5%的物体像素，PhiCalNet的均方根误差（RMSE）降低**64%**（从20.6毫米降至7.4毫米），而基线仅降低**3.5%**。MI与UQ两种方法共同指向同一失效模式。 ## 意义与展望 本研究首次系统性地将MI和UQ应用于光学测量网络诊断，证明**架构设计比单纯添加物理损失更能引导模型学习正确物理规律**。PhiCalNet为远程单次FPP提供了一种有效方案，其“先输出中间物理量、再用固定变换层”的思路，或可推广至其他依赖物理先验的视觉任务。
深度神经网络（DNN）在训练中常出现一种令人困惑的现象：模型在长时间过拟合后突然泛化，仿佛“顿悟”。最新研究从统计物理视角揭示了这一机制——噪声驱动的亚稳态逃逸。 ## 核心发现 来自波茨坦大学的研究者在论文中证明，DNN中的**泛化延迟（grokking）**本质上是**L2正则化强度变化**引发的一级相变中的**滞后效应**。当正则化强度低于临界值时，所有特征原则上都可学习，但网络会陷入由能量势垒分隔的**亚稳态**，导致收敛停滞。 关键在于，**随机梯度下降（SGD）中的噪声**提供了逃离亚稳态所需的能量。研究者在线性DNN中观察到，模型从低精度亚稳态逃离的时间符合**阿伦尼乌斯标度**——即逃逸时间随势垒高度指数增长。通过刻意将模型困在亚稳态，他们成功复现了跨越两个数量级的延迟收敛现象，且测试误差最终逼近训练误差的经典曲线。 ## 亚稳态数量与特征维度 论文进一步指出，亚稳态的数量恰好等于**可学习特征的数量**——每个数据协方差矩阵的奇异值对应一个特征。这意味着，任务越复杂（奇异值越多），潜在的滞后效应越强，模型越容易陷入局部最优。 ## 对深度学习实践的意义 这一发现为加速训练提供了新思路： - **动态正则化**：通过调整L2强度或噪声水平，主动控制模型在相空间中的迁移路径。 - **初始化策略**：避免模型落入与目标任务无关的亚稳态。 - **理解泛化边界**：将泛化能力与相变理论中的阶参数（如奇异值分布）关联，可能量化模型的“学习容量”。 尽管实验主要在线性模型上验证，作者提供了证据表明**非线性DNN**中同样存在类似机制。该工作不仅统一了“顿悟”现象的解释，更将深度学习与统计物理中的**成核理论**紧密联系起来。
## 概述 近日，一篇来自中国科学技术大学与中国移动（苏州）软件技术有限公司的联合研究论文提出了 **GRAPE（Guided Parameter-Space Evolution）** 框架，旨在通过引导参数空间的渐进式演化，在紧凑模型上实现更强的对抗鲁棒性。该研究挑战了传统对抗训练（Adversarial Training, AT）中“从始至终训练固定参数空间”的范式，探索参数优化顺序对最终鲁棒解的影响。 ## 核心方法 GRAPE 的核心思想是将鲁棒模型的学习视为一个 **参数空间逐步暴露与演化** 的过程。它结合了两种关键机制： - **参数空间稳定化**：在当前暴露的参数子空间内稳定鲁棒优化，确保已有参数已充分收敛到对抗鲁棒的局部区域。 - **渐进式隐藏扩展**：逐步释放新的可优化维度，并利用 **对抗谱利用率分数（adversarial spectral utilization score）** 引导新容量优先分配给模型中承受高对抗压力的模块。 这种“先稳定、再扩展”的策略，使得模型能够在训练过程中动态决定哪些参数需要优先优化，从而避免传统固定结构 AT 中参数空间的低效利用。 ## 实验结果 在 CIFAR-10 数据集上，采用标准的 ℓ∞ 威胁模型，以固定结构的 ResNet-18 对抗训练作为对照基准，GRAPE 取得了以下关键结果： - **PGD-20 鲁棒准确率**：从基线 51.70% 提升至 **56.94%**，提升超过 5 个百分点。 - **计算开销**：FLOPs 比仅为 1.009 倍，几乎与基线持平。 - **参数量减少**：参数量减少了约 **21.4%**，体现了紧凑性优势。 此外，研究还设置了一种“顺序增长变体”，即最终架构仍为标准的 ResNet-18，但训练过程中参数逐步暴露。该变体达到了 56.52% 的 PGD-20 鲁棒准确率，与直接训练完整 ResNet-18 的基线（51.70%）相比仍有显著提升。这一对比有力地说明：**性能增益不仅来自最终架构的差异，更来自参数空间暴露路径本身**。 ## 行业意义 在 AI 安全领域，对抗训练是提升模型鲁棒性的主流方法，但传统方法通常假设所有参数同等重要且同时优化，导致冗余参数可能引入脆弱性。GRAPE 的工作表明，**参数优化的顺序与路径** 同样关键，这为设计更高效、更紧凑的鲁棒模型提供了新思路。 对于资源受限的边缘设备（如手机、物联网终端），GRAPE 在几乎不增加计算开销的情况下，通过减少参数量并提升鲁棒性，具有实际部署价值。同时，该框架也启发后续研究：是否可以进一步将参数空间演化与神经架构搜索（NAS）或剪枝技术结合，实现自动化程度更高的鲁棒模型设计？ ## 小结 GRAPE 通过“引导参数空间演化”这一新范式，在紧凑模型上实现了对抗鲁棒性的显著提升。实验数据充分证明了参数暴露顺序对鲁棒解质量的影响，为对抗训练领域注入了新的理论视角和实践工具。
## 引言：保险定价中的公平难题 保险定价的公平性是一个长期悬而未决的难题。一方面，保险公司出于盈利考量，会根据个体风险差异制定保费，追求**精算公平**——即高风险者多付、低风险者少付。另一方面，保险承担着社会风险共担的功能，需要通过群体间的交叉补贴实现**团结公平**，保护弱势群体。在大数据时代，精细化风险区分成为可能，监管压力也日益增大，如何平衡这两种公平理念成为行业核心挑战。 ## α-FISP框架：一个统一的解决方案 最新发表于arXiv的论文《α-Fair Insurance Pricing: A Fairness Continuum》提出了一种名为**α-公平个体偿付能力保费（α-FISP）** 的框架。该框架将定价问题建模为约束优化任务：在保证保险公司偿付能力的前提下，对精算公平保费进行交叉补贴调整。 关键创新在于引入参数 **α**，它控制着从纯粹精算公平（α=0）到纯粹团结公平（α=1）的连续过渡。决策者可以根据政策目标或监管要求，在光谱上选择任意一点作为定价基准。例如，α=0时保费完全基于个体风险；α=1时则完全按群体平均风险定价，实现最大程度的交叉补贴。 ## 理论保证与实证验证 研究团队为α-FISP框架提供了严格的理论保证，证明其解的存在性、唯一性以及偿付能力约束的满足性。数值实验表明，该框架在计算上是可处理的，并且能够很好地适应美国各州不同的监管要求——例如某些州要求严格按风险定价，而另一些州则强调对特定群体的保护。 ## 行业意义与未来展望 α-FISP框架为保险监管和行业实践提供了一个灵活的工具。它使保险公司能够在精算准确性和社会公平之间找到可量化的平衡点，同时满足偿付能力这一基本要求。对于监管者而言，该框架可帮助制定更精细化的公平性标准，避免“一刀切”带来的副作用。 未来，该研究可进一步扩展至动态定价、再保险以及多风险类别的复杂场景。随着AI和机器学习在保险业的应用深化，这种可调节的公平性框架有望成为行业标准。
多源迁移学习面临一个根本性的可扩展瓶颈：现有方法要么在参数融合时一次性将所有 K 个源模型加载到内存中（需要 O(K) 内存），要么在推理时部署所有模型，导致生产部署不可行。我们提出 **GRASP**（梯度对齐顺序参数迁移），通过三项关键创新在维持 **O(1) 内存消耗** 的同时实现卓越的知识集成： 1. **顺序处理**：每次只将一个源模型合并到正在演化的目标模型中； 2. **参数级梯度对齐**：仅选择优化方向与目标领域对齐的参数进行迁移，避免负迁移； 3. **迭代微调**：在集成下一个源模型之前，对已迁移的知识进行自适应调整。 在三个持续学习基准（Yearbook、CLEAR-10、CLEAR-100，覆盖 10 到 108 年时间分布偏移）和四种架构（1.3M 至 25.6M 参数）上的大量实验表明，**GRASP 在所有数据集和架构上的平均准确率达到 93.5%**，而集成方法仅为 71.7%。同时，GRASP 仅需恒定内存，而标准多源融合需要 K 个模型的内存。关键的是，GRASP 的顺序设计使得之前合并的模型无需保留，且能扩展到任意多的源模型而无需增加内存，使其特别适合资源受限的部署和持续演化的源领域。
现代推荐系统日益依赖动态路由机制，将多样化的查询分发给多个嵌入模型。然而，在对抗性查询、赌博机反馈以及模型可观测性有限等现实条件下，这一问题的理论基础仍十分薄弱。近日，一篇发表于 arXiv 的论文《Policy Regret for Embedding Model Routing: Contextual Bandits with Low-Rank Experts》对此进行了系统性的数学建模与分析。 ### 问题形式化 研究者将嵌入模型路由问题形式化为**低秩专家参与的对抗性上下文线性赌博机**：上下文对应查询，动作对应推荐项，而专家则是工作在低秩隐空间上的嵌入模型。这种设置更贴近实际场景——查询可能被恶意构造，反馈仅限点击等二元信号，且模型内部参数不可见。 ### 核心发现 论文首先指出，标准的遗憾定义（如累积遗憾）在此场景下存在**结构性错配**或**统计不可解**的问题。为此，作者提出了一类**对数二次策略类**（log-quadratic policy class），该策略类既能表达查询相关的模型路由决策，又保留了高效在线学习的结构特性。 在此基础上，研究者提出了名为 **Hypentropy Policy Gradient (HPG)** 的策略梯度算法。该算法能在信息不完全的情况下自适应地学习未知的低秩结构，并达到 $\tilde{\mathcal O}(s\sqrt{M T})$ 的线性化策略遗憾界，其中 $s$ 为专家的本征秩，$M$ 为模型数量，$T$ 为轮次。这一结果避免了维度灾难，理论上优于现有方法。 ### 实际意义 论文还提供了**计算高效且无需手动调参**的 HPG 实现方案。这意味着该算法不仅具有理论保证，还具备实际部署的可行性。 ### 行业背景 当前，大型推荐系统通常维护数十甚至上百个嵌入模型，分别针对不同领域或任务。如何根据实时查询动态选择最合适的模型，是提升推荐效果与计算效率的关键。本工作将这一工程问题提升到严谨的数学层面，为后续研究奠定了理论基础。 ### 小结 本研究通过引入低秩专家和对抗性上下文赌博机框架，为嵌入模型路由提供了首个具有遗憾保证的在线学习算法。其理论贡献与实用实现，有望推动推荐系统在更复杂环境下的稳健运行。
## 核心发现 **可分离神经架构（SNA）** 是一种结合神经网络逼近与张量分解的函数表示类，通过将局部坐标函数（原子）与稀疏低秩交互对象解耦，形成紧凑且光滑的归纳偏置，尤其适合求解偏微分方程（PDE）。在变分框架（VSNA）下，该架构满足经典变分保证（Lax-Milgram引理），包括适定性、拟最优性、收敛性和稳定性。 ## 关键突破 - **维度灾难缓解**：对于高维时空-参数PDE，VSNA的复杂度随维度代数增长而非指数增长，利用交替最小二乘（ALS）优化将成本降至线性。 - **极速计算性能**：在标准笔记本电脑CPU上，VSNA执行100万次蒙特卡洛采样仅需102秒，相比基于NVIDIA A100 GPU的全网格有限元基线实现了**150,000倍加速**。 - **实时逆问题求解**：支持100毫秒内的生成式逆模式重建，适用于实时反演、优化循环和快速不确定性传播。 ## 工程验证 研究通过两个工程案例展示了SNA作为“一次性求解、任意位置查询”的物理世界模型： - **7维参数制造仿真**：处理高维参数空间，实现快速仿真。 - **Inconel 718热-性能反演管线**：从实验热数据反演材料属性，验证了模型在真实场景中的有效性。 ## 行业意义 SNA的提出为**科学计算与AI融合**提供了新范式。传统数值方法（如有限元）在高维问题中面临指数级计算增长，而SNA通过代数缩放打破了这一瓶颈。其“求解一次、任意查询”的能力，使得实时数字孪生、在线优化和不确定性量化成为可能，对航空航天、材料科学、气候建模等领域具有深远影响。 ## 总结 这项研究不仅从理论上证明了SNA的数学完备性，更通过实际案例展示了其工程可行性。随着AI for Science的推进，SNA有望成为连接神经网络与物理建模的桥梁，推动复杂系统仿真进入实时化、轻量化时代。
强化学习（RL）与扩散模型或流匹配（flow-matching）策略的结合一直面临挑战：虽然这类生成模型能表达丰富的动作分布，但通过时间差分（TD）学习优化时，直接利用评论家（critic）的动作梯度反向传播会因多步去噪过程而出现数值不稳定。现有方法要么丢弃梯度信息、将策略蒸馏为单步动作，要么随评论家更新反复微调去噪网络，效率和性能难以兼得。 **QPILOTS 的核心思路**：保持原始策略不变，在推理时引导去噪过程。具体来说，在每个去噪步骤中，不直接在噪声中间动作上评估评论家（该处预测不可靠），而是先将中间状态投影到最终干净动作的估计值，再在该估计值上计算评论家梯度，并用该梯度修正去噪方向。论文提出两种变体：**QPILOTS-U** 采用快速单点近似，计算开销低；**QPILOTS-M** 则通过一个可学习的辅助网络生成可微的后验样本，精度更高。 **性能表现**：在标准的离线到在线 RL 基准测试中，QPILOTS 在 50 个任务上平均成功率达到 **90%**，综合表现最佳。此外，作者将 QPILOTS 应用于冻结的大型预训练视觉-语言-动作（VLA）基础模型，在 6 个仿真操作任务上，其性能超越或持平于已有的推理时引导方法。 **行业意义**：这项研究为大规模预训练策略的“零微调”部署提供了新思路——无需修改模型参数或重新训练，仅通过推理时的梯度引导就能显著提升决策质量。对于机器人操作、自动驾驶等需要快速适应新任务的场景，QPILOTS 有望降低部署成本，同时保持策略的泛化能力。
## 研究背景与动机 自动驾驶系统依赖精确的轨迹预测来规划安全高效的行驶路径。近年来，图神经网络（GNN）因其对道路参与者之间时空交互建模的能力，成为轨迹预测领域的热门方法。然而，**GNN架构设计缺乏标准化**，开发者往往不清楚哪些图卷积层能最有效地捕捉空间交互与时间动态。 ## 核心发现：19种图层的系统对比 该研究对**19种图神经网络层**进行了系统比较，重点关注其空间与时间处理能力。在特定超参数设置下，**ARMA、Chebyshev 和拓扑感知层**表现持续优于其他方案，成为五大突出层组合中的关键组件。 ## 关键设计原则 除了性能排名，研究还提炼出三条实用设计准则： 1. **聚合策略**：基于 **sum 的聚合方法**比 mean 聚合更有效。 2. **注意力机制**：**多头注意力**机制能够捕捉更丰富的交互关系。 3. **跳距权重**：对不同跳数（hop distance）赋予不同权重，可**显著提升预测精度**。 这些原则为构建更具可解释性与有效性的轨迹预测模型提供了明确指导。 ## 研究意义 该工作填补了 GNN 在轨迹预测中选层的知识空白，为从业者提供了直接可用的架构设计参考。未来，研究者可基于这些发现开发更高效的自动驾驶决策系统。 论文发表于 IEEE IV 2026，全文可在 arXiv 获取（arXiv:2606.14956）。
自主实验（autoresearch）模式让大语言模型（LLM）通过迭代修改代码来优化目标指标，但其无状态设计导致每次迭代都要从头重建实验上下文，产生 O(n) 的逐次 Token 成本和 O(n²) 的总成本。最新研究《Remember, Don't Re-read: Stateful ReAct Agents for Token-Efficient Autonomous Experimentation》提出用 LangGraph 构建状态化 ReAct 智能体，通过类型化持久状态和工具调用接口在迭代间携带实验历史，从而将 Token 消耗大幅降低。 ## 核心创新：从“重读”到“记住” 传统无状态智能体每次迭代都会将完整历史（包括代码、结果、日志）重新送入 LLM 上下文窗口，导致 Token 消耗随迭代次数线性增长。状态化 ReAct 智能体则利用 LangGraph 的持久化状态机制，只将当前步骤的必要信息（如最新结果、待办动作）放入上下文，历史信息通过内部状态引用而非显式重读。这种设计将每次迭代的 Token 成本从 O(n) 降为 O(1)。 ## 基准测试结果 研究者在两项任务上进行了评估： - **超参数调优**（15 次迭代，每次观察数据量小）：状态化智能体消耗 **2,492 个 Token**，比无状态版本的 24,465 个减少 **90%**。 - **代码性能优化**（40 次迭代，每次包含完整源码和基准结果）：状态化智能体消耗 **627K Token**，比无状态版本的 1,275K 减少 **52%**，且优化质量相当。 ## 架构细节与可复现性 论文详细描述了基于 LangGraph 的实现： - 定义类型化状态（TypedState）存储实验历史、当前步骤和工具调用记录。 - ReAct 智能体通过工具调用接口与环境交互，每次只追加新信息到固定大小的对话窗口。 - 状态管理自动剪枝过期上下文，避免上下文膨胀。 作者提供了足够详细的设计说明，使从业者能够为自己的工作流实现类似的状态化自主实验智能体。 ## 意义与展望 这项工作的价值不仅在于 Token 节省——在 GPT-4 等昂贵模型上，成本降低直接意味着更长的实验序列或更复杂的任务成为可能。此外，固定上下文窗口还避免了长序列推理中的“迷失在中间”问题，可能提升模型在长任务中的稳定性。未来方向包括将状态化设计扩展到多智能体协作、动态上下文压缩等场景。