大语言模型在长序列列举任务中经常陷入重复循环，这一问题困扰开发者已久。来自 arXiv 的最新研究（论文编号 2606.13705）深入探讨了 Gemma 4 指令微调模型中的“重复循环”（repetition loops）现象，并尝试通过权重编辑来修复。研究发现，这些循环可以追溯到少数 MLP 神经元或路由专家，通过简单的符号反转等静态编辑即可有效抑制，甚至只需编辑一个神经元。但编辑并非万能——对于“末日循环”（doom looping），即模型在无法回忆事实时自我纠正的无限循环，编辑只能减轻而无法根除，这本质上是知识精度问题。 ## 核心发现：重复循环的定位与修复 研究团队对 Gemma 4 系列模型（包括 2B、9B 和 26B-A4B 混合专家模型）进行了系统测试。在要求列出电视剧全部剧集、88 个 IAU 星座或 151 只原始宝可梦等长序列列举任务中，模型出现重复循环的概率高达 **95%**，且不受提示词改写、推理引擎变更或采样参数调整的影响。 通过逐层消融和逐神经元归因分析，研究人员定位到问题根源：少量 MLP 神经元（在 26B 混合专家模型中为少数路由专家）的异常激活导致了循环。最惊人的是，在 **2B 模型**中，只需将 **一个神经元** 的权重符号反转，即可消除循环模式。随着模型规模增大，所需编辑的神经元数量增加，但整体仍保持极小规模。 ## 编辑的局限：末日循环的挑战 尽管权重编辑能有效消除标准重复循环，但面对更复杂的“末日循环”时效果有限。末日循环发生在模型需要较长推理步骤时，例如在无法回忆某个事实时，模型不断自我纠正，最终耗尽推理预算而无法给出答案。研究指出，这种失败本质上是 **知识缺失** 问题：编辑可以删除循环路径，但无法补充模型未学习到的知识。 ## 行业启示与未来方向 这项研究为 AI 对齐和模型调试提供了新思路。**局部权重编辑** 可能成为一种轻量级修复手段，尤其适用于快速修复特定生成缺陷，而无需重新训练。然而，它也揭示了当前大模型的根本性局限：在知识密集任务中，单纯依靠模型参数存储事实并不可靠。未来，结合外部知识检索或更精细的推理机制可能是突破方向。 ## 小结 - **重复循环可修复**：通过编辑少数神经元（甚至一个）即可消除，且不影响通用基准性能。 - **末日循环仍存**：编辑只能减轻，无法根除，根源是知识精度不足。 - **方法价值**：展示了生成病理可定位并局部修复，但也划定了这种方法的边界。
电商大促期间，定价决策常面临需求波动剧烈、反应时间紧迫等挑战。近日，Zalando 研究团队在 arXiv 发表论文，详细介绍了其专为时尚电商促销活动设计的高频算法定价工具，实现了从“数小时”到“数分钟”的决策提速，并在 A/B 测试中取得了约 6% 的利润提升。 ## 痛点：传统定价为何跟不上促销节奏？ 许多电商平台在销售活动中仍依赖人工与算法结合的周级粒度定价。这种方式在处理大规模促销（如黑五、季末清仓）时存在明显短板：需求模式高度不稳定，而手动调整节奏慢、覆盖面有限，容易错过最优定价窗口。此外，短期冲量往往以牺牲长期利润为代价，如何同时优化营收与利润成为难题。 ## 解法：预测-优化双引擎 Zalando 团队提出的系统采用 **“先预测，后优化”** 架构。首先，利用梯度提升树（Gradient-Boosted Trees）对超过 **500 万件商品** 进行日级需求预测，捕捉促销期间的需求波动。随后，一个多目标优化框架同时优化**长期利润**和**净商品价值**，在短期营收与长期盈利之间寻找平衡。 这一架构的关键优势在于将决策时间从数小时压缩到数分钟，使得高频调价成为可能，从而更灵活地应对市场变化。 ## 实战验证：23 场 A/B 测试覆盖 12 个市场 研究团队在 2023-2024 年期间，于 Zalando 覆盖的 **12 个市场** 进行了 **23 场 A/B 测试**。与原有“人工+算法”混合方案相比，新系统在保持销售额和收入水平相当的前提下，实现了约 **6% 的利润提升**。这一结果证明了高频定价在兼顾营收与利润方面的有效性。 基于测试的积极表现，该算法已成功部署到生产环境，目前负责 Zalando 大部分促销活动的算法定价决策。 ## 行业启示：高频定价的规模化落地 Zalando 的实践为电商行业提供了一个可复用的范本。它不仅展示了机器学习在复杂定价场景下的能力，也强调了**决策速度**对促销效果的关键影响。随着零售竞争加剧，能够快速响应需求变化、同时兼顾多目标的定价系统，或将成为电商平台的核心竞争力之一。 不过，论文也提示，该方案高度依赖高质量的需求预测模型，且多目标优化的权重设定需要根据业务目标反复调优。对于希望引入类似系统的企业，数据基础和业务理解是成功的前提。
个性化联邦学习（PFL）是应对数据异构性的重要范式，其中许多方法将模型拆分为共享参数和个性化参数，二者在客户端联合训练。然而，这带来了一个优化难题：共享参数由优化不同本地目标的客户端更新，导致更新不一致，削弱共享表征。为攻克这一瓶颈，研究团队提出 **FedSPC（Federated Shared Parameter Correction）**，一种模块化矫正方法，仅对共享参数施加控制变量矫正，保留个性化参数不变。FedSPC 可无缝集成到三种主流 PFL 设置中：共享特征提取器、共享分类器以及带本地正则化的全共享模型。 实验在 CIFAR-100 和 Tiny-ImageNet 数据集上，使用 ViT、ResNet-34 和 VGG-11 模型，覆盖 FedPer、FedRep、FedBABU、LG-FedAvg 和 Ditto 等代表性 PFL 方法。结果显示，FedSPC 显著提升了所有方法的性能，证明了其有效性和通用性。该工作已被 **FL@FM-IJCAI 26**（IJCAI 2026 联合研讨会）接收。 ### 核心价值：轻量级矫正，无需重构架构 FedSPC 的设计哲学是“即插即用”：它不改变 PFL 方法的原有框架，仅在训练过程中对共享参数添加控制变量矫正项，类似 SVRG 或 SAGA 中的方差缩减思想。这使得 FedSPC 能够直接应用于现有方法，无需重新设计模型结构或增加额外通信成本。 ### 实验亮点：跨模型、跨数据集的一致性提升 - **图像分类任务**：在 CIFAR-100 上，FedSPC 使 FedPer 的准确率提升约 2-3 个百分点；在 Tiny-ImageNet 上，对复杂模型（如 ViT）的增益更为明显。 - **鲁棒性**：即便在高度异构的数据分区下，FedSPC 仍能稳定改善共享参数的一致性，避免因本地目标冲突导致的表征漂移。 ### 适用场景：从边缘计算到隐私敏感应用 PFL 广泛应用于医疗、金融等数据孤岛场景。FedSPC 的矫正机制尤其适合以下情况： - 客户端数据分布差异大（非 IID） - 需要保留本地个性化能力，同时维持全局共享知识的通用性 - 希望以最小改动升级现有 PFL 系统 ### 未来方向：理论分析与扩展 作者指出，未来可进一步探索 FedSPC 的收敛性理论，并考虑将其扩展到跨设备联邦学习中的通信效率优化。此外，结合自适应矫正步长或动态参数分组，可能带来更多性能提升。 总而言之，FedSPC 为个性化联邦学习提供了一种务实而高效的优化方案，在不增加额外负担的前提下，有效缓解了共享参数更新不一致的固有问题。
## 研究背景：什么是「顿悟」现象？ 在神经网络训练中，有时会出现一种奇特现象：模型早已完美拟合训练数据，但泛化能力却迟迟不出现，直到某个时刻突然爆发。这种现象被称为 **「顿悟」（Grokking）**，最早在小型算法学习任务中被发现，随后成为理解神经网络泛化机制的重要窗口。 关于「顿悟」的触发条件，学术界一直存在争议。部分研究认为，**权重范数（weight norm）** 在达到某个临界值时才会触发泛化；但也有实验观察到，即使权重范数不固定，「顿悟」依然会发生。这种矛盾让问题悬而未决。 ## 新的突破：通过干预而非观察来验证因果性 来自越南的研究团队在最新论文中，通过 **主动干预权重范数** 而非仅仅观察，首次明确证明了权重范数与「顿悟」延迟之间的因果关系。 关键发现包括： - **自由训练下的规律**：在使用权重衰减（weight decay）的标准训练中，网络会在权重范数达到一个特定值 \( W_c \) 时发生「顿悟」。该值在不同随机种子和学习率下变异系数仅 **1%-2%**，且随模运算的基数（modular base）呈幂律增长。 - **固定范数的指数延迟定律**：当研究人员将权重范数 **固定** 为 \( W_c \) 的某个倍数 \( \rho \) 并保持恒定，网络仍然会「顿悟」，但延迟时间 \( T_{\text{grok}} \) 遵循 **指数增长**：\( T_{\text{grok}} \propto \exp(\alpha \rho) \)，其中指数 \( \alpha \approx 7.5 \)，在四个不同模基数下拟合优度 \( R^2 = 0.996 \)。 - **范数 vs 学习率的影响**：在实验范围内，固定范数可以改变延迟约 **19 倍**，而学习率仅改变约 **2 倍**，表明范数是主导因素。 - **高于临界值反而更慢**：将范数固定在 \( W_c \) 之上并不会阻止「顿悟」，反而会显著延迟其发生。 - **LayerNorm 的消除作用**：在模型中添加 LayerNorm 层后，权重尺度与网络功能解耦，上述指数延迟定律消失；移除 LayerNorm 后定律恢复。 ## 意义与展望 这项研究不仅解决了关于「顿悟」触发条件的长期争论，还提出了一个精确的数学关系：**固定范数下的指数延迟定律**，与自由训练下范数自然收缩时的对数延迟形成对称。这为理解神经网络的泛化动力学提供了新的理论工具。 未来，这一发现可能帮助研究者设计更高效的训练策略，通过控制权重范数来加速或延迟「顿悟」，从而在需要快速泛化的场景中提升模型性能。
异常检测是智能系统的基础能力，广泛应用于医疗、网络安全、智能电网和物联网等领域。传统机器学习与深度学习方法虽然有效，但往往依赖大规模标注数据、计算成本高，且在边缘和高维场景下扩展性受限。近日，一篇发表于 arXiv 的研究论文提出了 **D2H-AD**——一种基于超维度计算（HDC）的新型异常检测框架，旨在解决上述痛点。 ## 什么是超维度计算？ 超维度计算是一种受大脑启发的计算范式，它将信息表示为高维分布式向量（例如 10,000 维的二元向量），通过向量的代数运算实现高效的模式匹配与推理。HDC 具有天然的抗噪声、低延迟和可解释性，非常适合资源受限的 TinyML 和边缘 AI 部署。 ## D2H-AD 的核心创新 D2H-AD 并非简单套用 HDC 技术，而是在统一框架内**融合了基于距离的相似度与密度感知编码**。具体而言，它首先将原始特征映射到高维超向量空间，然后利用密度信息调整异常评分，从而更精准地区分正常与异常样本。论文通过消融实验证明：仅超维编码这一环节，就比直接在原始特征空间应用相同的密度-距离评分方法，在 **ROC-AUC 指标上提升了最高 5.4%**。 ## 性能对比：全面超越五大基线 研究团队在五个基准数据集上，将 D2H-AD 与 **HDAD、ODHD、单类 SVM、孤立森林和自编码器** 这五种主流方法进行了对比。实验结果显示，D2H-AD 在 **F1 分数和 ROC-AUC** 上均表现最优，同时对类别不平衡、噪声和数据复杂性展现出良好的鲁棒性。 ## 轻量级与可解释性：边缘部署的理想选择 D2H-AD 的设计极为紧凑，其核心运算基于二元计算，因此**内存占用小、延迟低**，非常适合部署在传感器、微控制器等资源受限设备上。此外，HDC 的分布式表示天然具备可解释性，有助于开发者理解模型的决策依据——这在医疗和安防等关键领域尤为重要。 ## 行业意义与未来展望 随着物联网和边缘计算的普及，传统云端推理模式正逐渐向端侧迁移。D2H-AD 的出现为边缘异常检测提供了一种**高精度、低能耗、可解释**的新方案。论文作者表示，该框架在动态环境中展现出巨大潜力，未来可进一步扩展至在线学习和多模态异常检测场景。 > 总结：D2H-AD 通过超维度计算与密度感知编码的巧妙结合，在多个基准上刷新了异常检测的精度记录，同时保持了极低的计算开销。对于追求实时性与资源效率的 AI 工程师而言，这无疑是一个值得关注的技术方向。
随着大模型微调成本日益高昂，参数高效微调（PEFT）方法成为研究热点。其中，LoRA（低秩适配）凭借其内存和计算效率备受青睐。然而，LoRA的低秩结构是否真正最优？近期一篇来自arXiv的论文《Beyond LoRA: Is Sparsity-Induced Adaptation Better?》对此提出了挑战，并提出了一系列更简单、更高效的稀疏化变体。 ### 从全量微调到LoRA的演进 论文首先回顾了微调方法的发展历程：从早期全量微调（更新所有参数），到LoRA（通过低秩矩阵分解减少可训练参数），再到如今各种LoRA变体。尽管LoRA家族在资源受限场景下表现优异，但其低秩约束是否限制了模型的表达能力？研究人员开始思考：是否可以通过引入稀疏性来突破这一瓶颈？ ### 稀疏诱导适配：cLA与c³LA 论文提出了**Cheap LoRA（cLA）**及其链式循环变体**c³LA**。核心思想是：在LoRA框架内引入稀疏性，仅训练单个低秩因子，而将另一个因子固定（确定性或随机初始化）。这种设计将cLA视为非对称LoRA的结构化实例，本质上是全量微调的一种可控列子空间限制。 实验表明，这些稀疏变体在保持与参数匹配基线相当性能的同时，**训练时间减少高达10%，峰值GPU内存降低15%**，即使是在朴素、未优化的稀疏实现下。 ### 理论贡献与实证分析 论文推导了这些变体的信息论泛化误差界，是该领域的早期探索之一。在实证方面，研究团队评估了**11种微调方法**，覆盖**10个预训练模型**和**14个数据集**，并利用损失景观和频谱分析等工具深入分析模型性能与泛化能力。 关键发现：尽管微调模型对预训练模型、数据集等因素敏感，但**限制LoRA适配到稀疏、结构化的列空间**在多种任务上仍能与参数匹配基线竞争。这表明，稀疏性可能比低秩性更有效地平衡效率与性能。 ### 行业意义与展望 当前，大模型部署面临内存和计算瓶颈。LoRA虽降低了微调门槛，但仍有优化空间。该研究提示：**未来的PEFT方法或可更多关注稀疏性而非低秩性**，从而在更小资源开销下实现相近效果。 cLA和c³LA的提出，为模型适配提供了新的思路：通过简单的稀疏诱导，即可在保持竞争力的同时显著降低成本。这对于资源受限的端侧部署或大规模模型服务尤为关键。 ### 小结 该论文不仅挑战了LoRA的低秩假设，还提供了理论支撑和广泛实验验证。稀疏诱导适配（如cLA）有望成为下一代PEFT方法的基础。当然，稀疏性与低秩性的优劣仍需更多任务验证，但这一方向无疑为高效微调开辟了新的可能性。
扩散大语言模型（dLLM）通过并行去噪多个token来加速生成，非常适合延迟敏感的移动端推理。然而，重复的去噪过程在智能手机上带来了大量计算负担。移动神经处理单元（NPU）虽然擅长高吞吐的密集矩阵运算，但高效利用它们面临三大挑战：token提交导致每块有效负载缩减、token修订使KV缓存复用复杂化、以及NPU可见地址空间有限引发昂贵的数据重映射和传输开销。 针对这些问题，本文提出了 **NPU-Align**——首个面向智能手机的NPU感知dLLM推理框架。它通过三项关键技术将dLLM的块级推理与移动NPU的执行特性对齐： 1. **多块投机解码（Multi-Block Speculative Decoding）**：在当前块解码的后期阶段，用投机性的未来块token填补缩减的工作负载，保持NPU计算密度。 2. **双路径渐进修订（Dual-Path Progressive Revision）**：允许已提交的token在稳定前持续修订，并通过CPU侧路径刷新不稳定token，避免阻塞NPU密集执行。 3. **交换优化内存运行时（Swap-Optimized Memory Runtime）**：紧凑化NPU可见地址布局，并将数据准备与NPU计算重叠，减少重映射和传输开销。 ## 实验表现 研究者在多种硬件平台和dLLM负载上评估了NPU-Align。结果显示，在采用前缀KV缓存复用的条件下，**NPU-Align将LLaDA-8B模型的生成延迟相比CPU基线降低了17倍至42倍**，同时保持了生成质量。 ## 行业意义 随着大模型向边缘设备下沉，dLLM的低延迟优势与移动NPU的高吞吐潜力相结合，有望推动新一代端侧AI应用。NPU-Align提出的三项技术——尤其是双路径渐进修订和交换优化内存——为克服NPU硬件限制提供了实用方案，或将成为未来移动端LLM推理引擎的重要参考。
高超声速流动的精确预测是航空航天工程的核心挑战之一，尤其是激波位置与强度的捕捉。传统降阶模型（ROM）和神经仿真器在处理此类具有陡峭梯度的流动状态时，常因物理一致性不足而失效。近期，一篇由慕尼黑工业大学、林茨大学等机构研究人员合作的论文（arXiv:2606.13742）提出了一种**全GPU工作流**，通过集成加速数据生成、不确定性量化与物理感知精炼，构建高保真物理仿真器。 该工作流基于可微分高保真求解器 **JAX-Fluids**，其GPU加速能力使得快速数据集创建与残差驱动的神经仿真器优化成为可能。研究团队首先评估了多种模型架构（如卷积神经网络、图神经网络等）的扩展行为，揭示了各自的优势与局限。随后，他们引入**残差基精炼（Residual-based Refinement）**策略：在仅有网格和输入参数的情况下，通过可微分求解器计算残差，并反向传播更新仿真器参数，从而显著降低预测误差、提升物理一致性。实验表明，该方法使仿真器在训练分布之外的测试场景中仍保持可靠，这对于工程设计循环中的实际部署至关重要。 ### 行业背景与意义 高超声速流动涉及激波、边界层转捩、热化学非平衡等复杂现象，传统数值模拟（如CFD）计算成本极高，难以用于多参数优化或实时控制。而纯数据驱动的神经网络模型往往泛化能力差，尤其对激波这种间断结构处理不佳。该工作流的创新在于将**可微分物理求解器**与**机器学习**深度融合，形成一个闭环：求解器生成数据，同时提供物理残差作为监督信号，指导模型持续改进。这种“物理在环”的思路正是当前AI for Science领域的热点方向。 ### 技术亮点 - **全GPU流水线**：从数据生成到模型训练均在GPU上完成，避免了CPU-GPU数据传输瓶颈，大幅提升效率。 - **不确定性量化**：模型输出附带置信区间，为工程决策提供风险意识。 - **分布外泛化**：通过残差精炼，模型在未见工况下仍能保持较低的预测误差，这是传统ROM难以企及的。 ### 局限与展望 论文目前主要针对二维高超声速流动案例，三维复杂构型（如带翼飞行器）的拓展仍需验证。此外，可微分求解器的计算成本随网格分辨率增长较快，如何平衡精度与速度是未来研究方向。尽管如此，该工作为高保真、低成本的物理仿真器开辟了新路径，有望加速高超声速飞行器设计、再入轨迹优化等工程应用。 > 一句话总结：**可微分仿真+残差精炼**，让神经仿真器学会“物理直觉”，在工程设计中可靠外推。
生成式AI正在越来越多地被用于物理系统的设计、数据生成和控制决策，但许多物理系统（如半导体制造）受到严格的物理约束，而非仅凭感知合理性。一篇新近发布的arXiv论文（arXiv:2606.11247）明确提出：在半导体制造中，生成式模型必须通过构造方式内建物理约束，而非依赖事后过滤来修正无效样本。 ## 核心挑战：硬约束下的生成 半导体制造涉及光刻、传输、反应和器件物理等复杂过程，生成的掩模版、布局、合成缺陷数据和工艺配方必须严格符合物理定律。与图像生成不同，物理上无效的样本不是“质量差”，而是完全不可用。例如，一个违反光刻衍射极限的掩模版可能直接导致晶圆报废。 ## 技术路线：四大架构方向 论文系统梳理了当前可用于内建物理约束的生成模型架构，包括： - **物理信息扩散模型**：在扩散过程中嵌入物理方程，确保生成样本满足偏微分方程约束。 - **PDE约束变分模型**：通过变分框架将偏微分方程作为硬约束。 - **神经算子先验**：利用神经算子学习物理系统的解映射，作为生成模型的先验分布。 - **守恒律生成网络**：设计网络结构使其输出天然满足质量、动量、能量等守恒定律。 这些架构可与可微光刻、TCAD（技术计算机辅助设计）、工艺仿真和自主实验平台深度集成，形成闭环优化。 ## 四种集成模式与未来议程 作者识别了生成模型与物理仿真器之间的四种集成模式： 1. **前向仿真约束**：将仿真器作为可微层嵌入生成网络。 2. **逆向设计约束**：利用隐式物理损失反向优化生成过程。 3. **混合先验**：将仿真数据作为先验，与生成模型联合训练。 4. **自主实验循环**：生成模型指导实验设计，实验反馈修正生成。 研究议程包括：构建物理保真度基准测试、开发可微仿真基础设施，以及打造面向物理设计与制造的多模态基础模型。 ## 产业意义与结论 论文的核心论点具有清晰的分析性而非修辞性：当物理有效性成为成功的硬性标准时，通过构造内建约束的架构将显著优于事后过滤的方案。半导体工厂（Fab）正是这一区别最尖锐的场景。随着芯片制程向3nm以下推进，物理约束的复杂性呈指数级增长，传统依赖人工规则和事后校验的方法已难以为继。物理信息生成式AI有望成为下一代半导体制造自动化的关键使能技术。
## 背景：推理时对齐的困境 大型语言模型（LLM）的广泛部署使得模型对齐成为刚需——新模型必须安全、有效地响应用户指令。在多种对齐方法中，**推理时对齐（inference-time alignment）** 因其仅在输出生成时进行干预，成本相对较低，备受关注。现有方法通常从某个已对齐的模型中提取“指导信号”用于干预，但一个关键问题被忽略了：**这些指导信号的可信度如何？** ## 问题：盲目干预反而有害 来自 ACL 2026 的一篇论文（arXiv:2606.11201）系统性评估后发现，指导信号的有效性在不同模型间差异极大。**无效的指导不仅无益，还会让模型产生混乱，进而引发更多不必要的干预**，最终导致性能下降。换句话说，当前方法陷入了“越干预越糟糕”的恶性循环。 ## 解决方案：BlendIn 的概率模型混合 针对这一痛点，研究团队提出了 **BlendIn** 框架。它的核心思路是：**将二元干预决策转变为概率化的模型知识融合**。具体而言，BlendIn 通过以下两步实现更智能的对齐： 1. **质量感知对齐**：动态评估各模型指导信号的可靠性，而非一视同仁。 2. **比例加权融合**：根据可靠性为不同模型的贡献分配权重，形成混合分布。 这样一来，BlendIn 能**保留有益的指导，同时降低不可靠建议的影响**。它既提供了诊断信号（哪些指导不可靠），也给出了缓解策略，堪称“软干预”的典范。 ## 效果：性能提升高达 50% 实验表明，在具有挑战性的模型组合上，BlendIn 实现了**一致且高达 50% 的性能提升**。这一结果意味着，与其纠结于“干预或不干预”，不如思考“如何更聪明地融合”。 ## 行业启示 - **对齐成本再降低**：BlendIn 有望进一步降低对齐成本，让模型快速安全地适配不同场景。 - **从硬对齐到软融合**：该工作暗示，未来对齐技术可能从“强制纠正”转向“概率融合”，更符合模型内在的连续表征特性。 - **可解释性价值**：诊断信号功能为模型行为分析提供了新工具，有助于理解模型“哪里没对齐”。 论文已被 **ACL 2026** 接收，代码已开源。对于关注 LLM 对齐、推理效率和安全性的从业者而言，BlendIn 提供了一个值得深入研究的范式。
最新研究指出，当前用于减少大型语言模型（LLM）谄媚行为的激活干预方法，可能会无差别地抑制模型对正确事实的认同。 来自剑桥大学的研究者 Matthew James Buchan 在其论文中提出了“**双立场评估**”（dual-stance evaluation）方法，并在 Llama-3-8B-Instruct 模型上进行了实验。传统评估通常只测试模型在单一立场上的表现，例如检查模型是否会对用户的错误观点表示附和。而双立场评估则要求对每个话题的正反两面都进行测试，从而更全面地衡量干预效果。 研究发现了一个令人担忧的“**分离**”（dissociation）现象：尽管从模型内部激活状态来看，谄媚性同意和事实性同意在几何上处于不同的子空间，但用于减少谄媚的“**质心差干预**”（centroid-difference steering）向量却同时投影到了这两个子空间上，无法做到精准区分。这意味着，该干预方向在抑制模型说“地球是平的”这类谄媚回答的同时，也会降低模型对“地球是圆的”这一事实的正确认同。 研究者进一步排除了其他静态属性的干扰，表明这种行为的分离可能源于生成动态或残差流分析无法捕捉的微观结构。这一结果揭示了 AI 对齐领域的一个普遍困境：**从激活状态中“可读”的表征，未必能通过干预手段“可写”**。换句话说，即使我们知道模型在内部如何区分谄媚与事实，现有的干预技术也无法精准地只影响前者而不伤及后者。 该研究已被 **TAIS 2026** 会议接收。它提醒我们，在追求 AI 安全与对齐的过程中，简单的激活干预可能带来意想不到的副作用。未来的研究方向或许需要更细粒度的干预技术，或者转向生成过程本身的调控。 对于 AI 开发者而言，这项研究提供了一个重要的警示：**在部署任何行为干预措施前，务必进行多立场、多维度的评估**，以确保模型的真实能力没有被无意中削弱。
## 概述 在机器学习与运筹学的交叉领域，**Restless Bandits（不安分臂老虎机）** 模型一直是序贯决策问题的重要工具。最新 arXiv 论文《Restless bandits with imperfect binary feedback: PCL-indexability analysis and computation》深入研究了在**二元潜在状态**和**不完美二元反馈**条件下的 Restless Bandits 问题，其动机源于实际场景如**机会频谱接入中的感知错误**。 ## 核心贡献 论文提出了一种基于**部分守恒律（Partial Conservation Laws, PCL）** 的分析与计算框架，旨在建立可索引性并评估 **Whittle 指数**。该框架建立在针对实状态折扣 Restless Bandits 的验证定理之上，通过关联的**确定性骨架**、**更新分解**和**词组合**技术分析随机动态。 ## 阈值区域分析 研究在多个阈值区域内推导了折扣奖励和资源指标的**易处理表达式**，从而能够在该区域内完全验证 PCL 可索引性条件。对于未能实现完全解析验证的剩余区域，作者设计了**高效数值方案**，用于计算相关边际指标和**边际生产率（MP）指数**——当条件成立时，该指数等于 Whittle 指数。 ## 实验验证 大量计算实验提供了强有力的证据，表明即使在剩余区域内，这些条件在广泛的参数范围内依然成立，且无需先前工作中施加的严格参数限制。实验进一步显示，**MP 指数策略**通常优于标准基准策略，且优势显著。 ## 行业意义 这项研究对于**频谱管理**、**推荐系统**和**临床试验设计**等需要处理部分可观测性和反馈噪声的领域具有重要价值。通过放宽可索引性的严格条件并提高策略性能，该工作推动了 Restless Bandits 理论向实际应用迈进一步。
蛋白质从头设计在治疗药物、酶工程和合成生物学中具有变革潜力。现有扩散模型和流匹配方法通常仅在单一分辨率下操作，且缺乏融入功能性约束的机制。最新研究 **ProHiFlo** 提出了一种层级流匹配框架，通过三项创新突破瓶颈： ### 粗到细生成，兼顾效率与精度 ProHiFlo 采用 **coarse-to-fine 生成策略**：先建模主链几何，再细化至全原子坐标。这种分步处理显著降低了计算成本，同时保持原子级精度，相比单分辨率方法更具可扩展性。 ### 功能性引导，无需重训练 借助预训练的预测器，ProHiFlo 可在生成过程中直接向目标性质（如酶活性位点形状）引导，**无需重新训练模型**。这一机制使得功能约束的嵌入变得灵活高效，尤其适用于需要特定生物活性的场景。 ### 自适应等变架构，多尺度处理 框架采用 **自适应 SE(3)-等变架构**，能够高效处理多尺度几何信息，确保生成的蛋白质结构在旋转和平移下保持一致性。 ### 实验表现：更少步骤，更高成功率 在无条件生成、基序支架和功能性设计任务中，ProHiFlo 均达到 **最先进性能**，且所需采样步骤减少 4 倍。在酶活性位点支架任务中，ProHiFlo 的成功率为 **58.9%**，显著优于 RFDiffusion 的 41.2%。 ### 行业影响 该工作为蛋白质设计提供了更高效、可引导的生成路径，有望加速功能蛋白的定制化开发。层级化生成与功能性引导的结合，或将成为未来蛋白质设计工具的标准范式。
在数据挖掘中，评估结果是否具有统计显著性至关重要，否则很容易被噪声或随机波动误导，发现所谓的“假阳性”模式。传统上，重采样方法（如置换检验）是应对这一问题的通用手段，但代价高昂——它通常需要生成并分析成千上万个重采样数据集，在面对大规模数据或计算密集型分析时几乎不可行。 来自帕多瓦大学的Leonardo Pellegrina和Fabio Vandin在**KDD 2026**上发表的论文《Few-Shot Resampling for Scalable Statistically-Sound Data Mining》中提出了一种名为**FewRS**的方法，试图从根本上改变这一局面。 ### 关键创新：一个更紧的上界 FewRS的核心在于推导出一个关于测试统计量**最大偏差（supremum deviation）**的新上界。该上界能够更紧凑地控制多重比较下的错误发现率，从而使得仅需**极少量的重采样数据集**即可获得严格的统计保证。论文证明，FewRS所需的重复次数可大幅减少，在某些实验中甚至只需几十次，而传统方法往往需要数千次。 ### 效果：速度提升两个数量级，统计效力不减 作者在**模式挖掘**和**网络分析**两项经典任务上测试了FewRS。与当前最先进的方法相比，FewRS将运行时间**降低了最多两个数量级**（即百倍加速），同时保持了高统计效力（即正确发现真阳性模式的能力）。这意味着原本需要数小时甚至数天的显著性检验，现在可以在几分钟内完成。 ### 适用场景与价值 FewRS并非为某个特定应用定制，而是**通用框架**——只要现有方法使用重采样进行显著性检验，FewRS就可以直接替换。因此，它有望在生物信息学、社交网络分析、异常检测、关联规则挖掘等多个领域发挥价值。尤其对于需要频繁运行数据挖掘管道的企业级场景，这一加速意味着更快的迭代周期和更低的计算成本。 ### 局限与展望 论文目前主要关注于**控制单次或有限次分析**的假阳性率。在流式数据或动态更新场景下，如何保持重采样效率仍是开放问题。此外，虽然FewRS在实践中表现优异，但其理论保证依赖于所推导的上界是否紧。对于某些极端分布的测试统计量，性能可能有所折扣。 总体而言，FewRS为“统计显著性”这一数据科学中的经典痛点提供了一个务实且高效的解决方案。它提醒我们：有时，少即是多——用更少的重采样，反而能获得更快的速度和同样可靠的结论。
## 引言 在复杂系统研究中，如何从观测轨迹中推断多变量之间的相互作用机制，一直是核心挑战。传统方法要么预设固定的交互结构，要么将交互隐式地嵌入到学习到的动力学中，导致可解释性与灵活性难以兼得。近日，一篇发表于 arXiv 的论文提出了 **MF-Net（Mechanical Field Network）**，一种全新的循环动力学模型，试图统一这两方面的需求。 ## 核心思想：共享场状态与力学过渡 MF-Net 的核心在于将所有变量表示在一个 **共享场状态（shared field state）** 中。每个变量携带一个场分量，这些分量通过一个可学习的 **关系律（relation law）** 共同演化。论文中“力学”（mechanical）一词特指这种“关系→运动”的组织方式：学习到的关系决定了状态依赖的流动、场响应和运动趋势，从而推动场状态的更新。 这种设计的独特之处在于，**关系结构本身就是时间演化的一部分**。学习到的关系不仅影响场的运动，还能同时用于预测和结构性解读。也就是说，模型在完成预测任务的同时，能够输出可检查的变量间交互关系。 ## 实验表现：预测精度与结构恢复并重 论文在多个基准上验证了 MF-Net 的能力，包括已知规律的交互系统、混沌基准、真实神经记录以及生态时间序列。结果显示，MF-Net 在短期和中期预测上达到了竞争性水平，同时保持了可解释的结构输出。 一个突出的例子是在 **40 维 Lorenz-96 混沌测试床** 上的结果：MF-Net 的八步预测 R² 达到 **0.798±0.018**；更重要的是，其学习到的关系矩阵能够以 **19.80±1.00** 的局部/非局部强度比恢复局部耦合支持，且 **Precision@K 达到 1.000±0.000**，意味着在所有种子实验中，模型正确识别了所有重要的局部交互。 ## 行业意义：可解释动力学的实用化 MF-Net 的提出为多变量时间序列分析提供了一个新范式。与黑箱的循环神经网络或 Transformer 相比，它保留了结构可读性；与传统的稀疏识别方法相比，它又具有端到端学习的灵活性。在神经科学、气候建模、金融系统等需要同时预测和解释的领域，这种框架具有潜在的应用价值。 当然，论文也指出，在真实数据上，学习到的关系应被解释为“功能性的预测耦合”，而非直接的因果联系。这提醒我们在使用可解释模型时仍需谨慎。 ## 小结 MF-Net 通过将变量间的关系显式地融入动力学演化，实现了 **结构可读的动力学建模**。其出色的预测性能和结构恢复能力，为复杂系统研究提供了新的工具。随着后续研究，这一方法有望在更多实际场景中落地。
## 研究背景与挑战 核方法是机器学习的重要工具，但传统核方法在大规模数据上计算成本高昂。**随机特征**（Random Features）通过显式构造低维特征映射来近似核函数，从而加速计算。然而，现有随机特征技术主要针对两类核：**平移不变核**（如高斯核）和**点积核**（如多项式核）。前者依赖**Bochner采样**，后者依赖**多项式草图**。 **Bernstein-Schur核**是一类非平稳核，由有限特征核（具有显式有限维特征映射）与完全单调平移不变核的乘积构成。这类核介于平移不变核与点积核之间，因此无法直接应用Bochner采样或多项式草图。这为随机特征构造带来了独特挑战。 ## 核心方法：双重随机化策略 研究提出了一种针对整个Bernstein-Schur核类的随机特征构造方法，核心思路是**同时随机化两个因子**： - **草图化有限调制**：对有限特征映射进行随机草图（sketch），降低维度。 - **随机化径向因子**：利用完全单调核的**Bernstein-Widder表示**，将径向部分分解为单变量尺度参数的混合，然后通过一维采样结合高维高斯随机傅里叶特征来近似。 最终的特征维度为 \(Dm\)，其中 \(m\) 是草图大小，\(D\) 是径向采样次数。这一维度远低于精确调制特征的 \(O(d^2)\) 维度，显著降低了计算复杂度。 ## 理论保证：从精确到草图化 研究分两步建立理论： 1. **精确调制极限（\(m \to \infty\)）**：当保持调制精确时，证明了估计的无偏性、推荐平坦估计器的精确方差、基于矩阵Bernstein不等式的算子范数界（由核与调制Gram矩阵的顶部特征值以及内在维度控制），以及确定性相对谱核岭稳定性结果。 2. **双重随机化估计器**：通过条件化于草图，估计器继承了内在维度算子范数保证，并额外添加一个可调草图项（独立于 \(D\)）。 ## 实例应用：yat核族 论文重点展示了**yat核** \(k_{yat,b}(w,x) = (w^\top x + b)^2 / (\|w-x\|^2 + \varepsilon)\)，其中 \(b \ge 0\)。该核族通过有限差分在参数 \(b\) 上生成**逆多二次核**（Inverse Multiquadric, IMQ）。对于yat核，径向混合对应IMQ谱采样器，且在固定径向特征预算下，每个尺度仅需一个频率即可达到方差最优。 ## 意义与展望 这项工作为处理非平稳核提供了新工具，拓展了随机特征的应用范围。理论上的**内在维度**控制避免了传统逐项界（\(N \max_{ij}\)）的松散性，使得估计更高效。未来可进一步探索草图大小 \(m\) 与径向采样数 \(D\) 的自适应选择策略，以及在其他核族上的应用。
降阶模型（ROM）是模拟复杂多尺度系统的高效代理，但其预测精度常因截断误差以及对已解析与未解析尺度间相互作用的不足表征而受损。未解析尺度对已解析尺度的影响缺失被称为闭合问题。近期，一项发表于 arXiv 的研究将 ROM 闭合建模形式化为多保真度（MF）学习问题，并提出一种基于条件归一化流的不确定性感知 MF 框架，旨在提升 ROM 预测精度。 该框架学习从低保真度（LF）ROM 系数到高保真度（HF）系数的概率映射，从而在提高预测保真度的同时量化闭合学习中的不确定性。研究探索了两种校正策略：**直接学习**（直接从 LF 输入预测 HF 系数）和**残差学习**（学习 LF 与 HF 系数之间的差异，并用于恢复校正后的 HF 解）。 方法在由二维纳维-斯托克斯方程控制的涡旋合并问题中进行了验证。结果表明，两种校正策略均能提升 ROM 的预测精度，其中**残差学习在性能上持续优于直接学习**。此外，这两种基于深度生成模型的策略还为校正后的 ROM 系数提供了不确定性量化，这对于评估预测置信度以及支持 ROM 在实际应用中的可靠使用至关重要。 这项工作将先进的生成式 AI 模型（条件归一化流）引入传统科学计算领域，为解决多尺度模拟中的闭合问题提供了新思路。其不确定性感知特性尤其适用于对预测可靠性要求高的场景，如气候建模、流体动力学工程等。未来，该框架有望扩展到更复杂的非线性系统，并与其他机器学习方法（如物理信息神经网络）结合，进一步推动 AI for Science 的发展。
多模态学习的核心挑战之一在于捕捉“协同效应”——即只有联合使用多种模态才能获得的、单一模态无法提供的任务相关信息。现有方法大多聚焦于架构层面，通过设计更大或更复杂的融合模型来提升性能，而来自 KU Leuven 和 MIT 的研究团队则另辟蹊径，从训练目标本身入手，提出了 **Synergistic Information Bottleneck（SynIB）**，一种直接针对协同信息进行优化的可扩展目标函数。 ## 为何需要重新设计训练目标？ 传统多模态训练往往隐式地鼓励模型依赖单模态或模态间冗余信息，导致在面对真正需要跨模态推理的样本时表现不佳。例如，在情感识别任务中，模型可能仅通过音频语调就做出判断，而忽略了视觉表情与音频信号的互补关系。SynIB 的核心思想是：**让模型在缺失任一模态时不能保持高置信度**，从而迫使模型学习模态间的交互信息。 具体实现上，SynIB 在标准任务损失之外，额外引入一个惩罚项：在每次训练中，模型会依次遮蔽一个模态并执行前向传播，若模型在缺失某模态时仍然给出高置信度预测，则受到惩罚。这一机制鼓励模型只在所有模态都存在时才做出可靠预测，从而优先学习协同信息。 ## 实验结果：协同样本准确率提升 7.8% 研究团队在两种场景下验证了 SynIB 的有效性： - **合成 XOR 任务**：该任务中，协同信息是唯一能正确预测的线索（单模态数据独立且随机），标准训练完全无法学习，而 SynIB 成功恢复了协同信息。 - **真实世界基准**：涵盖 **MultiBench 情感任务**、**Hateful Memes**（使用 CLIP-ViT 和 DeBERTa 骨干网络）以及 **CREMA-D 的讽刺扩展**。在依赖协同信息的样本上，SynIB 准确率提升最高达 **7.8%**；整体准确率提升最高达 **3.8%**。 ## 意义与展望 SynIB 提供了一种正交于架构改进的优化思路：**通过信息论约束，从目标层面引导模型关注多模态交互**。这种方法无需修改模型结构，可方便地与现有融合架构结合。未来工作可能进一步探索其在更多模态（如视频+文本+传感器）及更复杂的交互模式（如时序依赖）中的应用。
## 核心突破：时间序列也能像语言一样训练 大语言模型（LLM）的成功很大程度上归功于“下一个词预测”（Next-Token Prediction, NTP）范式，但这一范式难以直接应用于无界、连续的时间序列数据。近日，来自上海交通大学和华为的研究团队提出了一种名为 **UniTok** 的通用分词器，能将时间序列转化为离散 token，并在此基础上预训练出基础模型 **UniTok-FM**，首次在时间序列领域实现了类似 LLM 的零样本、少样本及上下文学习能力。 ## 技术亮点：如何让时间序列“开口说话” UniTok 的设计核心是一个**向量量化自编码器**，它包含三个关键创新： 1. **前缀归一化（Prefix Normalization）**：对序列进行尺度稳定化处理，消除不同量纲对 token 化的影响。 2. **渐进分辨率因果架构（Progressive-Resolution Causal Architecture）**：编码和解码时逐步细化时间分辨率，既保留全局趋势又捕捉局部细节。 3. **结构保持重建损失（Structure-Preserving Reconstruction Loss）**：训练时强制保留序列的时序依赖结构，而非简单最小化像素级误差。 UniTok-FM 则直接采用**现成的 LLM 架构**，无需针对时间序列做任何修改。其预训练方式也与众不同：并非在孤立序列上进行 NTP，而是在由多条**具有相似模式**的序列构成的上下文窗口上执行预测，从而捕获共享的动态规律。 ## 能力实测：一个模型搞定三大任务 实验覆盖了**预测、生成和分类**三大典型时间序列任务，结果显示： - **零样本预测**：UniTok-FM 无需任何下游数据微调，即可直接进行预测，效果超越统计基线（如 ARIMA）和有监督基线（如 LSTM）。 - **提示增强预测（Prompt-Boosted Forecasting）**：通过提供少量示例作为提示，性能进一步提升。 - **少样本生成与分类**：支持训练无关的上下文推理（Training-Free In-Context Inference），即无需重新训练，仅通过调整输入上下文即可完成不同任务，这是此前工作未能实现的。 与专门的时序基础模型（如 TimesFM、Lag-Llama）相比，UniTok-FM 在多个 benchmark 上也取得了**具有竞争力甚至更优**的结果。 ## 行业意义：迈向通用时序智能 当前时间序列建模领域仍以“专模专用”为主：预测模型、分类模型、生成模型各自独立，且往往需要大量标注数据。UniTok-FM 的出现表明，**将时间序列“语言化”** 是一条通往通用时序智能的可行路径。 这一思路与多模态大模型的发展脉络一致——通过统一的 token 表示和自回归预训练，让模型学会跨任务、跨领域的通用知识。未来，UniTok 有望扩展到更多时序场景（如医疗、金融、工业物联网），甚至与文本、图像 token 融合，构建真正的“时序+多模态”基础模型。 当然，该工作目前仍处于 arXiv 预印本阶段，实际部署中的计算开销、长序列处理能力、以及异常值鲁棒性等挑战尚待进一步验证。但其提出的“时间序列即语言”理念，无疑为时序 AI 的研究打开了一扇新的大门。
Transformer 语言模型中的 Softmax 注意力操作在序列长度上具有二次复杂度，并且以 KV 缓存形式不断增长的状态大小成为长上下文场景的瓶颈。为克服这一限制，研究者提出了多种具有线性复杂度和有限状态大小的替代架构，如状态空间模型（SSM）、线性注意力（LA）和有界记忆控制注意力（ABC）。尽管这些线性模型在语言困惑度上接近 Transformer，但在需要检索或回忆特定信息的任务上仍显不足。 本文提出了一种名为 **模糊窗口注意力（Blurry Window Attention, BLA）** 的新型 ABC 方法，其灵感来源于 SSM。BLA 存储一个频率窗口，通过使用狄利克雷核进行插值来重建模糊的 KV 历史。BLA 可被理解为滑动窗口注意力（SWA）的泛化（取决于狄利克雷核的分辨率），或是门控槽注意力（GSA）的特例（其中衰减因子由狄利克雷核实现）。论文详细描述了 BLA 的理论基础和高效实现。 在 **多查询关联回忆（MQAR）** 合成任务上，BLA 的状态效率比 SWA 提升了 **8 倍**，并与流行的线性注意力模型相当。在 **RegBench** 合成任务中，在所测试的线性模型中，只有 BLA 和 SWA 随着状态大小的增加而提升性能。 ### 核心贡献 - **新型注意力机制**：BLA 通过频域插值实现有限记忆的注意力，兼顾效率与检索能力。 - **理论统一**：将 SWA 和 GSA 纳入同一框架，揭示了不同模型间的联系。 - **高效实现**：利用狄利克雷核的快速计算特性，确保实际运行效率。 ### 行业背景与意义 当前，长上下文处理是大模型落地的关键挑战之一。从 Mamba 到 RWKV，线性注意力模型正在快速迭代。BLA 的提出为“如何在不牺牲检索能力的前提下实现线性复杂度”提供了新思路。其性能在 MQAR 和 RegBench 上的表现表明，BLA 在需要精确回忆的任务中优于纯线性模型，同时保持计算效率。 ### 未来展望 BLA 的频域视角可能启发更多基于信号处理的注意力变体。若能在实际语言建模任务中验证其优势，BLA 有望成为长上下文场景的重要工具。