NEST：用“体制感知”混合专家模型攻克数据集级分布漂移
当时间序列预测遭遇“体制切换”：NEST 的解题思路
在金融、气象、网络运维等复杂系统中，长期预测的准确性经常被数据集级别的分布漂移（dataset-level distribution shift）所困扰。这种漂移并非简单的局部时序变化，而是源于系统内部多种潜在行为模式（即“体制”）的切换与组合。例如，网络流量可能在工作日、节假日、攻击事件下呈现截然不同的特征；物理系统的动力学状态也会随外部条件发生结构性改变。
现有方法大多聚焦于局部的时序偏移，例如通过自适应归一化或在线学习应对短期波动，却忽视了更根本的挑战：一个数据集本身可能就是多个不同“体制”的复合体。正因如此，当模型面对未曾见过的体制组合时，泛化能力急剧下降。
针对这一痛点，来自北航等机构的团队在最新论文中提出了 NEST（Regime-Oriented Mixture-of-Experts） 框架。其核心思想是：先识别出数据中的不同“体制”，再让专门的专家模块学习每个体制的独特动态，最后通过路由机制将专家输出重组为全局预测。
两阶段 MoE 架构：先分后合
NEST 采用了一种两阶段密集混合专家（dense MoE） 架构。第一阶段是结构专业化：通过无监督聚类，在精心设计的矩-熵空间（moment-entropy space）中将数据集划分为若干不同的运行体制。这个空间能够捕捉时间序列的高阶统计特征与信息复杂度，比直接在原始时序上聚类更具区分力。
第二阶段是专家路由与调制。NEST 引入了一个体制导向路由器：它首先根据输入序列的时序内容生成初始专家权重，再通过几何调制（geometric modulation）将这些权重向体制质心（regime centroids）靠拢。这样一来，路由器不仅能感知当前输入属于哪个体制，还能利用体制质心作为先验知识，增强路由的鲁棒性。
值得注意的是，NEST 中的每个专家并非一个黑盒预测器，而是充当专用核函数：它们通过演化出独特的变量注意力模式（variate-attention patterns），来捕捉对应体制下的变量间依赖关系。例如，在网络流量中，一个专家可能专门学习“突发流量”下的端口关联，而另一个专家则学习“平稳期”的周期性模式。
实验表现与行业意义
论文在异构网络流量、物理现象等多个基准上进行了评估，结果显示 NEST 持续取得最先进（SOTA） 的性能。特别是在长期预测任务中，其对体制切换的显式建模带来了显著的提升。
这项工作的意义不仅在于一个更优的预测模型，更在于它为处理“数据集级分布漂移”提供了一种全新的视角。在 AI 落地过程中，真实世界的数据往往由多个隐含状态混合而成——比如自动驾驶中的不同路况、工业传感器中的不同工况。NEST 的“先识别体制、再分而治之”的思路，有望成为这类问题的一个通用范式。
目前，NEST 的代码和数据集已开源，感兴趣的读者可以前往 arXiv 获取更多细节。