SheepNav
新上线今天0 投票

QuantFlow:基于联邦Mamba的后Transformer时序预测基础模型

时间序列预测在金融、能源、交通、公共卫生和工业监测等领域支撑着关键决策。近期涌现的基础模型虽提升了跨任务迁移能力,但大多依赖中心化数据和Transformer注意力机制,在处理长序列、高维度和隐私敏感信号时捉襟见肘。来自多所机构的研究团队提出了一种名为 QuantFlow 的概率预测框架,巧妙融合了倒置序列嵌入、双向Mamba状态空间解码器、分位数回归与联邦学习,为时序预测领域带来了新的解题思路。

核心设计:倒置嵌入 + 双向Mamba

QuantFlow 的架构设计颇具巧思。首先,它采用 倒置序列嵌入 策略:将每个变量在整个观测窗口上的时间步进行嵌入,而非将同一时间步的所有变量拼合。这种处理方式能更好地捕捉变量自身的长期依赖关系。随后,嵌入后的序列分别沿正向和反向送入 双向Mamba 状态空间解码器。Mamba 作为近年来兴起的状态空间模型,凭借线性复杂度的序列建模能力,在长序列任务上展现出超越 Transformer 的潜力。QuantFlow 通过双向处理,使模型能同时感知过去和未来的上下文信息。

最终,解码器输出被投影到 五个条件分位数(如 10%、25%、50%、75%、90%),从而实现概率预测,不仅给出点估计,还提供不确定性区间。此外,团队引入 TSMixup 数据增强方法,通过狄利克雷加权插值增加时间序列多样性,同时保持序列的结构完整性。

联邦学习:隐私保护下的分布式训练

QuantFlow 的另一大亮点是内置 联邦学习 机制。在 20 个客户端的非独立同分布(non-IID)数据部署中,模型仅需 三轮通信 即可保持有用精度,且原始数据始终留在本地。这意味金融机构、医院等数据敏感方可以协作训练强大模型,而无需共享原始记录,极大拓展了实际应用场景。

实验结果:优势与局限并存

在加密货币、交通流量、电力负荷、电力变压器温度(ETT)、流感和天气等六类数据集上,QuantFlow 取得了有竞争力的结果。具体指标上,在 ETTm1 数据集上均方误差(MSE)为 0.2834,在 Weather 数据集上为 0.2218,优于或持平于同类基线。

不过,论文也坦诚指出了当前版本的局限:在处理 不规则的流行病学信号超长预测区间 时,QuantFlow 的泛化能力仍有不足。这提示状态空间模型在极端不规则采样和极长序列场景下,可能还需要更精细的设计。

行业启示:后Transformer时代的新方向

QuantFlow 的发布正值 AI 社区对 Transformer 注意力机制进行反思的时期。Mamba 等状态空间模型凭借线性复杂度,已在语言建模和长序列任务中初露锋芒。QuantFlow 将这一思路引入时序预测,并叠加联邦学习与概率输出,为构建 可扩展、可量化不确定性、隐私友好 的时序基础模型指出了可行路径。对于金融风控、智慧电网、流行病监测等需要兼顾准确性与数据合规的行业而言,QuantFlow 所代表的技术方向值得密切关注。

延伸阅读

  1. LiNO:基于提升方案的多分辨率神经算子,攻克多尺度物理建模难题
  2. 粒度感知的脑电特征框架:为精神病理维度预测提供新思路
  3. 合成图像生成后筛选新范式:同质-异质分裂法无需重训即可提升数据效用
查看原文