SheepNav
新上线今天0 投票

外生Dropout:一种简单且强大的时间序列预测鲁棒基线方法

背景与问题

在时间序列预测中,利用外生协变量(如天气、经济指标等)来提升预测精度是常见做法。然而,实际部署时这些外生变量常受到噪声干扰、时间错位甚至完全缺失,导致依赖外生变量的模型性能急剧下降,甚至不如纯粹基于内生变量的模型。现有研究多致力于设计专门的鲁棒架构,但这是否必要?

方法:外生Dropout

来自 arXiv 的最新论文提出了一种极其简洁的模型无关方法——外生Dropout(Exogenous Dropout)。其核心思想是在训练过程中以一定概率将整个外生通道(即某个协变量的全部时间步)随机置零。这迫使模型在学习时不能过度依赖任何单一外生变量,从而提升对协变量损坏的鲁棒性。该方法无需修改模型架构,仅需在训练数据上施加简单的随机掩码。

实验验证

研究者在三个典型领域进行了评估:电价预测、水库水文预测和气象预测。实验设置包括三种损坏场景:高斯噪声、时间错位和通道完全缺失。结果显示:

  • 外生Dropout 显著提升了模型在上述损坏情况下的鲁棒性,同时几乎不损失干净数据上的精度
  • 当应用于双相关网络(Dual-Correlation Network)时,外生Dropout 训练出的模型成为实验中最鲁棒的模型,甚至超越了特意设计的强基准架构 BoundEx。BoundEx 融合了可学习门控、内生回退残差和逐通道外生 FiLM 调制,架构上显式限定了外生影响的上限。

关键发现:显式边界并非必要

论文通过架构-方法消融实验、门控行为诊断和表示层界限分析,揭示了一个重要结论:显式的架构边界并非实现鲁棒性的必要条件。一个无边界约束的模型,只要用外生Dropout 训练,在所有场景下都比 BoundEx 更鲁棒。这挑战了“必须设计特殊鲁棒模块”的直觉,表明简单的训练策略可能就足够。

意义与展望

外生Dropout 的提出为时间序列预测领域提供了一个简单、强力的新基线。它不仅降低了鲁棒预测的工程门槛,还促使研究者重新思考:在追求模型鲁棒性时,是否过度依赖复杂的架构创新?该方法与现有模型兼容,易于集成。论文还公开了一个鲁棒性基准数据集,以促进后续研究。

小结

外生Dropout 以极简思路解决了实际部署中的关键痛点——协变量损坏。对于广大时间序列从业者而言,这或许是性价比最高的鲁棒性提升手段:只需在训练时随机丢弃整通道外生数据,即可获得与复杂架构相当甚至更优的鲁棒效果。未来工作可进一步探索最优丢弃率自适应、与其它正则化方法的协同等方向。

延伸阅读

  1. AdaStop:一种成本感知的深度神经网络测试早停方法
  2. 离线强化学习让LLM Agent的“缰绳”学会自我控制
  3. 可观测性测试驱动深度神经网络压缩:实现最小状态副本的新框架
查看原文