新上线今天0 投票
何时信任,如何蒸馏:多基础模型指导下的轻量级鲁棒科学时间序列预测
快讯:KDD 2026 接收论文提出 Guard 框架,解决科学时间序列预测中基础模型分布偏移与计算成本矛盾。
时间序列基础模型在物理科学领域面临两难:它们虽编码了丰富的通用时间动态,但在零样本应用于特定科学领域时存在严重分布偏移,且计算成本过高,无法部署于边缘计算传感器网络。最新研究提出 Guard(门控不确定性感知路由蒸馏框架),将多教师蒸馏重塑为实例级决策过程,通过两大自适应机制提取知识:
- 上下文路由器:基于局部输入统计动态选择最相关的教师模型,利用不同基础模型的互补性。
- 不确定性门控温度:充当断路器,当教师置信度与领域现实偏离时自动削弱蒸馏强度。
该轻量级框架在气象学、生态系统碳通量、土壤湿度和能源网格四个气候关键领域进行了评估。相比固定权重的多教师蒸馏基线,Guard 显著降低了 RMSE。即使预训练基础模型因分布偏移在目标域上零样本精度不佳,Guard 仍能成功蒸馏知识,甚至在某些最困难实例(占 28.5%)上超越全局最优的基础模型。
这为资源受限的边缘部署场景提供了高精度科学预测方案。代码已开源。