SheepNav
新上线今天0 投票

Mamba 状态空间模型也能「遗忘」:SSU-LSF 框架精准剥离地表预测中的非平稳偏差

当模型「记住」了不该记住的事

基于 Mamba 家族结构化状态空间模型(SSM)的地表预测系统,正在成为遥感与地球科学领域的重要工具。但这类模型有一个隐蔽的缺陷:它们会把非平稳的干扰事件——比如未记录的灌溉扩张、水库调度变化、传感器重新校准——悄悄吸收进自己的状态转移矩阵中。

问题在于,即使这些物理原因早已结束,模型仍会持续输出被污染的 NDVI(植被指数)、LST(地表温度)和作物物候预测。换句话说,模型「记住」了一个已经不存在的事件,并让这个记忆长期扭曲预测结果。

SSU-LSF:为地球科学 SSM 定制的机器遗忘框架

论文 arXiv:2610.02248v1 提出了 SSU-LSF(State-Space Unlearning for Land Surface Forecasting),作者称这是首个专为地球科学领域 Mamba 类状态空间模型设计的机器遗忘框架。

其技术路线包含几个关键组件:

  • EKFac 影响函数:通过闭式矩阵指数梯度,专门适配 Mamba 状态矩阵,用于识别哪些参数受到了干扰事件的影响。
  • 谱半径加权肘部阈值法:定位时间维度上的混淆足迹 $\Phi$,即干扰事件在时间上的影响范围。
  • 无 Hessian 投影梯度上升:在 KL 散度信任域内执行,并加入空间全变差(TV)正则化,确保遗忘过程不会破坏空间结构的连续性。

论文还给出了 命题 1:残余混淆量被限制在 $\mathcal{O}\big((1-\rho(\bar{A})^{T_c})/((1-\rho(\bar{A}))\mu)\big)$ 的范围内,该上界随窗口长度 $T_c$ 增长。

实测效果:最高 0.859 的混淆削减率

在三个异构基准和十一个基线方法的对比中,SSU-LSF 表现如下:

  • CropHarvest:混淆削减率 0.773
  • NDVI-LST:混淆削减率 0.821
  • ERA5:混淆削减率 0.859

在干净域上,最差情况的 RMSE 退化仅为 4.2%(ERA5)。整个遗忘过程只需 3–5 个 epoch 即可收敛,每次遗忘请求的 GPU 成本比完整重训练低 8.4 倍。

为什么这件事重要

在 AI 行业语境下,这项研究触及了两个前沿方向的交汇:

  1. 机器遗忘(Machine Unlearning):此前主要应用于隐私保护(如让模型「忘记」特定用户数据),而 SSU-LSF 将其扩展到环境偏差修正——让模型忘记不再成立的物理干扰。
  2. 状态空间模型的地球科学落地:Mamba 类模型因线性复杂度在处理长时序遥感数据时具备优势,但其状态矩阵的「记忆惯性」也带来了新的可信性挑战。

对于依赖地表预测进行农业估产、干旱监测和水资源管理的业务系统而言,SSU-LSF 提供了一条低成本、可局部化的偏差修正路径,而无需对整个模型进行代价高昂的重新训练。

论文代码已公开,具体链接可在 arXiv 页面获取。

延伸阅读

  1. Reflection 发布 Beam:对标中国开源模型的低成本开放权重模型
  2. AI 攻占数学界:突破、争议与混乱的一年
  3. 命令行工具可快速从 macOS 27 中移除 Apple Intelligence,释放超 12GB 存储空间
查看原文