SheepNav
新上线今天0 投票

L-FNO:用于随机事件动力学的洛伦兹傅里叶神经算子

现代运营系统即使在常规条件下也面临不确定性,其中罕见、突发且自激的事件既源于外生协变量,也源于内生事件动力学。标准的神经算子通常被训练为回归式的函数到函数模型,而非条件强度估计器,这限制了它们在稀疏事件场景中的适用性。为此,我们引入了洛伦兹傅里叶神经算子(L-FNO),这是一种随机神经算子,它结合了FNO风格的协变量路径、用于历史依赖激发的洛伦兹谱核以及基于似然的训练目标。我们在八个合成点过程基准和三个真实世界数据集(涵盖疾病暴发预测和半导体故障或缺陷检测)上评估了L-FNO。与回归和基于似然的神经算子基线相比,L-FNO在事件似然、校准诊断和罕见事件检测方面均有提升。这些结果表明,结构化的谱记忆和基于似然的学习为随机事件动力学的神经算子模型提供了有效的归纳偏置。

背景与挑战

在金融、医疗、制造等许多领域,系统面临的核心挑战之一是如何准确预测罕见但关键的事件,例如疾病暴发或半导体制造中的故障。这些事件往往表现出突发性和自激性,即一个事件的发生可能增加后续事件发生的概率。传统的神经算子模型通常以回归方式训练,直接学习输入到输出的映射,忽略了事件时间序列的随机性质,导致在稀疏事件场景下性能不佳。

L-FNO的核心设计

L-FNO的设计旨在克服上述局限。它结合了三个关键要素:

  • FNO风格的协变量路径:利用傅里叶神经算子高效处理函数型协变量,捕捉输入与事件之间的复杂关系。
  • 洛伦兹谱核:借鉴洛伦兹函数(即柯西分布)的谱形式,用于建模历史事件的激发效应。这种核函数能够有效捕捉事件的自激和互激特性,尤其适合描述突发和衰减过程。
  • 基于似然的训练目标:通过最大化事件序列的似然函数来训练模型,使其直接优化条件强度估计,而非简单的回归误差。

这种设计使得L-FNO能够更好地处理事件数据的随机性,并提高对罕见事件的预测能力。

实验与性能

研究团队在八个合成点过程基准和三个真实数据集上进行了广泛实验。结果显示,L-FNO在事件似然、校准诊断和罕见事件检测方面均优于现有的回归和基于似然的神经算子基线。这表明,结构化的谱记忆和似然学习为神经算子模型提供了有效的归纳偏置,使其更适合于随机事件动力学建模。

意义与展望

L-FNO的提出为神经算子家族增添了新的工具,特别是在处理随机事件序列时。其成功表明,将领域知识(如自激过程的谱特性)融入模型架构,并结合适当的训练目标,可以显著提升模型的实用价值。未来,该模型有望在更多需要实时预测和风险管理的领域中得到应用,例如金融风险管理、流行病学监控和工业质量控制等。

尽管L-FNO表现出色,但仍有改进空间。例如,如何扩展到更高维的事件类型、如何处理非平稳的协变量,以及如何进一步提高计算效率,都是值得探索的方向。

延伸阅读

  1. 查询知道该遗忘什么:线性注意力中的第二擦除方向
  2. 对比学习赋能对撞机实验:可解释异常检测新框架ORCA
  3. 鲁棒双模型协作随机向量功能链接网络
查看原文