LLT：面向偏微分方程算子学习的局部线性Transformer
近年来，神经算子（Neural Operator）已成为学习偏微分方程（PDE）解映射并加速数值模拟的主流方法之一。其中，基于Transformer的神经算子尤为引人关注，因为注意力机制能够捕捉计算域中的长程依赖关系。然而，标准注意力机制在应用于PDE时存在两大缺陷：计算复杂度随节点数呈二次增长，且缺乏对局部交互的显式偏置。
为克服这些局限，来自特拉维夫大学的研究者Oded Ovadia和Eli Turkel提出了局部线性Transformer（Local Linear Transformer, LLT）。该架构创新性地将线性全局注意力与局部空间混合相结合，并融入了坐标与几何信息，从而在保持全局感知能力的同时，显著提升计算效率和对局部特征的捕捉能力。
性能表现：精度与效率的双重提升
LLT在多个经典PDE问题上进行了评估，涵盖弹性力学、塑性力学、翼型绕流、管道流以及达西流等。参考数据来自有限元、有限体积和有限差分等不同离散化方法，且同时适用于结构化与非结构化网格。
与先前研究中的多种神经算子和Transformer基线相比，LLT在这些问题上取得了具有竞争力或更低的相对L₂误差。更值得一提的是其计算效率：在匹配的结构化离散化设置下，LLT每个训练迭代的墙钟时间相比Transolver降低了1.8至2.5倍。
大规模应用验证
研究团队还将LLT扩展至一个三维汽车空气动力学数据集，每个样本包含多达32,186个非结构化网格点。实验结果表明，LLT在该大规模复杂问题上依然保持高精度和高效性，证明了其处理实际工程问题的潜力。
行业意义与未来方向
LLT的提出为PDE求解领域提供了一种准确且计算高效的算子学习方案，尤其适用于跨离散化类型、网格类型和问题设置的场景。相比传统Transformer，LLT通过局部线性化设计有效缓解了二次复杂度瓶颈，同时保留了全局注意力对长程依赖的建模能力。
这一工作也反映出AI for Science领域的一个趋势：在通用架构基础上，融入领域先验知识（如局部性、几何结构）来提升模型在科学计算中的适用性。未来，类似LLT的混合架构有望在流体力学、固体力学、气候模拟等更广泛的实际应用中发挥关键作用。