半直积傅里叶Delta注意力：相位控制的循环记忆与分块WY核构建
线性注意力模型通过固定大小的循环状态替代了softmax注意力中不断增长的KV缓存，但在长上下文任务中，这种压缩往往导致状态跟踪不精确和记忆丢失。近日，一篇来自arXiv的论文提出了半直积傅里叶Delta注意力（SFDA），一种对Kimi Delta注意力的相位控制泛化，通过引入块旋转傅里叶控制来替代实对角衰减，从而在保持线性复杂度的同时显著提升循环记忆的容量与精确性。
核心创新：从实数衰减到相位控制
传统线性注意力（如线性Transformer、DeltaNet）的循环更新通常依赖实数衰减因子，这限制了模型对周期性或复杂时序模式的记忆能力。SFDA的核心公式将状态更新改写为：
S_t = (I - β_t k_t k_t*) Λ_t S_{t-1} + β_t k_t v_t*
其中 Λ_t = diag(α_t ⊙ e^{iθ_t})，即每个维度上的衰减不再是实数，而是由幅度α_t和相位θ_t共同控制的复数旋转。这种设计使得模型能够学习循环记忆中的相位信息，例如周期性的状态翻转或序列依赖的路径跟踪。
理论突破：可构造的分块WY分解
论文的主要理论贡献在于证明了对于形如 A_t = Λ_t - u_t r_t* 的矩阵乘积，存在一种显式的分块WY分解：
A_t ... A_1 = Γ_t - Y_t M_t W_t*
其中秩的增长被限制在固定大小的分块内，从而实现精确的仿射分块传递。这一分解不仅提供了形式化的稳定性和复杂度界限，还给出了“相位加低秩”记忆的紧凑表征，为后续的工程实现奠定了理论基础。
实验验证：相位记忆的显著优势
在玩具状态跟踪实验中，SFDA展现了相位控制的强大能力。当任务需要模型记忆和重复循环模式时，不带相位的KDA基线（仅实数衰减）表现接近随机水平，而SFDA则能准确学习这些循环记忆。例如，在一个需要追踪输入序列中循环状态的任务中，SFDA在几个训练步内就达到了接近100%的准确率，而KDA始终在50%附近徘徊。
行业意义与未来方向
SFDA的提出为线性注意力模型开辟了新的设计空间。传统的线性注意力在长上下文任务中往往无法与softmax注意力匹敌，而相位控制的引入可能缩小这一差距——尤其是在需要记忆长距离依赖或周期性模式的任务中，如代码生成、音乐建模、时间序列预测等。
不过，论文也坦承当前工作主要集中在理论分析和玩具实验上，融合核函数实现和大规模语言模型对比尚待未来研究。如果这些工程挑战能被克服，SFDA有望成为下一代高效Transformer架构的重要组件，尤其是在需要处理超长序列的场景中。