Transformer训练中的频谱生命周期：瞬态压缩波、持久频谱梯度与Q/K-V不对称性
研究概述
一项新研究首次系统性地追踪了Transformer预训练过程中权重矩阵奇异值频谱的动态变化，揭示了三个关键现象：瞬态压缩波、持久频谱梯度以及Q/K-V功能不对称性。该工作为理解Transformer内部机制提供了全新视角，并展示了频谱结构在模型剪枝中的实用价值。
三大核心发现
1. 瞬态压缩波
研究发现，稳定秩的压缩以行波形式从早期层向晚期层传播，形成一个戏剧性的梯度：梯度在早期达到峰值，随后反转——晚期层最终过度压缩，超越早期层。这种动态变化表明训练过程中秩的调整具有明显的时序特征。
2. 持久频谱梯度
幂律指数 $\alpha$ 发展出永久性的深度梯度，在更深模型中形成非单调的倒U形，且峰值随深度增加向早期层移动。这一发现揭示了频谱形状与训练进程的深层关联。
3. Q/K-V功能不对称性
值/输出投影的压缩较为均匀，而查询/键投影则承载了完整的深度依赖动态。这种不对称性反映了注意力机制中不同组件的差异化角色。
理论模型与验证
研究者提出一个双时间尺度动力学模型来解释瞬态压缩与持久频谱形状之间的解耦，并推导出缩放定律 $\Delta\alpha \propto L^{0.26}$（$R^2=0.99$）。该模型在三个模型家族（自定义、GPT-2、Pythia）共九个模型上得到验证，参数规模从30M到1B，层数从8到36层。
实际应用价值
研究表明，幂律指数 $\alpha$ 能够预测层重要性（相关系数 $\rho=0.69$–$0.84$，$p<0.02$）。基于频谱引导的剪枝方法在GPT-2（124M–774M）和Pythia（160M–1B）的七个模型上，性能比基于最后N层的启发式方法提升1.1倍至3.6倍，最差与最佳情况差距高达23.7倍，证实了频谱结构的因果作用。
总结与展望
这项工作不仅深化了我们对Transformer训练动力学的理解，还为模型压缩提供了一种新的、可解释的剪枝策略。未来，频谱分析有望成为诊断模型行为和优化训练流程的常规工具。