数据可预测性如何塑造Transformer训练中的权重尺度增长
在深度学习领域，理解Transformer模型的训练动态一直是研究热点。最近，一篇来自arXiv的论文（编号2608.23573）提出了一个新颖的视角：通过数据的可预测性来预测模型权重的增长。该研究由Tiexin Ding完成，揭示了权重幅度与语料库属性之间的量化关系。
权重分布的Weibull特性
研究者发现，训练后的Transformer权重幅度可以用双参数Weibull分布来概括，其中形状参数 ( k \approx 1.2 ) 在不同层和模型间保持稳定。这意味着，训练过程中的大部分变化都体现在尺度参数 ( \lambda ) 上。那么，是什么决定了 ( \lambda ) 的增长幅度呢？
关键发现：基于熵的预测定律
论文提出，语料库的二元条件熵 ( D = H(\text{next} \mid \text{prev}) ) 是一个关键的预测指标。这是一个在训练前即可计算的统计量，无需任何训练过程。通过控制语料库的破坏方式，研究者发现了一个与学习率相关的定律：
[ \lambda^2 - \lambda_0^2 = C_0(\eta) + C_1(\eta)(H_r - D)^{0.59} ]
其中 ( H_r ) 是匹配预算的洗牌基线，指数0.59是从独立测量的数据侧饱和关系中推导出来的，而非直接拟合。这一发现表明，数据的可预测性（以熵差衡量）与权重尺度的平方增长之间存在幂律关系。
验证与泛化能力
研究者进一步验证了这一规律：在去除每个学习率的两个系数后，23次跨越一个数量级学习率的运行结果都坍缩到 ( (H_r - D)^{0.59} ) 上，斜率为1，( R^2 ) 高达0.941，而直接按学习率拟合的效果较弱（( R^2 \approx 0.82 )）。由于 ( D ) 在训练前就能计算，该定律可以作为一个前向预测器。端到端的自验证显示，对于保留的族内权重增长，相对误差仅为5.7%。
此外，该规律在模型级和逐层分辨率上均成立，并在两种测试架构中保持了功能形式，仅系数有所变化。这显示了其强大的泛化能力。
局限与展望
然而，该定律也有其边界：跨语料库预测时，对代码语料会过度预测，这表明冗余可能是更广泛的数据到权重框架 ( \Phi(D,R,A,H) ) 中的第二个轴。这一发现不仅深化了我们对Transformer训练动态的理解，还可能为模型设计和训练策略提供指导，例如通过分析语料库的熵特性来预估训练效果。
总之，这篇论文提供了一个新颖且实用的工具，将数据属性与模型行为联系起来，为AI可预测性研究开辟了新的方向。
