新上线今天0 投票
Transformer残差流中的几何与行为分层：预测方向作为特权锚点
一项新研究揭示了Transformer模型内部的一种隐藏结构：预测方向（即模型当前预测token的反嵌入方向）在残差流中扮演着“特权锚点”的角色。该发现或有助于理解大语言模型如何在高维空间中组织信息并实现线性读取。
研究发现
研究者Nelson Guda在论文《Geometric and Behavioral Stratification in Transformer Residual Streams》中，对18种不同规模（7B至120B）和架构（稠密及混合专家）的Transformer模型进行了系统性分析。结果发现，残差流中的变化可以依据与预测方向的接近程度进行几何和行为上的分层：靠近预测方向的区域高度结构化，能有效聚类相关提示；而远离预测方向的区域则相对平坦，对提示组的区分能力较弱。
关键结论
- 预测方向作为特权锚点：预测方向与主方差轴近乎正交，因此传统的方差分析方法只能部分捕捉这种组织，且随着提示异质性增加而失效。
- 窄而关键的预测接口：靠近预测方向的区域虽然狭窄，但功能上至关重要。干扰这些方向会导致模型立即出现发散和任务框架转换；干扰次近方向则会延迟发散但保持框架。
- 方向而非幅度驱动行为：研究指出，行为主要由方向而非幅度驱动，且远离预测方向的区域虽然与读取对齐较弱，但在因果和时间上承载着重要功能。
意义与展望
这项研究首次将预测方向确立为一种独特的特权锚点，区别于先前描述的坐标轴，为高维计算与线性读取的共存提供了几何解释。该成果可能对模型可解释性、压缩和微调策略产生深远影响。不过，目前该研究尚未经过同行评审，其结论仍需进一步验证。