能力来自访问结构而非规模：混合序列模型的下界与预注册测试
能力来自访问结构而非规模：混合序列模型的下界与预注册测试
一篇新论文挑战了AI领域一个流行的假设：更大的模型必然带来更强的能力。来自研究者的工作提出了能力收敛假说（CCH），认为在固定推理预算下，表征收敛并不意味着能力收敛。相反，能力收敛于一类特定的架构——访问完全混合体，即同时具备压缩性O(1)状态通道和可扩展逐字索引通道的模型。
核心论点
论文以柏拉图表征假说（PRH）为起点，该假说认为随着模型规模扩大，不同网络的表征会趋同于一个共享的现实模型。然而，作者指出，表征的趋同并不保证能力的趋同。他们通过一个名为“牛顿苹果问题”的见证任务，在无限数据流中展示了三种资源壁垒：香农壁垒（阻止任何o(N^b)状态架构）、视界壁垒（阻止任何固定窗口架构）以及电路壁垒（阻止固定深度纯注意力架构，依赖于TC0 ≠ NC1的假设）。
关键发现
混合架构通过同时支付每种壁垒的代价，能够跨越所有三种壁垒。这意味着能力在组合下是严格超可加的——即整体大于部分之和。论文通过信息论下界和预注册实验支持了这一观点。在预注册的小规模测试中，研究者观察到预测的“剪刀差”：当64标量状态模型增加一个全局注意力层后，精确检索误差从0.994降至0.000。此外，状态跟踪分叉点落在注册边界上，并且一个联合见证任务显示出不可约的双通道解决方案。不过，有一项预测失败且方向相反，论文如实报告了这一点。
行业意义
这项工作对当前主流的扩展法则提出了重要修正。它表明，仅仅增加模型规模（如参数数量）并不足以提升所有关键能力；架构的访问结构——即模型如何访问和利用信息——才是决定性因素。这为设计更高效的混合模型提供了理论基础，例如将状态空间模型与注意力机制结合。
结论
作者总结道：“表征收敛由规模免费提供；能力收敛必须通过访问结构购买。”这一观点可能对AI研究和产品开发产生深远影响，推动社区在追求更大模型的同时，更加关注架构设计本身。
论文还包含41页正文、16张图表以及详细的预注册实验评分卡（11项支持、7项部分支持、1项失败）。