贝叶斯风洞：让Transformer学会模型选择，突破算术推理瓶颈
研究背景：从贝叶斯滤波到模型选择
先前研究已证明，Transformer能在固定假设类内精确执行贝叶斯滤波。但一个更根本的问题是：模型能否从数据中识别出正确的假设类？这正是贝叶斯模型选择的核心。近日，arXiv上的一篇新论文《Bayesian Wind Tunnels for Model Selection》提出了“模型选择贝叶斯风洞”——一种受控实验环境，其中假设类上的真实后验分布可解析计算。
核心方法：固定点自由对合与三类实验
研究者利用固定点自由对合（满足 f(f(x))=x 的纯关系变换）设计任务。一个仅280万参数的Transformer在整数token和每轮含义变化的不透明符号上，均能达到与贝叶斯最优解仅0.01比特的熵一致（3个随机种子）。实验进一步扩展到非嵌套比较：对合 vs. 3-循环（两者互不为子集），模型在类后验上的平均绝对误差（MAE）低于0.001，证明其具备真正的模型选择能力，而非仅依赖简单性或子集偏差。
关键发现：算术推理的感知壁垒
研究揭示了一个尖锐的感知访问条件：当判别统计量需要算术运算时——如模加法（旋转）或模乘法（f(x)=cx mod p）——模型选择在整数token下成功，但在不透明符号下完全失败。即使将参数从280万扩展到3.16亿（112倍），这一界限依然存在。
通过平稳性控制实验发现：使用固定重标号的不透明token时，模型成功（MAE仅0.009比特），说明稳定的语义（而非整数身份）才是电路编译的关键。头部子任务诊断将失败定位在“头部反转与算术的组合”环节，而非头部解析本身。
前沿大模型对比：定性相似，定量差距
在相同任务上测试前沿大语言模型（LLM），结果显示它们表现出定性上的贝叶斯行为，但校准差距巨大（约55倍），该测量基于有损探测器，因此结果仅具方向性而非精确。
意义与展望
这项研究为理解Transformer的模型选择能力提供了受控实验框架，尤其揭示了算术推理对符号语义稳定性的依赖。这一发现对设计能进行因果推断和科学发现的AI系统具有指导意义——未来的模型可能需要结合符号与连续表示，或通过元学习适应动态语义环境。