精选今天0 投票
啄木鸟蒸馏：弱模型如何诊断并修复强模型的推理缺陷
大语言模型（LLM）在推理任务中常常失败，尽管它们具备解决问题的能力。一项新研究指出，这些失败往往源于中间步骤的局部推理错误，而非整体能力不足。更重要的是，这些错误通常是可修复的：在强模型的推理前缀后插入一段由弱模型生成的简短补丁，就能将推理轨迹引向正确答案。然而，直接对弱模型补丁或修复后的轨迹进行微调，并不能可靠地将这种纠正效果内化到强模型中。这表明，有用的信号不在于干预文本本身，而在于它如何重塑模型未来的推理分布。为此，研究者提出了啄木鸟蒸馏（Woodpecker Distillation），一种从对比性局部干预中学习的弱到强训练框架。该方法在相同前缀下对比成功与失败的弱模型补丁，构建一个纠正性的教师分布，并将其蒸馏到强模型中。在数学推理基准上的实验表明，啄木鸟蒸馏能持续提升强模型性能，并优于直接模仿基线。该研究为提升大模型推理能力提供了新思路，即利用弱模型的诊断能力来修复强模型的局部缺陷。