精选今天0 投票
自适应测试时计算分配：让AI推理更聪明地“花时间”
背景：测试时计算扩展的瓶颈
随着大型语言模型（LLM）能力不断攀升，测试时计算（test-time compute） 的扩展已成为提升模型推理性能的关键手段。然而，现有方法普遍存在两大局限：一是采用静态计算分配，即对所有问题投入相同的计算资源，忽略问题难易差异；二是依赖固定生成分布，反复从同一分布中采样，难以从成功经验中动态学习。
新方法：自适应与动态演示结合
来自多所高校的研究团队在 arXiv 上提出了一种全新的自适应测试时计算分配框架，核心创新在于同时优化“计算花在哪里”和“如何生成答案”两个维度。该方法分为两个阶段：
- 预热阶段（Warm-up Phase）：首先识别出简单问题，并利用测试集自身构建一个初始的问题-答案对池。这一阶段快速过滤掉无需过多计算的问题，为后续资源集中铺垫。
- 自适应阶段（Adaptive Phase）：将剩余计算资源聚焦于尚未解决的高难度问题。关键在于，系统不再从固定分布中重复采样，而是通过演化的上下文演示（Evolving In-Context Demonstrations） 动态调整生成分布——即根据语义相似性，从已成功的答案池中选取相关示例作为提示，引导模型生成更准确的回答。
实验表现：更少的计算，更好的结果
研究者在数学、编程和推理等多个基准上进行了实验。结果显示，该方法一致性地优于现有基线，同时消耗的推理计算量显著减少。这意味着模型能在更短的时间内，以更智能的方式分配计算资源，避免在简单问题上浪费算力，而是将资源精准投入到真正需要深度推理的复杂任务上。
行业意义：迈向高效推理的新范式
这项研究为 LLM 的推理效率优化提供了新思路。当前业界对测试时计算扩展的关注度持续升温，比如 OpenAI 的 o1 系列模型就采用了类似“慢思考”的推理机制。而本工作的独特价值在于引入了动态演示演化，让模型在推理过程中不断从自身成功经验中学习，形成“越推理越聪明”的正向循环。
未来，这一框架有望被集成到实际系统中，例如在代码生成、数学证明、复杂问答等场景中，实现自适应算力调度，从而降低部署成本并提升用户体验。不过，论文目前仍为 arXiv 预印本，实际应用效果还需更多验证。