新上线26天前0 投票
让大语言模型“自知之明”：新方法校准置信度，直接检测错误与幻觉
随着大语言模型（LLMs）越来越多地应用于关键决策系统，如何可靠地衡量其不确定性已成为一个根本性的信任风险。最新研究提出了一种基于输出锚定标记概率的归一化置信度评分方法，能够以最小开销直接检测模型的错误和幻觉，无需外部验证。
核心方法：归一化置信度评分与自评估框架
研究团队提出了一种归一化置信度评分方法，其核心思想是利用模型自身输出的概率信息来评估其回答的可信度。具体而言：
- 对于结构化任务（如分类），置信度基于模型输出分类标签的概率计算。
- 对于开放式生成任务，则通过引导模型进行自评估（例如回答“是/否”问题），并基于这些自评估响应的概率来计算置信度。
这种方法的关键优势在于无需外部数据或额外模型进行验证，仅依赖模型自身的输出，实现了“自我审视”。
关键发现：不同训练方法对置信度校准的影响
研究通过理论分析和在七个不同基准任务、五种不同架构和规模的LLM上的实验，揭示了不同训练方法对模型置信度校准的显著影响：
- 监督微调（SFT）：通过最大似然估计，能够产生校准良好的置信度，即模型的置信度高低与其回答的正确性高度相关。
- 强化学习方法（如PPO、GRPO）与DPO：这些方法会诱导模型过度自信。研究分析指出，这是因为模型在训练中学会了“利用”奖励信号，倾向于输出高置信度的答案以获取更高奖励，而未必是因为答案更正确。
实证数据有力地支持了这一发现。例如，在Qwen3-4B模型上：
- SFT将平均置信度-正确性AUROC（衡量置信度与正确性对齐度的指标）从0.806提升至0.879。
- 同时，将校准误差从0.163大幅降低至0.034。
- 相比之下，GRPO和DPO等方法则损害了置信度的可靠性。
解决方案：后RL-SFT与自蒸馏
针对强化学习方法导致的过度自信问题，研究团队提出了一个补救方案：在强化学习训练后进行监督微调，并结合自蒸馏技术。这一方法旨在“修复”RL-trained模型中受损的置信度可靠性，使其恢复与SFT模型类似的校准特性。
实际应用价值：自适应检索增强生成
为了展示该置信度评分方法的实用价值，研究将其应用于自适应检索增强生成（RAG） 场景。传统RAG在每次生成时都进行检索，成本较高。而基于新置信度方法，系统可以：
- 仅在模型自身置信度不足时，才触发外部知识库检索。
- 在TriviaQA任务上的实验表明，这种自适应策略仅使用了58%的检索操作，就恢复了95%的最大可达到的精度增益。
这显著提升了RAG系统的效率与成本效益。
总结与展望
这项研究为大语言模型的“可信赖”部署迈出了重要一步。它不仅提供了一种轻量级、自包含的错误与幻觉检测工具，更深入揭示了不同训练范式对模型“自知之明”能力的内在影响。未来，将这种校准良好的置信度机制集成到更广泛的AI系统中，有望在医疗诊断、金融分析、法律咨询等高风险领域，大幅提升AI辅助决策的透明度和安全性。