新上线今天0 投票
「非常可能」其实是「不确定」？LLM 的语言不确定性量化与人类有何不同
人类说「可能」时，模型听到了什么？
当一个人说「非常可能」时，听者往往会把它当作一种高置信度的判断；但当大语言模型（LLM）在输出中写下「possible」「likely」这类词时，它背后对应的概率究竟是多少？一项发表于 ICML 2026 的研究（arXiv:2610.00083）指出，LLM 对语言不确定性标记的数值编码与人类存在系统性差异。
从认知科学到模型校准
研究团队从心理学与决策科学文献中整理出一套人类不确定性标记语料，并以此作为基准来测试 LLM。从认知视角看，人类准确表达不确定性是一种元认知监控能力——它帮助我们划出「知道自己不知道」的知识边界，从而决定是否继续搜索信息或调整行为。
然而，目前大多数 LLM 的不确定性量化（UQ）方法依赖似然信号或一致性信号（例如多次采样看答案是否稳定），而不是直接解读模型自己说出的「可能」「很可能」。
METHODNAME：从输出中反推标记的置信语义
论文提出了名为 METHODNAME 的优化算法。它不再依赖重复采样来估计不确定性，而是直接从 LLM 的输出中学习一套最优的不确定性画像：通过拟合「标记—不确定性」映射，让每个语言标记所携带的概率质量能最好地解释模型的实际正确率。
这带来一个关键能力：可以在标记层面直接比较人类与 LLM 的置信语义，从而把「不匹配」拆解开来，揭示双方在语言表达置信度上的系统性差距。
这意味着什么？
如果模型说「very likely」时对应的真实概率远低于人类的默认理解，那么依赖自然语言交互来判断可靠性的用户、以及基于模型自述置信度做决策的下游系统，都可能被误导。该研究提示，语言标记本身可以作为不确定性量化的信号来源，但前提是先校准人机之间的语义鸿沟。
目前该工作以预印本形式发布，更多实验细节与结论有待进一步验证。
