评估分数是易逝的知识主张：AI模型评测的信任膨胀与时效性挑战
在人工智能快速发展的今天，模型评估已成为衡量技术进步的关键标尺。然而，一篇发表于 ACL 2026 的论文提出了一个发人深省的观点：评估分数并非永恒的真理，而是具有时效性的知识主张。论文由 Sankalp Gilda 和 Shlok Gilda 撰写，题为“Position: Evaluation Scores Are Perishable Knowledge Claims”，深入探讨了当前评估方法中的信任膨胀问题，并提出了改进方案。
信任膨胀：当平均分掩盖了短板
当前，语言模型的评估方法日益复杂，常常综合多种信号：自动指标、LLM-as-judge 评分、人类评估以及基准测试结果。这些信号通常通过求平均的方式进行聚合。然而，论文指出，这种聚合方式可能导致一个严重问题：评估的置信度会大幅超过最弱信号的实际可靠性，这种现象被称为“信任膨胀”。
例如，一个模型可能在人类评估中表现优异，但在特定基准测试上存在明显缺陷。若将两者平均，最终分数可能看起来不错，却掩盖了模型在特定场景下的脆弱性。这种膨胀的信任感，可能误导研究人员和开发者对模型真实能力的判断。
三个核心属性：正式性、范围与有效期
为了应对这一问题，论文提出评估分数应被视为具有三个核心属性的知识主张：
- 正式性：人类评估比自动指标提供更强的证据。例如，人工评判能捕捉到语义连贯性和上下文理解，而自动指标往往仅关注表面特征。
- 范围：基准测试结果仅适用于其所测试的数据分布，不能普遍化。一个在英文数据集上表现优异的模型，未必能同样出色地处理中文或多语言任务。
- 有效期：随着数据污染（contamination）的累积和分布的变化，基准测试结果会逐渐失效。一个模型在旧基准上的高分，可能无法反映其在当前或未来数据上的表现。
弱链聚合：保守评估的新思路
论文借鉴了思维链分析、可能逻辑和代数理论等多个研究传统，提出最弱环节聚合（weakest-link aggregation）作为保守评估的合理终点。这种方法通过一个悲观参数控制，将评估的置信度锚定在最不可靠的信号上，从而避免因平均而导致的过度自信。
实证案例：HELM 排行榜的惊人差异
为了说明平均聚合的代价，论文对公开的 HELM 排行榜进行了分析。结果显示，在 54 个前沿模型和十个场景中，按平均分排名前五的模型与按最弱环节排名前五的模型完全不重叠。这一发现令人震惊，凸显了不同聚合方式可能对模型排序产生根本性影响。
提议：为评估结果添加元数据
基于以上分析，论文建议评估结果应携带显式元数据，包括正式性层级、范围声明和到期日期，以使其知识状态透明化。这一做法类似于食品的保质期，提醒用户评估结果的时效性和适用范围。
结语
这项研究为 AI 评估领域敲响了警钟。随着模型能力不断提升，评估方法的严谨性也需同步进化。将评估分数视为易逝的知识主张，或许能让我们对模型能力保持更清醒的认知，避免过度依赖可能过时的基准结果。未来，如何在评估实践中落实这些原则，将是值得持续探索的方向。