证据链评估：让AI事实核查学会“弃权”而非硬答
大型语言模型在事实核查任务中虽能取得不错的准确率，但强制输出“真/假”的二元判断隐藏着一个关键隐患：当支撑证据薄弱、稀疏或内部矛盾时，系统仍可能给出自信的结论。最新研究提出**证据链评估（ECE）**框架，允许模型在证据不足时选择“不确定”以主动弃权，从而提升整体可靠性。
核心挑战：强行判断的代价
现有的LLM事实核查系统通常要求对每一条声明给出“真”或“假”的判定。这种设计忽略了证据质量本身的不确定性——当搜索引擎只返回低质量页面、学术来源相互矛盾或计算检查无法执行时，模型被迫“猜一个答案”，且往往伴随虚高的置信度。这种虚假的精确性在医疗、金融、政策等高风险场景中可能造成严重后果。
ECE框架：从二元到三元
ECE的核心创新在于引入**“不确定”作为第三个输出类别**，并构建了一套完整的证据链评估机制。系统被设计为一个工具型验证代理，可自主调用网页搜索、学术搜索和可执行检查工具收集证据，然后返回包含结构化裁决、置信度分数和来源级元数据的完整报告。
在专用基准ECE-Bench上，ECE取得了91.6%的标准准确率、93.7%的覆盖率（即未弃权的比例），而在已回答的声明上选择性准确率高达97.8%。这意味着，当系统选择回答时，几乎总是正确的。
弃权策略：安全优先的证据处理
虽然ECE在整体校准指标（如期望校准误差、Brier分数或AURC）上并未超越最强的检索基线，但它展现出了清晰的选择性预测权衡：在总共95个测试案例中，系统仅弃权6例，而这6例中有5例来自最低可靠性的证据级别（L4）。这一分布强烈支持了弃权作为处理认识论上薄弱证据的安全机制的有效性。
行业意义：从“能回答”到“知道何时不回答”
ECE的启示超越了单一技术贡献。它提醒我们，AI系统在事实核查中的可靠性不仅取决于答案的准确性，更取决于系统能否诚实评估自身知识边界。对于构建可信AI系统而言，学会“弃权”或许比追求100%回答率更为重要。这一框架为未来需要高可信度的自动化核查系统提供了可落地的设计范式。
局限性与发展方向
当前ECE仍依赖预定义的证据级别和工具接口，在动态开放域场景下的泛化能力有待验证。此外，弃权决策的阈值如何与用户风险偏好对齐，也是一个值得探索的人机协同问题。研究代码已开源，可供社区进一步改进。