DeepFact：协同演化基准与智能体，破解深度研究报告的事实性验证难题
随着检索增强的大型语言模型（LLM）智能体能够生成深度研究报告（DRRs），如何验证其中逐项声明的事实性，已成为AI研究领域一个日益严峻的挑战。现有的事实核查工具大多针对通用领域、事实性强的原子化声明设计，缺乏专门评估其在复杂、长篇研究报告上表现的标准。更棘手的是，构建这样一个基准本身也困难重重。
静态专家标注基准的局限性
研究团队首先通过一项对照实验揭示了传统静态基准的脆弱性。他们让博士级别的专家对一个隐藏的、可验证声明的“微金标准”集进行一次性标注，结果发现，在没有辅助的情况下，专家的标注准确率仅为60.8%。这表明，即使是领域专家，在面对复杂、需要深度推理的研究报告时，单次标注也容易出错，导致以此为基础构建的静态基准可靠性存疑。
解决方案：审计-评分演化基准法
为解决这一问题，论文提出了 “审计-评分演化基准法”（AtS）。这是一种动态的、可迭代的基准构建框架，其核心在于允许基准标签和推理过程被明确地修订。具体流程如下：
- 异议与举证：当一个事实核查模型（验证器）对当前基准的标签提出异议时，它必须提交支持其观点的证据。
- 审计裁决：由一名“审计员”（通常是专家）来裁决这场争议，评估双方证据。
- 基准更新：如果审计员接受了异议，基准的标签和推理就会被更新。
- 模型评分：只有在基准更新后，模型才会基于新基准进行评分。
通过四轮AtS迭代，专家在“微金标准”集上的准确率从60.8%显著提升至90.9%。这一结果有力地证明，专家作为动态审计员的角色，远比作为一次性标注员更为可靠。
DeepFact：一套完整的评估体系
基于AtS框架，研究团队构建了DeepFact系统，包含两个核心组件：
- DeepFact-Bench：一个版本化的DRR事实性基准。它不仅包含声明和标签，还附有可审计的推理过程，确保了评估过程的透明性和可追溯性。
- DeepFact-Eval：一个文档级的验证智能体。它包含一个完整版本和一个分组精简版本。实验表明，DeepFact-Eval在DeepFact-Bench上的表现优于现有的事实核查器，并且能够很好地迁移到外部事实性数据集上，展现了其泛化能力。
行业意义与未来展望
DeepFact的提出，为AI生成内容的可信度评估，尤其是学术研究、金融分析、政策制定等需要长篇深度报告的领域，提供了一个全新的方法论。它跳出了“一次性标注-静态测试”的传统范式，通过人机协同、动态演化的方式，构建了更健壮、更可靠的评估标准。这不仅有助于推动更准确的事实核查模型的发展，也为未来构建其他复杂AI任务的评估体系提供了宝贵思路。随着AI生成内容日益普及，确保其事实准确性将成为关键，而类似DeepFact这样的动态、可审计的评估框架，可能成为行业标准的重要组成部分。
