FirstResearch：让AI科学家的研究问题变得可审计
大型语言模型（LLM）在科学发现中的应用日益广泛，从构思、文献综合、实验规划到报告生成，AI助手正逐步渗透整个科研流程。然而，一个关键问题始终悬而未决：AI提出的第一个研究问题是否经得起推敲？ 它可能听起来头头是道，但却隐藏了机制、可证伪条件或假设，使得科学家难以审计。近日，一篇发表于arXiv的论文提出了 FirstResearch 框架，旨在为LLM科学代理提供一种可审计的研究问题形成方法。
核心创新：研究问题证书
FirstResearch 的核心产出并非一个简单的问题陈述，而是一份结构化的 “研究问题证书” 。该证书包含七个关键组成部分：
- 原始定义：明确问题涉及的基本概念。
- 假设：列出问题所依赖的隐性或显性前提。
- 机制模型：描述问题背后的因果或逻辑机制。
- 张力或矛盾：指出现有知识中的缺口或冲突。
- 可证伪假设：提出一个可以被实验推翻的具体假设。
- 最小决定性测试：设计一个能验证假设的最简实验。
- 失败更新规则：规定如果测试失败，如何修正问题。
通过这种结构化的呈现，科学家在进入下游执行（如实验、仿真）之前，就能对问题的合理性进行逐项检查。
性能表现：超越多个强基线
研究团队在10个LLM代理研究主题上，将 FirstResearch 与基于 AI co-scientist、Agent Laboratory 和 AI Scientist-v2 的提示工程基线进行了对比。评估采用 DeepSeek 作为盲审裁判，结果显示 FirstResearch 在系统级排名上显著领先。随后，使用 Gemini-2.5-Flash 作为独立裁判 对相同的40个基线包进行重新评分，结果保持了相同的排名顺序：FirstResearch 得分 4.86/5，而最强基线得分为 4.38/5。两个裁判的平均分 Pearson 相关性高达 0.865，表明结果具有良好的一致性。
消融实验：证书是核心
进一步的消融实验揭示了证书的核心作用：仅保留证书组件时，DeepSeek 评分达到 4.90/5，Gemini 评分达到 4.88/5；而移除证书后，两个裁判的评分均骤降至 1/5 以下。这明确表明，明确推导约束是提升可审计性的关键机制。
局限与展望
作者谨慎指出，当前结果仍是初步的，且使用了LLM裁判而非人类领域专家。但这一工作为 “使AI生成的研究问题更可审计” 提供了有前景的方向。代码、提示、输出和复现脚本已开源，可供社区进一步验证和改进。
对于科研工作者和AI开发者而言，FirstResearch 不仅是一个工具，更是一种思维范式的转变：在追求AI自动化的同时，确保每个步骤都透明、可审查。这或许是构建可信赖科学AI的关键一步。