新上线今天72 投票
Terminal-Bench-Science：评估AI代理在科学研究工作流中的表现
Terminal-Bench-Science 0.1 是一个全新的基准测试，旨在评估AI代理在真实科学研究工作流中的能力。该基准由斯坦福大学的研究人员领导，由 Terminal-Bench 团队与来自全球多个科研机构的领域专家合作构建。与传统的教科书式测试不同，它专注于科学家实际工作中的复杂任务，为AI在科学领域的应用设立了一个新的衡量标准。
核心特点
- 专家策划的任务：首批发布包含 70 个任务，覆盖生命科学、物理科学、地球科学、数学和工程科学等领域。这些任务由一线科学家提供，反映了真实的研究实践。
- 持续演进的基准：Terminal-Bench-Science 是一个动态基准，会随着前沿AI的发展而更新，形成科学需求与AI开发之间的反馈循环。
- 顶级模型表现：目前最强的模型 Claude Opus 5 在 Terminal-Bench-Science 0.1 上的解决率仅为 30%，表明AI在科学工作流上仍有很大的提升空间。
为什么重要
科学研究的瓶颈往往在于那些耗时且技术性强的执行工作，而AI代理有望承担这些任务，让科学家能更专注于需要人类判断的部分，如提出研究问题、形成假设、解释结果和传播发现。然而，要确保AI代理真正有用，必须有一个可靠的评估体系。Terminal-Bench-Science 提供了这样的验证机制，确保AI的能力提升是可量化的、可信的。
行业影响
该基准的推出标志着AI评估从软件工程向科学领域的拓展，为AI在科研中的应用设定了更高的标准。对于AI开发者而言，它指明了未来需要攻克的难点；对于科学家而言，它提供了一个平台来表达对AI工具的期望。随着更多任务的加入和模型的进化，Terminal-Bench-Science 有望成为衡量AI科学能力的重要参考。
尽管目前解决率不高，但这恰恰反映了科学任务的复杂性和挑战性。未来，我们期待看到更多模型在此基准上取得突破，真正成为科学家的得力助手。