精选今天0 投票
专家验证的STEM问答数据集：推动AI科学突破的新基准
专家验证的STEM问答数据集（Expert-validated STEM QA） 近日发布，旨在解决当前AI模型在科学领域评估中面临的数据瓶颈。该数据集由 241位领域专家 共同创建，涵盖物理、化学、生物学和数学四大核心学科，共 398个高质量问答对，其独特的设计和严格的验证流程为AI科学推理能力的评估提供了新标杆。
当前STEM数据集的四大缺陷
研究团队指出，现有STEM评估数据集存在四个关键问题：
- 性能饱和：前沿模型在现有数据集上已接近满分，无法有效区分模型能力差异。
- 分类分布不均：各学科问题比例失衡，导致评估结果偏向特定领域。
- 题型脱节：多数数据集采用多项选择题，与科学家实际使用AI的方式（如开放式问答）不符。
- 答案准确性存疑：部分数据集因竞赛式收集和限时审核，导致答案与解析存在错误。
数据集的创新设计
为克服上述问题，研究团队采取了一系列严谨措施：
- 均衡的分类体系：精心设计问题分布，确保各学科和子领域覆盖均衡。
- 贡献者筛选机制：通过质量驱动的激励措施，筛选具备专业资质的贡献者。
- 多轮专家评审：基于共识进行多轮修订，并由领域专家验证，确保答案和解析的准确性。
- 可验证的问答格式：采用开放式问答，便于验证模型的推理过程。
基准测试结果：前沿模型表现不佳
将数据集作为基准测试，前沿AI模型的表现低于25%，显示出该数据集具有较高的挑战性，能够有效区分模型能力。此外，研究团队使用一个独立的私有版本数据集（N=2,000）对开源模型进行后训练，结果显示在HLE验证数据集的STEM子集上，模型性能相对基线提升了 15%（p=0.045），表明该数据集不仅可用于评估，还能用于模型训练，提升科学推理能力。
开放与未来展望
研究团队已开源部分数据集，供AI研究社区使用。这一举措有望缓解STEM领域高质量数据的稀缺问题，推动AI在科学发现中的应用。随着更多专家验证数据的涌现，我们或许能见证AI在数学、医学和材料科学等领域实现新的突破。
该研究已提交至arXiv（编号：2608.28591），更多细节可查阅原文。