精选今天0 投票
AI编码评估中的“信号”与“噪声”：OpenAI审计发现SWE-Bench Pro约30%任务存在缺陷
基准测试的信任危机：SWE-Bench Pro 被曝约三成任务“有问题”
OpenAI 近日发布的一项详细审计报告指出，业界广泛使用的 AI 编码能力基准测试 SWE-Bench Pro 存在严重任务缺陷，约 30% 的任务被判定为“有问题”。这并非孤立事件——此前 OpenAI 已发现其前身 SWE-bench Verified 存在根本性设计与污染问题，并呼吁社区转向 SWE-Bench Pro。如今，连这个“下一代”基准也未能幸免。
四大问题类型：什么在“作弊”？
审计团队通过自动化管道筛查、多轮 AI 审查以及五名资深工程师的独立复核，将问题归纳为四类：
- 过于严苛的测试：测试代码强制要求特定的实现细节，而这些细节在任务描述中并未提及，导致许多功能正确的提交被判定失败。
- 描述不充分的 prompt：任务描述遗漏了隐藏测试所强制要求的关键需求，且这些需求无法通过常识合理推断。
- 低覆盖率测试：测试用例未能充分覆盖所要求的功能，使得不完整的修复也能通过。
- 误导性 prompt：任务描述指向错误的行为方向，或与测试实际要求相矛盾。
从“已验证”到“专业版”：问题为何依旧？
SWE-Bench Pro 本是为了解决前代基准 SWE-bench Verified 的缺陷而设计，它通过更长期、更现实的编码任务来追踪 AI 的“代理编码能力”。在 731 个公开任务中，前沿模型在八个月内通过率从 23.3% 飙升至 80.3%——这一惊人进步如今看来部分可能是水分。OpenAI 强调，当评估存在影响结果的缺陷时，它们会扭曲对能力的理解，误导安全决策与研究优先级。
影响与启示：AI 评估的“测不准”困境
这一发现对 AI 行业具有双重警示：
- 对研发方向：如果基准测试本身不可靠，模型开发者可能针对“错误的目标”进行优化，而非真正提升编码能力。
- 对安全评估：OpenAI 将准确度量模型能力视为安全部署的关键，尤其是在其“准备框架”下。有缺陷的评估可能导致对模型风险的低估或高估。
OpenAI 此次审计并非全盘否定 SWE-Bench Pro，而是呼吁社区共同改进评估方法。他们建议研究者在使用该基准时，对结果持审慎态度，并考虑结合其他评估维度。
小结
基准测试是 AI 进步的“标尺”，但尺子本身也需要校准。SWE-Bench Pro 的审计结果再次提醒我们：在追逐更高分数时，必须警惕“噪声”混入“信号”。对于从业者而言，一个更健康的态度是——不迷信单一基准，多维度交叉验证。