ForecastBench-Sim：基于模拟世界的AI预测能力评测基准
当预测基准遇上开放世界游戏
传统的AI预测基准通常受限于现实世界的节奏：结果需要数月甚至数年才能揭晓，极端事件罕见，反事实问题难以评分。来自加州大学伯克利分校等机构的研究人员近日在arXiv上发布了一项新工作——ForecastBench-Sim，一个完全基于模拟世界的预测能力评测基准。该基准构建于经典回合制策略游戏 Freeciv（《文明》系列的开源仿作）之上，通过游戏推演来生成可即时验证的预测任务。
核心设计：从世界报告到概率评分
ForecastBench-Sim 的工作流程分为三个关键步骤：
- 固定世界报告：向评测模型提供当前游戏状态的快照（包括科技树、城市、军事单位、外交关系等结构化信息）。
- 提问与预测：模型需要回答关于未来隐藏状态的问题，例如“10回合内玩家A是否会向玩家B宣战？”或“玩家C在50回合后能否率先完成太空竞赛胜利？”。
- 模拟与评分：基准系统继续运行游戏模拟，将实际结果与模型的预测概率进行比较，并按照严格的评分协议（如Brier分数）进行打分。
由于世界是模拟的，同一套设置可以轻松生成连续型（如“某城市人口增长率”）、二值型（如“是否发生战争”）、条件型（“如果玩家A主动攻击，玩家B的胜率如何？”）以及反事实型问题。更重要的是，模拟可以反复运行，从而产生大量罕见或颠覆性事件的样本——这在现实世界数据中几乎不可能获得。
为什么是Freeciv？
Freeciv 是一个成熟的开源策略游戏，其复杂性足以模拟真实世界中的地缘政治、资源竞争、科技竞赛和军事冲突。研究者指出，游戏中的决策空间与人类社会有深刻的类比性，同时提供了完全可控的实验环境：可以调整初始条件、注入随机事件、甚至“干预”游戏进程来测试模型在反事实场景下的推理能力。
评测验证与开源
论文中报告了初步的模型评测结果和匿名人类受试者实验。尽管具体分数尚未完全公开，但研究团队表示，当前最先进的通用大语言模型在预测游戏动态方面仍远未达到人类水平——尤其是在长期因果推理和尾部事件概率估计上。
整个基准的代码、游戏回放数据集和评分工具已随论文发布。研究者希望 ForecastBench-Sim 能作为现实世界预测基准的补充，为研究动态世界中的概率推理提供一套“可随时求解”的测试平台。
意义与展望
这项工作的价值在于突破了现实时间尺度的限制。传统预测竞赛（如Good Judgment Project）往往需要数年才能积累足够数据，而模拟世界可以在数小时内生成数千个可验证的预测问题。同时，干预世界的方法为因果推断提供了天然的实验场——这正是当前AI系统最薄弱的环节之一。
未来，该基准可能向更复杂的游戏环境（如即时战略或模拟经营游戏）扩展，甚至与真实世界事件预测任务形成迁移学习研究。对于关注AI自主决策、战略规划能力的研究者而言，ForecastBench-Sim 提供了一个低成本、高密度的测试沙盒。