Long-Horizon-Terminal-Bench：用密集奖励评估智能体在长周期终端任务上的极限
当前AI智能体虽能独立完成简短任务，但现有终端基准测试多局限于几分钟内可解决、仅以最终结果评判的简单问题，忽略了中间进展和部分解决方案，导致奖励信号稀疏，无法全面反映智能体能力。为此，来自多所高校的研究团队提出了 Long-Horizon-Terminal-Bench (LHTB)——一个包含 46 项长周期任务 的终端基准测试，覆盖实验复现、软件工程、多模态分析、交互式游戏和科学计算等 9 个类别。
LHTB 的设计核心在于 细粒度分级子任务。每个任务基于 Terminal-Bench 风格的参考解决方案或模拟引擎，但进一步拆解为多个可独立评分的步骤。这种设计使得智能体在推进过程中能获得 密集的中间奖励和部分分数，评估不仅关注最终目标是否达成，更能衡量其在开放式工作流中的进展程度。
任务规模与计算成本
LHTB 中的任务通常需要 数百次迭代 和 几分钟到几小时 的执行时间，重点考验智能体的长周期规划、长上下文管理以及迭代调试能力，而非一次性解题。研究团队对 15 个前沿模型 进行了评估，结果显示智能体平均每个任务消耗 990 万 tokens，约 231 次迭代，每次运行耗时 85.3 分钟。这一规模远超以往的终端基准测试，对算力和模型能力提出了极高要求。
性能表现与改进空间
即便最强的测试模型，在部分奖励阈值为 0.95 时，pass@1 也仅为 15.2%；在完美奖励阈值 1.0 下，这一数字降至 10.9%。而全部模型的平均通过率则分别只有 4.3% 和 1.7%。这些数据表明，当前AI智能体在长周期复杂任务上仍有 巨大的提升空间。
失败模式分析
研究还深入分析了模型的失败模式与错误类型，为后续算法优化提供了方向。团队已开源 LHTB 基准，旨在推动长周期终端任务领域的研究进展。
小结：LHTB 通过密集奖励机制和长周期任务设计，填补了现有基准测试的空白，揭示了智能体在持续推理与迭代执行上的短板。对于 AI 社区而言，这不仅是评估工具，更是催生更强规划与推理能力的催化剂。