MetaRoute-Bench：评估智能体工作流路由的元决策策略
在构建智能体系统时，一个核心挑战是如何在每一步做出正确的“元决策”：是直接回答、分解任务、调用工具、执行代码、委派给专家、验证中间结果，还是从失败中恢复？这些决策不仅影响任务成功率，还直接影响运营成本和延迟。然而，现有的评估往往只关注总体任务准确率，忽略了这些关键决策的细节。为此，研究者提出了 MetaRoute-Bench，一个开放、可检查的框架，用于在统一的执行模型下比较不同的元决策策略。
基准构成与实验设计
MetaRoute-Bench 的初始版本包含 180 个合成任务档案，覆盖数据分析、研究和文档处理三大类。研究团队设计了 8 种路由策略，并使用 30 对随机种子 进行实验，共生成 43,200 条执行轨迹。这一规模使得评估结果具有较高的统计可靠性。
关键发现：任务感知的组合策略表现最佳
实验结果显示，一种 任务感知的组合策略 取得了 79.4% 的成功率，显著优于其他策略：
- 强工作负载特定静态策略：76.7%
- 一次性任务路由：67.4%
- 直接回答：52.9%
与静态策略相比，组合策略的成功率提升了 2.7 个百分点（95% 置信区间为 ±2.0 个百分点），但代价是平均成本增加 4.7%，延迟增加 6.4%。这表明，通过更精细的决策可以换取更高的成功率，但需要在成本和速度上做出权衡。
消融实验：验证与组合的重要性
通过消融实验，研究者发现两个关键因素对性能影响最大：
- 路由组合受限：当组合策略被限制为只能执行单一操作时，性能下降最为显著。
- 移除验证步骤：去除中间结果验证环节同样会导致明显的性能损失。
这提示我们，在智能体设计中，灵活的组合能力和及时的验证机制是提升整体效能的关键。
局限与贡献
值得注意的是，所有结果均基于 离线的种子执行模型，而非真实部署环境。因此，该基准的主要贡献在于提供了一种 可复现的评估方法 和 路由策略权衡分析，而非证明生产环境中的实际效果。研究者已公开了任务生成代码、策略实现、轨迹数据、测试用例和分析工件，以便社区进行实时系统验证。
MetaRoute-Bench 为智能体工作流路由的研究提供了一个标准化平台，有助于推动更高效、更可靠的智能体系统设计。未来，扩展到更多任务类型和真实场景将进一步提升其实用价值。