减少智能体评估中的过度信任：RubricForge 如何通过无奖励评判标准提升可靠性
在语言模型智能体（agent）的大规模评估中，一个日益普遍的做法是使用另一个语言模型作为自动评判者（judge），因为可执行的环境奖励（gold signal）往往过于昂贵、缓慢或在部署时不可用。这种评判者是一种无奖励代理（reward-free proxy），其价值取决于它是否值得信赖。然而，现有方法如 G-Eval 依赖人工编写的评分标准，或通过微调评判模型的权重，但它们都倾向于将流畅但不成功的轨迹误判为成功。对此，一项新研究提出了一种名为 RubricForge 的方法，通过从少量带有真实标签的轨迹中归纳出评判标准文本，从而减少过度信任（over-crediting）问题。
核心思路：从真实结果中归纳标准
RubricForge 的核心在于，它不再依赖人工设计或隐式学习，而是通过反思式进化（reflective evolution），基于标注轨迹不断优化一份文本形式的评判标准，使其与真实环境奖励的对齐程度最大化。最终生成的评判标准是人类可读的文本，因此每次评判结果都可以追溯到具体的评判准则，增强了可解释性。在应用时，RubricForge 只需一次模型调用即可对未见轨迹进行评分，且无需访问环境。
实验结果：更低的假阳性率
研究者在两个基准上进行了测试：tau-bench（从220次 rollout 中抽取173条标注轨迹）和 WebShop（160条）。他们使用同一个冻结的 7B 模型同时作为智能体和评判者。结果显示，RubricForge 的主要优势在于**忠实度（faithfulness）**而非原始一致性。
- 在总体一致性上，RubricForge 与通用的 G-Eval 评判者相比并无显著差异（McNemar p=0.248），在绝对分数校准上甚至略逊一筹（|err| 差异 -0.048, p=2×10⁻⁴）。
- 然而，在**假阳性率（false-pass rate）**上，RubricForge 表现显著更好：在 tau-bench 上，它将失败轨迹误判为成功的比例仅为 0.115，而 G-Eval 为 0.173，几乎减少了一半。此外，RubricForge 还成功捕获了三个 G-Eval 未发现的过度信任案例，并且没有发生反向误判。
- 在 WebShop 上，RubricForge 对结果的排序更忠实（Spearman 0.410 vs. 0.370）。
为什么假阳性率如此重要？
对于无奖励评判者来说，假阳性率是部署时最关键的指标：一个假阳性意味着一个损坏的智能体被放行，而假阴性只是导致一次重试，成本相对较低。因此，RubricForge 虽然在整体一致性上并未超越基线，但在最需要避免的错误类型上显著更优，这使其在实际部署中更具价值。
总结与展望
RubricForge 提供了一种全新的思路：通过生成可读的评判标准，在保证可解释性的同时，有效降低过度信任风险。尽管其在绝对分数校准上略有不足，但假阳性率的显著下降表明，这种方法在奖励信号稀缺的场景下具有实用价值。未来的工作可能会进一步优化评分校准，并探索在不同模型规模上的适用性。这项研究为智能体评估领域提供了一种更有原则的替代方案，值得关注。