衡量语言模型代理的跨任务行为一致性：新指标BCM
在人工智能领域，语言模型代理（Language Model Agents）的评估通常聚焦于结果指标，如任务成功率。然而，这类指标只能告诉我们代理是否成功，却无法揭示其行为的一致性和稳定性。近期，一篇来自arXiv的论文（编号：2608.13598）提出了一个全新的视角：跨任务行为一致性（Behavioral Consistency）是独立于结果指标、可被量化测量的重要属性。研究者引入了一个名为行为一致性指标（BCM） 的新工具，旨在从过程层面补充传统的结果评估体系。
BCM的核心方法分为三步：首先，训练一个模型，基于代理执行轨迹的行为特征来预测任务成功与否；其次，为每条轨迹生成一个特征归因向量，用以反映不同行为特征对成功预测的贡献；最后，计算同一代理系统内所有轨迹特征归因向量的平均成对相似度，以此量化其行为一致性。
研究者对六个语言模型代理在软件工程任务上的约9000条轨迹进行了分析。他们发现，跨任务一致性和任务内一致性是两个不同的维度，且可能发生分离。具体而言，一些系统在重复执行同一任务时表现出高度可复现性，但在面对不同任务时却缺乏稳定的策略，呈现“局部可复现、全局碎片化”的特征；另一些系统则在两个尺度上都保持了一致性。这一发现揭示，仅关注同任务重测一致性（即同一任务多次尝试的行为相似性）的传统方法，无法捕捉到这种分离现象。
此外，研究还表明，行为一致性与成功率并非简单的对应关系。在成功率相近的情况下，不同系统的一致性可以存在显著差异。例如，某些前沿模型与开源模型在成功率上表现相当，但在一致性上却存在明显差距，且这一差距在控制任务难度后依然存在。这暗示了系统在策略稳定性上的本质区别。
研究者将BCM定位为一种过程级可靠性信号，旨在与结果指标互补，为代理的鲁棒性和可预测性提供更全面的评估。他们同时提醒，BCM的适用性依赖于特定条件，并对此进行了明确阐述。
这项研究为语言模型代理的评估体系提供了新的维度，促使我们重新思考“优秀代理”的定义：不仅要有高成功率，还要在不同任务间保持行为的一致性，这对于部署在复杂真实场景中的代理尤为重要。未来，BCM有望成为代理开发与选择过程中的关键参考指标。