用 Amazon Bedrock AgentCore 数据集管理打造随代理成长的多版本测试套件
在 AI 代理的迭代过程中，如何区分真正的改进与偶然波动？Amazon Bedrock AgentCore 新推出的数据集管理功能，让开发者能够像管理代码版本一样管理测试用例，将线上故障转化为永久测试用例，构建可重复、可验证的评估基线。本文以金融情报代理为例，展示从生产失败捕获到版本化测试、修复验证的完整工作流。
为什么需要版本化测试数据集？
代理本质上是非确定性的——相同的输入可能因模型采样差异产生不同输出，单次评估结果几乎毫无意义。只有通过固定输入集进行持续测量，才能判断改动是否真正有效。但仅有固定输入还不够：大语言模型（LLM）评判者能判断回复是否“听起来有帮助”，却无法验证股票价格是否准确、工作流顺序是否正确、会话间是否泄露了个人身份信息（PII）。
这些检查需要真实答案（Ground Truth）：预期的响应、必需的工具调用序列、以及无论措辞如何都必须成立的断言。真实答案将主观评分转化为可验证的度量。版本化数据集同时提供两者：它固定输入使评分可跨运行比较，同时携带真实答案使评分有意义。
开发者的双重循环：内循环与外循环
代理评估发生在两个关键场景。内循环是开发者桌面：调用代理、读取分数、调整工具描述、重新运行——快速迭代。外循环是生产环境：真实用户流量中发现的故障，必须被捕获并转化为测试用例，防止回归。
Bedrock AgentCore 的数据集管理支持草稿（draft）版本和不可变编号版本。开发者可以在草稿上自由迭代，直到准备好锁定检查点。发布后的版本不会随运行而漂移。当生产环境出现故障时，该失败案例成为永久测试用例，未来每次变更都会针对它进行评估。
工作流实战：金融情报代理案例
假设我们构建了一个金融市场情报代理，负责回答股票查询、执行经纪人工作流。在生产中，我们捕获了一个失败：用户询问“AAPL 当前股价”，代理返回了错误的价格。
- 捕获失败：从生产追踪中提取输入（用户查询）、预期输出（正确的股价）、所需工具序列（调用价格API）和断言（返回价格必须匹配实时数据）。
- 构建版本化数据集：将此案例与其他测试用例一起添加到数据集中，发布为版本1。
- 运行评估：针对版本1运行代理，记录失败。
- 修复代理：调整工具描述或逻辑，例如确保调用正确的API端点。
- 确认改进：在相同数据集上重新评估，确认分数提升。
这种工作流确保了每次修复都基于确凿的证据，而非主观感觉。
数据集管理的核心优势
- 版本控制：每个数据集版本都是不可变的，确保评估可重现。
- 真实答案嵌入：每个测试用例包含输入、预期输出、工具序列和断言，提供可验证的检查点。
- 生产反馈循环：线上失败自动转化为离线测试用例，防止回归。
- 团队协作：共享数据集作为单一事实来源，减少沟通偏差。
行业启示：从“评分”到“度量”
当前许多代理评估仍停留在“评分”阶段——依赖LLM判断或人工打分，缺乏可重复性。Bedrock AgentCore 的版本化数据集将软件工程中的测试驱动开发（TDD）理念引入代理领域。随着代理在金融、医疗、法律等高风险场景中广泛应用，可验证的评估基线将成为合规与可靠性的基石。
未来，我们可能会看到代理的“测试覆盖率”成为衡量成熟度的关键指标——就像代码测试一样，代理测试套件的广度和深度直接影响生产部署的信心。
