AgentFuel：为时序数据分析智能体生成可定制化评估基准
随着“与数据对话”的智能分析工具在物联网、网络安全、产品分析等领域的兴起，如何有效评估这些时序数据分析智能体的性能成为行业痛点。卡内基梅隆大学等机构的研究人员近日发布论文《Generating Expressive and Customizable Evals for Timeseries Data Analysis Agents with AgentFuel》，提出了一套名为 AgentFuel 的评估框架生成工具，旨在帮助领域专家快速创建定制化、高表达力的评估基准，以推动数据分析智能体的性能提升。
现有评估体系的局限性
研究团队对 6款主流的数据分析智能体（包括开源与商业产品）进行了评估，测试覆盖了多个领域的特定数据和查询类型。评估发现，这些智能体在处理有状态查询和事件特定查询时普遍表现不佳。例如，在网络安全场景中，要求智能体“分析过去一周内异常登录尝试的模式，并识别潜在攻击链”这类需要结合历史上下文和事件关联的复杂查询，现有智能体往往难以给出准确答案。
研究指出，当前评估体系存在两大“表达力鸿沟”：
- 缺乏领域定制化数据集：大多数评估使用通用或合成数据，难以反映真实业务场景的复杂性和噪声。
- 缺乏领域特定查询类型：评估查询往往过于简单或通用，无法覆盖实际工作中所需的复杂、多步骤分析任务。
AgentFuel：为领域专家赋能的评估生成工具
AgentFuel 的核心目标是赋能领域专家（如网络安全分析师、运维工程师、产品经理），让他们能够基于自身业务场景，快速构建端到端的功能性测试评估。其工作流程可以概括为：
- 数据定制：允许用户导入或生成符合本领域特点的时序数据（如传感器读数、用户行为事件流、网络流量日志）。
- 查询定制：支持定义具有领域语义的复杂查询类型，包括有状态查询（依赖先前交互结果）、多模态查询（结合图表、文本等）以及针对特定事件（如系统故障、安全漏洞）的深度分析查询。
- 基准生成与测试：自动生成包含多样化查询和预期结果的评估套件，用于对数据分析智能体进行系统性测试。
对行业发展的启示
通过 AgentFuel 生成的基准测试，研究团队揭示了现有数据智能体框架需要改进的关键方向，例如长期记忆管理、复杂逻辑推理能力以及领域知识融合。论文还提供了初步证据表明，使用 AgentFuel 进行迭代评估和优化，可以切实提升智能体的性能（文中以 GEPA 框架为例）。
AgentFuel 的发布标志着AI评估方法论的一个重要演进：从追求通用、标准化的基准（如MMLU、HELM），转向支持垂直化、场景化的深度评估。这对于推动AI在金融风控、工业预测性维护、智能运维等严肃业务场景中的可靠落地至关重要。未来，随着多模态AI智能体能力的增强，如何评估其在时序数据与文本、图像、代码等多源信息融合分析中的表现，将是下一个值得关注的课题。
AgentFuel 的基准测试代码与资源已公开：https://github.com/cmu-pasta/agentfuel
