EvalCore

EvalCore 是一款面向 AI 系统的确定性评估引擎，专为 LLM 应用和智能体设计，提供可复现、低成本的评测方案。

核心功能

EvalCore 以配置优先的二进制文件为核心，支持统计试验、模型并排对比、基于 OTel 追踪的智能体轨迹分析，以及本地运行查看器。通过记录/重放缓存机制，实现 确定性 $0 CI，确保每次评估结果一致。

主要特性

• 确定性评估：记录/重放缓存消除随机性，适合 CI 流水线。
• 多模型对比：并排比较不同模型输出，直观分析差异。
• 智能体轨迹分析：从 OTel 追踪中提取完整执行路径。
• 本地可视化：内置运行查看器，无需外部服务。
• 配置优先：通过 YAML/JSON 配置定义评测任务，易于集成。

适用场景

• LLM 应用回归测试：在 CI 中自动检测性能退化。
• 模型选型：对比多个模型在相同任务上的表现。
• 智能体调试：分析复杂执行流程中的错误环节。
• 成本控制：通过缓存减少重复调用，降低评测成本。

EvalCore 目前处于早期阶段，开源且欢迎社区反馈，路线图由用户需求驱动。