memtrust

memtrust 是一款独立的命令行工具，专为评估大语言模型（LLM）记忆系统而生。它基于 Apache 2.0 协议开源，旨在为 MemPalace、Mem0、Zep/Graphiti、OpenViking 等主流记忆系统提供公平、公正的横向对比测试。

核心功能

memtrust 内置了 17 项不同的评测指标，涵盖矛盾检测、压缩保真度等关键维度，能够全面衡量记忆系统的准确性、一致性和可靠性。它通过统一的条件和标准，确保所有被测系统在相同环境下接受检验，从而得出客观可信的结论。

主要特性

• 严格中立：设计初衷即是为了避免偏见，甚至曾成功识别出自家适配器中的虚假 API，展现了其严谨的评测态度。
• 完全自主：100% 可自托管，无需注册账号，数据完全掌握在用户手中，保障隐私与安全。
• 开源免费：基于 Apache 2.0 许可，开发者可自由使用、修改和分发。
• 易于使用：作为 CLI 工具，安装简单，操作便捷，适合开发者快速集成到工作流中。

适用场景

• 开发者选型：在多个记忆系统之间做出选择时，使用 memtrust 进行客观对比。
• 质量保障：在部署记忆系统前，通过 memtrust 验证其性能与可靠性。
• 学术研究：作为基准测试工具，用于评估记忆系统的研究进展。

memtrust 为 LLM 记忆系统的评测树立了新的标杆，是追求真实性能用户的理想选择。