Token saver

TokenSaver 是一款自托管的缓存代理工具，位于您的应用与 LLM API 之间，通过智能缓存大幅削减 API 调用成本。它利用 SHA256 哈希算法对完全相同的提示进行去重，并借助 sentence-transformers 嵌入模型识别语义相近的查询，从而避免重复请求浪费费用。无论是重试、刷新还是不同用户提出的相同问题，TokenSaver 都能在请求到达 API 之前拦截并返回缓存结果。

核心功能

TokenSaver 的核心在于其高效的缓存机制。它支持两种缓存策略：精确匹配（SHA256）和语义匹配（嵌入模型），确保无论是完全相同的文本还是意思相近的查询，都能被有效缓存。此外，它还提供用户预算管理、Slack/邮件告警、速率限制、按模型成本分析以及异常检测功能，帮助您全面掌控 API 使用情况。

主要特性

• 智能缓存：支持精确匹配和语义相似度匹配，大幅减少重复请求。
• 用户预算管理：为每个用户设置配额，防止滥用。
• 实时告警：通过 Slack 或邮件在异常发生时即时通知。
• 成本分析：按模型统计费用，清晰了解支出分布。
• 异常检测：自动识别异常调用模式，保障服务安全。

适用场景

TokenSaver 适用于任何使用 LLM API 的场景，特别是需要处理大量相似查询的团队。例如，客服系统、内容生成平台、教育应用等，都能通过缓存显著降低成本。对于预算敏感的小型团队或个人开发者，其免费版支持最多 5 个用户（MIT 许可证），非常友好。