Aurko

Aurko 是一款基于 Go 语言构建的超高速、轻量级 AI 缓存代理网关，专为削减 LLM API 成本而设计，可将费用降低 40-70%。它针对自主代理网络和递归工作流进行了优化，采用基于 Jaccard 指数的令牌归一化相似度匹配算法，精准拦截高频重复的系统提示和思维循环，直接从 Redis 缓存中提供服务，响应时间小于 1 毫秒，无需上游网络延迟。

核心功能

Aurko 的核心在于其智能缓存机制。它不仅能缓存完整的 API 响应，还能通过语义相似度匹配识别并复用高度相似的请求，从而大幅减少对 LLM 提供商的调用次数。无论是重复的系统提示、常见的用户查询，还是代理间的递归对话，Aurko 都能高效命中缓存，显著降低 API 调用成本。

主要特性

• 极速响应：基于 Go 语言开发，内存占用极低，缓存命中时响应时间小于 1 毫秒，几乎无额外延迟。
• 智能匹配：使用 Jaccard 指数进行令牌归一化相似度计算，准确识别重复或高度相似的请求，避免无效调用。
• 成本节省：典型场景下可降低 40-70% 的 LLM API 费用，尤其适合高频调用的自主代理和递归工作流。
• 轻量易部署：作为轻量级代理网关，可轻松集成到现有架构中，无需修改应用代码。
• Redis 后端：利用 Redis 实现高性能缓存，支持分布式部署和持久化。

适用场景

Aurko 特别适合以下场景：

• 自主代理网络：多个代理之间的频繁通信和重复查询。
• 递归工作流：需要多次调用 LLM 的复杂任务链。
• 高并发应用：需要低延迟和高吞吐量的实时 AI 应用。
• 成本敏感型项目：希望在不牺牲性能的前提下大幅降低 API 开支的团队。