Kaeso

Kaeso 是一个用 Rust 编写的高性能开源 AI 网关，让你在自有基础设施上统一管理 AI 服务调用。通过单一 API 接入，应用程序无需关心后端供应商的差异，而你则完全掌控密钥、路由和用量。

核心功能

Kaeso 作为 AI 请求的统一入口，将来自应用的调用智能路由到不同的 AI 供应商（如 OpenAI、Anthropic 等）。你可以在自己的服务器上部署，确保敏感数据不出私域，同时利用 Rust 的卓越性能获得低延迟和高并发处理能力。

主要特性

• 统一 API 接口：应用只需对接一个端点，即可灵活切换或组合多个 AI 供应商，简化开发流程。
• 完全自托管：开源且可私有化部署，密钥和请求数据完全由你掌控，满足安全合规要求。
• 高性能 Rust 核心：基于 Rust 构建，提供极快的响应速度和资源效率，轻松应对高负载场景。
• 精细用量控制：内置用量统计和配额管理，帮助你监控成本并优化资源分配。
• 灵活路由策略：支持基于权重、成本或延迟的路由规则，实现智能流量分发和故障转移。

适用场景

Kaeso 非常适合需要统一管理多个 AI 供应商的团队，尤其是对数据隐私和性能有高要求的企业。无论是构建 AI 应用、搭建内部 AI 平台，还是进行多模型实验，Kaeso 都能提供可靠、高效的网关支持。