Relay

Relay 是一个即插即用的 SDK，为您的每一次 LLM 调用自动添加重试、供应商故障切换（如 Anthropic ↔ OpenAI）和智能缓存功能。只需一行代码，即可让您的 AI 代理在供应商服务不稳定时依然保持在线。支持自带密钥（BYOK），原生适配边缘计算环境，且免费起步。

核心功能

自动重试：当 API 请求失败时，Relay 会自动进行重试，无需您手动编写重试逻辑。

供应商故障切换：支持在多个 LLM 供应商（如 Anthropic 和 OpenAI）之间无缝切换，确保服务的高可用性。

智能缓存：自动缓存重复的请求结果，减少 API 调用次数，降低延迟和成本。

主要特性

• 零配置集成：只需一行代码即可集成，无需修改现有代码逻辑。
• 自带密钥（BYOK）：您可以使用自己的 API 密钥，数据安全由您掌控。
• 边缘原生：专为边缘计算环境优化，支持在 Cloudflare Workers、Deno Deploy 等平台运行。
• 免费起步：基础功能免费使用，无需预付费用。

适用场景

• AI 代理：确保您的 AI 代理在供应商服务中断时仍能正常运行。
• 高可用应用：对 API 可靠性要求高的生产环境。
• 边缘计算：在边缘节点上运行 LLM 调用，减少延迟。