Flopex

Flopex 是一个智能 AI 推理路由平台，能够在毫秒级将推理任务路由到最快、最便宜的 GPU 提供商。它支持 16,000+ 模型，实时监控 5 家主流提供商的成本、延迟和可用性，自动选择最优方案，确保你的产品始终稳定运行。

核心功能

Flopex 的核心是一个类似广告交换的推理调度引擎。当你的 AI 提供商出现容量不足或错误时，Flopex 会自动触发故障转移，无缝切换到其他可用提供商，避免服务中断。同时，它持续检测模型目录的漂移，及时捕捉提供商对模型的弃用或变更，保证你的调用始终有效。

主要特性

• 自动故障转移：当任何提供商返回 429（限流）或 402（付费不足）错误时，Flopex 立即将请求路由到其他健康提供商，零人工干预。
• 实时定价与选择：根据当前成本、延迟和可用性，动态选择最优提供商，实现成本与性能的最佳平衡。
• 模型目录漂移检测：自动发现提供商对模型的弃用、更新或新增，避免因模型变更导致的调用失败。
• 即插即用兼容：提供与 OpenAI 兼容的 API，只需修改一行代码即可接入现有应用，无需重构。
• 海量模型支持：覆盖 16,000+ 模型，包括主流开源和商业模型，满足多样化推理需求。

适用场景

Flopex 适用于任何依赖第三方 AI 推理 API 的产品，尤其是对可用性和成本敏感的场景，如聊天机器人、内容生成、图像处理等。它解决了单个提供商可能出现的容量瓶颈或服务降级问题，让你的产品始终稳定运行。

Flopex 的核心理念是：单个提供商总会有“坏日子”，但市场不会。通过聚合多家提供商，Flopex 确保了你的 AI 推理任务始终获得最佳服务。