AIVory Smart Inference

AIVory Smart Inference 是一款智能推理路由工具，能实时将每个 LLM 调用路由到提供相同模型的最便宜供应商，无需任何代码更改。只需替换一个 URL，即可保留原有 SDK、提示词和流式传输，无缝接入 50 多个模型。按量付费，最低 $10 起，积分永不过期，无订阅费用。平均节省约 30%，开源模型最高可省 89%。也支持自托管，一键启动竞价 GPU 并通过同一端点路由。

核心功能

• 实时路由：自动将每个 LLM 调用路由到提供相同模型的最便宜供应商，无需手动切换。
• 零代码集成：只需替换一个 URL，即可保持原有 SDK、提示词和流式传输，实现无缝迁移。
• 广泛模型支持：覆盖 50 多个模型，包括 OpenAI、Anthropic、Google 等主流及开源模型。
• 灵活计费：按量付费，最低 $10 起，积分永不过期，无订阅费用，用多少付多少。
• 自托管选项：支持一键启动竞价 GPU，并通过同一端点路由到自建模型，适合对数据隐私有要求的用户。

主要特性

• 实时成本优化：根据实时价格自动选择最便宜的供应商，平均节省 30%，开源模型最高省 89%。
• 无需修改代码：兼容 OpenAI API 格式，只需更换 URL，无需改动现有代码或配置。
• 稳定可靠：智能监控供应商可用性，自动故障转移，确保服务不中断。
• 透明定价：无隐藏费用，积分永不过期，适合长期使用。
• 自托管灵活：支持在自有基础设施上部署，满足数据安全和合规需求。

适用场景

• 成本敏感型应用：适合需要频繁调用 LLM 的创业公司或项目，通过智能路由大幅降低 API 成本。
• 多模型切换：需要快速在不同模型间切换或测试不同供应商性能的场景。
• 数据隐私要求高：通过自托管选项，将模型部署在自有 GPU 上，确保数据不出域。
• 批量推理任务：适合需要大量调用 LLM 的批量处理任务，利用路由优化降低总成本。