SheepNav
Repath

Repath

repath.earth

基于质量的提示与模型金丝雀发布

7天前制作者:Tejassri Avinasha

关于 Repath

Repath 是一款专注于 AI 提示与模型变更安全发布的工具,通过金丝雀发布机制,让你在修改提示词或切换模型时不再靠猜。

核心功能

Repath 将真实流量的一小部分导向新版本,同时利用 LLM 评判器对同一标准下的新旧版本进行评分。控制器根据评分自动推进发布(5% → 25% → 100%)或在质量下降时自动回滚至 0%,并记录最差回答及评判原因。

主要特性

  • 无缝集成:只需在现有 SDK(OpenAI、Anthropic、Gemini、OpenRouter 或 Vercel AI Gateway)中更改 base-URL,无需重构代码。
  • 智能金丝雀发布:自动分阶段引流,从 5% 逐步扩大至全量,确保变更安全。
  • 自动质量评判:LLM 评判器对两个版本进行同标准评分,客观比较效果。
  • 自动回滚:一旦质量不达标,控制器立即回滚至 0%,避免影响扩大。
  • 详细日志:记录最差回答及评判理由,助力问题排查与优化。
  • 低开销:网关中位开销仅约 0.4 毫秒,几乎不影响性能。

适用场景

适用于任何需要频繁调整提示词或切换模型的 AI 应用团队,尤其适合对质量要求严苛的生产环境,帮助团队在快速迭代中保持稳定。

相关工具