Torrix:一款无需Postgres和Redis的自托管LLM可观测性工具
简介
在AI应用落地过程中,LLM可观测性已成为运维团队的核心需求——追踪每次请求的token消耗、成本、延迟、完整提示轨迹,甚至推理过程和PII脱敏。然而,现有自托管方案往往依赖Postgres、Redis等重型基础设施,配置成本让许多团队望而却步。
Torrix 正是为解决这一痛点而生。它是一款轻量级、自托管的LLM可观测性工具,唯一依赖仅是Docker,无需额外数据库或缓存服务。
核心能力
Torrix 支持追踪所有主流LLM提供商,包括 OpenAI、Anthropic、Google Gemini、Groq、Mistral、Azure OpenAI、DeepSeek、Perplexity、Fireworks、Together AI、Cohere、HuggingFace、Replicate、Ollama,以及任何HTTP端点。其核心功能包括:
- 完整请求追踪:记录每次LLM调用的token数、成本、延迟、完整提示轨迹
- 推理过程捕获:支持捕捉推理过程中的中间token
- PII脱敏:自动识别并遮盖敏感个人信息
- 代理模式:通过Torrix代理转发请求,自动记录日志
所有数据保留在本地,不离开你的机器,确保隐私安全。
部署体验
Torrix 的部署极其简单:
curl -o docker-compose.yml https://raw.githubusercontent.com/torrix-ai/install/main/docker-compose.community.yml
docker compose up
启动后访问 http://localhost:8088,创建账户并获取API Key,即可开始发送LLM请求进行监控。
项目还提供了一个在线演示(demo.torrix.ai),无需注册即可体验,数据为预置的只读样本。
行业背景
当前,LLM应用正从实验阶段走向生产部署,可观测性工具成为保障可靠性的关键。但传统方案如 Langfuse、Helicone 等虽然功能强大,却要求Postgres、Redis等基础设施,对于小型团队或快速原型阶段而言,启动成本较高。
Torrix 的差异化在于极简架构:仅需Docker,即可获得完整的可观测能力。这降低了团队尝试的门槛,尤其适合:
- 个人开发者或小团队快速搭建监控
- 集成到现有CI/CD流程中
- 需要数据完全本地化的隐私敏感场景
小结
Torrix 以“零基础设施负担”为设计哲学,为LLM可观测性提供了一个轻量级选择。如果你正在寻找一款开箱即用、自托管、无需Postgres/Redis的监控方案,值得一试。
项目地址:github.com/torrix-ai/install