LLMSlim

LLMSlim 是一款开源的 Python 包，能够在不丢失任何指令的前提下，通过语义级提示压缩，将 LLM 的 token 成本降低 40% 至 70%。只需一行代码，即可对提示词、RAG 文档上下文以及多轮对话日志进行精准压缩，确保 100% 的指令保真度。

核心功能

语义压缩引擎：不同于简单的文本截断，LLMSlim 深入理解提示词的语义结构，智能识别并保留关键指令，去除冗余信息，从而在压缩 token 的同时保证输出质量。

零指令丢失：通过独特的保真度验证机制，LLMSlim 确保压缩后的提示词与原提示词在语义上完全等价，不会遗漏任何用户指定的要求或约束。

即插即用：只需在现有代码中导入并调用一行函数，即可无缝集成到任何基于 LLM 的应用中，无需修改模型或推理流程。

主要特性

• 高效压缩：平均减少 40%-70% 的 token 消耗，大幅降低 API 调用成本。
• 多场景支持：适用于单轮提示、RAG 文档上下文、多轮对话等多种场景。
• 开源透明：代码完全开源，用户可自行审查压缩逻辑，确保安全可控。
• 轻量级依赖：仅依赖常见 Python 库，安装简单，运行高效。

适用场景

• 成本敏感型 LLM 应用：如聊天机器人、文本生成服务，通过压缩降低运营成本。
• RAG 系统：压缩检索到的文档上下文，减少 token 占用，同时保留关键信息。
• 多轮对话：压缩历史对话记录，避免超出上下文窗口限制，保持对话连贯性。
• 批量推理任务：在需要大量调用 LLM 的场景中，显著节省 token 预算。