信息瓶颈理论统一KV缓存驱逐策略，CapKV实现理论驱动的内存优化
大语言模型（LLM）推理中，键值（KV）缓存是处理长上下文的关键技术，但其内存开销始终是性能瓶颈。现有的缓存驱逐策略多依赖经验性启发式方法，缺乏严格的理论基础。近日，来自四川大学的研究团队在arXiv上发表论文，提出从信息瓶颈（Information Bottleneck）原理重新审视KV缓存驱逐问题，并推导出一种统一的信息论目标函数。
理论突破：从启发式到信息论
研究团队将注意力机制近似为线性-高斯模型，在此基础上推导出闭式互信息目标函数，用于刻画保留的KV缓存子集的有效信息容量。这一公式揭示了一个重要发现：当前主流驱逐策略（如基于注意力分数、频率等）实质上都是对同一容量最大化原则的不同近似。这意味着，看似各异的启发式方法背后存在统一的理论框架。
CapKV：容量感知的驱逐方法
基于上述理论洞察，团队提出了CapKV——一种容量感知的KV缓存驱逐方法。CapKV利用统计杠杆分数（statistical leverage scores）进行对数行列式近似，直接以信息保留为目标，替代了传统的启发式选择。该方法在理论上保证了保留最大预测信号，从而在内存效率与生成保真度之间实现更优平衡。
实验验证与性能优势
论文在多个主流模型（如LLaMA系列）和长上下文基准测试上进行了广泛实验。结果显示，CapKV在保持相同缓存大小的情况下，困惑度（perplexity）和长文本生成质量均显著优于现有方法（如H2O、Scissorhands等）。例如，在128K上下文长度下，CapKV仅需保留25%的KV缓存即可达到接近全缓存的性能，而基线方法在相同压缩比下性能下降明显。
行业影响与未来方向
这项研究为LLM推理优化提供了坚实的理论基石。随着长上下文应用（如文档分析、代码生成、多轮对话）的普及，KV缓存管理的重要性日益凸显。CapKV的提出不仅可能推动推理框架（如vLLM、TensorRT-LLM）采纳更高效的缓存策略，也为未来结合硬件特性（如稀疏注意力加速器）的联合优化开辟了道路。此外，信息瓶颈视角可能进一步推广至其他Transformer组件（如激活值压缩），形成统一的LLM内存优化理论。
论文已提交至arXiv，代码预计将开源。对于关注LLM部署效率的研究者和工程师，这一工作值得深入跟踪。