查询可见性如何颠覆KV缓存压缩排名：一项匹配预算的审计研究
研究背景：被忽视的“查询不可见”场景
大型语言模型（LLM）的推理效率高度依赖KV缓存压缩技术，它通过减少显存占用和计算量来加速长文本推理。然而，现有评估方法存在一个根本性偏差：大多数研究在压缩前将查询（query）附加到上下文中，即采用“查询可见”协议。这种设置与KV缓存压缩的核心应用场景——缓存复用（compress once, answer many）——背道而驰。在实际部署中，文档需在未知未来查询的情况下预先压缩，即“查询不可见”协议。
实验设计：控制变量的匹配预算审计
来自澳大利亚的研究团队对六种已发表压缩方法（包括 SnapKV、KeyDiff 等）和三种简单基线（如保留开头+最近窗口）进行了匹配预算审计。实验固定了所有变量：模型（三个开放7-9B模型）、压缩比率、实例、解码方式，仅改变评分规则（查询可见 vs. 不可见）。评估数据集包括 RULER-8192（144,300次配对评估）和 LongBench（40,800次评估），并使用50,000次重采样的配对自助法进行统计检验。
关键发现：排名颠覆与机制解释
1. 查询可见性改变排名
在查询不可见协议下，使用共同注意力后端的五种方法中，只有 KeyDiff 能持续击败“最佳3项”基线（31/36个单元）。而最广泛部署的方法 SnapKV 平均落后于“保留开头+最近窗口”基线 -0.066。这意味着，在真实复用场景中，当前主流方法可能不如简单启发式策略。
2. 性能下降与查询可见性得分高度相关
每种方法在两种协议间的性能下降幅度（Delta）与其源代码中查询对评分信号的可见程度一致：
- SnapKV 的查询位于其64个token的观察窗口内，Delta 高达 +0.198（即查询可见时表现更好）
- KeyDiff 的评分不包含任何查询项，Delta 仅为 +0.011，几乎不受协议影响
行业启示：重新评估压缩方法的真实价值
这项研究揭示了当前KV缓存压缩评估的系统性偏差：查询可见协议高估了依赖查询感知评分的方法（如SnapKV），而低估了查询无关方法（如KeyDiff）。对于生产环境中的长文档问答、检索增强生成等场景，缓存复用是核心需求，因此评估应优先采用查询不可见协议。
研究者建议，未来工作应：
- 在查询不可见设置下重新评估压缩方法
- 开发专门针对复用场景的压缩技术
- 公开源代码和评估协议以增强可重复性
论文链接：arXiv:2607.11942