冻结解码器，只治编码器：SVD 低秩 KV-Cache 压缩的参数高效适配新解
一篇论文，两个结论
arXiv 上最新提交的一篇机器学习论文（arXiv:2610.10552）提出了一个在工程上颇为实用的结论：在做基于 SVD 的 KV-Cache 低秩压缩时，微调阶段只训练编码器、冻结解码器，可以在保持精度的同时把可训练参数量和优化器状态内存都降到原来的约三分之一。但论文更有价值的部分，或许是它对一种常见实验方法论的纠偏。
被忽视的"共享学习率"陷阱
作者 Yufeng Wang 指出的问题很具体：在对比不同**参数高效微调（PEFT）**方案时，很多研究给所有实验组使用同一个学习率。当各组可训练参数量差异很大时，这个做法会系统性地扭曲结果——参数量大的组平均表现被压低、方差被抬高，于是参数量最小的那一组看起来获得了"跨多个随机种子都显著"的优势，而这个优势实际上并不存在。
论文把这一混淆效应放在具体场景中做了验证，也就是事后 SVD 的 KV-Cache 压缩：把一个已经预训练好的模型，通过将 key/value 权重分解为下投影（编码器）和上投影（解码器），转换成低秩的、类似多头潜在注意力（MLA）风格的缓存结构，然后再做一次短微调（论文中称为"healing"）来弥补截断带来的精度损失。
结论在调参后反转
在共享学习率下，"冻结解码器、只治编码器"看起来明显优于"治解码器"或"两者都治"。然而，一旦给每个实验组各自调好学习率，这个表面优势就消失了：只治编码器与其他方案达到持平，同时带来实测的 3 倍更少可训练参数和 3 倍更少优化器状态内存。
作者在视觉语言模型 Qwen2.5-VL-3B-Instruct 上，针对该协议覆盖的一个压缩比，用逐组学习率调优和每种配置三个随机种子验证了这一持平关系，并在一个纯文本测试平台上跨两个骨干模型做了复现。
为什么值得关注
KV-Cache 是长上下文推理的主要显存瓶颈之一，低秩压缩是当前较受关注的方向。这篇论文的贡献有两层：
- 工程层面：只治编码器是一个更低内存的"即插即用"方案，适合在训练阶段改造模型以支持低秩 KV-Cache 压缩。
- 方法论层面：论文明确将其定位为一个警示性结果——只要被比较的微调方案在可训练参数量上存在差异，共享学习率就可能制造假优势。
需要说明的是，论文目前为预印本、处于同行评审阶段，结论覆盖的压缩比有限，实际部署效果仍需在更多模型与压缩配置上进一步检验。
