保校准剪枝：压缩作为可靠性契约
在机器学习模型部署中，模型压缩与可靠性往往被视为一对矛盾。近日，一篇题为《Calibration-Preserving Pruning: Compression as a Reliability Contract》的论文提出了一种名为“保校准剪枝”（CPP）的新方法，旨在通过剪枝技术同时实现模型压缩和维持预测可靠性。该研究来自Ibne Farabi Shihab等人，已在arXiv上预印发布（arXiv:2608.23744）。
核心思想：剪枝不影响覆盖率保证
论文指出，分割共形预测（Split Conformal Prediction）提供了有限样本下的边际覆盖率保证，只要剪枝后的模型独立于共形校准分割固定下来，覆盖率就不受剪枝规则影响。因此，研究的重点转向了效率问题：剪枝能否保留足够的分数几何结构，从而在保证覆盖率的同时，得到更小的有效预测集？
为此，CPP方法在基础剪枝分数上增加了非一致性梯度显著性（nonconformity-gradient saliency），并采用分离的数据分割策略：剪枝、验证选择、共形校准和测试集各自独立。理论上，有界的分数扰动意味着有界的共形分位数偏移和受控的集合膨胀，但这一性质并不依赖于具体的剪枝规则。
实验结果：在多个数据集上取得增益
实验基于Qwen2.5-1.5B模型，在50%稀疏度下进行了五次运行。结果显示，CPP在标签数量多的任务上增益最大。例如，在DBpedia-14数据集上，CPP-SparseGPT将平均预测集大小从10.1降至8.6，同时准确率从0.347提升至0.366；CPP-Wanda则将集合大小从11.2降至9.0，但准确率略有下降（从0.310降至0.295）。在15个数据集-稀疏度组合中，CPP-SparseGPT在13个组合中实现了更小的预测集，在11个组合中获得了更高的准确率。
对比分析：监督梯度贡献显著
进一步分析显示，通用的监督梯度解释了许多增益：在匹配的对照实验中，真正的标签CPP与Wanda+SNIP的差异在统计上并不显著，而阈值感知的候选标签CPP在显式准确率和离线计算成本下，实现了7.8的平均集合大小。此外，RoBERTa-base和Llama-3-8B的诊断实验支持了方法的可迁移性，但作者强调，研究结论仅限于对可靠性敏感的分类任务。
总结与展望
这项研究为模型压缩提供了一个新视角：剪枝不仅是为了减少计算量，更可以作为一种“可靠性契约”，在压缩过程中保持预测的可靠性。尽管仍存在一些未解决的问题，如统计显著性等，但CPP展示了在保持覆盖率的同时提高效率的潜力。未来，该方法有望在更多模型和任务上得到验证和推广。
