Progressive²：教师-学生渐进协同演化的知识蒸馏方法，实现大幅模型压缩
知识蒸馏（Knowledge Distillation, KD）作为一种将大型教师模型的知识迁移至小型学生模型的技术，因其灵活性和广泛适用性，在服务端模型压缩中扮演着关键角色。然而，当服务端能力与客户端需求差距悬殊时，传统蒸馏方法的性能会大幅下降。为此，研究者提出了一种名为 Progressive² 的新型蒸馏方法，通过“渐进增强的教师”与“渐进缩小的学生”的协同演化，有效缓解了这一难题。
教师端：从粗到细的渐进蒸馏
在教师端，Progressive² 不再一次性引入所有层进行蒸馏，而是遵循从粗糙到丰富的语义递进顺序，逐步选取更多层参与蒸馏，形成系统化的学习课程。这种渐进式策略不仅降低了训练初期的复杂度，还提升了最终蒸馏效果。此外，研究者还设计了一个多特征融合适配器，用于增强训练的稳定性，其理论依据是 Lipschitz 连续性框架。
学生端：渐进式网络缩减
在学生端，Progressive² 摒弃了直接训练一个极小模型的传统做法，而是逐步减小网络规模，实现与学生模型的迭代共演化。这种渐进缩减方式使得学生模型能够更平滑地适应知识迁移过程，避免了因模型尺寸骤降而导致的能力断层。
灵活框架与独立部署
Progressive² 被设计为一个灵活的框架：教师侧的渐进策略可独立部署，以在精度和训练效率之间取得最优平衡；而教师与学生的联合整合则能进一步提升整体性能。该研究目前正在 IEEE Transactions on Services Computing 期刊审稿中，其 arXiv 编号为 2608.00129。
行业背景与意义
在 AI 模型日益庞大的背景下，模型压缩成为部署到资源受限设备的关键环节。Progressive² 的提出，为知识蒸馏领域提供了一种新的思路，尤其适用于服务端与客户端能力差异显著的应用场景。通过渐进式协同演化，该方法有望在保持模型精度的同时，实现更大幅度的压缩，从而满足实际部署中的 QoS 需求。
尽管该研究仍处于审稿阶段，但其创新性的框架设计已引发关注。未来，随着更多细节的公开，Progressive² 有望在边缘计算、移动端 AI 等领域展现出广泛的应用潜力。