GRAPE：引导参数空间演化，实现紧凑型对抗鲁棒性
概述
近日，一篇来自中国科学技术大学与中国移动（苏州）软件技术有限公司的联合研究论文提出了 GRAPE（Guided Parameter-Space Evolution） 框架，旨在通过引导参数空间的渐进式演化，在紧凑模型上实现更强的对抗鲁棒性。该研究挑战了传统对抗训练（Adversarial Training, AT）中“从始至终训练固定参数空间”的范式，探索参数优化顺序对最终鲁棒解的影响。
核心方法
GRAPE 的核心思想是将鲁棒模型的学习视为一个 参数空间逐步暴露与演化 的过程。它结合了两种关键机制：
- 参数空间稳定化：在当前暴露的参数子空间内稳定鲁棒优化，确保已有参数已充分收敛到对抗鲁棒的局部区域。
- 渐进式隐藏扩展：逐步释放新的可优化维度，并利用 对抗谱利用率分数（adversarial spectral utilization score） 引导新容量优先分配给模型中承受高对抗压力的模块。
这种“先稳定、再扩展”的策略，使得模型能够在训练过程中动态决定哪些参数需要优先优化，从而避免传统固定结构 AT 中参数空间的低效利用。
实验结果
在 CIFAR-10 数据集上，采用标准的 ℓ∞ 威胁模型，以固定结构的 ResNet-18 对抗训练作为对照基准，GRAPE 取得了以下关键结果：
- PGD-20 鲁棒准确率：从基线 51.70% 提升至 56.94%，提升超过 5 个百分点。
- 计算开销：FLOPs 比仅为 1.009 倍，几乎与基线持平。
- 参数量减少：参数量减少了约 21.4%，体现了紧凑性优势。
此外，研究还设置了一种“顺序增长变体”，即最终架构仍为标准的 ResNet-18，但训练过程中参数逐步暴露。该变体达到了 56.52% 的 PGD-20 鲁棒准确率，与直接训练完整 ResNet-18 的基线（51.70%）相比仍有显著提升。这一对比有力地说明：性能增益不仅来自最终架构的差异，更来自参数空间暴露路径本身。
行业意义
在 AI 安全领域，对抗训练是提升模型鲁棒性的主流方法，但传统方法通常假设所有参数同等重要且同时优化，导致冗余参数可能引入脆弱性。GRAPE 的工作表明，参数优化的顺序与路径 同样关键，这为设计更高效、更紧凑的鲁棒模型提供了新思路。
对于资源受限的边缘设备（如手机、物联网终端），GRAPE 在几乎不增加计算开销的情况下，通过减少参数量并提升鲁棒性，具有实际部署价值。同时，该框架也启发后续研究：是否可以进一步将参数空间演化与神经架构搜索（NAS）或剪枝技术结合，实现自动化程度更高的鲁棒模型设计？
小结
GRAPE 通过“引导参数空间演化”这一新范式，在紧凑模型上实现了对抗鲁棒性的显著提升。实验数据充分证明了参数暴露顺序对鲁棒解质量的影响，为对抗训练领域注入了新的理论视角和实践工具。