新上线今天0 投票
可观测性测试驱动深度神经网络压缩：实现最小状态副本的新框架
深度神经网络（DNN）通常包含大量隐藏状态冗余，但现有压缩方法（如权重剪枝、量化、低秩分解）大多直接作用于权重、神经元或量化表示，并未显式刻画内部状态的动态角色。来自爱丁堡纳皮尔大学的研究者提出了一种基于可控性-可观测性测试的经验最小实现压缩框架，将训练后的网络视为深度索引的非线性动态系统，通过数据驱动的可达性、可观测性及平衡Gramian矩阵，从隐藏状态快照和输出雅可比矩阵中估计逐层的可达秩、可观测秩以及联合可达-可观测秩。这些秩不仅作为隐藏状态冗余的诊断指标，还直接用作压缩后网络的实际层宽。
在MNIST和CIFAR-10上的实验表明，该方法在保持准确率几乎不变的前提下实现了显著压缩。以MNIST为例，一个四层SiLU网络的状态阶从1024降至277（压缩72.95%），参数压缩73.48%，准确率从96.60%略降至95.45%。在CIFAR-10上，一个更大规模的SiLU网络从状态阶4608压缩至1339（压缩70.94%），参数压缩83.09%，准确率几乎不变（54.45%→54.44%），CUDA推理延迟降低约3倍。
研究结果证明，平衡可达-可观测秩为设计紧凑神经网络架构提供了一种原则性的经验最小实现准则，能够在几乎不损失精度的前提下实现高效压缩。该工作为动态系统理论在深度学习压缩中的应用开辟了新路径，尤其适用于对模型体积和推理效率有严格要求的边缘计算场景。