压缩关键信息：神经元重要性结合数据感知低秩近似，大模型压缩新突破
大语言模型（LLM）凭借数十亿参数在众多领域表现出色，但巨大的内存需求也限制了其在资源受限环境中的部署。模型压缩技术，尤其是奇异值分解（SVD），一直是解决这一问题的核心方法。然而，如何在压缩误差最小化与下游任务性能最大化之间取得平衡，仍是研究难点。近期，一篇发表于《IEEE Access》的研究提出了一种融合神经元重要性与数据感知低秩近似的创新压缩框架，并引入动态压缩率分配算法，在高压缩比下取得了显著效果。
现有方法的局限
传统SVD压缩主要从两个独立视角出发：一是基于参数重要性（如神经元贡献度）裁剪冗余权重；二是保持每层功能等价性，通过低秩近似减少矩阵维度。但这两类方法各有短板：重要性视角可能忽略层间交互效应，而功能等价视角则缺乏对具体数据分布的适应性。此外，以往的压缩率分配多采用均匀策略或依赖昂贵的启发式搜索，难以实现全局最优。
融合策略：两全其美
该研究首次将神经元重要性与数据感知低秩近似纳入统一目标函数。具体而言，算法首先通过前向传播计算每个神经元对最终输出的贡献度，作为重要性权重；然后在SVD分解过程中，结合输入数据的分布特征（即数据感知）对权重矩阵进行加权低秩近似。这种设计使得压缩过程能优先保留对任务关键的信息通道，同时自适应地调整各层的压缩强度。
动态压缩率分配
针对压缩率分配问题，研究团队提出了一种高效的动态分配算法。不同于传统方法的手动调参或穷举搜索，该算法利用梯度信息快速估算每层对整体损失的敏感度，并据此非均匀地分配压缩率。实验表明，在50%以上的高压缩比下，该方法的性能损失较均匀分配降低约30%，且计算开销仅为启发式搜索的千分之一。
实验验证与行业意义
在多个基准模型（如BERT、GPT-2）和下游任务（文本分类、问答）上的测试显示，该方法在同等压缩比下优于此前最先进的SVD压缩方案（如SVD-LLM、AdaSVD）。例如，在70%压缩率时，模型在GLUE基准上的准确率仅下降1.2%，而对比方法下降超过3%。
这一工作为LLM在边缘设备、移动端等资源受限场景的落地提供了新思路。随着模型规模持续膨胀，结合数据感知与重要性引导的压缩策略有望成为主流方向。未来，研究者可进一步探索该方法与量化、剪枝等其他压缩技术的协同效应。