B样条解耦：一种更稳健的Transformer模型压缩新方法
Transformer模型的规模日益庞大，如何在保持性能的同时实现有效压缩，是当前AI落地的重要课题。来自比利时的研究团队提出了一种基于B样条的鲁棒解耦框架（R-CMTF-BSD），为模型压缩提供了新思路。
解耦：从多元函数到单变量组合
解耦（Decoupling）是一种将多元函数表示为线性变换与单变量非线性函数组合的建模范式。单层解耦可看作一个具有单隐藏层和灵活激活函数的全连接神经网络，与神经网络存在直接联系。因此，解耦方法在神经网络领域，尤其是模型压缩中，受到越来越多的关注——它能够通过结构化近似，在降低参数复杂度的同时保留表达能力。
现有方法的局限：多项式与分段线性
现有的张量基解耦方法通常采用多项式或分段线性参数化内部非线性函数。然而，多项式方法在高阶时容易出现数值不稳定，而分段线性方法表达能力有限，难以捕捉复杂的非线性关系。这两种局限性限制了压缩效果的进一步提升。
B样条解耦：更稳定、更灵活
研究团队提出的B样条基解耦框架，通过利用B样条的局部支撑性和灵活的光滑度控制，实现了更稳定且更具表达力的表示。具体来说，他们推导出一个约束耦合矩阵-张量分解模型，并提出了一种鲁棒的交替最小二乘算法（R-CMTF-BSD），该算法引入了归一化和Tikhonov正则化，增强了数值稳定性。
实验验证：Vision Transformer与Swin Transformer
在合成数据和真实Transformer模型上的实验验证了方法的有效性。在Vision Transformer和Swin Transformer架构上，B样条解耦在实现大幅参数缩减的同时，保持了有竞争力的准确率。例如，在ImageNet分类任务上，压缩后的模型参数减少约50%，而准确率下降不到1%。
意义与展望
R-CMTF-BSD算法为结构化神经网络压缩提供了一种有前景的工具。与传统的剪枝、量化等方法相比，解耦方法能更自然地利用模型的结构化特性，实现可控的压缩比。未来，该方法有望扩展到更大规模的模型（如LLaMA、GPT等），并与其他压缩技术结合，推动高效AI部署的进步。