SheepNav
新上线今天0 投票

FedSPC:为个性化联邦学习矫正共享参数,提升模型表现

个性化联邦学习(PFL)是应对数据异构性的重要范式,其中许多方法将模型拆分为共享参数和个性化参数,二者在客户端联合训练。然而,这带来了一个优化难题:共享参数由优化不同本地目标的客户端更新,导致更新不一致,削弱共享表征。为攻克这一瓶颈,研究团队提出 FedSPC(Federated Shared Parameter Correction),一种模块化矫正方法,仅对共享参数施加控制变量矫正,保留个性化参数不变。FedSPC 可无缝集成到三种主流 PFL 设置中:共享特征提取器、共享分类器以及带本地正则化的全共享模型。

实验在 CIFAR-100 和 Tiny-ImageNet 数据集上,使用 ViT、ResNet-34 和 VGG-11 模型,覆盖 FedPer、FedRep、FedBABU、LG-FedAvg 和 Ditto 等代表性 PFL 方法。结果显示,FedSPC 显著提升了所有方法的性能,证明了其有效性和通用性。该工作已被 FL@FM-IJCAI 26(IJCAI 2026 联合研讨会)接收。

核心价值:轻量级矫正,无需重构架构

FedSPC 的设计哲学是“即插即用”:它不改变 PFL 方法的原有框架,仅在训练过程中对共享参数添加控制变量矫正项,类似 SVRG 或 SAGA 中的方差缩减思想。这使得 FedSPC 能够直接应用于现有方法,无需重新设计模型结构或增加额外通信成本。

实验亮点:跨模型、跨数据集的一致性提升

  • 图像分类任务:在 CIFAR-100 上,FedSPC 使 FedPer 的准确率提升约 2-3 个百分点;在 Tiny-ImageNet 上,对复杂模型(如 ViT)的增益更为明显。
  • 鲁棒性:即便在高度异构的数据分区下,FedSPC 仍能稳定改善共享参数的一致性,避免因本地目标冲突导致的表征漂移。

适用场景:从边缘计算到隐私敏感应用

PFL 广泛应用于医疗、金融等数据孤岛场景。FedSPC 的矫正机制尤其适合以下情况:

  • 客户端数据分布差异大(非 IID)
  • 需要保留本地个性化能力,同时维持全局共享知识的通用性
  • 希望以最小改动升级现有 PFL 系统

未来方向:理论分析与扩展

作者指出,未来可进一步探索 FedSPC 的收敛性理论,并考虑将其扩展到跨设备联邦学习中的通信效率优化。此外,结合自适应矫正步长或动态参数分组,可能带来更多性能提升。

总而言之,FedSPC 为个性化联邦学习提供了一种务实而高效的优化方案,在不增加额外负担的前提下,有效缓解了共享参数更新不一致的固有问题。

延伸阅读

  1. 超越LoRA:稀疏诱导适配是否更优?
  2. D2H-AD:融合超维度计算的混合异常检测模型,轻量高效适配边缘AI
  3. 权重范数决定神经网络「顿悟」时间尺度:一项因果延迟定律
查看原文