生成位置决定成败:FedEAS 提出预算感知合成增强,高效解决联邦学习标签倾斜
联邦学习(FL)中,标签分布倾斜(label skew)是导致客户端漂移(client drift)和全局模型准确率下降的顽疾。合成数据增强是一种有效的缓解手段,但若追求完全的类平衡,其计算成本往往高得难以承受。来自韩国研究团队的最新论文提出 FedEAS(Federated Entropy-Adaptive Synthesis),巧用“预算”思维,在近乎不增加额外开销的前提下,显著提升了模型性能。
核心问题:合成数据该“给谁用”和“用多少”?
传统方法要么对所有客户端一视同仁地分配生成预算(Uniform allocation),要么不顾成本地追求全局类平衡。前者无视了不同客户端本地分布差异,后者则因高昂的计算代价而不具备实际部署可行性。FedEAS 的切入点非常直接:预算必须根据每个客户端的本地标签分布动态调整,并且要同时回答两个问题——生成多少(how much)以及生成的样本送往哪里(where)。
FedEAS 机制:熵自适应预算与生成位置决策
FedEAS 的核心是一个 熵自适应(entropy-adaptive)的每类生成预算 计算策略。具体来说,系统根据每个客户端本地标签分布的熵值,为每个类别分配一个生成预算。分布越不平衡(熵越低),该客户端获得的生成预算就越高,从而有针对性地补足稀缺类别。同时,生成的合成样本并非“自产自销”,而是根据全局需求被分配到最需要它们的客户端(或保留在本地)。这种“生成+分发”的双重决策机制,使得总生成预算不再是一个预先设定的固定值,而是由所有客户端的预算之和自然确定。
实验结果:94.1% 的预算削减与 18.82% 的性能提升
在 CIFAR-10 和 CIFAR-100 数据集上的实验表明,FedEAS 能够恢复完全类平衡带来的绝大部分准确率增益,同时将生成预算削减了 94.1%。换言之,它用不到 6% 的计算成本,就实现了接近最优的效果。与统一预算分配相比,在相同总预算下,FedEAS 的性能提升最高达 18.82%。这一结果充分说明了“把钱花在刀刃上”的重要性——不是生成更多的数据,而是生成对的地方、对的数量。
行业启示:效率优先的联邦增强新范式
FedEAS 的提出,为联邦学习中数据增强的实用化提供了新思路。在现实场景中,客户端(如手机、医院)的计算和存储资源往往有限,不可能承担大规模合成数据生成。FedEAS 的预算感知机制,使得资源可以精准投放到最需要的数据类别上,尤其适用于医疗影像、金融风控等标签分布天然倾斜的领域。未来,结合更先进的生成模型(如扩散模型),这一框架有望进一步降低合成成本,推动联邦学习走向更广泛的落地应用。