新上线今天0 投票
HERO：面向联邦持续学习的异构感知基准库
联邦持续学习（FCL）旨在评估分布式客户端如何从不断变化的数据流中学习，同时保留已学知识。然而，现有评估因数据集、任务划分、客户端数据分配、任务顺序、骨干网络、内存假设和报告规则等频繁同时变动而难以比较。为此，研究人员提出了 HERO（Heterogeneity-Aware Benchmark Library），一个面向FCL的异构感知基准库。
解耦关键因素，构建可比基准
HERO的核心创新在于将通常耦合的三个选择分离：任务划分、客户端数据划分和客户端任务序列。在主要可比基准 HERO-Core 中，参数 α 控制客户端数据偏斜，ρ 控制任务顺序不匹配。这种设计使得研究者能够独立控制异构性来源，从而进行更公平的方法比较。
实验设置与关键发现
研究团队在 CIFAR-100 和 TinyImageNet 上评估了代表性FCL方法，采用最终平均准确率、平均遗忘率和底部10%客户端准确率作为指标。此外，还包含了基于图的 Domain-IL 可移植性案例研究（使用 OGB-MolPCBA 数据集），其中支架域粒度改变输入分布，但预测任务保持不变。
实验结果揭示了几个重要现象：
- 方法行为在简单和异构设置之间存在显著差异；
- 平均准确率可能掩盖底层客户端的弱性能；
- 任务顺序不匹配时，不同策略的表现与同步评估时截然不同；
- HERO的统一接口能够暴露图像分类之外的域偏移难度。
开放与可复现
HERO 提供了完整的基准流、配置、方法实现和报告脚本，以支持可重复且感知设置的FCL评估。该库通过分离异构性维度，为社区提供了更精细的评估工具，有助于推动联邦持续学习领域的标准化比较。
总结
HERO 通过解耦关键变量，解决了FCL评估中缺乏可比性的核心问题。其模块化设计和丰富的实验结果不仅验证了现有方法的局限性，也为未来研究提供了清晰的方向。随着联邦学习在现实场景中的广泛应用，HERO 有望成为该领域基准测试的重要参考。