新上线今天0 投票
迈向鲁棒的联邦多模态图学习：应对模态异质性的新方法
多模态图学习（MGL）近年来备受关注，它通过整合文本、图像、结构等多种模态信息，为社交网络、推荐系统等应用提供了强大的建模能力。然而，现实中的图数据往往分散在不同机构（如医院、银行）中，出于隐私和合规限制无法直接共享，且各参与方拥有的模态常常不完整——有的节点只有文本，有的只有图像。这种“数据孤岛”与“模态缺失”并存的问题，对联邦学习框架下的鲁棒性提出了严峻挑战。
现有方法存在明显短板：集中式MGL方法虽能处理缺失模态，但无法适应联邦场景中知识共享与泛化的需求；而联邦MGL方法虽已成熟，却主要针对非图数据，难以直接迁移到图结构上。一个直观的解决方案是采用“客户端补全+服务端聚合”的两阶段流水线：客户端先利用本地补全模型恢复缺失模态，服务端再聚合各客户端的生成器与骨干网络参数。但这一思路面临两大核心难题：
- 拓扑隔离下的局部补全：客户端仅能基于本地子图进行模态生成，缺乏全局语义信息，导致补全质量低下。
- 可靠性失衡的全局聚合：不同客户端拥有的模态种类和补全可靠性差异巨大，若平等对待所有更新，会引入大量噪声。
针对上述问题，来自北京理工大学等机构的研究者提出了 FedMPO 框架。该框架包含三项关键技术：
- 拓扑感知的跨模态生成：利用图结构上下文（如邻居节点的多模态特征）来恢复缺失信息，使补全过程感知全局拓扑关系。
- 缺失感知的专家路由：在本地引入轻量级路由机制，自动过滤掉补全过程中产生的不可靠信号，保留高置信度的特征。
- 可靠性感知的聚合：在服务端根据各客户端生成器的恢复质量动态降低不可靠更新的权重，避免低质量更新污染全局模型。
实验在 6个数据集、3类任务（节点分类、链接预测等）上展开。结果显示，FedMPO 在 高缺失率（缺失模态比例高）和 非独立同分布（各客户端数据分布差异大）的场景下，性能相比基线方法分别提升 4.10% 和 5.65%，且对缺失模态的鲁棒性显著优于现有方法。
这一工作为联邦图学习在多模态场景下的实际落地提供了新思路。未来，随着边缘设备算力的提升与隐私法规的趋严，类似 FedMPO 这种兼顾隐私、异构性与鲁棒性的方法，将有望在医疗影像分析、跨域推荐和智慧城市等真实场景中发挥关键作用。