多智能体深度强化学习中的图神经网络通信综述
近年来，多智能体强化学习（MARL）与图神经网络（GNN）的结合成为研究热点。一篇来自法国里昂第一大学等机构的综述论文（arXiv:2604.25972）系统梳理了这一领域的最新进展，并提出了一种通用的GNN通信框架，旨在让不同方法的底层设计更加清晰易懂。
为何需要通信？
在MARL场景中，多个智能体需要协同完成任务，例如机器人编队、自动驾驶车队或分布式资源调度。如果每个智能体仅凭局部观测独立决策，往往难以达成全局最优。引入通信机制后，智能体可以交换信息，从而更好地协调行动。但传统通信方式（如广播所有消息）存在带宽浪费和噪声干扰问题。
GNN如何赋能通信？
论文指出，基于交互图（interaction graph）的方法利用GNN学习通信。智能体被视为图中的节点，它们之间的连接关系由任务需求或物理距离决定。GNN通过聚合邻居节点的信息来更新每个节点的表征，使得智能体能够从共享信息中提取关键特征，从而改善内部决策模型。
例如，在协作导航任务中，每个机器人只需与附近的机器人交换位置和速度信息，GNN能自动学习如何加权这些信息，避免全局通信带来的冗余。
现有方法的分类困境
尽管相关研究快速增长，但论文作者注意到，现有工作缺乏统一的结构和分类框架。不同方法在“何时通信”、“与谁通信”、“通信什么”以及“如何融合信息”等维度上差异巨大。例如，有的方法采用注意力机制动态选择通信对象，有的则使用门控机制控制信息流。这导致新手难以快速入门，研究者也难以对比优劣。
为此，该综述提出了一种通用GNN通信过程，将每个智能体的通信循环分解为：消息构建、消息传递、消息聚合和状态更新四个阶段。这一框架能够覆盖大多数现有方法，并为未来设计提供参考。
展望与挑战
论文还讨论了当前的挑战，包括：
- 可扩展性：当智能体数量增加时，通信图可能变得稀疏或稠密，GNN的计算效率需要优化。
- 动态图：在开放环境中，智能体可能随时加入或离开，图结构需要实时调整。
- 异构性：不同智能体可能有不同的传感器或动作空间，统一通信协议难度较大。
该综述为MARL与GNN交叉领域提供了清晰的路线图，对于希望了解这一方向的AI从业者和研究者而言，是一份不可多得的参考资料。