新上线今天0 投票
CAT-GS：校准门控与融合手术实现多模态学习的平衡之道
多模态神经网络在端到端训练中常遭遇不稳定的神经动力学问题，表现为三种耦合的失败模式：模态不平衡（某一模态主导梯度优化）、门控不稳定（噪声置信度导致模态选择飘忽）以及融合干扰（模态特定梯度在共享融合层冲突）。这些挑战严重制约了模型在真实场景中的表现。针对此，研究者提出 CAT-GS（Calibrated, Adaptive, Thresholded Gating with Fusion Surgery），一种基于神经动力学的优化控制器，在不改变模型架构、融合模块或任务损失的前提下，于反向传播阶段介入，有效平衡多模态学习过程。相关论文已获《Neurocomputing》期刊有条件接收，并发布在 arXiv 上（编号：2608.24947）。
三大创新机制
CAT-GS 的核心在于三管齐下的策略：
- 校准门控：通过温度缩放和 EMA 平滑，对教师模型导出的可靠性进行校准，并采用边界阈值策略，动态切换三种训练模式——预热丢弃、弱模态优先和弱偏置混合。这避免了门控信号因噪声而剧烈波动，使模态选择更加稳定。
- 梯度预算管理：在激进门控下，通过封顶梯度预算重归一化，稳定梯度幅度，防止某些模态的梯度爆炸或消失。
- 融合手术：在共享融合瓶颈处应用仅限融合层的 PCGrad（投影冲突梯度），减少跨模态的破坏性干扰，让梯度更新方向更加一致。
实验验证
研究团队在多个基准上进行了全面评估，包括音视频多模态任务（CREMA-D、AV-MNIST、VGGSound）、三模态场景（UR-FUNNY）、可控合成数据（CG-MNIST）以及跨领域数据集（AVE、CMU-MOSI）。结果显示，与 OGM-GE、G²D、UMT 等强不平衡感知基线相比，CAT-GS 在多数设置下提升或持平了融合多模态准确率，并且表现出更平滑的门控行为和更少的梯度冲突。
意义与展望
这项工作的价值在于提供了一种即插即用的优化控制器，无需改动现有模型结构，即可缓解多模态训练中的常见顽疾。这对于智能交互、多媒体理解等应用具有重要意义。未来，研究者计划将 CAT-GS 扩展到更多模态组合和更大规模模型，并探索其在自监督学习中的潜力。