正交梯度约束如何影响噪声标签记忆：OrthoGrad 的深入分析

现代神经网络能够拟合被破坏的训练标签，这使得噪声标签学习成为研究记忆驱动过拟合的有用场景。大多数正则化方法修改目标函数、架构或数据分布；而本文研究了一种对优化器更新本身的几何干预。我们评估了 OrthoGrad，该方法移除每个权重梯度中平行于当前权重向量的分量，并在噪声标签图像分类中进行测试。在 MNIST 小数据场景下，OrthoGrad 对 CNN 的测试准确率提升最为明显，同时减少了对损坏标签的拟合。基于权重范数和梯度-权重余弦相似度的机制诊断表明，当原始梯度包含显著的径向分量时，该投影效果最强；而在大数据场景下，梯度已经几乎与权重正交，效果减弱。额外的 CIFAR-10 ResNet-18 实验显示，该方法可以改变记忆轨迹，但无法完全阻止最终的噪声标签记忆。这些结果支持正交更新约束作为研究学习动态的有用诊断工具，同时表明 OrthoGrad 的效果具有场景依赖性，而非普遍正则化。

本文已被 ICML HiLD 2026 研讨会（首尔）接收。

延伸阅读

1. America needs to stop getting shocked by Chinese AI
2. ‘It’s a Modern-Day Draft’: Why Stanford Students Walked Out on Sundar Pichai’s Commencement Speech
3. Best tablets for note-taking 2026: Expert tested and reviewed