Silhouette Loss：用于深度表征的可微分全局结构学习
在监督式深度学习中，学习具有判别性的表征是一个核心目标。虽然交叉熵（CE）仍是分类任务中的主流损失函数，但它并未显式地强制嵌入空间具备理想的几何特性，例如类内紧凑性和类间分离性。现有的度量学习方法，包括监督对比学习（SupCon）和基于代理的方法，通过处理成对或基于代理的关系来应对这一局限，但往往增加了计算成本和复杂度。
传统方法的局限与创新思路
当前深度学习分类任务主要依赖交叉熵损失，它通过最小化预测分布与真实标签分布之间的差异来优化模型。然而，交叉熵只关注样本被正确分类的概率，对表征在嵌入空间中的几何结构缺乏直接约束。这可能导致学到的特征虽然能完成分类，但类内样本分散、类间边界模糊，影响模型的泛化能力和鲁棒性。
为了改善表征质量，研究者提出了**监督对比学习（SupCon）**等方法，通过拉近同类样本、推远异类样本来优化嵌入空间。但这些方法通常基于成对比较，计算复杂度高（O(N²)），且主要关注局部结构，对全局聚类形态的把握有限。
Soft Silhouette Loss：从聚类指标到可微分目标
本文提出的Soft Silhouette Loss灵感来源于聚类分析中的经典指标——轮廓系数。轮廓系数用于评估聚类质量，衡量一个样本与自身簇的紧密度相对于与其他簇的分离度。作者将其重新诠释为一个可微分的损失函数，使其能够融入深度学习训练流程。
与成对目标不同，Soft Silhouette Loss 在批次级别评估每个样本与所有类别的关系，从而提供了一种全局结构的度量。具体而言，它鼓励样本更靠近自己的类别中心，而远离其他类别，同时保持计算轻量。
混合目标：结合局部与全局优化
作者提出了一种混合目标，将 Soft Silhouette Loss 与交叉熵以及监督对比学习相结合。这种设计允许模型联合优化局部成对一致性和全局聚类结构：
- 交叉熵确保分类准确性
- 监督对比学习增强局部样本间的相似性关系
- Soft Silhouette Loss促进整体类别的紧凑与分离
这种组合不仅理论上互补，实践上也实现了性能提升。
实验验证与性能提升
在七个多样化数据集上的广泛实验表明：
- 用 Soft Silhouette Loss 增强交叉熵，其性能 consistently 优于纯交叉熵及其他度量学习基线。
- **混合目标（结合 Soft Silhouette Loss 与监督对比学习）**的表现超过单独使用监督对比学习。
- 组合方法达到了最佳性能，将平均 top-1 准确率从交叉熵的 36.71% 和监督对比学习（SupCon2）的 37.85% 提升至 39.08%，同时计算开销显著降低。
这些结果证实，将经典聚类原则重新解释为可微分目标，能够有效优化表征空间的局部与全局结构。
意义与展望
Soft Silhouette Loss 的提出，为深度学习中的表征学习提供了一条新路径。它表明，借鉴传统机器学习中的聚类思想，可以设计出既高效又有效的损失函数，弥补当前主流方法的不足。未来，这一思路可能扩展到更多聚类指标，或应用于半监督、自监督学习场景，进一步推动表征学习的发展。