新上线今天0 投票
长尾胸部X光分类中,阈值下的亚组漏诊:谁被遗漏了?
在胸部X光(CXR)分类任务中,即使模型在排序指标上表现良好,仍可能将罕见阳性患者置于阈值之下,尤其是在特定亚组中。一篇发表于arXiv的新研究将这一部署前的公平性问题作为审计问题来探讨:当长尾多标签CXR模型从分数转换为决策时,谁被遗漏了?
研究团队在VinDr-CXR和MIMIC-CXR/CXR-LT两个数据集上,使用一种“诊断阶梯”方法,分别考察了类别级长尾损失、亚组感知加权、群体鲁棒性和阈值选择的影响。在VinDr-CXR上,采用组尾加权结合尾感知阈值,将尾部假阴性率(FNR)从0.665降至0.269,性别最差组FNR从0.705降至0.157,年龄最差组FNR从0.822降至0.133,同时宏观平均精度(macro-mAP)从0.611提升至0.635。在MIMIC-CXR/CXR-LT上,相同的分数到阈值比较将尾部FNR从0.866降至0.741,并降低了性别、年龄、种族和保险类型的最差组FNR;然而,残余的漏诊率仍然较高。
通过配对Bootstrap对比验证了VinDr上阈值化FNR的降低效果,而GroupDRO参考运行表明,仅靠聚合群体鲁棒性并不能消除该场景下的罕见亚组漏诊。研究支持一个狭窄的审计主张:CXR中的罕见标签公平性共同取决于发现类别、亚组和操作阈值,而非仅依赖于标签频率或排序指标。
关键发现
- 问题本质:长尾分布下,模型对罕见阳性患者的漏诊存在亚组偏差,传统排序指标无法反映阈值后的公平性问题。
- 解决方案:通过组尾加权和尾感知阈值调整,可显著降低最差亚组的假阴性率,但无法完全消除漏诊。
- 剩余挑战:即使使用GroupDRO等鲁棒性方法,罕见亚组的漏诊仍难以根除,表明阈值选择和亚组特异性处理至关重要。
行业意义
该研究为医疗AI部署前的公平性审计提供了方法论框架,强调了从“分数排序”到“实际决策”的转换过程中,必须考虑亚组差异和阈值效应。对于CXR分类系统,仅追求整体性能提升可能掩盖对特定人群(如老年、女性或少数种族)的诊断不足,需引入细粒度的公平性评估。