合成图像生成后筛选新范式：同质-异质分裂法无需重训即可提升数据效用
摘要
近期，生成式模型在合成高质量图像方面取得了显著进展，为数据饥渴型模型提供了可扩展的训练数据。然而，现有方法往往需要训练或微调生成器，或依赖提示工程等后处理技巧，这不仅要求专业知识，还限制了通用性。针对这一问题，一篇发表于 arXiv 的新研究提出了一种生成器无关的后生成筛选方法：通过将真实类别划分为同质（Homogeneous, HO） 和异质（Heterogeneous, HE） 子集，并基于保真度-多样性准则对合成图像评分，从而在不重新训练的前提下有效提升下游任务性能。
核心思路：对抗生成器的结构偏差
研究团队观察到，现代生成器存在一种结构性偏差：它们倾向于过度生成每个类别的典型模式（即同质样本），而低估类内变异（即异质样本）。这种偏差导致合成数据集在分布上过于集中，缺乏多样性，进而影响下游模型的泛化能力。
为了解决这一问题，作者提出将每个真实类别拆分为两个子集：
- 同质子集：包含该类别的典型、重复度高的样本；
- 异质子集：包含非冗余、能体现类内差异的样本。
随后，对合成图像采用保真度-多样性准则进行评分：奖励与真实类别语义对齐的样本，同时惩罚与同质子集过于相似的冗余样本。这样，筛选出的子集既能保持语义真实性，又能最大化类内多样性。
方法优势：生成器无关且无需重训
该方法的突出优势在于生成器无关性：它无需访问生成器的内部参数，也无需针对特定生成器进行微调或提示工程。只需给定一个固定的合成图像池，即可通过纯后处理方式筛选出信息量最大的子集。这意味着该方法可以无缝应用于任何现有生成模型生成的图像集合，大大降低了应用门槛。
此外，该方法不需要重新训练任何模型，计算成本极低，适合大规模部署。
实验结果：性能提升显著，数据效率更高
在多个基准测试上，该方法一致优于现有的最先进数据筛选方法。更令人印象深刻的是，它仅使用比真实数据少 40% 的合成样本，即可达到与真实数据训练相当的性能。
进一步实验表明，即使将该方法应用于更强的任务微调生成器（即专门为特定任务优化的生成器），它依然能在分类和分割任务上带来性能提升。这表明后生成筛选并非替代更优生成器的方案，而是一种互补机制——无论生成器多强，合理的筛选都能进一步释放合成数据的潜力。
总结与展望
这项研究为合成数据的利用提供了新视角：与其投入资源改进生成器或设计复杂的后处理策略，不如直接在生成的图像池中进行智能筛选。通过简单的同质-异质分裂和保真度-多样性评分，即可显著提升下游任务性能，且不依赖特定生成器。这为数据匮乏场景（如医疗影像、自动驾驶）提供了一种低成本、高效率的解决方案。未来，该方法有望扩展到视频、3D 数据等其他模态。