D2PO：用动态偏好优化扩散采样器，让低步数生成也能保留高清细节
扩散模型在图像生成领域已大放异彩，但一个长期存在的痛点始终困扰着研究者与实践者：如何在减少采样步数（low-NFE）的同时，保留高频纹理细节？ 传统的“学生-教师”回归框架试图让低步数学生采样器模仿高步数教师，结果往往是保留了全局结构，却丢失了细腻纹理，生成结果“看起来像，但经不起细看”。
来自韩国首尔大学的研究团队在 ECCV 2026 论文中提出了 D2PO（Dynamic Direct Preference Optimization），将采样器优化问题重新定义为偏好对齐问题，而非简单的模仿学习。核心思路是：与其让学生“复制”教师，不如让学生学会判断“哪种采样结果更好”。
从模仿到偏好：D2PO 的三大创新
能量基模型（EBM）视角：D2PO 将扩散采样策略建模为一种能量基模型，使得偏好比较可以转化为可计算的能量差异。这意味着模型不再需要显式的“正确答案”，而是通过对比不同采样结果的能量高低来学习。
源自预训练分数网络的能量函数：研究团队从预训练扩散模型的分数网络中直接推导出新的能量公式，从而在扰动空间中同时评估结构一致性与细粒度细节。这使得偏好评估更贴近人类感知。
动态偏好机制：这是 D2PO 的精髓所在。传统方法依赖固定的教师模型，而 D2PO 中的“偏好样本”会随着采样策略的改进而动态更新。这种自我改进机制让模型在迭代中不断获得更强的对齐信号，而非被静态教师限制上限。
实验验证：低步数下全面超越
论文在多个数据集和采样器配置下进行了实验，结果显示：
- 在 NFE=4 等极低步数设定下，D2PO 生成的图像在感知质量指标（如 FID、CLIP score）上显著优于传统回归方法。
- 尤其在高频纹理保留方面，D2PO 能够恢复出更锐利的边缘和更自然的细节，而传统方法则容易产生模糊或伪影。
- 动态偏好机制带来的增益是持续的——随着训练进行，偏好样本质量提升，模型性能也同步增长，没有出现饱和或退化。
行业意义：让扩散模型更“实用”
对于 AI 生成内容（AIGC）的落地应用而言，低步数采样意味着更快的推理速度和更低的计算成本。D2PO 提出的偏好对齐思路，打破了“低步数 = 低质量”的固有印象。未来，动态偏好机制或许还能推广到其他生成模型的蒸馏与优化中，成为提升效率与质量平衡的通用范式。
当然，D2PO 目前仍依赖于预训练分数网络，且动态偏好的稳定性需要更多理论分析。但无论如何，这项研究为扩散模型采样器的优化开辟了一条新路：与其模仿，不如学会偏好。