扩散语言模型实验分析：八款模型八项基准全面对比
扩散语言模型：新范式下的性能与效率权衡
大型语言模型（LLM）凭借自回归生成机制统治了自然语言处理领域，但一种名为“扩散语言模型”（DLM）的新范式正在挑战这一格局。与逐词预测不同，DLM通过迭代去噪的方式并行生成整个序列，理论上能更灵活地控制生成过程。然而，由于评估协议、数据集、推理预算和超参数的差异，业界一直缺乏对这些模型的系统性横向对比。
近日，一项发表于arXiv的研究（编号2606.19475）填补了这一空白。研究团队对八款最先进的DLM进行了系统性实验分析，覆盖八项基准测试，涵盖推理、编程、翻译、知识问答和结构化问题求解等任务。他们不仅评估了生成质量，还仔细衡量了计算效率，并深入分析了推理阶段的关键因素——包括去噪步数、上下文长度、块大小和并行解掩策略——对性能的影响。
关键发现：推理设计决定成败
研究发现，DLM的行为高度依赖于生成时的设计选择，这导致了性能与计算效率之间截然不同的权衡。例如，增加去噪步数通常能提升生成质量，但会显著增加计算成本；而较大的块大小可能加速生成，却可能牺牲文本的局部连贯性。这些发现意味着，部署DLM时不能简单套用自回归模型的优化经验，而需要针对具体任务进行精细调参。
优势与局限并存
在推理和编程等需要全局结构的任务上，DLM展现了独特的优势——并行去噪使其能更好地捕捉长距离依赖关系。然而，在知识密集型任务（如问答）中，DLM仍落后于同等规模的自回归模型。研究还指出，训练条件一致的对比实验（即控制模型大小和训练数据）对于客观评估DLM的潜力至关重要。
产业启示
对于AI从业者而言，这项研究提供了实用的部署指南。如果应用场景对延迟不敏感且需要高结构化输出（如代码生成、翻译），DLM可能成为自回归模型的有力替代；但对于追求快速响应的对话系统，当前DLM的效率瓶颈仍需突破。随着研究的深入，扩散范式有望在特定领域开辟新的应用空间。
总体而言，DLM并非“万能钥匙”，但通过合理的推理策略设计，它们正在成为语言模型工具箱中不可或缺的一员。