什么是离散扩散语言模型（Discrete Diffusion Language Model）？

离散扩散语言模型（Discrete Diffusion Language Model，dLLM）是一类采用多词并行解码（multi-token, parallel decoding）与基于去噪（denoising）的生成策略的语言生成模型，其词元取自离散空间，而非连续向量空间。它要解决的问题是：传统自回归（autoregressive，AR）模型必须按顺序逐词生成，生成速度受序列长度制约，且难以在生成过程中对输出施加细粒度控制；离散扩散路线试图用并行、迭代去噪的方式绕开这一限制。

需要说明的是，本词条的主要依据是 Runpeng Yu、Qi Li、Xinchao Wang 撰写的综述论文《Discrete Diffusion in Large Language and Multimodal Models: A Survey》（arXiv:2506.13759）。文中关于能力、性能与加速倍数的表述，均属于该论文的归纳与主张，不代表已被广泛验证的行业共识。

为什么重要

在离散扩散语言模型出现之前，大规模语言生成的主流范式是自回归建模：模型根据已生成的前缀，逐个预测下一个词元，再把预测结果接回输入，循环往复。这一范式在工程上成熟、可扩展性好，但也带来几个结构性痛点。

• 生成是串行的。输出长度为 N 的序列需要 N 次前向计算，序列越长，延迟越明显，难以充分利用并行硬件。
• 控制粒度粗。由于每个词元一旦生成就被固定为前缀的一部分，后续很难回头修改；对输出施加格式、长度、结构等约束，往往只能在采样策略或后处理层面打补丁。
• 难以动态感知。生成过程基本是单向推进的，模型在解码途中重新审视全局、根据新信息调整已生成内容的空间有限。

该综述指出，正是这些在自回归模型下「此前难以实现」的能力，构成了离散扩散路线被重新关注的理由。论文还提到，已出现一批工业规模的专有 d(M)LLM 与大量开源学术 d(M)LLM，其表现被描述为可与对应的自回归模型相比，并在推理速度上取得最高约 10 倍的加速。这些数字出自该论文的综述性描述，具体口径与测试条件需回到原文核对。

工作机制

按该综述的形式化框架，离散扩散语言模型的核心做法可以拆成以下几个要点。

1. 从「逐词接龙」改为「整体去噪」

自回归模型把序列概率分解为逐项条件概率的乘积，一次只决定一个位置。离散扩散模型则把一条完整序列视为一个整体状态，从一个被「加噪」的版本出发，通过多轮迭代逐步恢复出干净文本。生成过程因此不是单向推进，而是对整条序列反复修正。

2. 离散状态空间上的加噪与去噪

与图像扩散在连续像素值上加高斯噪声不同，语言的基本单位是离散词元，无法直接叠加连续噪声。因此这类模型需要在离散词元空间（或词表上的概率分布）上定义「损坏」与「恢复」的过程：训练时把干净序列按某种规则破坏，让模型学习从被破坏的序列还原原始内容；推理时从完全被破坏或部分被破坏的状态出发，反复调用模型进行去噪。

3. 多词并行解码与全注意力

该综述强调，dLLM 与 dMLLM 采用多词、并行解码范式，并使用全注意力（full attention）。这意味着在一次前向计算中，模型可以同时更新多个位置的预测，而不是只更新最末一个位置。并行度是这类模型在速度上被寄予期望的主要来源。

4. 迭代轮数与解码顺序成为新的设计维度

由于一次可以决定多个位置，模型需要一套策略来决定「这一轮先确定哪些位置、保留哪些位置继续去噪」。这使解码顺序、每轮解锁的词元数量、置信度阈值等成为独立于模型权重的推理期超参数，也构成了细粒度输出控制的技术抓手。

5. 训练、推理与量化的配套技术

该综述除数学框架与建模方法外，还专门分析了训练、推理与量化方面的关键技术，并对代表性模型做了分类。这说明离散扩散语言模型并非单一算法，而是一组围绕「离散状态 + 去噪生成」组织起来的方法集合，不同工作在加噪方式、网络结构、解码调度上存在差异。

典型例子

依据该综述的覆盖范围，可以列出以下几类在论文中被讨论的对象。

• 离散扩散语言模型（dLLM）：面向纯文本生成，是该综述的两大主题之一。
• 离散扩散多模态语言模型（Discrete Diffusion Multimodal Language Model，dMLLM）：把同一范式扩展到多模态输入输出，论文将其与 dLLM 并列讨论，并指出该范式「天然」带来动态感知能力。
• 工业规模的专有模型与开源学术模型：综述提到已存在一批工业规模的专有 d(M)LLM 以及大量开源学术 d(M)LLM，并据此讨论其与自回归对应物的性能比较。论文未在摘要中逐一列出这些模型名称。
• 跨领域应用：论文总结了该范式在语言、视觉-语言以及生物等领域的应用，并单列了可信性（trustworthy）议题。

需要强调，上述例子是对一篇综述所覆盖范围的转述，不构成对任何具体模型能力的独立验证。

边界与常见误解

误解一：离散扩散语言模型是自回归模型的直接替代品。该综述的措辞是「有前景的替代方案（promising alternative）」，而非已被证明的取代关系。论文同时讨论了未来研究方向与部署问题，说明这一路线仍处在发展与评估阶段。

误解二：并行解码必然更快。「最高约 10 倍加速」是论文对现有工作的归纳，通常依赖于具体模型、硬件与批处理条件。并行解码在减少串行步数的同时，往往需要更多轮迭代，实际端到端收益需按场景衡量。

误解三：它等同于图像扩散模型。两者共享「加噪—去噪」的思想骨架，但语言处理的是离散词元，加噪与去噪的定义方式不同，不能把连续扩散的结论直接搬用。

已知代价与开放问题：该综述专门讨论了可信性问题，表明这类模型在可靠性、安全性等方面仍有待厘清；同时，解码调度等新增超参数也提高了推理系统调优的复杂度。此外，本词条所依据的材料为一篇综述论文，其中对性能与加速的判断应视为该论文的观点，读者在引用时宜注明出处。

参考资料

• Discrete Diffusion in Large Language and Multimodal Models: A Survey（arXiv:2506.13759）