什么是自回归图像生成（Autoregressive Image Generation）？
自回归图像生成（Autoregressive Image Generation）是把图像表示成一段有序的离散或连续单元序列，再用自回归模型逐个预测下一个单元、从而合成整幅图像的生成方法。它把图像生成问题转化为序列建模问题，借用语言模型式的「预测下一个」范式来生成视觉内容。
自回归图像生成（Autoregressive Image Generation）是一类把图像编码成有序的单元序列、再用自回归模型逐个预测下一个单元、最终还原出整幅图像的生成方法。它要解决的问题是：如何让图像生成复用序列建模（尤其是语言模型式的「预测下一个」范式）的成熟工具，同时在高分辨率下控制计算开销与保真度之间的平衡。
为什么重要
在自回归图像生成成为一条独立技术路线之前，图像生成的主流做法之一是先把图像压缩成离散编码，再在离散编码序列上做自回归建模。按照 arXiv:2203.01941 这篇论文的表述，对高分辨率图像做自回归（autoregressive，AR）建模时，向量量化（vector quantization，VQ）会把图像表示成一串离散编码；而较短的序列长度对自回归模型很重要，因为模型需要考虑编码之间的长程交互，序列越长计算成本越高。
该论文同时指出，此前的向量量化方法在率失真权衡（rate-distortion trade-off）的意义上，难以同时做到「缩短编码序列」和「生成高保真图像」这两件事。这构成了自回归图像生成路线上的一个核心痛点：序列长度、保真度与计算成本三者互相牵制。
另一条痛点来自「离散」这一前提本身。arXiv:2406.11838 的论文在开头写道，传统看法（conventional wisdom）认为图像生成的自回归模型通常要搭配向量量化后的词元（token）。该论文对此提出观察：离散取值空间有助于表示类别分布，但它并不是自回归建模的必要条件。这一观察把自回归图像生成从「必须离散」的约束中解放出来，使连续取值空间上的自回归建模成为可能。
工作机制
综合两篇论文的描述，自回归图像生成的基本做法可以拆成以下几个环节。
- 把图像变成序列。 图像本身是二维甚至三维的张量，自回归模型需要一维有序序列。常见做法是借助编码器把图像压缩成特征图，再把特征图按固定顺序展开成单元序列。arXiv:2203.01941 提出的两阶段框架中，残差量化变分自编码器（Residual-Quantized VAE，RQ-VAE）在给定码本大小的条件下精确近似图像的特征图，并把图像表示成离散编码的堆叠图（stacked map of discrete codes）。
- 逐位置预测下一个单元。 序列确定之后，模型按位置依次预测。arXiv:2203.01941 中的 RQ-Transformer 通过学习预测下一个位置的量化特征向量，也就是预测下一组堆叠编码，来完成生成。由于 RQ-VAE 的近似足够精确，该论文可以把 256×256 的图像表示为 8×8 分辨率的特征图，从而降低自回归模型的计算成本。
- 定义每个词元的概率分布。 自回归建模的核心是建模「在给定前文时，下一个词元取什么值」的概率分布。传统做法是在离散词元上用类别交叉熵（categorical cross-entropy）损失。arXiv:2406.11838 提出改用扩散过程来建模每个词元的概率分布，并定义了 Diffusion Loss 函数来替代类别交叉熵，从而不再需要离散取值的分词器（tokenizer）。
- 采样与还原。 训练完成后，模型从起始条件出发逐个采样词元，得到完整序列，再经解码器还原为图像。arXiv:2203.01941 称其方法在采样速度上显著快于此前的自回归模型。
需要说明的是，上述「序列化—逐词元预测—解码还原」是这类方法的通用骨架；具体到某一篇论文，其贡献点各不相同：arXiv:2203.01941 的贡献在于用残差量化缩短编码序列并保持保真度，arXiv:2406.11838 的贡献在于用扩散过程替代离散词元上的类别分布建模。
典型例子
arXiv:2203.01941（题为 Autoregressive Image Generation using Residual Quantization，作者为 Doyup Lee、Chiheon Kim、Saehoon Kim、Minsu Cho、Wook-Shin Han，被 CVPR 2022 接收）给出了一个两阶段系统：第一阶段是 RQ-VAE，负责把图像编码为离散编码的堆叠图；第二阶段是 RQ-Transformer，负责自回归地预测下一组堆叠编码。该论文称，在固定的码本大小下，RQ-VAE 能精确近似图像特征图，使 256×256 的图像可以用 8×8 分辨率的特征图表示；该框架在无条件与条件图像生成的多个基准上优于已有的自回归模型，并且采样速度明显更快。
arXiv:2406.11838（题为 Autoregressive Image Generation without Vector Quantization，作者为 Tianhong Li、Yonglong Tian、He Li、Mingyang Deng、Kaiming He，被 NeurIPS 2024 接收为 Spotlight）给出了另一类例子：它把每个词元的概率分布交给扩散过程建模，用 Diffusion Loss 取代类别交叉熵，从而去掉离散分词器。该论文称，这一做法在包括标准自回归模型和广义掩码自回归（generalized masked autoregressive，MAR）变体在内的多种情形下都做了评估；在移除向量量化之后，其图像生成器取得了较强的结果，同时保留了序列建模的速度优势。论文还表示，希望这项工作能推动自回归生成在其它连续取值领域与应用中的使用。
边界与常见误解
第一，容易把「自回归图像生成」等同于「必须使用向量量化」。arXiv:2406.11838 明确把「自回归图像模型通常伴随向量量化词元」称为传统看法，并论证离散取值空间并非自回归建模的必要条件。因此，向量量化是常见配置，而不是定义性前提。
第二，容易把「序列更长」当成「效果更好」。arXiv:2203.01941 的出发点恰恰相反：序列越长，自回归模型要考虑的长程交互越多，计算成本越高；而此前的向量量化方法在率失真权衡下难以同时缩短序列与保持高保真。序列长度是一个需要与保真度一起权衡的设计变量。
第三，容易把单篇论文的结论当成领域共识。上述两篇论文分别提出了残差量化路线与去向量量化的扩散损失路线，它们报告的优势（例如更快的采样速度、较强的生成结果）都是各自论文在其评估设置下给出的主张，并不自动适用于其它实现、数据规模或分辨率。
第四，需要区分「自回归」与「扩散」两种建模范式。在 arXiv:2406.11838 的做法中，扩散过程被用作建模每个词元概率分布的手段，整体生成仍然是逐词元的自回归过程；这与把扩散模型直接作为整图生成器的做法不是同一件事。
第五，已知代价方面，自回归生成需要逐词元串行采样，序列长度直接决定采样步数与计算量；同时，编码器的近似精度会限制最终图像保真度，这一点在 arXiv:2203.01941 对 RQ-VAE 精确近似的强调中体现得较为直接。