AB
AiBoss
Wiki

什么是视觉自回归建模(Visual Autoregressive Modeling)?——把图像生成改写成由粗到细的下一尺度预测

视觉自回归建模(VAR)是论文《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》提出的一种图像生成范式。它把图像的自回归学习从逐像素、按栅格扫描的「下一词元预测」改写为由粗到细的「下一尺度预测」,使类 GPT 的自回归 Transformer 在图像生成上首次超过扩散 Transformer。

视觉自回归建模(Visual Autoregressive Modeling,VAR)是一种图像生成范式,它把图像上的自回归学习重新定义为由粗到细的「下一尺度预测」(next-scale prediction)或「下一分辨率预测」(next-resolution prediction),而不是标准的按栅格扫描的「下一词元预测」(next-token prediction)。它要解决的问题是:在图像生成中,自回归模型长期沿用语言模型那种逐词元、按固定顺序展开的建模方式,与图像本身的多尺度结构不匹配,导致学习效率与生成质量受限。

为什么重要

在 VAR 出现之前,把自回归(autoregressive,AR)模型用于图像生成的主流做法,是先把图像离散化为词元序列,再像语言模型那样按栅格扫描顺序逐个预测下一个词元。论文将这一路线称为标准的「下一词元预测」。这种做法的痛点在于:图像的二维空间结构与多尺度细节被压平成一维顺序,模型必须按人为规定的扫描顺序重建整幅图,学习视觉分布既慢,泛化也受限。论文给出的对照数据是:在 ImageNet 256x256 基准上,AR 基线的 FID(Frechet inception distance)为 18.65,IS(inception score)为 80.4。

与此同时,扩散模型尤其是扩散 Transformer(Diffusion Transformer,DiT)在图像生成上占据优势,而类 GPT 的自回归路线在生成质量上处于下风。VAR 的意义正在于改变这一格局:论文称,VAR 首次使类 GPT 的自回归模型在图像生成上超过扩散 Transformer。

工作机制

按论文的描述,VAR 的核心做法可以拆成以下几个要点:

  • 把生成顺序改为由粗到细。 模型不再逐词元地按栅格扫描生成,而是按尺度(分辨率)从粗到细依次预测:先生成低分辨率的整体结构,再逐步生成更细的尺度。论文把这一目标称为「下一尺度预测」或「下一分辨率预测」。
  • 保留自回归 Transformer 的基本形态。 论文强调这是一种简单、直观的方法,使自回归 Transformer 能够快速学习视觉分布并具备良好泛化能力,而不需要抛弃类 GPT 的自回归框架。
  • 多尺度上的自回归分解。 由于每个尺度上的预测都以此前已生成的更粗尺度为条件,图像的整体布局先被确定,细节随后逐级补全,这与逐词元扫描的顺序建模形成对照。
  • 可扩展性。 论文报告,扩大 VAR 模型规模时呈现出与大型语言模型(LLM)类似的清晰幂律缩放规律(power-law scaling laws),线性相关系数接近 -0.998。

论文将上述结果概括为 VAR 初步复现了 LLM 的两项重要性质:缩放规律(Scaling Laws)与零样本任务泛化。

典型例子

论文给出的实证结果均来自其自身的实验设置,属于该论文的报告,而非独立的行业结论:

  • ImageNet 256x256 基准。 论文称 VAR 显著改进了 AR 基线:FID 从 18.65 降至 1.73,IS 从 80.4 提升至 350.2,推理速度约快 20 倍。
  • 与扩散 Transformer 的对比。 论文称经实证验证,VAR 在图像质量、推理速度、数据效率和可扩展性等多个维度上优于 DiT。
  • 零样本下游任务。 论文展示 VAR 具备零样本泛化能力,涉及图像修复(in-painting)、图像外扩(out-painting)与图像编辑(editing)等任务。
  • 开放模型与代码。 论文表示已发布全部模型与代码,以推动视觉生成与统一学习方向的 AR/VAR 模型探索。

该工作以《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》为题,作者为 Keyu Tian、Yi Jiang、Zehuan Yuan、Bingyue Peng、Liwei Wang,提交于 2024 年 4 月 3 日,2024 年 6 月 10 日修订为第二版,主题分类为计算机视觉与模式识别(cs.CV)及人工智能(cs.AI)。

边界与常见误解

  • 不是「自回归已被证明全面优于扩散模型」。 「首次使类 GPT 的自回归模型超过扩散 Transformer」以及各项对比结论,都是该论文在其基准与实验条件下的主张;论文摘要中的对比对象是 AR 基线与 DiT,不能外推为对整个扩散模型家族的定论。
  • 不是单纯的「换一种词元顺序」。 VAR 改变的是建模目标本身——从逐词元的下一词元预测,转为跨尺度的下一尺度预测;把它理解成仅调整扫描顺序会丢失其核心。
  • 缩放规律有适用条件。 论文报告的幂律关系来自其对 VAR 模型的放大实验,相关系数接近 -0.998 是这一实验范围内的观测,不构成对任意规模、任意数据集的保证。
  • 零样本能力有任务范围。 论文展示的零样本泛化限于图像修复、外扩与编辑等下游任务,不应理解为通用的任意视觉任务能力。
  • 基准成绩不等于产品表现。 FID、IS 与推理速度数据来自 ImageNet 256x256 这一受控基准,实际部署中的表现还取决于数据、算力与实现细节,论文并未就此作出承诺。

参考资料