AB
AiBoss站
百科

什么是掩码生成图像Transformer(MaskGIT)?

掩码生成图像Transformer(MaskGIT)是论文《MaskGIT: Masked Generative Image Transformer》提出的一种图像合成范式,用双向Transformer解码器替代逐行扫描的自回归解码:训练时学习预测随机被掩码的token,推理时先一次性生成全部token,再迭代细化。该论文称其在ImageNet上显著优于当时最优的Transformer模型,并把自回归解码加速至多64倍。

掩码生成图像Transformer(Masked Generative Image Transformer,MaskGIT)是一种图像合成范式,其核心是用双向Transformer解码器(bidirectional transformer decoder)生成图像token,而不是按固定顺序逐个输出。它要解决的问题是:此前的生成式Transformer把图像当作一串token,按光栅扫描顺序(raster scan ordering,即逐行)依次解码,该论文认为这种策略既不最优也不高效。

该概念出自2022年2月8日提交到arXiv的论文《MaskGIT: Masked Generative Image Transformer》,作者为Huiwen Chang、Han Zhang、Lu Jiang、Ce Liu、William T. Freeman。以下关于动机、机制与实验结论的表述,均来自该论文自身的说法,不代表整个领域的共识。

为什么重要

论文指出,生成式Transformer在计算机视觉领域用于合成高保真、高分辨率图像时迅速流行起来。但截至该论文写作时,表现最好的生成式Transformer模型仍然把图像朴素地视为一个token序列,并按照光栅扫描顺序逐行、逐个地解码图像。

这种做法的代价体现在两方面。其一是效率:逐token解码意味着生成一张图的推理步数随token数量线性增长,序列越长,耗时越多。其二是建模方式:逐行顺序是一种人为强加的方向性约束,模型在预测某个位置的token时,只能看到它之前已经生成的token,而图像本身的内容相关性并不遵循这种单向顺序。论文明确表示,这一策略既不最优也不高效,这正是MaskGIT试图改变的出发点。

工作机制

MaskGIT的关键在于把「按顺序生成」换成「先并行铺开、再迭代修正」。论文将其描述为使用双向Transformer解码器的新图像合成范式,可分为训练与推理两个阶段。

训练阶段:学习预测随机掩码的token

  • 训练时,模型学习预测被随机掩码(masked)的token。
  • 预测这些被遮挡位置时,模型可以关注所有方向上的token,而不只是位于其前方的token。这正是「双向」的含义,也是它与逐行自回归解码的根本区别。
  • 由于掩码位置是随机的,模型必须学会在任意可见上下文下填补任意缺失片段,而不是只学会「接着上一行往下写」。

推理阶段:并行起步,迭代细化

  • 推理开始时,模型同时生成图像的全部token,而不是从第一个token起逐个输出。
  • 随后,模型以先前的生成结果为条件,对图像进行迭代细化(refine iteratively)。每一轮都在上一轮的基础上改进,逐步收敛到最终图像。
  • 这种「少步数、每步全局」的解码方式,是论文所称解码加速的来源。

论文报告的效果

论文的实验部分给出了两点结论:在ImageNet数据集上,MaskGIT显著优于当时最优的Transformer模型;同时,它把自回归解码加速至多64倍。这些数字是论文在其实验设定下报告的结果,应理解为该论文的结论,而非对任意模型、任意数据集的普遍保证。

典型例子

论文中出现的具体用法与系统包括:

  • ImageNet上的类条件图像合成:论文以ImageNet数据集作为主要实验场景,将MaskGIT与当时最优的Transformer模型进行对比,并报告了显著更优的结果。
  • 解码加速对比:论文以自回归解码为基线,报告了至多64倍的加速,用以说明并行起步加迭代细化的解码路径在效率上的差异。
  • 图像修复(inpainting):论文说明MaskGIT可以较容易地扩展到图像编辑任务,修复是其中一例。由于训练目标本身就是「根据可见token预测被掩码token」,补全缺失区域与它的训练形式天然契合。
  • 图像外推(extrapolation):在已有图像边界之外继续生成内容,同样被论文列为可扩展的编辑任务。
  • 图像操控(image manipulation):论文还将MaskGIT用于对图像内容进行操控的编辑任务。

需要说明的是,上述编辑能力是论文作者的展示,论文摘要层面并未给出这些任务上的具体量化指标。

边界与常见误解

它不是「一次前向就出图」。「同时生成全部token」容易被理解为单步完成,但论文描述的是先并行生成、再迭代细化,细化过程本身包含多轮条件生成。并行起步减少的是顺序依赖,而不是全部计算。

它不等于「不需要tokenizer」。MaskGIT讨论的对象是图像token的生成顺序与解码方式,论文的比较基线也是把图像视为token序列的生成式Transformer。它改变的是token之间的生成依赖结构,而不是「图像要不要先变成token」这一前置环节。

加速倍数有适用条件。「至多64倍」是论文在自回归解码基线与其实验配置下报告的上限值,不应外推为任意硬件、任意分辨率、任意步数下的固定收益。实际收益取决于细化轮数、token数量与实现细节,这些在摘要层面并未展开。

「显著优于」有明确所指。论文的比较对象是ImageNet数据集上当时最优的Transformer模型,属于特定数据集、特定基线下的结论,不能读作「MaskGIT在所有图像生成任务上都优于所有模型」,尤其不能与扩散模型等其他技术路线直接做无条件的优劣判断。

编辑能力是扩展性展示。论文称MaskGIT「可以较容易地扩展」到修复、外推与图像操控,这属于方法适配性的说明;摘要并未给出这些任务上的定量评测,因此不宜把「易扩展」理解为「在这些任务上已达到最优」。

已知代价。迭代细化引入了「轮数」这一需要设定的超参数,生成质量与速度之间存在权衡;同时,随机掩码训练要求模型在任意上下文下工作,训练目标的构造比固定顺序的下一token预测更复杂。这些是该范式在工程上需要面对的问题。

参考资料