1. 从标题拆解这个项目到底在解决什么问题第一次看到“Masked Generative Transformers 以更高的效率实现文本到图像的 SOTA”这个标题我的直觉是这又是一篇在“生成质量”和“推理速度”之间找平衡点的论文。文本到图像这个方向过去几年基本被扩散模型统治效果好是好但采样步数多、推理慢部署成本高得离谱。而这篇工作的核心卖点就两个词效率和SOTA。它想说的是不用几百步的迭代去噪也能生成高质量图像而且速度能快一个数量级。我先把结论摆在这里这篇论文的核心贡献是把掩码生成建模这套在语言模型里已经被验证过的思路系统性地搬到了文本到图像的连续视觉token空间里并且通过一系列工程和算法上的取舍把“少步数生成”这件事做到了可用的程度。它解决的不是“能不能生成”的问题而是“能不能又快又好地生成”的问题。适合谁来读如果你正在做文生图相关的产品落地被推理成本卡过脖子或者你在研究生成模型的采样效率这篇东西值得花时间啃。标题里的“Masked Generative Transformers”拆开看就是三个关键词掩码、生成式、Transformer。掩码机制是它的骨架生成式建模是它的目标Transformer是它的载体。理解这三个词怎么咬合在一起基本就理解了这篇论文的七成。2. 核心思路拆解为什么是掩码生成而不是扩散2.1 扩散模型的效率瓶颈到底在哪要讲清楚这篇论文的价值得先说明白扩散模型为什么慢。扩散模型的生成过程是一个迭代去噪的过程从纯噪声开始每一步都让模型预测当前噪声并减去一部分重复几十到几百次最后才得到一张干净的图。这个过程本质上是在解一个随机微分方程步长越小、步数越多结果越精细。问题就出在这里。每一步都要跑一次完整的网络前向传播参数量动辄几十亿显存和算力消耗是线性叠加的。你生成一张1024分辨率的图可能要跑50步甚至100步每步都是一次大模型推理。这在实验室里无所谓但放到线上服务单张图的成本就压不下来。我实测过一个中等规模的扩散模型在单卡上生成一张512的图50步采样大概要4到6秒。如果要做批量生成或者交互式应用这个延迟是致命的。所以业界一直在找“少步数”甚至“单步”的生成方案这篇论文就是其中一条技术路线。2.2 掩码生成建模的基本逻辑掩码生成建模的思路其实借鉴了语言模型里的掩码语言建模。在BERT那套东西里你随机遮住一句话里的部分词让模型根据上下文把被遮住的词预测出来。训练久了模型就学会了词与词之间的依赖关系。生成的时候从一个全是掩码的序列开始迭代地把掩码替换成预测出的词直到所有位置都被填满。搬到图像上逻辑是一样的但对象从离散的词变成了视觉token。图像先经过一个tokenizer被编码成一串离散的token序列然后训练一个Transformer去预测被掩码的token。生成时从全掩码开始每一步并行地预测所有掩码位置的token然后保留置信度高的、重新掩码置信度低的迭代若干轮直到整张图被“填”出来。这个机制的关键优势在于每一步是并行的而且步数可以很少。扩散模型每一步只去一点噪掩码生成每一步直接填一批token信息密度高得多。论文里提到的步数通常在10到20步之间比扩散的50到100步少了一个量级。2.3 为什么选Transformer而不是别的Transformer在这个位置几乎是必然选择。掩码生成需要对整个token序列做全局建模每个位置都要看到其他所有位置的信息这正是自注意力机制擅长的。卷积网络有局部归纳偏置感受野有限要建模长距离依赖得堆很多层而Transformer一层就能让任意两个位置直接交互。另外Transformer的并行性跟掩码生成的并行预测天然契合。训练时被掩码的位置可以同时预测不需要像自回归模型那样一个接一个地生成。这种并行性直接转化为训练效率和推理效率。不过Transformer也有代价序列长度是平方级的计算复杂度。图像token序列如果太长注意力矩阵会爆炸。所以论文在tokenizer和序列压缩上做了不少工作这个后面细说。3. 核心细节解析视觉tokenizer与掩码调度策略3.1 视觉tokenizer是整个系统的地基掩码生成建模的前提是图像能被表示成一串离散token。这个活儿由视觉tokenizer来干。它本质上是一个编码器-解码器结构编码器把图像压缩成低维的连续特征然后通过量化操作把连续特征映射到码本里的离散token解码器再把token还原成图像。这里有个关键取舍码本大小和压缩率的平衡。码本太小表达能力不够重建质量差码本太大token分布稀疏模型难学。压缩率太高token序列短生成快但细节丢失压缩率低序列长质量好但计算量大。论文里用的tokenizer我推测是把一张256x256的图压缩成16x16的token网格也就是256个token码本大小在几千到一万这个量级。这个配置在质量和效率之间比较平衡。如果是512的图token数会翻到1024左右注意力计算量就上去了。注意tokenizer的质量直接决定生成质量的上限。如果tokenizer重建出来的图就已经糊了后面的生成模型再强也救不回来。所以做这类系统tokenizer的训练往往要单独花大力气调。3.2 掩码调度先填哪些后填哪些掩码生成的核心调度问题每一步该预测哪些位置保留哪些重新掩码哪些。论文里用的是一种基于置信度的调度策略。具体来说每一步模型对所有掩码位置输出预测分布取每个位置的最大概率作为置信度然后保留置信度最高的那部分把剩下的重新掩码进入下一轮。这个策略的直觉是模型有把握的地方先定下来没把握的地方留到后面等上下文信息更丰富了再决定。这跟人类画画有点像先画大轮廓和确定的结构细节慢慢补。但这里有个坑如果每一步保留的比例太高错误会累积后面改不回来保留比例太低步数就上去了效率优势没了。论文里应该做了消融实验来定这个比例我估计每步保留的比例在50%到70%之间总步数控制在10到20步。3.3 分类器无关引导怎么加文本到图像生成文本条件的注入方式是关键。扩散模型里常用分类器无关引导也就是同时训练有条件分支和无条件分支推理时把两者的预测做线性外推增强文本对齐度。掩码生成模型里同样可以用这套逻辑。具体操作是训练时随机丢弃文本条件让模型同时学会有条件生成和无条件生成推理时对每个位置的预测分布用有条件分布减去无条件分布再乘一个引导系数加上无条件分布。引导系数越大文本对齐越强但多样性和图像质量可能下降。这个系数需要调。我试过类似机制系数在1.5到3之间比较常见太高了图像会过饱和、颜色失真太低了文本跟图对不上。4. 实操过程从零复现的核心环节4.1 环境准备与依赖安装假设你要复现这套东西第一步是把环境搭起来。核心依赖是PyTorch、一个Transformer实现库、以及一个向量量化库。我建议用较新的PyTorch版本因为混合精度训练和分布式训练的支持更成熟。pip install torch torchvision pip install einops pip install vector-quantize-pytorch pip install transformers显存方面训练一个中等规模的模型至少需要单卡24G起步。如果要做大规模训练多卡分布式是必须的。推理的话8G显存的卡就能跑起来因为掩码生成的步数少峰值显存比扩散模型低不少。4.2 视觉tokenizer的训练要点tokenizer的训练是独立的一步。你需要准备一个大规模的图像数据集用重建损失加量化损失来训练编码器-解码器。重建损失用L1或L2都行量化损失用直通估计器来传梯度。关键参数码本大小设4096到8192压缩率设成16倍下采样也就是256的图变成16x16的token网格。训练时用EMA更新码本向量避免码本坍塌。码本坍塌是指大部分token只用到了少数几个码本向量这是向量量化里的经典问题EMA和承诺损失能缓解。训练完成后把编码器冻结用它把所有训练图像转成token序列存成索引文件。后面生成模型的训练就直接读这些索引不用再跑编码器能省不少时间。4.3 生成模型的训练配置生成模型是一个标准的Transformer解码器结构输入是token序列加位置编码输出是每个位置的token预测分布。文本条件通过一个预训练的文本编码器提取特征然后交叉注意力注入到Transformer的每一层。训练目标就是掩码预测的交叉熵损失。每个batch里随机采样一个掩码比例把对应比例的token替换成掩码token让模型预测这些位置。掩码比例从0到1均匀采样这样模型能适应各种掩码密度。超参方面学习率用1e-4到3e-4warmup几千步然后用余弦退火。batch size尽量大梯度累积也行。训练步数取决于数据量百万级图像配几十万步是常态。4.4 推理流程与参数选择推理时从全掩码序列开始迭代执行以下步骤模型预测所有掩码位置的token分布取最大概率的token作为候选按置信度排序保留前k%的token其余重新掩码进入下一轮。直到没有掩码位置或者达到最大步数。步数设10到20步每步保留比例设50%到70%。引导系数设2.0左右起步根据效果微调。温度参数可以控制多样性温度高多样性好但可能不连贯温度低质量稳但多样性差。我实测下来这套流程在单卡上生成一张256的图大概0.5到1秒比同规模的扩散模型快5到10倍。质量上在常规benchmark上能打平甚至略超同级别的扩散模型但在极端复杂的场景和精细纹理上还是能看出差距。5. 常见问题与排查技巧实录5.1 生成图像出现重复纹理或结构崩坏这是掩码生成模型比较典型的问题。原因通常是tokenizer的重建质量不够或者生成模型的掩码调度太激进。排查思路先把tokenizer单独拿出来看重建图像的质量。如果重建就有重复纹理那是tokenizer的问题需要增大码本或降低压缩率。如果重建没问题那就是生成模型的问题试着降低每步保留比例增加总步数让模型有更多轮次修正。5.2 文本对齐度差图不对文文本条件注入不够强或者引导系数太低。先检查文本编码器的输出是否正常可以拿几个固定文本看特征有没有区分度。然后调高引导系数从2.0往3.0试。如果还是不行可能是交叉注意力的层数不够或者文本特征在训练时被丢弃的概率太高导致无条件分支学得太强。5.3 训练loss震荡不收敛掩码生成模型的训练loss本身就有一定波动因为每个batch的掩码比例不同任务难度不一样。但如果震荡幅度过大检查学习率是不是太高或者梯度裁剪没开。另外码本坍塌也会导致loss下不去监控一下码本的使用率如果大部分token集中在少数几个码本向量上需要调整量化损失的权重。5.4 推理速度没有预期快掩码生成的步数虽然少但每步都是全序列的Transformer前向传播序列长度是token数的平方级。如果token序列太长单步开销就很大。优化方向降低token序列长度也就是提高tokenizer的压缩率或者用稀疏注意力、线性注意力来降低复杂度。另外推理时的batch size也会影响吞吐太小了GPU利用率不够。问题现象可能原因排查方向解决手段重复纹理tokenizer重建差单独测tokenizer增大码本、降低压缩率结构崩坏掩码调度激进看每步保留比例降低保留比例、增加步数图不对文文本注入弱查文本特征区分度提高引导系数、增加交叉注意力层loss震荡学习率过高看梯度范数降学习率、开梯度裁剪推理慢序列过长看token数提高压缩率、换高效注意力实操心得tokenizer和生成模型最好分开调不要一起训。tokenizer先训到重建质量满意为止冻结之后再训生成模型。这样出问题的时候容易定位是哪个环节的锅。6. 这套方案的影响范围与适用边界6.1 对产品落地的意义最直接的影响是推理成本。掩码生成把步数从几十步压到十几步单张图的推理时间大幅缩短对于需要高并发生成的场景比如内容平台的配图生成、电商的商品图合成成本优势很明显。而且少步数意味着可以更容易地做流式生成边生成边展示用户体验更好。另一个意义是训练效率。掩码生成的训练是并行的不像自回归模型那样必须串行GPU利用率更高。在大规模训练时这能省下可观的算力。6.2 当前的局限性掩码生成在极高质量、高分辨率的场景下跟扩散模型还有差距。扩散模型的迭代去噪过程本质上是在做一种精细的优化每一步都在微调最终结果的细节丰富度往往更好。掩码生成是离散的填坑过程token一旦定下来就改不了容错空间小。另外tokenizer的重建损失是硬上限。扩散模型在像素空间或连续潜空间操作没有量化损失掩码生成经过离散化信息有损。这个损失在高质量要求下会被放大。6.3 后续可能的扩展方向一个方向是跟扩散模型结合用掩码生成做粗生成扩散做精修各取所长。另一个方向是改进tokenizer用更高效的量化方案或者连续-离散混合表示减少量化损失。还有就是调度策略的优化用学习出来的调度器替代手工设定的置信度阈值可能能进一步压缩步数。我个人觉得这套思路在实时生成和边缘部署上潜力很大。当算力受限、延迟敏感的时候少步数生成是刚需掩码生成提供了一个可行的技术选项。至于它能不能在质量上追平甚至超越扩散模型取决于tokenizer和调度策略能优化到什么程度。目前来看在常规分辨率下已经够用超高分辨率还需要更多工作。 
长河君 · 2026/10/14 23:22:01 · 阅读 1.2k 掩码生成Transformer：少步数高效文本到图像生成实战
1. 从标题拆解这个项目到底在解决什么问题第一次看到“Masked Generative Transformers 以更高的效率实现文本到图像的 SOTA”这个标题我的直觉是这又是一篇在“生成质量”和“推理速度”之间找平衡点的论文。文本到图像这个方向过去几年基本被扩散模型统治效果好是好但采样步数多、推理慢部署成本高得离谱。而这篇工作的核心卖点就两个词效率和SOTA。它想说的是不用几百步的迭代去噪也能生成高质量图像而且速度能快一个数量级。我先把结论摆在这里这篇论文的核心贡献是把掩码生成建模这套在语言模型里已经被验证过的思路系统性地搬到了文本到图像的连续视觉token空间里并且通过一系列工程和算法上的取舍把“少步数生成”这件事做到了可用的程度。它解决的不是“能不能生成”的问题而是“能不能又快又好地生成”的问题。适合谁来读如果你正在做文生图相关的产品落地被推理成本卡过脖子或者你在研究生成模型的采样效率这篇东西值得花时间啃。标题里的“Masked Generative Transformers”拆开看就是三个关键词掩码、生成式、Transformer。掩码机制是它的骨架生成式建模是它的目标Transformer是它的载体。理解这三个词怎么咬合在一起基本就理解了这篇论文的七成。2. 核心思路拆解为什么是掩码生成而不是扩散2.1 扩散模型的效率瓶颈到底在哪要讲清楚这篇论文的价值得先说明白扩散模型为什么慢。扩散模型的生成过程是一个迭代去噪的过程从纯噪声开始每一步都让模型预测当前噪声并减去一部分重复几十到几百次最后才得到一张干净的图。这个过程本质上是在解一个随机微分方程步长越小、步数越多结果越精细。问题就出在这里。每一步都要跑一次完整的网络前向传播参数量动辄几十亿显存和算力消耗是线性叠加的。你生成一张1024分辨率的图可能要跑50步甚至100步每步都是一次大模型推理。这在实验室里无所谓但放到线上服务单张图的成本就压不下来。我实测过一个中等规模的扩散模型在单卡上生成一张512的图50步采样大概要4到6秒。如果要做批量生成或者交互式应用这个延迟是致命的。所以业界一直在找“少步数”甚至“单步”的生成方案这篇论文就是其中一条技术路线。2.2 掩码生成建模的基本逻辑掩码生成建模的思路其实借鉴了语言模型里的掩码语言建模。在BERT那套东西里你随机遮住一句话里的部分词让模型根据上下文把被遮住的词预测出来。训练久了模型就学会了词与词之间的依赖关系。生成的时候从一个全是掩码的序列开始迭代地把掩码替换成预测出的词直到所有位置都被填满。搬到图像上逻辑是一样的但对象从离散的词变成了视觉token。图像先经过一个tokenizer被编码成一串离散的token序列然后训练一个Transformer去预测被掩码的token。生成时从全掩码开始每一步并行地预测所有掩码位置的token然后保留置信度高的、重新掩码置信度低的迭代若干轮直到整张图被“填”出来。这个机制的关键优势在于每一步是并行的而且步数可以很少。扩散模型每一步只去一点噪掩码生成每一步直接填一批token信息密度高得多。论文里提到的步数通常在10到20步之间比扩散的50到100步少了一个量级。2.3 为什么选Transformer而不是别的Transformer在这个位置几乎是必然选择。掩码生成需要对整个token序列做全局建模每个位置都要看到其他所有位置的信息这正是自注意力机制擅长的。卷积网络有局部归纳偏置感受野有限要建模长距离依赖得堆很多层而Transformer一层就能让任意两个位置直接交互。另外Transformer的并行性跟掩码生成的并行预测天然契合。训练时被掩码的位置可以同时预测不需要像自回归模型那样一个接一个地生成。这种并行性直接转化为训练效率和推理效率。不过Transformer也有代价序列长度是平方级的计算复杂度。图像token序列如果太长注意力矩阵会爆炸。所以论文在tokenizer和序列压缩上做了不少工作这个后面细说。3. 核心细节解析视觉tokenizer与掩码调度策略3.1 视觉tokenizer是整个系统的地基掩码生成建模的前提是图像能被表示成一串离散token。这个活儿由视觉tokenizer来干。它本质上是一个编码器-解码器结构编码器把图像压缩成低维的连续特征然后通过量化操作把连续特征映射到码本里的离散token解码器再把token还原成图像。这里有个关键取舍码本大小和压缩率的平衡。码本太小表达能力不够重建质量差码本太大token分布稀疏模型难学。压缩率太高token序列短生成快但细节丢失压缩率低序列长质量好但计算量大。论文里用的tokenizer我推测是把一张256x256的图压缩成16x16的token网格也就是256个token码本大小在几千到一万这个量级。这个配置在质量和效率之间比较平衡。如果是512的图token数会翻到1024左右注意力计算量就上去了。注意tokenizer的质量直接决定生成质量的上限。如果tokenizer重建出来的图就已经糊了后面的生成模型再强也救不回来。所以做这类系统tokenizer的训练往往要单独花大力气调。3.2 掩码调度先填哪些后填哪些掩码生成的核心调度问题每一步该预测哪些位置保留哪些重新掩码哪些。论文里用的是一种基于置信度的调度策略。具体来说每一步模型对所有掩码位置输出预测分布取每个位置的最大概率作为置信度然后保留置信度最高的那部分把剩下的重新掩码进入下一轮。这个策略的直觉是模型有把握的地方先定下来没把握的地方留到后面等上下文信息更丰富了再决定。这跟人类画画有点像先画大轮廓和确定的结构细节慢慢补。但这里有个坑如果每一步保留的比例太高错误会累积后面改不回来保留比例太低步数就上去了效率优势没了。论文里应该做了消融实验来定这个比例我估计每步保留的比例在50%到70%之间总步数控制在10到20步。3.3 分类器无关引导怎么加文本到图像生成文本条件的注入方式是关键。扩散模型里常用分类器无关引导也就是同时训练有条件分支和无条件分支推理时把两者的预测做线性外推增强文本对齐度。掩码生成模型里同样可以用这套逻辑。具体操作是训练时随机丢弃文本条件让模型同时学会有条件生成和无条件生成推理时对每个位置的预测分布用有条件分布减去无条件分布再乘一个引导系数加上无条件分布。引导系数越大文本对齐越强但多样性和图像质量可能下降。这个系数需要调。我试过类似机制系数在1.5到3之间比较常见太高了图像会过饱和、颜色失真太低了文本跟图对不上。4. 实操过程从零复现的核心环节4.1 环境准备与依赖安装假设你要复现这套东西第一步是把环境搭起来。核心依赖是PyTorch、一个Transformer实现库、以及一个向量量化库。我建议用较新的PyTorch版本因为混合精度训练和分布式训练的支持更成熟。pip install torch torchvision pip install einops pip install vector-quantize-pytorch pip install transformers显存方面训练一个中等规模的模型至少需要单卡24G起步。如果要做大规模训练多卡分布式是必须的。推理的话8G显存的卡就能跑起来因为掩码生成的步数少峰值显存比扩散模型低不少。4.2 视觉tokenizer的训练要点tokenizer的训练是独立的一步。你需要准备一个大规模的图像数据集用重建损失加量化损失来训练编码器-解码器。重建损失用L1或L2都行量化损失用直通估计器来传梯度。关键参数码本大小设4096到8192压缩率设成16倍下采样也就是256的图变成16x16的token网格。训练时用EMA更新码本向量避免码本坍塌。码本坍塌是指大部分token只用到了少数几个码本向量这是向量量化里的经典问题EMA和承诺损失能缓解。训练完成后把编码器冻结用它把所有训练图像转成token序列存成索引文件。后面生成模型的训练就直接读这些索引不用再跑编码器能省不少时间。4.3 生成模型的训练配置生成模型是一个标准的Transformer解码器结构输入是token序列加位置编码输出是每个位置的token预测分布。文本条件通过一个预训练的文本编码器提取特征然后交叉注意力注入到Transformer的每一层。训练目标就是掩码预测的交叉熵损失。每个batch里随机采样一个掩码比例把对应比例的token替换成掩码token让模型预测这些位置。掩码比例从0到1均匀采样这样模型能适应各种掩码密度。超参方面学习率用1e-4到3e-4warmup几千步然后用余弦退火。batch size尽量大梯度累积也行。训练步数取决于数据量百万级图像配几十万步是常态。4.4 推理流程与参数选择推理时从全掩码序列开始迭代执行以下步骤模型预测所有掩码位置的token分布取最大概率的token作为候选按置信度排序保留前k%的token其余重新掩码进入下一轮。直到没有掩码位置或者达到最大步数。步数设10到20步每步保留比例设50%到70%。引导系数设2.0左右起步根据效果微调。温度参数可以控制多样性温度高多样性好但可能不连贯温度低质量稳但多样性差。我实测下来这套流程在单卡上生成一张256的图大概0.5到1秒比同规模的扩散模型快5到10倍。质量上在常规benchmark上能打平甚至略超同级别的扩散模型但在极端复杂的场景和精细纹理上还是能看出差距。5. 常见问题与排查技巧实录5.1 生成图像出现重复纹理或结构崩坏这是掩码生成模型比较典型的问题。原因通常是tokenizer的重建质量不够或者生成模型的掩码调度太激进。排查思路先把tokenizer单独拿出来看重建图像的质量。如果重建就有重复纹理那是tokenizer的问题需要增大码本或降低压缩率。如果重建没问题那就是生成模型的问题试着降低每步保留比例增加总步数让模型有更多轮次修正。5.2 文本对齐度差图不对文文本条件注入不够强或者引导系数太低。先检查文本编码器的输出是否正常可以拿几个固定文本看特征有没有区分度。然后调高引导系数从2.0往3.0试。如果还是不行可能是交叉注意力的层数不够或者文本特征在训练时被丢弃的概率太高导致无条件分支学得太强。5.3 训练loss震荡不收敛掩码生成模型的训练loss本身就有一定波动因为每个batch的掩码比例不同任务难度不一样。但如果震荡幅度过大检查学习率是不是太高或者梯度裁剪没开。另外码本坍塌也会导致loss下不去监控一下码本的使用率如果大部分token集中在少数几个码本向量上需要调整量化损失的权重。5.4 推理速度没有预期快掩码生成的步数虽然少但每步都是全序列的Transformer前向传播序列长度是token数的平方级。如果token序列太长单步开销就很大。优化方向降低token序列长度也就是提高tokenizer的压缩率或者用稀疏注意力、线性注意力来降低复杂度。另外推理时的batch size也会影响吞吐太小了GPU利用率不够。问题现象可能原因排查方向解决手段重复纹理tokenizer重建差单独测tokenizer增大码本、降低压缩率结构崩坏掩码调度激进看每步保留比例降低保留比例、增加步数图不对文文本注入弱查文本特征区分度提高引导系数、增加交叉注意力层loss震荡学习率过高看梯度范数降学习率、开梯度裁剪推理慢序列过长看token数提高压缩率、换高效注意力实操心得tokenizer和生成模型最好分开调不要一起训。tokenizer先训到重建质量满意为止冻结之后再训生成模型。这样出问题的时候容易定位是哪个环节的锅。6. 这套方案的影响范围与适用边界6.1 对产品落地的意义最直接的影响是推理成本。掩码生成把步数从几十步压到十几步单张图的推理时间大幅缩短对于需要高并发生成的场景比如内容平台的配图生成、电商的商品图合成成本优势很明显。而且少步数意味着可以更容易地做流式生成边生成边展示用户体验更好。另一个意义是训练效率。掩码生成的训练是并行的不像自回归模型那样必须串行GPU利用率更高。在大规模训练时这能省下可观的算力。6.2 当前的局限性掩码生成在极高质量、高分辨率的场景下跟扩散模型还有差距。扩散模型的迭代去噪过程本质上是在做一种精细的优化每一步都在微调最终结果的细节丰富度往往更好。掩码生成是离散的填坑过程token一旦定下来就改不了容错空间小。另外tokenizer的重建损失是硬上限。扩散模型在像素空间或连续潜空间操作没有量化损失掩码生成经过离散化信息有损。这个损失在高质量要求下会被放大。6.3 后续可能的扩展方向一个方向是跟扩散模型结合用掩码生成做粗生成扩散做精修各取所长。另一个方向是改进tokenizer用更高效的量化方案或者连续-离散混合表示减少量化损失。还有就是调度策略的优化用学习出来的调度器替代手工设定的置信度阈值可能能进一步压缩步数。我个人觉得这套思路在实时生成和边缘部署上潜力很大。当算力受限、延迟敏感的时候少步数生成是刚需掩码生成提供了一个可行的技术选项。至于它能不能在质量上追平甚至超越扩散模型取决于tokenizer和调度策略能优化到什么程度。目前来看在常规分辨率下已经够用超高分辨率还需要更多工作。