第一次跑通生成模型的那个晚上我盯着屏幕上不断刷新的样本图有一种说不出的奇妙感。我给它喂了几万张图片它没有标签没有任何“正确答案”却硬是从这些像素里学会了说“我大概长这样”然后一笔一笔画出新图。这不是魔术而是深度生成模型的基本工作方式从数据里学分布再从分布中采样。如果你正在系统学习深度学习恰好翻到“深度生成模型”这一章或者手头有个任务需要“凭空生成新数据”这篇文章应该能帮你把脑子里那团“好像懂了但又不完全懂”的感觉理顺。这里不打算搞成教材式复述我会从问题本质说起把几条主流技术路线的原理、选型思路、实战步骤和踩坑经验一次性讲清楚尽量少说空话多给可以上手用的东西。读到后面你会发现生成模型的世界没有“银弹”每种模型都是一套取舍哲学选对方向比硬调参数重要得多。1. 深度生成模型到底在解决什么问题1.1 判别与生成两条完全不同的路在深度学习里很多时候我们做的是判别任务——给一张图判断它是不是猫给一段评论判断情感是正向还是负向。这类模型的本质是学习条件分布 P(y|x)把输入映射到标签。而生成模型学的是 P(x)也就是数据本身的分布。这个区别怎么理解我常用一个生活化的类比判别模型就像一个看过大量名画的鉴定师你给他一张画他能告诉你真迹还是赝品、大概什么年代、属于哪个流派但如果你让他凭空画一张印象派风格的新作他做不到。生成模型恰好相反它更像那个学画的人反复临摹大量作品之后能自己提笔创作出“虽然没有对应原作、但风格协调”的新画。这个差异决定了完全不同的学习策略。判别模型可以只关注决策边界附近的信息那些远离边界的样本对它来说无所谓生成模型则必须把整个分布的每一个角落都摸清楚连那些“不太可能出现的样本”也要给出合理的概率估计。这也是为什么生成任务普遍比判别任务难——这是问题的天然属性不是模型不够努力。如果你之前一直做分类、检测这类任务刚开始转生成模型时最需要调整的就是这种心态你再也不能只盯着准确率打转而是要问自己“我有没有真正理解数据长什么样”。1.2 高维空间的诅咒为什么“学分布”这么难很多人初学时会冒出一个疑问既然生成模型就是学 P(x)那我统计一下像素值出现的频率不就行了吗问题在于数据所在的空间维度极其高。以一张 256×256 的彩色图为例它就是 19 万多个维度理论上可能的像素组合数量是天文数字哪怕把全世界所有的图片都拿来也只是覆盖了这片空间中一个几乎可以忽略不计的小角落。你根本不可能用“查字典”的方式来学分布。所以生成模型必须做一件事假设数据存在某种低维结构或规律。也就是说虽然图片看上去千变万化但它们实际上被“压缩”在了一个远比像素空间低得多的流形上。模型要做的就是从这条流形出发用一个我们能够计算的数学分布去逼近真实分布。无论是 GAN、VAE、扩散模型还是自回归模型本质上都在用不同的方式回答同一个问题怎么用一个可控的数学对象去逼近那个谁也没见过真面目的真实分布。我经常把这件事比作“通过影子猜形状”。你手里只有一个物体在地上投下的影子你必须通过大量不同角度的影子反推出物体本身的立体结构。生成模型就是在干类似的事——从有限、高维、冗余的观测样本中反推出数据背后那个简洁的生成规律。1.3 生成模型不只是“画图”它的用处比你想象得广聊到生成模型很多人第一反应是“生成图片”。但它的价值远不止画图。我举几个实际项目里会遇到的应用场景数据增强某些业务场景的数据极其稀缺用生成模型补充少量高质量样本能明显帮助后续的判别模型提升泛化能力。缺失数据补全比如工业质检中某张图的局部区域被遮挡或损坏生成模型可以基于周围完好信息补出合理的内容。异常检测先学正常样本的分布凡是不符合这个分布的样本都被判定为异常。这个思路在工业质检、金融风控里都很常见。可控创作与编辑在隐空间里做向量运算实现风格迁移、属性编辑、表情控制甚至跨模态生成。所以学这一章的时候别只盯着“能不能生成一张惊艳的图”更重要的是理解它提供了一整套通用的分布建模工具。你掌握了这个工具就能在无数意想不到的场景里用上它。这也是我在这篇文章开头强调“先理解问题本质”的原因——所有的模型选择最终都要回到“你手里有什么数据、你想生成什么、约束条件是什么”这三个基本问题上。2. 主流生成模型家族原理、优势与选型2.1 GAN让生成器和判别器互相成就GAN 的核心想法直白得惊人两个网络互相博弈。生成器的任务是拿随机噪声造出“以假乱真”的样本判别器的任务是分辨输入到底是真样本还是模型假造出来的。训练结束后判别器越来越难分辨真假生成器造出的样本也就越来越逼真。整个对抗过程可以写成一个极小极大目标函数生成器想最小化它判别器想最大化它两边拉锯最后收敛到一个动态平衡点。实际训练中这两个玩家是交替更新的。通常会让判别器对真样本输出接近 1对假样本输出接近 0生成器则努力让自己产出的样本在判别器眼里接近 1。用过的朋友都知道这个想法简洁漂亮但实践起来极其考验调参功力。最常见的问题是模式坍塌——生成器找到一条“捷径”只生成少数几种能骗过判别器的样本多样性断崖式下跌。另外两个网络一旦失去平衡训练就会剧烈震荡甚至发散。后来研究者想了很多办法比如加梯度惩罚、改进损失函数、用谱归一化约束判别器的 Lipschitz 条件都是为了让这场博弈更平稳。不过必须承认GAN 家族在某些图像任务上的表现至今依然很能打。特别是图像翻译、超分辨率、风格迁移这类任务GAN 系模型的输出往往给人“够清晰、够锐利”的直观感受。如果你恰好要做的任务就是这类“输入图→输出图”的映射GAN 的收益成本比还是相当高的。2.2 VAE把不确定性装进隐变量VAE 走的路和 GAN 截然不同。它不搞对抗而是假设每个观测样本 x 背后存在一个低维的隐变量 z先从 z 生成 x再用编码器推断 z 的后验分布。训练目标是最小化负的 ELBO也就是最大化证据下界。这个目标直观上可以拆成两项第一项是重建损失让解码器能把 z 还原成和原图足够接近的 x第二项是 KL 散度让隐变量的分布尽量贴近标准正态分布。这两项互相拉扯重建太狠会导致隐变量退化成确定性编码失去随机性KL 太强又会让隐变量丢失太多信息生成结果变得空洞模糊。VAE 里有一个几乎必考的细节重参数化技巧。因为“从后验分布中采样 z”这个操作本身不可导梯度没法反向传播所以标准做法是把采样过程写成“均值 标准差 × 噪声”让随机性转移到采样出来的噪声上这样梯度就能顺利绕过采样节点传回编码器。每次讲到这里我都感叹这是深度学习里“用一点数学变换换一个可导系统”的典型范例。VAE 的优点相当诱人训练稳定不像 GAN 那样动辄失控隐空间有良好的连续性和结构性可以直接用向量运算做插值和属性编辑。但它的生成质量尤其是图像的高频细节历史上长期被 GAN 压一头。直到后来有了更强表达力的解码器、更精细的损失设计VAE 系模型的生成质量才明显提升。如果你要做的任务需要稳定的训练流程或者你格外看重隐空间的可解释性VAE 是非常值得托付的底子。2.3 扩散模型从噪声里一步一步原路返回扩散模型这几年火到什么程度相信不用我多说了。它的思路非常反直觉先定义一个前向过程给干净样本逐步加噪声直到它变成一片纯高斯噪声然后训练一个反向过程从纯噪声出发一步步去噪最终还原出干净样本。你可以把它想象成把一滴墨水滴进清水慢慢看着它均匀散开然后训练一个“倒放”模型能从均匀混合的状态一步步把墨水分子的运动轨迹找回来重新聚回那滴墨水的形状。只要每一步去噪都学得足够好整个反向过程就能生成全新的、符合数据分布特征的样本。扩散模型在图像质量上的表现极其优秀而且生成结果的分布覆盖比较全面很少像 GAN 那样为了质量牺牲多样性。它的痛点也很明显推理成本高。去噪通常要迭代几十甚至上千步每一步都要完整跑一遍网络所以实时性要求高的场景会非常吃力。现在大量研究工作都在做加速采样、减少步数就是为了把这份“高质量”的价格打下来。选型上如果你有足够的显存和时间预算对生成质量有较高追求扩散模型往往是首选。但如果你的场景对实时性敏感比如要在线上实时生成内容那就得认真考虑采样步数优化或者混合使用其他路线来降低计算压力。2.4 自回归模型一个字一个字地往外蹦自回归模型走的是另一条非常朴素的路线把联合概率用链式法则拆成一系列条件概率的乘积。生成一句话就逐字逐字地预测下一个字生成一幅图就逐像素或逐块地预测下一个区域。每一步都只做一件事——基于已经生成的内容预测下一个单元。这个思路的好处是数学上非常干净每一步的条件概率都能用极大似然直接训练得到的似然值准确可靠还天然支持可控生成和条件生成。现在大语言模型那一整个山头本质上就是自回归路线的极致延伸图像生成领域里早期的 PixelCNN 等模型也属于这个家族。它的最大瓶颈是采样速度必须一个元素一个元素地跑序列一长耗时线性上升还很难并行化。我曾经拿一个图像自回归模型跑推理生成一张 128×128 的图等得我怀疑人生。现在很多系统会采用“粗粒度自回归 细粒度并行修正”的混合策略就是为了在质量和速度之间找个平衡点。2.5 流模型可逆变换下的精确似然流模型的思路比较特别构造一系列可逆的变换把简单的先验分布比如高斯分布一步一步映射成复杂的数据分布。因为每一步都可逆概率密度可以通过变量替换公式精确算出所以训练时可以直接做极大似然。相比 GAN 的对抗训练和 VAE 的变分推断流模型给出的似然精确度是最高的。它的优点是精确似然、生成和推理都只需要一次前向采样速度比扩散模型快得多缺点是可逆结构对网络每一层都提出了很强的约束导致模型设计不够自由而且为了维持可逆性往往需要堆大量参数灵活性和参数量之间经常得做艰难取舍。我清晰记得自己推导流模型变量替换公式时被雅可比行列式折腾的场景理解了它之后你对“分布如何被变换”这件事的理解会上一个台阶。2.6 选择困难症直接看这张对比表模型家族核心思想生成方式优点主要痛点典型场景GAN生成器与判别器对抗随机噪声一次映射样本锐利、细节强训练不稳定、易模式坍缩图像翻译、超分、风格化VAE编码器压到隐变量解码器重建隐变量采样后解码训练稳定、隐空间连续生成样本偏模糊表示学习、插值、异常检测扩散模型逐步加噪再逐步去噪从噪声迭代去噪质量高、覆盖全采样慢、推理贵高质量图像/视频生成自回归链式法则顺序预测逐个生成 token/像素似然精确、可控性强生成慢、难并行文本、音频、图像逐块生成流模型可逆变换链一次前向采样似然精确、推理快结构约束强、参数多密度估计、快速采样选型没有绝对标准关键看你的场景。大致可以这样判断想要快速出结果、人力成本有限的VAE 是最稳妥的起始点追求图像质感、且能接受较慢推理的扩散模型是目前的主流做序列类数据的自回归几乎绕不开GAN 在特定图像任务上依然高效流模型则适合对似然精度和推理速度都有要求的场景。没人能替你回答“哪个最好”只有“哪个更适合你手里的活”。3. 实操要点从零训练一个可用的生成模型3.1 动手之前先花半小时想清楚四件事很多新手容易犯的错就是太早进入“调库”和“跑模型”阶段一上来就找最大的公开模型、最火的架构直接开跑。我建议你先冷静下来回答四个问题数据是什么样的有多少量有没有标签尺寸和取值范围正不正常最终要生成什么多样性优先、清晰度优先还是需要可控条件硬件资源是什么水平显存多大能接受多长的训练时间模型产出的东西后续怎么用是一次性离线生成还是要支持实时交互这四个问题基本锁定了模型选型和训练策略的基调。数据量只有几千张强行上大扩散模型大概率过拟合显存不够就别硬追求超大架构如果业务要求实时出图扩散模型的采样加速方案就得提前纳入考量。我举一个实际经历某个图像生成需求一开始团队直接冲大扩散模型结果单卡塞不下跑了一整晚损失根本没怎么动。后来我改换成小规模的 VAE 做基线先把数据和工程流程跑通确认每一步都没问题再逐步升级架构和采样策略整体效率反而提升了一大截。先小后大、先基准后优化这个习惯在生成模型项目里尤其好用。3.2 数据准备这件事比选模型更值得花时间数据是所有生成模型的地基。地基不稳上面盖多大房子都没有意义。第一步是清理。生成模型最怕脏数据尤其是那种“有大量损坏文件、重复样本、尺寸混乱”的数据集。我习惯在训练前写一个数据体检脚本逐个样本检查能否正常解码、尺寸是否统一、像素值域是否符合预期把异常样本单独挑出来人工查看一遍。第二步是预处理。图像生成通常要把像素归一化到特定范围比如扩散模型一般归一到 [-1, 1]GAN 和 VAE 则根据具体损失设计而定文本类数据要做分词表格类数据要处理缺失值和异常值。预处理方式会直接影响训练稳定性建议每一项都确认到位不要想当然。第三步是划分。生成模型虽然本质上是无监督学习但强烈建议仍然留出一部分数据做验证集。一是用来监控模型有没有过拟合二是用来判断训练是否进入良性阶段。你总不想到最后才发现模型只是把训练集“背”下来了。3.3 训练中的关键配置学习率、批大小与损失设计不同模型家族在训练上有差异但有些通用技巧可以先说。学习率是生成模型训练里最容易出问题的参数。我一般建议从 3e-4 到 1e-3 这个范围开始搜索然后根据 loss 曲线的形态做对数网格搜索。很多模型还会配一个 warmup 策略前几千步先用小学习率稳稳起步再逐渐上升到目标值这对训练初期防止震荡很有效。一个稳定的开局往往决定整个训练过程的心理承受能力。批大小同样关键。在显存允许的前提下尽量用大一点的 batch因为生成模型的梯度估计在样本量越大的时候越稳定。显存不够时优先减 batch size再配合梯度累积在效果上模拟大 batch。我后来跑各种生成实验都保持这个习惯先确定一个能稳定出效果的 batch再做其他花活。损失函数方面VAE 要平衡重建项和 KL 项可以尝试在训练过程中让 KL 权重从一个较小的值逐步上升到目标值也就是所谓的 KL 退火GAN 要注意生成器和判别器的更新节奏不能让任何一方长期碾压另一方扩散模型要精心设计噪声调度和时间步采样策略训练时随机采样时间步让模型在每种噪声水平下都具备去噪能力。这些细节每一项都值得单独调整一版我当年为了找到一个既能让重建清晰、又不牺牲隐空间连续性的 KL 权重反复改了十几次最后终于找到合适的区间。3.4 评估生成结果千万别只盯着 Loss 曲线生成模型的评估是个老大难问题因为“生成得好不好”本身就带主观性。单纯看训练 loss 下降往往不能代表生成质量变好有时候 loss 降了生成样本反而变模糊了。比较常用的定量指标有三个:Inception ScoreIS衡量生成样本是否清晰、类别是否多样但依赖预训练的分类器指标偏好会被那个分类器带跑。FID把真实样本和生成样本分别嵌入特征空间再计算两个分布之间的距离。FID 越低说明分布越接近实际使用中比 IS 更受欢迎但样本量太小时波动明显。负对数似然NLL对 VAE、自回归模型和流模型可以直接衡量似然但对 GAN 和扩散模型计算复杂且不一定有明确的含义。定性评估同样重要甚至更重要。我习惯在训练过程中每隔固定步数把生成样本保存到目录然后定期和真实样本放在一起做人工对比。有时候定量指标很好看肉眼一看生成结果全是重复残影那指标就得打个问号。所以我个人一直坚持“指标 可视化”双轨并行两者结论一致时才开始放心调参。4. 常见问题与排查技巧实录4.1 模式坍塌生成样本千篇一律模式坍塌是 GAN 训练里最经典的头疼事。表现非常直白生成出来的样本永远那么几种毫无多样性。原因在于生成器找到了一个能让判别器放松警惕的“安全区”于是躲在里面不断产出同类样本不求有功但求无过。排查思路一般按这个顺序走先降低生成器的更新频率别让它冲得太快然后检查是不是判别器太强了如果判别器的 loss 长期压制生成器就要调整两者更新节奏再考虑加梯度惩罚、谱归一化这类稳定训练的技巧。如果你用的是 VAE 或扩散模型模式坍塌相对少见但 VAE 要注意 KL 项过强可能导致隐变量退化生成结果同样会显得单一这就需要把 KL 权重调回来一些。4.2 训练震荡或发散Loss 一会儿天上一会儿地下训练不稳定是生成模型的常态尤其是 GAN。遇到这种情况我的第一反应不是换模型而是查学习率。学习率过高的典型症状就是 loss 曲线剧烈震荡。把学习率降到原来的 1/5 甚至 1/10往往问题就缓解了大半。另一个常见原因是生成器和判别器的更新数不平衡。我在训练日志里会同时记录两个网络的 loss如果一方长期碾压另一方就得及时调节更新频率或损失权重让双方始终处在一个“互相追赶”的节奏里。扩散模型的训练相对稳定但偶发的 NaN 通常有几个原因学习率过大、梯度爆炸或数据预处理出错。遇到 NaN 就从这三处排查基本能解决问题。4.3 显存不足模型装不进去怎么办生成模型通常参数量大、输入分辨率高显存告急是家常便饭。我常用的手段按优先级大致如下减小 batch size。最直接但别减到梯度估计抖动剧烈。开混合精度训练。显存占用能下降不少很多深度学习框架里只需要一行配置。用梯度累积。把多个小 batch 的梯度累加起来再更新效果近似大 batch显存压力却小很多。降低输入分辨率。先在小分辨率上跑通再在目标分辨率上做微调。关键层做梯度检查点。用时间换空间不保存中间激活值反推时重算。我的实际经验是混合精度加持后再调整 batch size 到刚好塞进显存就能化解大部分显存焦虑。不到万不得已不建议上来就削模型的宽度和深度因为生成模型的容量直接影响最终的质量上限。4.4 生成质量差模糊、噪声、细节崩坏如果生成结果看上去一片模糊大概率原因有三个方向模型容量不足、训练不充分、重建损失权重失衡。VAE 的模糊问题尤其容易出在重建项太弱GAN 的细节崩坏则通常是判别器太弱生成器得不到足够的梯度信号扩散模型一般不会模糊但会有噪声残留或细节崩多半和采样步数不足有关。如果生成样本带着明显的训练集痕迹那不是质量好而是过拟合。这时候可以加数据增强、加大正则约束或者适度削减模型容量。还有一个我踩过好几次的坑训练集和验证集划分太随意导致部分训练样本混进了评估集合模型表现好得离谱其实是“背答案”。数据划分这件事再怎么严格都不为过。4.5 一个可复制的排查速查表现象优先检查项常用解决方向模式坍塌判别器与生成器是否失衡加稳定技巧、调节更新频率、改进目标函数训练震荡或不收敛学习率、网络平衡降低学习率、加 warmup、调整损失权重生成样本模糊重建项权重、模型容量加强重建、增大容量、换更强的解码器显存不足batch size、训练精度混合精度、梯度累积、梯度检查点生成样本有重影/噪声采样步数、噪声调度增加采样步数、调整噪声调度、加后处理定量指标好但肉眼差评估方式单一增加可视化对比、多指标综合判断大概是从连续两周调一群 GAN 网络超参的那次经历开始我对深度生成模型的看法从“看热闹”变成了“认真学”。它不像分类或者检测任务那样目标清晰、指标明确而是一个需要反复实验、不断观察生成样本来做判断的方向。但恰恰是这种“反馈不直接、答案不唯一”的特性让我觉得它特别迷人。最后分享一个我坚持了很多个项目的小习惯把训练过程中的生成样本按步数归档到一个文件夹每隔一段训练步数存一批图。这就像给模型写成长日记等训练结束后回去翻这个目录你能非常直观地看到从一团噪声到清晰样本的完整轨迹。这个习惯在排查“模型到底是在真的学习还是在记忆数据”的时候比任何指标都来得可靠后来无论我换哪种生成模型都会保留这套存档。希望这份从原理到实战的梳理能让你在学习这一章的过程中少踩几个坑早日跑出让自己满意的生成结果。 
长河君 · 2026/10/20 14:25:41 · 阅读 1.2k 深度生成模型全解析：GAN、VAE、扩散模型与实战选型指南
第一次跑通生成模型的那个晚上我盯着屏幕上不断刷新的样本图有一种说不出的奇妙感。我给它喂了几万张图片它没有标签没有任何“正确答案”却硬是从这些像素里学会了说“我大概长这样”然后一笔一笔画出新图。这不是魔术而是深度生成模型的基本工作方式从数据里学分布再从分布中采样。如果你正在系统学习深度学习恰好翻到“深度生成模型”这一章或者手头有个任务需要“凭空生成新数据”这篇文章应该能帮你把脑子里那团“好像懂了但又不完全懂”的感觉理顺。这里不打算搞成教材式复述我会从问题本质说起把几条主流技术路线的原理、选型思路、实战步骤和踩坑经验一次性讲清楚尽量少说空话多给可以上手用的东西。读到后面你会发现生成模型的世界没有“银弹”每种模型都是一套取舍哲学选对方向比硬调参数重要得多。1. 深度生成模型到底在解决什么问题1.1 判别与生成两条完全不同的路在深度学习里很多时候我们做的是判别任务——给一张图判断它是不是猫给一段评论判断情感是正向还是负向。这类模型的本质是学习条件分布 P(y|x)把输入映射到标签。而生成模型学的是 P(x)也就是数据本身的分布。这个区别怎么理解我常用一个生活化的类比判别模型就像一个看过大量名画的鉴定师你给他一张画他能告诉你真迹还是赝品、大概什么年代、属于哪个流派但如果你让他凭空画一张印象派风格的新作他做不到。生成模型恰好相反它更像那个学画的人反复临摹大量作品之后能自己提笔创作出“虽然没有对应原作、但风格协调”的新画。这个差异决定了完全不同的学习策略。判别模型可以只关注决策边界附近的信息那些远离边界的样本对它来说无所谓生成模型则必须把整个分布的每一个角落都摸清楚连那些“不太可能出现的样本”也要给出合理的概率估计。这也是为什么生成任务普遍比判别任务难——这是问题的天然属性不是模型不够努力。如果你之前一直做分类、检测这类任务刚开始转生成模型时最需要调整的就是这种心态你再也不能只盯着准确率打转而是要问自己“我有没有真正理解数据长什么样”。1.2 高维空间的诅咒为什么“学分布”这么难很多人初学时会冒出一个疑问既然生成模型就是学 P(x)那我统计一下像素值出现的频率不就行了吗问题在于数据所在的空间维度极其高。以一张 256×256 的彩色图为例它就是 19 万多个维度理论上可能的像素组合数量是天文数字哪怕把全世界所有的图片都拿来也只是覆盖了这片空间中一个几乎可以忽略不计的小角落。你根本不可能用“查字典”的方式来学分布。所以生成模型必须做一件事假设数据存在某种低维结构或规律。也就是说虽然图片看上去千变万化但它们实际上被“压缩”在了一个远比像素空间低得多的流形上。模型要做的就是从这条流形出发用一个我们能够计算的数学分布去逼近真实分布。无论是 GAN、VAE、扩散模型还是自回归模型本质上都在用不同的方式回答同一个问题怎么用一个可控的数学对象去逼近那个谁也没见过真面目的真实分布。我经常把这件事比作“通过影子猜形状”。你手里只有一个物体在地上投下的影子你必须通过大量不同角度的影子反推出物体本身的立体结构。生成模型就是在干类似的事——从有限、高维、冗余的观测样本中反推出数据背后那个简洁的生成规律。1.3 生成模型不只是“画图”它的用处比你想象得广聊到生成模型很多人第一反应是“生成图片”。但它的价值远不止画图。我举几个实际项目里会遇到的应用场景数据增强某些业务场景的数据极其稀缺用生成模型补充少量高质量样本能明显帮助后续的判别模型提升泛化能力。缺失数据补全比如工业质检中某张图的局部区域被遮挡或损坏生成模型可以基于周围完好信息补出合理的内容。异常检测先学正常样本的分布凡是不符合这个分布的样本都被判定为异常。这个思路在工业质检、金融风控里都很常见。可控创作与编辑在隐空间里做向量运算实现风格迁移、属性编辑、表情控制甚至跨模态生成。所以学这一章的时候别只盯着“能不能生成一张惊艳的图”更重要的是理解它提供了一整套通用的分布建模工具。你掌握了这个工具就能在无数意想不到的场景里用上它。这也是我在这篇文章开头强调“先理解问题本质”的原因——所有的模型选择最终都要回到“你手里有什么数据、你想生成什么、约束条件是什么”这三个基本问题上。2. 主流生成模型家族原理、优势与选型2.1 GAN让生成器和判别器互相成就GAN 的核心想法直白得惊人两个网络互相博弈。生成器的任务是拿随机噪声造出“以假乱真”的样本判别器的任务是分辨输入到底是真样本还是模型假造出来的。训练结束后判别器越来越难分辨真假生成器造出的样本也就越来越逼真。整个对抗过程可以写成一个极小极大目标函数生成器想最小化它判别器想最大化它两边拉锯最后收敛到一个动态平衡点。实际训练中这两个玩家是交替更新的。通常会让判别器对真样本输出接近 1对假样本输出接近 0生成器则努力让自己产出的样本在判别器眼里接近 1。用过的朋友都知道这个想法简洁漂亮但实践起来极其考验调参功力。最常见的问题是模式坍塌——生成器找到一条“捷径”只生成少数几种能骗过判别器的样本多样性断崖式下跌。另外两个网络一旦失去平衡训练就会剧烈震荡甚至发散。后来研究者想了很多办法比如加梯度惩罚、改进损失函数、用谱归一化约束判别器的 Lipschitz 条件都是为了让这场博弈更平稳。不过必须承认GAN 家族在某些图像任务上的表现至今依然很能打。特别是图像翻译、超分辨率、风格迁移这类任务GAN 系模型的输出往往给人“够清晰、够锐利”的直观感受。如果你恰好要做的任务就是这类“输入图→输出图”的映射GAN 的收益成本比还是相当高的。2.2 VAE把不确定性装进隐变量VAE 走的路和 GAN 截然不同。它不搞对抗而是假设每个观测样本 x 背后存在一个低维的隐变量 z先从 z 生成 x再用编码器推断 z 的后验分布。训练目标是最小化负的 ELBO也就是最大化证据下界。这个目标直观上可以拆成两项第一项是重建损失让解码器能把 z 还原成和原图足够接近的 x第二项是 KL 散度让隐变量的分布尽量贴近标准正态分布。这两项互相拉扯重建太狠会导致隐变量退化成确定性编码失去随机性KL 太强又会让隐变量丢失太多信息生成结果变得空洞模糊。VAE 里有一个几乎必考的细节重参数化技巧。因为“从后验分布中采样 z”这个操作本身不可导梯度没法反向传播所以标准做法是把采样过程写成“均值 标准差 × 噪声”让随机性转移到采样出来的噪声上这样梯度就能顺利绕过采样节点传回编码器。每次讲到这里我都感叹这是深度学习里“用一点数学变换换一个可导系统”的典型范例。VAE 的优点相当诱人训练稳定不像 GAN 那样动辄失控隐空间有良好的连续性和结构性可以直接用向量运算做插值和属性编辑。但它的生成质量尤其是图像的高频细节历史上长期被 GAN 压一头。直到后来有了更强表达力的解码器、更精细的损失设计VAE 系模型的生成质量才明显提升。如果你要做的任务需要稳定的训练流程或者你格外看重隐空间的可解释性VAE 是非常值得托付的底子。2.3 扩散模型从噪声里一步一步原路返回扩散模型这几年火到什么程度相信不用我多说了。它的思路非常反直觉先定义一个前向过程给干净样本逐步加噪声直到它变成一片纯高斯噪声然后训练一个反向过程从纯噪声出发一步步去噪最终还原出干净样本。你可以把它想象成把一滴墨水滴进清水慢慢看着它均匀散开然后训练一个“倒放”模型能从均匀混合的状态一步步把墨水分子的运动轨迹找回来重新聚回那滴墨水的形状。只要每一步去噪都学得足够好整个反向过程就能生成全新的、符合数据分布特征的样本。扩散模型在图像质量上的表现极其优秀而且生成结果的分布覆盖比较全面很少像 GAN 那样为了质量牺牲多样性。它的痛点也很明显推理成本高。去噪通常要迭代几十甚至上千步每一步都要完整跑一遍网络所以实时性要求高的场景会非常吃力。现在大量研究工作都在做加速采样、减少步数就是为了把这份“高质量”的价格打下来。选型上如果你有足够的显存和时间预算对生成质量有较高追求扩散模型往往是首选。但如果你的场景对实时性敏感比如要在线上实时生成内容那就得认真考虑采样步数优化或者混合使用其他路线来降低计算压力。2.4 自回归模型一个字一个字地往外蹦自回归模型走的是另一条非常朴素的路线把联合概率用链式法则拆成一系列条件概率的乘积。生成一句话就逐字逐字地预测下一个字生成一幅图就逐像素或逐块地预测下一个区域。每一步都只做一件事——基于已经生成的内容预测下一个单元。这个思路的好处是数学上非常干净每一步的条件概率都能用极大似然直接训练得到的似然值准确可靠还天然支持可控生成和条件生成。现在大语言模型那一整个山头本质上就是自回归路线的极致延伸图像生成领域里早期的 PixelCNN 等模型也属于这个家族。它的最大瓶颈是采样速度必须一个元素一个元素地跑序列一长耗时线性上升还很难并行化。我曾经拿一个图像自回归模型跑推理生成一张 128×128 的图等得我怀疑人生。现在很多系统会采用“粗粒度自回归 细粒度并行修正”的混合策略就是为了在质量和速度之间找个平衡点。2.5 流模型可逆变换下的精确似然流模型的思路比较特别构造一系列可逆的变换把简单的先验分布比如高斯分布一步一步映射成复杂的数据分布。因为每一步都可逆概率密度可以通过变量替换公式精确算出所以训练时可以直接做极大似然。相比 GAN 的对抗训练和 VAE 的变分推断流模型给出的似然精确度是最高的。它的优点是精确似然、生成和推理都只需要一次前向采样速度比扩散模型快得多缺点是可逆结构对网络每一层都提出了很强的约束导致模型设计不够自由而且为了维持可逆性往往需要堆大量参数灵活性和参数量之间经常得做艰难取舍。我清晰记得自己推导流模型变量替换公式时被雅可比行列式折腾的场景理解了它之后你对“分布如何被变换”这件事的理解会上一个台阶。2.6 选择困难症直接看这张对比表模型家族核心思想生成方式优点主要痛点典型场景GAN生成器与判别器对抗随机噪声一次映射样本锐利、细节强训练不稳定、易模式坍缩图像翻译、超分、风格化VAE编码器压到隐变量解码器重建隐变量采样后解码训练稳定、隐空间连续生成样本偏模糊表示学习、插值、异常检测扩散模型逐步加噪再逐步去噪从噪声迭代去噪质量高、覆盖全采样慢、推理贵高质量图像/视频生成自回归链式法则顺序预测逐个生成 token/像素似然精确、可控性强生成慢、难并行文本、音频、图像逐块生成流模型可逆变换链一次前向采样似然精确、推理快结构约束强、参数多密度估计、快速采样选型没有绝对标准关键看你的场景。大致可以这样判断想要快速出结果、人力成本有限的VAE 是最稳妥的起始点追求图像质感、且能接受较慢推理的扩散模型是目前的主流做序列类数据的自回归几乎绕不开GAN 在特定图像任务上依然高效流模型则适合对似然精度和推理速度都有要求的场景。没人能替你回答“哪个最好”只有“哪个更适合你手里的活”。3. 实操要点从零训练一个可用的生成模型3.1 动手之前先花半小时想清楚四件事很多新手容易犯的错就是太早进入“调库”和“跑模型”阶段一上来就找最大的公开模型、最火的架构直接开跑。我建议你先冷静下来回答四个问题数据是什么样的有多少量有没有标签尺寸和取值范围正不正常最终要生成什么多样性优先、清晰度优先还是需要可控条件硬件资源是什么水平显存多大能接受多长的训练时间模型产出的东西后续怎么用是一次性离线生成还是要支持实时交互这四个问题基本锁定了模型选型和训练策略的基调。数据量只有几千张强行上大扩散模型大概率过拟合显存不够就别硬追求超大架构如果业务要求实时出图扩散模型的采样加速方案就得提前纳入考量。我举一个实际经历某个图像生成需求一开始团队直接冲大扩散模型结果单卡塞不下跑了一整晚损失根本没怎么动。后来我改换成小规模的 VAE 做基线先把数据和工程流程跑通确认每一步都没问题再逐步升级架构和采样策略整体效率反而提升了一大截。先小后大、先基准后优化这个习惯在生成模型项目里尤其好用。3.2 数据准备这件事比选模型更值得花时间数据是所有生成模型的地基。地基不稳上面盖多大房子都没有意义。第一步是清理。生成模型最怕脏数据尤其是那种“有大量损坏文件、重复样本、尺寸混乱”的数据集。我习惯在训练前写一个数据体检脚本逐个样本检查能否正常解码、尺寸是否统一、像素值域是否符合预期把异常样本单独挑出来人工查看一遍。第二步是预处理。图像生成通常要把像素归一化到特定范围比如扩散模型一般归一到 [-1, 1]GAN 和 VAE 则根据具体损失设计而定文本类数据要做分词表格类数据要处理缺失值和异常值。预处理方式会直接影响训练稳定性建议每一项都确认到位不要想当然。第三步是划分。生成模型虽然本质上是无监督学习但强烈建议仍然留出一部分数据做验证集。一是用来监控模型有没有过拟合二是用来判断训练是否进入良性阶段。你总不想到最后才发现模型只是把训练集“背”下来了。3.3 训练中的关键配置学习率、批大小与损失设计不同模型家族在训练上有差异但有些通用技巧可以先说。学习率是生成模型训练里最容易出问题的参数。我一般建议从 3e-4 到 1e-3 这个范围开始搜索然后根据 loss 曲线的形态做对数网格搜索。很多模型还会配一个 warmup 策略前几千步先用小学习率稳稳起步再逐渐上升到目标值这对训练初期防止震荡很有效。一个稳定的开局往往决定整个训练过程的心理承受能力。批大小同样关键。在显存允许的前提下尽量用大一点的 batch因为生成模型的梯度估计在样本量越大的时候越稳定。显存不够时优先减 batch size再配合梯度累积在效果上模拟大 batch。我后来跑各种生成实验都保持这个习惯先确定一个能稳定出效果的 batch再做其他花活。损失函数方面VAE 要平衡重建项和 KL 项可以尝试在训练过程中让 KL 权重从一个较小的值逐步上升到目标值也就是所谓的 KL 退火GAN 要注意生成器和判别器的更新节奏不能让任何一方长期碾压另一方扩散模型要精心设计噪声调度和时间步采样策略训练时随机采样时间步让模型在每种噪声水平下都具备去噪能力。这些细节每一项都值得单独调整一版我当年为了找到一个既能让重建清晰、又不牺牲隐空间连续性的 KL 权重反复改了十几次最后终于找到合适的区间。3.4 评估生成结果千万别只盯着 Loss 曲线生成模型的评估是个老大难问题因为“生成得好不好”本身就带主观性。单纯看训练 loss 下降往往不能代表生成质量变好有时候 loss 降了生成样本反而变模糊了。比较常用的定量指标有三个:Inception ScoreIS衡量生成样本是否清晰、类别是否多样但依赖预训练的分类器指标偏好会被那个分类器带跑。FID把真实样本和生成样本分别嵌入特征空间再计算两个分布之间的距离。FID 越低说明分布越接近实际使用中比 IS 更受欢迎但样本量太小时波动明显。负对数似然NLL对 VAE、自回归模型和流模型可以直接衡量似然但对 GAN 和扩散模型计算复杂且不一定有明确的含义。定性评估同样重要甚至更重要。我习惯在训练过程中每隔固定步数把生成样本保存到目录然后定期和真实样本放在一起做人工对比。有时候定量指标很好看肉眼一看生成结果全是重复残影那指标就得打个问号。所以我个人一直坚持“指标 可视化”双轨并行两者结论一致时才开始放心调参。4. 常见问题与排查技巧实录4.1 模式坍塌生成样本千篇一律模式坍塌是 GAN 训练里最经典的头疼事。表现非常直白生成出来的样本永远那么几种毫无多样性。原因在于生成器找到了一个能让判别器放松警惕的“安全区”于是躲在里面不断产出同类样本不求有功但求无过。排查思路一般按这个顺序走先降低生成器的更新频率别让它冲得太快然后检查是不是判别器太强了如果判别器的 loss 长期压制生成器就要调整两者更新节奏再考虑加梯度惩罚、谱归一化这类稳定训练的技巧。如果你用的是 VAE 或扩散模型模式坍塌相对少见但 VAE 要注意 KL 项过强可能导致隐变量退化生成结果同样会显得单一这就需要把 KL 权重调回来一些。4.2 训练震荡或发散Loss 一会儿天上一会儿地下训练不稳定是生成模型的常态尤其是 GAN。遇到这种情况我的第一反应不是换模型而是查学习率。学习率过高的典型症状就是 loss 曲线剧烈震荡。把学习率降到原来的 1/5 甚至 1/10往往问题就缓解了大半。另一个常见原因是生成器和判别器的更新数不平衡。我在训练日志里会同时记录两个网络的 loss如果一方长期碾压另一方就得及时调节更新频率或损失权重让双方始终处在一个“互相追赶”的节奏里。扩散模型的训练相对稳定但偶发的 NaN 通常有几个原因学习率过大、梯度爆炸或数据预处理出错。遇到 NaN 就从这三处排查基本能解决问题。4.3 显存不足模型装不进去怎么办生成模型通常参数量大、输入分辨率高显存告急是家常便饭。我常用的手段按优先级大致如下减小 batch size。最直接但别减到梯度估计抖动剧烈。开混合精度训练。显存占用能下降不少很多深度学习框架里只需要一行配置。用梯度累积。把多个小 batch 的梯度累加起来再更新效果近似大 batch显存压力却小很多。降低输入分辨率。先在小分辨率上跑通再在目标分辨率上做微调。关键层做梯度检查点。用时间换空间不保存中间激活值反推时重算。我的实际经验是混合精度加持后再调整 batch size 到刚好塞进显存就能化解大部分显存焦虑。不到万不得已不建议上来就削模型的宽度和深度因为生成模型的容量直接影响最终的质量上限。4.4 生成质量差模糊、噪声、细节崩坏如果生成结果看上去一片模糊大概率原因有三个方向模型容量不足、训练不充分、重建损失权重失衡。VAE 的模糊问题尤其容易出在重建项太弱GAN 的细节崩坏则通常是判别器太弱生成器得不到足够的梯度信号扩散模型一般不会模糊但会有噪声残留或细节崩多半和采样步数不足有关。如果生成样本带着明显的训练集痕迹那不是质量好而是过拟合。这时候可以加数据增强、加大正则约束或者适度削减模型容量。还有一个我踩过好几次的坑训练集和验证集划分太随意导致部分训练样本混进了评估集合模型表现好得离谱其实是“背答案”。数据划分这件事再怎么严格都不为过。4.5 一个可复制的排查速查表现象优先检查项常用解决方向模式坍塌判别器与生成器是否失衡加稳定技巧、调节更新频率、改进目标函数训练震荡或不收敛学习率、网络平衡降低学习率、加 warmup、调整损失权重生成样本模糊重建项权重、模型容量加强重建、增大容量、换更强的解码器显存不足batch size、训练精度混合精度、梯度累积、梯度检查点生成样本有重影/噪声采样步数、噪声调度增加采样步数、调整噪声调度、加后处理定量指标好但肉眼差评估方式单一增加可视化对比、多指标综合判断大概是从连续两周调一群 GAN 网络超参的那次经历开始我对深度生成模型的看法从“看热闹”变成了“认真学”。它不像分类或者检测任务那样目标清晰、指标明确而是一个需要反复实验、不断观察生成样本来做判断的方向。但恰恰是这种“反馈不直接、答案不唯一”的特性让我觉得它特别迷人。最后分享一个我坚持了很多个项目的小习惯把训练过程中的生成样本按步数归档到一个文件夹每隔一段训练步数存一批图。这就像给模型写成长日记等训练结束后回去翻这个目录你能非常直观地看到从一团噪声到清晰样本的完整轨迹。这个习惯在排查“模型到底是在真的学习还是在记忆数据”的时候比任何指标都来得可靠后来无论我换哪种生成模型都会保留这套存档。希望这份从原理到实战的梳理能让你在学习这一章的过程中少踩几个坑早日跑出让自己满意的生成结果。