简介人工智能领域的扩散模型介绍PPT主要面向机器学习研究者、算法工程师及对生成模型感兴趣的学习者系统梳理扩散模型的核心思想与主流应用。内容涵盖前向/逆向扩散过程、马尔可夫链原理、UNetAttention网络结构并对比GAN、VAE、Flow等生成模型介绍Stable Diffusion、Imagen、GLIDE、DALL·E2等代表性工作。同时结合综述展示扩散模型在无条件/条件图像生成、文本到图像、超分辨率、图像编辑与转换、视频生成等方向的应用。资源仅含1个pptx文件压缩包约13.28MB便于直接打开阅读。目前已有344人学习适合作为入门概览或技术汇报的参考资料。PPT还讨论了当前局限性与未来方向如多步采样导致推断较慢、向视频生成与异常检测等任务拓展帮助读者快速把握领域脉络与研究趋势。1. 扩散模型是什么从一张噪声图到清晰图像的逆过程第一次接触扩散模型时我盯着那张从纯噪声逐渐显影出猫脸的过程图看了很久。它和GAN的路数完全不一样——不是直接生成图片而是把加噪当成前向过程再让网络一步步把噪声剥回去。这份PPT资源把前向扩散、逆向去噪、马尔可夫链、UnetAttention这些关键概念串成了一条完整链路连参考文献和模型演进时间线都整理好了。适合谁准备做技术分享或组会汇报的从业者手头有现成文生图工具但想知道背后原理的开发者以及打算从零搭一套扩散模型训练脚本的研究生。下面我按这张PPT的骨架把每一块拆开讲清楚。2. 前向与逆向扩散马尔可夫链、Unet和训练目标如何协作2.1 前向扩散马尔可夫链如何把图像变成噪声扩散模型的前向过程并不复杂本质上是“逐步加噪”。给定一张干净图像每次往上面叠加一点点高斯噪声迭代几百步之后原始图像的信息被完全淹没变成一张接近标准正态分布的纯噪声图。PPT里特意强调了一个概念马尔可夫链。它的核心约束是“无记忆性”也就是说当前状态只取决于上一个状态和更早的历史无关。这一点非常关键因为它让数学推导变得可行——每一步的噪声分布只需要知道上一帧的均值和方差。用公式表达的话前向过程可以从任意时间步直接采样不需要真的跑完所有步骤。这是所有扩散模型训练能加速的基础。PPT里提到“固定值”三个字意思是前向过程的噪声方差通常不通过学习得到而是人为设定一组逐渐增大的数值。常见做法是线性从0.0001升到0.02或者用cosine调度后者对高分辨率图像更友好。我一般在实验里先用线性调度跑通流程再去调cosine因为线性调度的收敛行为更容易观察。前向过程还有一个容易忽视的细节一旦确定噪声调度整个加噪链条就是确定的。这意味着你可以预计算每一时刻的噪声系数训练时直接用查表方式拿到第t步的带噪图像省去了逐步迭代的耗时。PPT里虽然没有贴代码但这个“公式闭合”的思路是理解扩散模型训练加速的关键建议自己推导一遍。2.2 逆向扩散用UnetAttention学会逐步去噪逆向扩散是整个模型的难点也是神经网络真正起作用的地方。前向过程已知加噪规则逆向过程则需要让模型学会“猜”出某个时间步被加进去的噪声是什么。主流做法是用一个以Unet为骨架的网络并在其中插入Attention模块。Unet天然适合图像到图像的回归任务它通过下采样提取语义特征再通过上采样恢复空间细节而Attention模块可以让网络在生成时关注到图像中距离较远但相关的区域这对全局结构的一致性很有帮助。训练时模型的输入是一张带噪图像和当前时间步t输出是对噪声的预测。损失函数很简单就是预测噪声和真实噪声之间的均方误差。注意这里不是直接预测干净图像而是预测噪声再通过公式反推出干净图像。这个选择的好处是损失空间更平滑网络更容易收敛。PPT里的训练总结图把三个要素列得很清楚带噪图像、时间步t、真实噪声。三者缺一不可时间步通常通过正弦位置编码嵌入特征图让网络知道“现在该处理多大噪声”。我自己调试时遇到过一个问题如果不把时间步编码进模型生成结果会非常模糊因为网络无法区分不同噪声强度下的去噪任务。加上时间步编码后效果立竿见影。所以这条不是可有可无而是扩散模型设计里的一项刚性要求。2.3 训练过程总结固定方差与噪声预测把训练流程拆成步骤看实际上非常朴素。首先从训练集中取一张干净图像然后从均匀分布里随机抽一个时间步t接着按照前向公式算出第t步的带噪图像再把带噪图像和t一起送入Unet让网络输出预测噪声最后计算预测噪声和真实噪声的L2损失并反传。整个过程不需要判别器不需要对抗训练也不涉及复杂的负对数似然估计因此训练稳定性比GAN好了不止一个数量级。这里有一个经常被新手忽略的点方差调度在训练时是固定的但推理时的降噪步数可以自由控制。训练时用了1000步不代表推理时也要跑1000步。常见的采样器如DDIM可以把步数压缩到50步甚至20步代价是生成质量略微下降。PPT里提到的“固定值”指的是训练时的调度而推理时的步数是一个超参数两者不要混为一谈。此外损失函数虽然只有一项但实际训练中存在一个隐性坑如果噪声预测的尺度不对生成结果会偏亮或偏暗。这是因为网络输出需要和输入图像保持同样的像素量纲。我习惯在训练结束后先跑一次完整的采样流程观察中间步骤的图像变化趋势如果某个时间步的图像突然跳变多半是方差调度设置得不合理。2.4 从PPT里提炼的扩散模型完整工作流把前向和逆向组合起来整个扩散模型的工作流可以分为四个阶段设计噪声调度、训练噪声预测网络、选择合适的采样器、循环逐步去噪。前两个阶段是训练期的核心后两个阶段是推理期的核心。PPT里虽然没有画出完整的流程图但从它列出的参考文献可以推断这份资料覆盖的是2020年到2022年之间的主流方法也就是DDPM、DDIM、以及超分辨率领域的SR3。我看到这份PPT时最直观的感受是它把复杂的数学推导全部转化成了“加噪-去噪”的直觉对新手非常友好。如果你想更深入地理解建议把其中引用的三篇综述论文按时间顺序读一遍先读最早的那篇关于生成模型对比的再读扩散模型综述最后看视觉应用综述。这样能建立起从生成模型家族到扩散模型特化应用的完整认知。3. 生成模型选型扩散模型与GAN、VAE、流模型的取舍3.1 生成模型家族谱四类模型的本质区别PPT专门放了一张生成模型对比图把GAN、VAE、流模型和扩散模型放在一起比较。GAN的核心思路是让生成器和判别器对抗生成器负责把随机噪声映射到图像判别器负责区分真假。它最大的优势是采样速度快一次前向就能出图但训练时容易模式坍塌也就是生成结果多样性不够。VAE则是通过编码器把图像压缩到潜在空间再从潜在空间采样解码回图像训练稳定但生成图像偏模糊。流模型通过一系列可逆变换把简单分布映射到复杂分布对数似然可以精确计算但网络结构受限参数量很大。扩散模型走的是另一条路把一个分布通过前向过程逐步破坏掉再用神经网络学会重建。它的训练过程不涉及对抗博弈所以稳定性好生成质量高但推理时需要多步迭代。PPT里引用了Glow和GAN和VAE的经典论文实际上是在提醒读者扩散模型不是凭空出现的它和这三类模型在数学上有千丝万缕的联系。尤其是VAE扩散模型可以看成是层次极其深的VAE其潜在变量是不同时间步的带噪图像。选型时怎么判断如果应用场景对延迟极度敏感比如实时交互滤镜GAN仍然是首选。如果任务要求精确的对数似然评估流模型更合适。如果追求生成质量和多样性并且推理时间可以接受扩散模型是最稳的答案。VAE现在更多是用作图像压缩或作为扩散模型的基础组件单独用于生成已经比较少见。3.2 从速度与质量权衡看为什么扩散模型能火扩散模型走红的核心原因是它把“生成质量”和“训练稳定性”这两个指标同时拉高了。GAN虽然单次采样极快但训练过程像在走钢丝判别器和生成器的学习速率稍微失衡就会崩。扩散模型则没有这个问题它的损失函数简单到不可能不收敛。代价是推理时要串行跑几十步甚至上千步这在2020年前后几乎无法落地。后来提出的加速采样方法把步数降到20到50步配合潜在空间建模技术才让扩散模型真正进入实用阶段。PPT里提到一句“扩散模型的最大缺点是推断时需要多个步骤来仅生成一个样本GANs在制作图像方面仍然更快。”这句话点到了要害。在实际工程里如果你需要批量生成十万张图用扩散模型的成本远高于GAN。所以现在很多实际系统采用的是“GAN打底、扩散精修”的混合方案第一步用GAN快速生成粗结果第二步用扩散模型修复细节。另外模型体积也是一个重要考量。早期扩散模型参数量动辄数百MB部署到移动端几乎不可能。后来出现的潜在扩散模型把计算放在低维潜在空间大幅降低显存占用和推理时间才让这类模型能跑在消费级显卡上。PPT虽然没有展开但如果你做选型评估一定要把“是否可以在目标设备上运行”纳入考量否则生成质量再高也无济于事。3.3 对比表四个维度的直观参考维度GANVAE流模型扩散模型训练稳定性差容易模式坍塌稳定稳定稳定采样速度极快一次前向快中慢多步迭代生成质量高但多样性受限于对抗博弈偏低图像模糊中等高尤其高分辨率适用场景实时生成、风格迁移压缩、特征提取密度估计、精确似然文生图、超分、编辑这张表是我基于PPT内容和实际项目经验整理的。实践中的边界会更加模糊有些改进型GAN已能缓解模式坍塌有些扩散模型也能用单步采样逼近GAN的速度但作为初期选型参考这个表足够了。4. 视觉应用全景从无条件生成到文生图、超分、编辑和转换4.1 无条件与条件图像生成监督信号的差异无条件图像生成是扩散模型最基础的任务输入只有随机噪声输出是一张符合训练数据分布的图像。这种模型不需要任何标签完全靠学习数据分布本身。PPT里明确指出“这种模型不需要监督信号完全不受监督”是图像生成最基本设置。实际应用比如生成人脸、生成建筑外观等但因为没有控制条件实用性受限。条件图像生成则引入额外输入比如类别标签、文本描述、分割图等。网络需要学会在给定条件约束下生成内容。条件生成可以看成是在噪声预测网络之外接一个条件编码器。最简单的做法是把条件向量和时间步一样做嵌入然后加到网络输入里。更复杂的做法是用Cross-Attention层让图像特征在生成过程中动态查询条件信息。PPT里提到的“VAEs meet Diffusion Models”就是这类工作的一个方向把VAE的潜在空间与扩散模型结合以提升采样效率。我在做条件生成时有一个习惯先跑无条件版本验证数据流再添加条件编码器。因为无条件版本如果都收敛不好加条件只会让问题更复杂。排查顺序永远是先基础后附加。4.2 文本到图像从模型演进的三个节点看技术路线文本到图像是扩散模型目前最出圈的应用方向。PPT里梳理了一个时间线2021年初出现第一个文本生成图像模型同年末出现一个能生成更复杂内容的模型2022年又有两个模型相继发布后一个在写实性上明显领先。这条演进路线的本质是语言理解和生成能力的双重提升。早期模型对复杂文本提示的理解有限经常拼错单词或无法处理组合概念后来通过更强的预训练语言模型做文本编码器加上更大的扩散模型才解决了这些问题。真正让这项技术普及的是开源潜在扩散模型它把图像压缩到低维潜在空间并采用Cross-Attention机制让文本提示引导生成过程。跑在消费级显卡上成为可能。如果你想复现这类应用不需要从零训练模型可以直接使用预训练权重进行推理关键是学会调参数提示词怎么写、采样步数设多少、分类器引导的强度用多大。这些参数的调节我已经踩过无数坑后面避坑章节会展开。文本到图像还有一个有趣的细节提示词的顺序和措辞会影响生成结果。同样的名词放在开头还是结尾可能会产生完全不同的构图。这是因为文本编码器对位置较前的词更敏感。经验法则是把核心主题写在前面把风格、光线、细节描述放在后面。4.3 图像超分辨率与编辑SR3和Imagic的具体做法超分辨率是扩散模型在图像恢复领域的重要应用。PPT里提到的SR3模型采用U-Net架构以去噪目标训练迭代地从带噪低分辨率输入中恢复高分辨率细节。它的输入不是纯噪声而是低分辨率图像上采样后再加噪的结果。网络需要同时保留低分辨率内容信息和恢复高频细节训练时还可以微调噪声强度来控制退化程度。相比传统超分算法扩散模型能生成更真实的高频纹理而不是简单插值。图像编辑方面PPT重点讲了Imagic的方法首先利用一个预训练好的文生图扩散模型找到代表输入图像的文本嵌入然后微调扩散模型以适应那张特定图像最后在代表图像的文本嵌入和目标编辑文本嵌入之间做线性插值。这样做能实现非刚性编辑也就是改变姿势、几何形状和组成而不仅仅是调色或加滤镜。这个思路非常优雅把编辑问题转化为嵌入空间中的插值问题。实际使用中这类编辑方法的效果高度依赖原始图像与目标文本的语义距离。如果目标编辑和原图差异太大插值路径上可能没有合理的中间解生成结果会出现伪影。所以我会先测试线性插值的权重范围比如0.3到0.7之间通常比较安全超过这个范围就可能翻车。4.4 图像到图像转换Palette框架下的四个任务图像到图像转换是把一张图从一个域映射到另一个域PPT列举了四个任务上色、修补、取消裁剪、JPEG恢复。这四类任务有一个共同点输入是一张受损或不完整的图像输出是完整清晰的自然图像。Palette框架统一定义了这类任务的条件扩散建模方式。以修补为例把缺失区域用噪声填充然后扩散模型学习去噪的同时填充内容。这样做的好处是生成结果能保证与已知区域颜色和纹理自然衔接不容易出现明显的边界。设计这类系统时要明确一个原则输入退化方式和前向加噪过程的顺序不能颠倒。比如JPEG恢复任务输入图像已经被压缩如果先加噪再让网络去噪网络可能把压缩伪影当成图像内容的一部分。正确做法是在训练阶段同时模拟JPEG压缩和扩散加噪让网络区分两类噪声来源。PPT里这部分的参考文献给出了完整的数学定义建议使用前提前读一遍。表格可以概括这四个任务的核心输入输出差异任务类型输入输出关键点上色灰度图彩色图色彩分布的多样性修补缺失区域图完整图与已知区域的一致性取消裁剪中心裁剪图外扩完整图全局结构推断JPEG恢复压缩图干净图伪影去除与纹理重建5. 扩散模型避坑指南训练和推理中五个高频问题5.1 现象采样速度慢到怀疑人生我第一次跑DDPM采样时生成一张64×64的图像用了接近两分钟当时还以为代码写错了。后来才发现默认的1000步采样在CPU上跑就是这速度。原因扩散模型推理时每步都要完整前向一次Unet1000步就是1000次前向计算量极大。解决换用DDIM采样器把它支持到50步甚至20步质量损失肉眼几乎不可见。再进一步可以用DPM-Solver等高级采样器在10步左右达到可用效果。如果还是慢可以考虑用潜在扩散模型在低维空间采样后再解码回完整图像速度能提升一个数量级。5.2 现象生成图像模糊或出现网格状伪影训练几十个epoch后生成的图像仍然模糊边缘有类似棋盘格的纹理像蒙了一层纱。原因模糊通常意味着网络没有收敛或者损失函数未生效。网格纹理往往是上采样层或pixel shuffle使用不当造成的。另一个常见原因是噪声调度设置不匹配训练和推理用了不同的方差表。解决先检查推理时的噪声调度是否与训练时完全一致特别是起始噪声强度。其次检查上采样方式如果转置卷积没有配上合适的kernel size和padding很容易产生棋盘效应。最后如果图像整体模糊适当增大模型宽度或者增加训练步数。我自己的经验是先把batch size降到8以下排查问题再逐步调大。5.3 现象显存不足导致训不下去在8GB显存的显卡上训练一个128×128的扩散模型batch size设为16直接OOM。原因扩散模型的Unet在多个尺度上保持特征图再加上时间步嵌入和条件信息激活值非常多。显存占用约为同分辨率GAN模型的2到3倍。解决先降batch size到4或者2保证流程能跑通。然后开启梯度累积用多个小batch模拟大batch效果。如果还不行可以启用混合精度训练开启fp16后显存占用能下降40%左右。另外可以考虑用梯度检查点技术用少量计算换显存。5.4 现象文本提示不生效生成内容与描述无关使用预训练文生图模型时输入“一只红色的狗坐在蓝色沙发上”生成结果却是黄色的猫站在草地上跟提示词完全没关系。原因大部分情况下不是模型坏了而是分类器引导强度太低或文本编码器输出被弱化。有些开源推理脚本默认guidance scale设为1.0几乎等于没有条件约束。解决把guidance scale调到7到12之间加强文本条件影响。如果仍不生效检查文本编码器输出的token长度是否被截断或者提示词是否包含非法字符。还有一个隐蔽的问题输入图像需要归一化到预训练模型期望的范围如果像素值尺度不对文本嵌入可能被淹没。5.5 现象评估指标好看实际生成效果却很差训练过程中FID分数逐渐下降看起来模型在变好但人工看生成样本时却发现图片内容扭曲结构和语义混乱。原因FID是在大规模特征空间中计算的分布距离如果训练集中有大量低质量或重复样本FID会被拉低但模型并没有学会正确的结构先验。另外如果网络只学会了低频信息而没学会高频细节FID也会给出误导性信号。解决不要只看FID一定要配合人工观察推理过程的中间输出。从第50步、第100步、第500步分别采样看图像从噪声到结构的过程是否符合直觉。如果早期步骤就出现明显不自然的形状基本可以判断网络容量不足或训练数据有问题。从那以后我每次训练都会保存一组固定的中间步骤可视化图作为惯例检查项而不是只盯着指标数字。6. 用这份PPT快速搭讲解流程演示参数与主线梳理6.1 从PPT提炼讲解主线这份PPT的页面结构本身就是一个很好的演示大纲。我的建议是不要照着PPT逐页念而是按“直觉理解→数学基础→模型对比→应用→局限”这条主线重新组织。开场先用一张“纯噪声→清晰图像”的过程图吸引注意力然后抛出一个反直觉结论“我们以为是在生成图像实际上是在预测噪声。”这句话能让听众瞬间抓牢核心。接下来再用马尔可夫链的无记忆性解释前向过程的数学可行性用UnetAttention解释逆向过程的可学习性最后落到几组应用案例上。讲解时我一般会现场跑一个已经训练好的小模型让听众看到不同采样步数下的效果对比。如果时间不够准备一段录屏也足够。别忘了把PPT里提到的三篇综述论文和四篇应用论文整理成参考资料放到附录页方便听众按需获取。6.2 演示Demo时的推荐参数如果你打算自己跑一个推理Demo我推荐先用开源的预训练潜在扩散模型分辨率设为512×512采样步数设为25guidance scale设为8。这几个参数在大部分消费级显卡上能在10秒内出图。如果你的显卡显存小于6GB把分辨率降到384×384并开启CPU offload虽然慢一些但能保证不OOM。提示词建议写成“带风格前缀的主题描述”例如“油画风格一只猫坐在窗台上”。风格词放前面主题词放后面生成结果的构图通常更可控。如果不满意优先调整guidance scale而不是重写提示词。每次只改一个参数不要同时改步数和引导强度否则没法定位问题。6.3 讲解结束前的一个实用技巧最后分享一个我常用的技巧准备一组“失败案例”对比图。比如故意用5步采样生成模糊图再把引导强度调到20导致颜色过饱和。这些翻车现场比成功案例更能帮助听众理解参数边界。我每次演示都会强制自己走一遍“失败-分析-调整”的过程哪怕只是改变一个数值也能让听众看到参数对结果的影响路径。这样他们回去自己试的时候遇到问题不会慌知道该从哪里排查。希望这篇拆解能帮你在准备扩散模型PPT讲解时少走弯路。本文还有配套的精品资源点击获取 
长河君 · 2026/10/20 1:38:19 · 阅读 1.2k 扩散模型全解析：从加噪到去噪的生成原理与实战应用
简介人工智能领域的扩散模型介绍PPT主要面向机器学习研究者、算法工程师及对生成模型感兴趣的学习者系统梳理扩散模型的核心思想与主流应用。内容涵盖前向/逆向扩散过程、马尔可夫链原理、UNetAttention网络结构并对比GAN、VAE、Flow等生成模型介绍Stable Diffusion、Imagen、GLIDE、DALL·E2等代表性工作。同时结合综述展示扩散模型在无条件/条件图像生成、文本到图像、超分辨率、图像编辑与转换、视频生成等方向的应用。资源仅含1个pptx文件压缩包约13.28MB便于直接打开阅读。目前已有344人学习适合作为入门概览或技术汇报的参考资料。PPT还讨论了当前局限性与未来方向如多步采样导致推断较慢、向视频生成与异常检测等任务拓展帮助读者快速把握领域脉络与研究趋势。1. 扩散模型是什么从一张噪声图到清晰图像的逆过程第一次接触扩散模型时我盯着那张从纯噪声逐渐显影出猫脸的过程图看了很久。它和GAN的路数完全不一样——不是直接生成图片而是把加噪当成前向过程再让网络一步步把噪声剥回去。这份PPT资源把前向扩散、逆向去噪、马尔可夫链、UnetAttention这些关键概念串成了一条完整链路连参考文献和模型演进时间线都整理好了。适合谁准备做技术分享或组会汇报的从业者手头有现成文生图工具但想知道背后原理的开发者以及打算从零搭一套扩散模型训练脚本的研究生。下面我按这张PPT的骨架把每一块拆开讲清楚。2. 前向与逆向扩散马尔可夫链、Unet和训练目标如何协作2.1 前向扩散马尔可夫链如何把图像变成噪声扩散模型的前向过程并不复杂本质上是“逐步加噪”。给定一张干净图像每次往上面叠加一点点高斯噪声迭代几百步之后原始图像的信息被完全淹没变成一张接近标准正态分布的纯噪声图。PPT里特意强调了一个概念马尔可夫链。它的核心约束是“无记忆性”也就是说当前状态只取决于上一个状态和更早的历史无关。这一点非常关键因为它让数学推导变得可行——每一步的噪声分布只需要知道上一帧的均值和方差。用公式表达的话前向过程可以从任意时间步直接采样不需要真的跑完所有步骤。这是所有扩散模型训练能加速的基础。PPT里提到“固定值”三个字意思是前向过程的噪声方差通常不通过学习得到而是人为设定一组逐渐增大的数值。常见做法是线性从0.0001升到0.02或者用cosine调度后者对高分辨率图像更友好。我一般在实验里先用线性调度跑通流程再去调cosine因为线性调度的收敛行为更容易观察。前向过程还有一个容易忽视的细节一旦确定噪声调度整个加噪链条就是确定的。这意味着你可以预计算每一时刻的噪声系数训练时直接用查表方式拿到第t步的带噪图像省去了逐步迭代的耗时。PPT里虽然没有贴代码但这个“公式闭合”的思路是理解扩散模型训练加速的关键建议自己推导一遍。2.2 逆向扩散用UnetAttention学会逐步去噪逆向扩散是整个模型的难点也是神经网络真正起作用的地方。前向过程已知加噪规则逆向过程则需要让模型学会“猜”出某个时间步被加进去的噪声是什么。主流做法是用一个以Unet为骨架的网络并在其中插入Attention模块。Unet天然适合图像到图像的回归任务它通过下采样提取语义特征再通过上采样恢复空间细节而Attention模块可以让网络在生成时关注到图像中距离较远但相关的区域这对全局结构的一致性很有帮助。训练时模型的输入是一张带噪图像和当前时间步t输出是对噪声的预测。损失函数很简单就是预测噪声和真实噪声之间的均方误差。注意这里不是直接预测干净图像而是预测噪声再通过公式反推出干净图像。这个选择的好处是损失空间更平滑网络更容易收敛。PPT里的训练总结图把三个要素列得很清楚带噪图像、时间步t、真实噪声。三者缺一不可时间步通常通过正弦位置编码嵌入特征图让网络知道“现在该处理多大噪声”。我自己调试时遇到过一个问题如果不把时间步编码进模型生成结果会非常模糊因为网络无法区分不同噪声强度下的去噪任务。加上时间步编码后效果立竿见影。所以这条不是可有可无而是扩散模型设计里的一项刚性要求。2.3 训练过程总结固定方差与噪声预测把训练流程拆成步骤看实际上非常朴素。首先从训练集中取一张干净图像然后从均匀分布里随机抽一个时间步t接着按照前向公式算出第t步的带噪图像再把带噪图像和t一起送入Unet让网络输出预测噪声最后计算预测噪声和真实噪声的L2损失并反传。整个过程不需要判别器不需要对抗训练也不涉及复杂的负对数似然估计因此训练稳定性比GAN好了不止一个数量级。这里有一个经常被新手忽略的点方差调度在训练时是固定的但推理时的降噪步数可以自由控制。训练时用了1000步不代表推理时也要跑1000步。常见的采样器如DDIM可以把步数压缩到50步甚至20步代价是生成质量略微下降。PPT里提到的“固定值”指的是训练时的调度而推理时的步数是一个超参数两者不要混为一谈。此外损失函数虽然只有一项但实际训练中存在一个隐性坑如果噪声预测的尺度不对生成结果会偏亮或偏暗。这是因为网络输出需要和输入图像保持同样的像素量纲。我习惯在训练结束后先跑一次完整的采样流程观察中间步骤的图像变化趋势如果某个时间步的图像突然跳变多半是方差调度设置得不合理。2.4 从PPT里提炼的扩散模型完整工作流把前向和逆向组合起来整个扩散模型的工作流可以分为四个阶段设计噪声调度、训练噪声预测网络、选择合适的采样器、循环逐步去噪。前两个阶段是训练期的核心后两个阶段是推理期的核心。PPT里虽然没有画出完整的流程图但从它列出的参考文献可以推断这份资料覆盖的是2020年到2022年之间的主流方法也就是DDPM、DDIM、以及超分辨率领域的SR3。我看到这份PPT时最直观的感受是它把复杂的数学推导全部转化成了“加噪-去噪”的直觉对新手非常友好。如果你想更深入地理解建议把其中引用的三篇综述论文按时间顺序读一遍先读最早的那篇关于生成模型对比的再读扩散模型综述最后看视觉应用综述。这样能建立起从生成模型家族到扩散模型特化应用的完整认知。3. 生成模型选型扩散模型与GAN、VAE、流模型的取舍3.1 生成模型家族谱四类模型的本质区别PPT专门放了一张生成模型对比图把GAN、VAE、流模型和扩散模型放在一起比较。GAN的核心思路是让生成器和判别器对抗生成器负责把随机噪声映射到图像判别器负责区分真假。它最大的优势是采样速度快一次前向就能出图但训练时容易模式坍塌也就是生成结果多样性不够。VAE则是通过编码器把图像压缩到潜在空间再从潜在空间采样解码回图像训练稳定但生成图像偏模糊。流模型通过一系列可逆变换把简单分布映射到复杂分布对数似然可以精确计算但网络结构受限参数量很大。扩散模型走的是另一条路把一个分布通过前向过程逐步破坏掉再用神经网络学会重建。它的训练过程不涉及对抗博弈所以稳定性好生成质量高但推理时需要多步迭代。PPT里引用了Glow和GAN和VAE的经典论文实际上是在提醒读者扩散模型不是凭空出现的它和这三类模型在数学上有千丝万缕的联系。尤其是VAE扩散模型可以看成是层次极其深的VAE其潜在变量是不同时间步的带噪图像。选型时怎么判断如果应用场景对延迟极度敏感比如实时交互滤镜GAN仍然是首选。如果任务要求精确的对数似然评估流模型更合适。如果追求生成质量和多样性并且推理时间可以接受扩散模型是最稳的答案。VAE现在更多是用作图像压缩或作为扩散模型的基础组件单独用于生成已经比较少见。3.2 从速度与质量权衡看为什么扩散模型能火扩散模型走红的核心原因是它把“生成质量”和“训练稳定性”这两个指标同时拉高了。GAN虽然单次采样极快但训练过程像在走钢丝判别器和生成器的学习速率稍微失衡就会崩。扩散模型则没有这个问题它的损失函数简单到不可能不收敛。代价是推理时要串行跑几十步甚至上千步这在2020年前后几乎无法落地。后来提出的加速采样方法把步数降到20到50步配合潜在空间建模技术才让扩散模型真正进入实用阶段。PPT里提到一句“扩散模型的最大缺点是推断时需要多个步骤来仅生成一个样本GANs在制作图像方面仍然更快。”这句话点到了要害。在实际工程里如果你需要批量生成十万张图用扩散模型的成本远高于GAN。所以现在很多实际系统采用的是“GAN打底、扩散精修”的混合方案第一步用GAN快速生成粗结果第二步用扩散模型修复细节。另外模型体积也是一个重要考量。早期扩散模型参数量动辄数百MB部署到移动端几乎不可能。后来出现的潜在扩散模型把计算放在低维潜在空间大幅降低显存占用和推理时间才让这类模型能跑在消费级显卡上。PPT虽然没有展开但如果你做选型评估一定要把“是否可以在目标设备上运行”纳入考量否则生成质量再高也无济于事。3.3 对比表四个维度的直观参考维度GANVAE流模型扩散模型训练稳定性差容易模式坍塌稳定稳定稳定采样速度极快一次前向快中慢多步迭代生成质量高但多样性受限于对抗博弈偏低图像模糊中等高尤其高分辨率适用场景实时生成、风格迁移压缩、特征提取密度估计、精确似然文生图、超分、编辑这张表是我基于PPT内容和实际项目经验整理的。实践中的边界会更加模糊有些改进型GAN已能缓解模式坍塌有些扩散模型也能用单步采样逼近GAN的速度但作为初期选型参考这个表足够了。4. 视觉应用全景从无条件生成到文生图、超分、编辑和转换4.1 无条件与条件图像生成监督信号的差异无条件图像生成是扩散模型最基础的任务输入只有随机噪声输出是一张符合训练数据分布的图像。这种模型不需要任何标签完全靠学习数据分布本身。PPT里明确指出“这种模型不需要监督信号完全不受监督”是图像生成最基本设置。实际应用比如生成人脸、生成建筑外观等但因为没有控制条件实用性受限。条件图像生成则引入额外输入比如类别标签、文本描述、分割图等。网络需要学会在给定条件约束下生成内容。条件生成可以看成是在噪声预测网络之外接一个条件编码器。最简单的做法是把条件向量和时间步一样做嵌入然后加到网络输入里。更复杂的做法是用Cross-Attention层让图像特征在生成过程中动态查询条件信息。PPT里提到的“VAEs meet Diffusion Models”就是这类工作的一个方向把VAE的潜在空间与扩散模型结合以提升采样效率。我在做条件生成时有一个习惯先跑无条件版本验证数据流再添加条件编码器。因为无条件版本如果都收敛不好加条件只会让问题更复杂。排查顺序永远是先基础后附加。4.2 文本到图像从模型演进的三个节点看技术路线文本到图像是扩散模型目前最出圈的应用方向。PPT里梳理了一个时间线2021年初出现第一个文本生成图像模型同年末出现一个能生成更复杂内容的模型2022年又有两个模型相继发布后一个在写实性上明显领先。这条演进路线的本质是语言理解和生成能力的双重提升。早期模型对复杂文本提示的理解有限经常拼错单词或无法处理组合概念后来通过更强的预训练语言模型做文本编码器加上更大的扩散模型才解决了这些问题。真正让这项技术普及的是开源潜在扩散模型它把图像压缩到低维潜在空间并采用Cross-Attention机制让文本提示引导生成过程。跑在消费级显卡上成为可能。如果你想复现这类应用不需要从零训练模型可以直接使用预训练权重进行推理关键是学会调参数提示词怎么写、采样步数设多少、分类器引导的强度用多大。这些参数的调节我已经踩过无数坑后面避坑章节会展开。文本到图像还有一个有趣的细节提示词的顺序和措辞会影响生成结果。同样的名词放在开头还是结尾可能会产生完全不同的构图。这是因为文本编码器对位置较前的词更敏感。经验法则是把核心主题写在前面把风格、光线、细节描述放在后面。4.3 图像超分辨率与编辑SR3和Imagic的具体做法超分辨率是扩散模型在图像恢复领域的重要应用。PPT里提到的SR3模型采用U-Net架构以去噪目标训练迭代地从带噪低分辨率输入中恢复高分辨率细节。它的输入不是纯噪声而是低分辨率图像上采样后再加噪的结果。网络需要同时保留低分辨率内容信息和恢复高频细节训练时还可以微调噪声强度来控制退化程度。相比传统超分算法扩散模型能生成更真实的高频纹理而不是简单插值。图像编辑方面PPT重点讲了Imagic的方法首先利用一个预训练好的文生图扩散模型找到代表输入图像的文本嵌入然后微调扩散模型以适应那张特定图像最后在代表图像的文本嵌入和目标编辑文本嵌入之间做线性插值。这样做能实现非刚性编辑也就是改变姿势、几何形状和组成而不仅仅是调色或加滤镜。这个思路非常优雅把编辑问题转化为嵌入空间中的插值问题。实际使用中这类编辑方法的效果高度依赖原始图像与目标文本的语义距离。如果目标编辑和原图差异太大插值路径上可能没有合理的中间解生成结果会出现伪影。所以我会先测试线性插值的权重范围比如0.3到0.7之间通常比较安全超过这个范围就可能翻车。4.4 图像到图像转换Palette框架下的四个任务图像到图像转换是把一张图从一个域映射到另一个域PPT列举了四个任务上色、修补、取消裁剪、JPEG恢复。这四类任务有一个共同点输入是一张受损或不完整的图像输出是完整清晰的自然图像。Palette框架统一定义了这类任务的条件扩散建模方式。以修补为例把缺失区域用噪声填充然后扩散模型学习去噪的同时填充内容。这样做的好处是生成结果能保证与已知区域颜色和纹理自然衔接不容易出现明显的边界。设计这类系统时要明确一个原则输入退化方式和前向加噪过程的顺序不能颠倒。比如JPEG恢复任务输入图像已经被压缩如果先加噪再让网络去噪网络可能把压缩伪影当成图像内容的一部分。正确做法是在训练阶段同时模拟JPEG压缩和扩散加噪让网络区分两类噪声来源。PPT里这部分的参考文献给出了完整的数学定义建议使用前提前读一遍。表格可以概括这四个任务的核心输入输出差异任务类型输入输出关键点上色灰度图彩色图色彩分布的多样性修补缺失区域图完整图与已知区域的一致性取消裁剪中心裁剪图外扩完整图全局结构推断JPEG恢复压缩图干净图伪影去除与纹理重建5. 扩散模型避坑指南训练和推理中五个高频问题5.1 现象采样速度慢到怀疑人生我第一次跑DDPM采样时生成一张64×64的图像用了接近两分钟当时还以为代码写错了。后来才发现默认的1000步采样在CPU上跑就是这速度。原因扩散模型推理时每步都要完整前向一次Unet1000步就是1000次前向计算量极大。解决换用DDIM采样器把它支持到50步甚至20步质量损失肉眼几乎不可见。再进一步可以用DPM-Solver等高级采样器在10步左右达到可用效果。如果还是慢可以考虑用潜在扩散模型在低维空间采样后再解码回完整图像速度能提升一个数量级。5.2 现象生成图像模糊或出现网格状伪影训练几十个epoch后生成的图像仍然模糊边缘有类似棋盘格的纹理像蒙了一层纱。原因模糊通常意味着网络没有收敛或者损失函数未生效。网格纹理往往是上采样层或pixel shuffle使用不当造成的。另一个常见原因是噪声调度设置不匹配训练和推理用了不同的方差表。解决先检查推理时的噪声调度是否与训练时完全一致特别是起始噪声强度。其次检查上采样方式如果转置卷积没有配上合适的kernel size和padding很容易产生棋盘效应。最后如果图像整体模糊适当增大模型宽度或者增加训练步数。我自己的经验是先把batch size降到8以下排查问题再逐步调大。5.3 现象显存不足导致训不下去在8GB显存的显卡上训练一个128×128的扩散模型batch size设为16直接OOM。原因扩散模型的Unet在多个尺度上保持特征图再加上时间步嵌入和条件信息激活值非常多。显存占用约为同分辨率GAN模型的2到3倍。解决先降batch size到4或者2保证流程能跑通。然后开启梯度累积用多个小batch模拟大batch效果。如果还不行可以启用混合精度训练开启fp16后显存占用能下降40%左右。另外可以考虑用梯度检查点技术用少量计算换显存。5.4 现象文本提示不生效生成内容与描述无关使用预训练文生图模型时输入“一只红色的狗坐在蓝色沙发上”生成结果却是黄色的猫站在草地上跟提示词完全没关系。原因大部分情况下不是模型坏了而是分类器引导强度太低或文本编码器输出被弱化。有些开源推理脚本默认guidance scale设为1.0几乎等于没有条件约束。解决把guidance scale调到7到12之间加强文本条件影响。如果仍不生效检查文本编码器输出的token长度是否被截断或者提示词是否包含非法字符。还有一个隐蔽的问题输入图像需要归一化到预训练模型期望的范围如果像素值尺度不对文本嵌入可能被淹没。5.5 现象评估指标好看实际生成效果却很差训练过程中FID分数逐渐下降看起来模型在变好但人工看生成样本时却发现图片内容扭曲结构和语义混乱。原因FID是在大规模特征空间中计算的分布距离如果训练集中有大量低质量或重复样本FID会被拉低但模型并没有学会正确的结构先验。另外如果网络只学会了低频信息而没学会高频细节FID也会给出误导性信号。解决不要只看FID一定要配合人工观察推理过程的中间输出。从第50步、第100步、第500步分别采样看图像从噪声到结构的过程是否符合直觉。如果早期步骤就出现明显不自然的形状基本可以判断网络容量不足或训练数据有问题。从那以后我每次训练都会保存一组固定的中间步骤可视化图作为惯例检查项而不是只盯着指标数字。6. 用这份PPT快速搭讲解流程演示参数与主线梳理6.1 从PPT提炼讲解主线这份PPT的页面结构本身就是一个很好的演示大纲。我的建议是不要照着PPT逐页念而是按“直觉理解→数学基础→模型对比→应用→局限”这条主线重新组织。开场先用一张“纯噪声→清晰图像”的过程图吸引注意力然后抛出一个反直觉结论“我们以为是在生成图像实际上是在预测噪声。”这句话能让听众瞬间抓牢核心。接下来再用马尔可夫链的无记忆性解释前向过程的数学可行性用UnetAttention解释逆向过程的可学习性最后落到几组应用案例上。讲解时我一般会现场跑一个已经训练好的小模型让听众看到不同采样步数下的效果对比。如果时间不够准备一段录屏也足够。别忘了把PPT里提到的三篇综述论文和四篇应用论文整理成参考资料放到附录页方便听众按需获取。6.2 演示Demo时的推荐参数如果你打算自己跑一个推理Demo我推荐先用开源的预训练潜在扩散模型分辨率设为512×512采样步数设为25guidance scale设为8。这几个参数在大部分消费级显卡上能在10秒内出图。如果你的显卡显存小于6GB把分辨率降到384×384并开启CPU offload虽然慢一些但能保证不OOM。提示词建议写成“带风格前缀的主题描述”例如“油画风格一只猫坐在窗台上”。风格词放前面主题词放后面生成结果的构图通常更可控。如果不满意优先调整guidance scale而不是重写提示词。每次只改一个参数不要同时改步数和引导强度否则没法定位问题。6.3 讲解结束前的一个实用技巧最后分享一个我常用的技巧准备一组“失败案例”对比图。比如故意用5步采样生成模糊图再把引导强度调到20导致颜色过饱和。这些翻车现场比成功案例更能帮助听众理解参数边界。我每次演示都会强制自己走一遍“失败-分析-调整”的过程哪怕只是改变一个数值也能让听众看到参数对结果的影响路径。这样他们回去自己试的时候遇到问题不会慌知道该从哪里排查。希望这篇拆解能帮你在准备扩散模型PPT讲解时少走弯路。本文还有配套的精品资源点击获取