1. 训练和推理的底层逻辑差异扩散模型这两年几乎成了生成式AI的代名词但很多人其实卡在一个很微妙的地方训练的时候明明挺顺利loss也降得漂亮真到inference阶段出图效果却一言难尽。反过来也有训练时各种踩坑调参调得焦头烂额最后勉强能看。要搞清楚这些现象第一件事是把训练和推理这两个阶段分开看别看它们表面上都叫“扩散模型”机制差异大得很。1.1 训练时模型到底在学什么扩散模型的训练阶段核心是前向加噪和噪声预测两件事。前向过程就是给一张干净图像逐步添加高斯噪声直到图像彻底变成纯噪声。这个过程有个很好的数学性质不需要一步一步加给定任意时间步t可以直接从干净图像x₀一步跳到加了t步噪声后的状态xₜ。公式长这样xₜ √(ᾱₜ) · x₀ √(1 - ᾱₜ) · ε其中ε是从标准正态分布里采样出来的噪声ᾱₜ是预先算好的噪声调度参数。整个训练的目标就是让模型去预测这个ε——也就是“我往这张图上加了什么噪声模型你要能猜出来”。所以训练时模型做的工作其实非常单纯输入一个加了噪声的图像xₜ再给它一个时间步t作为条件让它输出一个预测的噪声。然后用L2或者L1损失函数跟真实的ε算距离反向传播更新参数。整个过程是一步到位的监督学习不存在“逐步迭代”这回事。我见过不少人刚接触扩散模型时有个误区以为训练的时候模型也是一步一步去噪的像推理那样反复跑多次。不是的。训练就是单次前向传播加梯度回传效率高得很。DDPM论文里训练一个模型在单张显卡上跑几天就能出不错的效果就是因为训练本身并不复杂。1.2 推理时模型在做什么推理阶段完全不同。这时候没有真实图像了输入是一张纯噪声图我们要让模型一步步把它“还原”成一张干净图像。推理的过程是一个多步迭代从x_T开始每一步利用模型预测的噪声估算出上一步的状态x_{t-1}然后继续往后退直到x₀。每一步都需要一次完整的前向传播所以推理N步模型就要跑N次前向传播。这里最关键的差异就出来了训练时模型预测噪声推理时模型用预测的噪声来“反向走一步”。训练阶段模型只需要预测推理阶段模型不仅要预测还要用预测结果去构造下一步的输入。这意味着推理阶段的每一环都依赖上一步的输出这个链条一旦某一步出问题误差会累积放大。你训练时loss降得再低推理步数不够、调度器选得不对、引导系数调得太高都可能让最终效果崩掉。1.3 两个阶段对时间步的理解角度完全不同时间步t在训练和推理中的角色也要分开理解。训练时t是随机采样出来的。每张训练图进来随机抽一个t然后加对应程度的噪声让模型学着预测。模型并不知道下一个t是什么它只需要针对当前给定的t做好预测就行。所以训练时模型见过所有t的情况从接近0几乎没噪声到接近T几乎纯噪声都有。推理时t是从T逐步递减到0的确定性序列。模型需要沿着这个序列一步步走每一步的输入依赖上一步的输出。这里就出现一个微妙问题训练时t是离散的整数推理时如果我们用了连续时间调度器比如某些SDE求解器模型面对的时间步模式和训练时不完全一致。这要求模型对时间步的嵌入表达得足够细腻不然就会出现“模型在某个t区间上预测不准”的局部拉胯情况。所以有经验的工程师在训练时都会刻意确保时间步采样策略覆盖全区间不能让模型对某些t过于“偏科”。我之前踩过这个坑训练时用了均匀采样但某个区域因为数据分布原因权重偏低推理时一旦走到那个区域图像就开始糊后来调整了时间步采样分布才解决。2. 随机性来源的差别与联系随机性这回事训练和推理的理解如果不透彻很多调参思路都会跑偏。2.1 训练阶段的随机性从哪来训练阶段的随机性主要来自三个地方数据采样、噪声采样、时间步采样。数据采样就是每个batch里抽哪些图这个好理解。噪声采样决定了每一张图被加什么噪声也就是ε的具体取值。时间步采样决定了模型当前看到的加噪程度。三种随机性叠加在一起构成了训练时的数据分布。有意思的是训练阶段这些随机性全部是可见的、可控的。噪声是我们自己加的模型要预测的也是这个具体的噪声。所以训练过程的本质是让模型学会一个从“加噪图 时间步”到“噪声”的映射。随机性越多模型的泛化能力越强但前提是这些随机性确实是独立同分布的不引入偏置。一个很容易被忽视的细节是噪声采样最好用标准正态分布不要图省事用均匀分布也不要自作聪明给噪声加权重。损失函数里已经通过时间步的加权系数对噪声尺度做了补偿噪声本身用标准正态就够了。我用过均匀分布误差明显的教训模型对极端噪声的预测能力会变差推理时高噪声区域的表现非常不稳定。2.2 推理阶段的随机性从哪来推理阶段的随机性来源就比较微妙了。如果用DDPM的原生采样方式每一步在估算均值之外还会加一个随机噪声项这个噪声项是随机采样出来的会让整个生成过程带有随机性。这也是为什么同样的提示词、同样的种子换了随机种子就会出不同图。但如果用DDIM这类确定性采样器推理过程就完全没有随机性了。给定起始噪声整条轨迹是确定的。也就是说随机性只在最开始的那张纯噪声图里。这也是很多同学试过同一个种子出相同图之后产生的疑问来源不是系统出bug了是采样器本身把随机性收敛到起始噪声上了。这个差异在工程上很重要。如果我们做批量推理观察效果DDPM原生采样在相同条件下每次结果都不同DDIM则是一致的。你在调试效果时如果发现两次运行结果完全相同不用惊讶这是确定性采样器的正常行为。2.3 随机性差异对实际调参的影响理解随机性的分布差异对调参有实际指导意义。推理时的起始噪声本质上就是训练时高噪声区对应的状态。训练阶段模型见过大量这个区域的数据推理时起始噪声如果偏离了训练时的分布生成效果就会从第一步开始偏。所以很多推理实现里会先缩放一下起始噪声的幅度让它跟训练时的调度对齐。这个问题我再展开说一点扩散模型的推理起始噪声理想情况下应该服从标准正态分布且既不能太小也不能太大。太小了起步就接近干净图像模型没有足够的“发挥空间”太大了超出模型训练时见过的噪声幅度第一几步就会出伪影。实际经验告诉我用训练时相同的噪声调度参数来缩放起始噪声是成本最低的安全做法。3. 训练和推理的调度器选择差异调度器这两个字在训练和推理里指的东西完全不同如果不注意区分很容易混淆概念。3.1 训练阶段的时间步调度训练阶段我们通常会设计一个噪声调度计划——也就是一组参数βₜ或者对应的ᾱₜ决定每个时间步加多少噪声。常见的有线性调度、余弦调度再往后的版本还有各种改进型。噪声调度的设计直接影响了模型在训练时看到的数据分布。线性调度在t中等区域噪声强度变化较快余弦调度在前半段和后半段更平缓它们各有利弊。实际上很多同学做实验时固定用某个框架的默认值就完了也不去细究里面的含义。但如果你的任务比较特殊比如图像分辨率特别高或者特别低默认调度可能不一定合适。我在一个高分辨率生成项目里就吃过亏。默认调度在低分辨率下没问题换到高分辨率之后模型训练中途loss一直反复震荡生成图像出现细碎伪影。后来把噪声调度替换成更适合高分辨率的版本问题是直接消失了。所以调度选择不是摆设它实质决定了模型“见过的训练样本分布”这跟推理效果强相关。需要注意的是训练时的调度和各时间步的损失加权是配套的。有些实现会额外对时间步加权重比如让中间t对loss的贡献更大。这种操作本质上是在告诉模型“你要在中间区间学得更精细”效果也很直接。3.2 推理阶段的采样调度器推理阶段的调度器就完全另一个维度了——它是决定“怎么从噪声一步步走到干净图像”的数值求解方案。常见的包括DDPM采样器、DDIM采样器、DPM-Solver、DPM 2M之类。不同的采样器在相同步数下生成质量和速度差异极大。比如DDPM原生采样步数少了效果很差而DPM-Solver走十几步就能逼近较好效果。这背后的原因是DDPM原生采样器本质上是某个SDE的离散化步数直接决定离散误差而DPM-Solver这类高阶求解器在数学上做了更精确的近似步数是降低但精度还能保持。实际工程中我一般会先跑一个“步数-质量曲线”扫描固定一个测试提示词用同一个起始噪声分别跑10、20、30、50步对比输出结果的差异。用这个实验来确定最小可接受的步数再根据推理吞吐需求定最终的步数。这个方法看起来土但最可靠比看论文推荐值靠谱多了。3.3 训练推理一体化的调度对齐问题训练和推理的调度差异最隐蔽的坑在于推理时的调度区间和训练时的调度区间必须对齐。训练时模型见过的噪声幅度是从小到大覆盖全范围的但推理时实际走的轨迹并不一定覆盖全范围。有些采样器默认从某个起始时间步开始可能不是T而是0.8T之类的等于跳过了高噪声区。如果你的训练数据分布在那部分有特殊形态模型可能在推理路径上表现不佳。解决思路有两个方向一是推理时显式地从完整噪声状态开始确保第一步模型面对的局面和训练时的高噪声区间匹配二是训练时也可以降低高噪声区间的加权让模型重点学习推理真正会走到的区间。两种方向各有应用场景我倾向于默认对齐全区间除非有明确的效率收益才考虑剪短轨迹。4. 关键参数设置上的训练与推理差异参数这件事训练和推理的差异可能是最直观的也是最容易踩坑的。很多人把训练时的习惯带到推理时或者反过来效果都不好。4.1 训练时的关键参数训练阶段的核心参数包括学习率、batch size、EMA、dropout、loss权重、时间步采样分布等。学习率这块扩散模型和常规分类模型的差别不算太大AdamW是标配学习率一般从1e-4到1e-5之间调试。batch size决定了梯度估计的稳定性也直接影响显存占用。EMA在训练扩散模型中几乎可以用“必备”来形容它通过参数滑动平均让模型的推理表现比当前权重更平滑。dropout在训练扩散模型中是个有争议的点。全量训练时dropout会让训练和推理行为不一致因为推理时dropout会关闭。有些微调场景反而靠dropout来防止过拟合。我的经验是全量训练时不太建议加dropout除非你有明确理由微调或做风格适配的时候dropout值设置在0.1到0.2之间比较合适再高了生成结果会开始发灰。loss权重这块很多主流实现默认已经是调优过的了一般不需要额外折腾。但如果你自己写训练循环一定要确保时间步对应的加权系数和噪声调度匹配不匹配的后果就是模型在部分时间步上的预测精度明显偏低。4.2 推理时的关键参数推理阶段就完全不同了。最常调的是步数、引导系数CFG scale、采样器类型、负向提示词如果有、图像尺寸和种子这些。步数是质量和速度最直接的权衡。步数太少离散误差大图像会出现结构崩坏、细节缺失。步数太多推理时间线性上涨且收益急速递减。对大多数用DPM-Solver系列的情况20到30步已经能拿到很稳定的结果而DDIM通常需要50步以上。引导系数CFG是扩散模型推理独有的参数它改变了采样轨迹的分布朝向让模型更“听从”条件信息。CFG越高图像越锐利、越贴近条件描述但超过某个值之后色彩会开始过饱和图像出现伪影甚至彻底崩坏。不同模型、不同采样器的最优CFG值不一样。我做项目时通常会在一个固定步数下对CFG做一次网格扫描比如4、7、10、13、16几档肉眼对比后确定一个最优区间。负向提示词的原理其实也和CFG相关实质是另一个条件引导方向的辅助。它不是训练里出现的东西完全属于推理侧的技巧。4.3 训练和推理参数差异的一个关键对比表为了便于对照我把两个阶段的核心参数列成一张表方便做方案设计时直接参考。参数维度训练阶段推理阶段模型前向次数每步训练只前向1次每张图要前向N次N为采样步数随机性来源数据采样、噪声采样、时间步采样起始噪声或每步追加噪声取决于采样器时间步处理随机单步采样一次训练只看一个t从T到0的逐步迭代序列调度器含义噪声幅度调度决定训练数据分布数值求解器决定去噪轨迹的逼近方式样本无关的公共参数学习率、batch、EMA、dropout步数、CFG、采样器类型、种子显存占用特征梯度、优化器状态、batch叠加仅前向推理显存通常远低于训练耗时特征单个step很快但总轮数大单个样本耗时长但可并行批量处理这张表基本把训练和推理的框架差异列全了。实际工作中我们既不能完全割裂地看待训练和推理也不能混为一谈。正确思路是训练好一套能覆盖全时间步分布的模型推理时在保持调度一致的前提下做效率和质量的权衡。5. 显存与计算效率的差异这个维度在工程落地中逃不掉。训练和推理对算力资源的需求模式差别很大理解清楚了才能做好资源规划。5.1 训练阶段的显存开销训练时显存消耗的大头是激活值、梯度和优化器状态。一个batch里每张图的前向激活要缓存反向传播时要重新计算或用缓存的值求梯度然后AdamW还要维护一阶矩和二阶矩。这三样叠加起来训练显存是推理的好几倍甚至一个数量级。所以训练时我们通常会限制batch size让它跟显存匹配。梯度累积gradient accumulation是一种常见的折中方案小batch跑几步把梯度累加起来再统一更新参数。这样梯度等效于一个大batch物理显存却只占小batch的量。代价是训练时间变长因为每一步都还有额外的参数更新开销。另一个常用的省显存技巧是混合精度训练。用FP16或BF16跑前向和反向参数主副本保持FP32。BF16在某些硬件上更稳定不容易出现数值溢出是近两年扩散模型训练的主流选择。如果你的loss经常出现NaN先检查混合精度相关设置别急着怀疑模型结构。5.2 推理阶段的显存特征推理时显存开销要小得多。不需要梯度不需要优化器状态缓存也轻主要就是模型参数和当前激活。所以推理时能把batch size开得很大甚至单张卡同时推理若干张图。但是有一个坑就是推理时的步数决定了一次生成要做多少次前向传播。虽然每一步显存不高但如果用大batch同时推理前向计算反复执行计算时间总量仍然很可观。显存管住了不代表时间就省了。工程上一个常用的优化手段是模型量化或者蒸馏。把模型从FP16降到INT8单步推理的延迟降低显存进一步减少。对于线上服务场景扩散模型的蒸馏版模型几乎成了标配Stable Diffusion系列之后的社区蒸馏模型能几秒钟出图就是因为把推理步数压到了个位数同时保留了大致相同的视觉效果。5.3 训练效率与推理效率的不可兼得训练高效的模型架构推理不一定高效。反过来也一样。典型的例子是扩散模型里用更多Transformer结构提升表达能力训练收敛更快了但推理时每一步的计算量可能更大了。工程上做选型时我会明确区分两个阶段的目标。训练阶段追求的是模型收敛质量和训练成本之间的平衡推理阶段追求的是单位时间能产出多少合格图和单张图的延迟。两者需要分别优化有时候甚至要为了推理效率牺牲部分训练便利性比如减少模型中的冗余层、用FFN替换部分重计算模块。我做某跨平台系统的图像生成模块时就是这样训练阶段用完整的高精度模型来做离线训练部署时只用蒸馏版本的轻量模型。离线跑多久都无所谓但线上单次推理延迟必须控制在可接受范围内。这个思路虽然说起来简单实际操作时要反复验证蒸馏后的效果损失是否在业务容忍范围内。6. 实操经验典型问题排查与技巧实录最后这部分我把实际项目中碰到的典型问题整理出来这些问题中相当一部分的根因都出在训练与推理机制没对齐的环节上。6.1 训练loss下降但生成效果差这是最常见的问题之一。训练阶段loss持续下降监控曲线很漂亮一跑推理效果却很差。排查思路第一站是检查推理时使用的采样参数是否异常——步数是否太少CFG是否太高采样器是否选错。这两块物理影响极大经常是九成问题的根源。排除这些之后看调度对齐。我遇过一种情况模型在训练时用了某种加噪调度推理代码里却默认用了另一套调度参数导致模型看到的噪声尺度跟训练时完全不同。那推理效果自然是一塌糊涂。解决办法就是把训练调度参数显式传给推理代码单独设定统一的调度配置。再往后看数据分布。如果训练数据本身体量不够或者有偏置模型学到的分布就是偏的loss再怎么降也只能在一个偏了的分布上拟合。这种问题没法单靠调采样参数解决得回到数据层面处理。6.2 推理结果色彩过饱和或发灰色彩问题是推理侧的高频症状但根因也可能是训练侧。过饱和最常见的原因是CFG太高。CFG放大条件信息的同时相当于给生成分布施加了更“用力”的拉拽色彩就会跟着往极端走。解决方案很简单降低CFG或者给CFG加一些动态衰减策略在后期步数降低引导强度。发灰通常意味着生成结果朝均值回归。一个常见原因是推理步数太少模型还没法把高频细节从噪声中分离出来最终输出呈现平滑化倾向。另一个原因可能出在dropout没关干净。训练时开了dropout推理时如果忘记切换到eval模式模型的输出会偏糊偏灰。这个小坑我印象很深有一次排查了很久才发现是mode switch漏了。6.3 相同种子但结果不可复现这种情况通常不是模型问题而是推理链路的随机源没管好。比如使用了非确定性采样器或者GPU算子本身存在非确定性执行路径。解决办法是把推理代码里的随机数生成器显式固定下来并且确保采样器是确定性的。特别要注意某些算子在不同batch大小下随机行为不同不要以为固定种子就万事大吉。如果环境允许直接指定确定性算法牺牲一点算子性能换取完全可复现。6.4 指定步数下推理速度不可接受推理速度问题主要从三块入手采样器类型、步数、模型结构。采样器类型优先换DPM-Solver这类高阶求解器能大幅压步数。步数上限砍到当前质量可接受的范围别用默认建议值死磕。模型结构如果还有空间可以做剪枝或量化推理。还有一个小技巧——批处理时把不同尺寸或不同条件的batch分桶避免计算浪费。比如同时推理一批图步数相同但CFG条件不同实际计算图没法复用但如果让相同步长的样本走一个batch就能最大化GPU利用率。6.5 模型对特定提示词或特定类别敏感这种现象让我以前很头疼。模型整体表现不差但对某些特定内容生成的图有明显质量下滑像没见过这类数据一样。原因无非两种训练数据里这类样本量不足或者推理引导参数不适合这类内容。第一种问题回训练侧多采数据或加数据增强。第二种问题可以通过针对这类内容做一次步数和CFG的专门扫描来解决有些时候只是默认参数对这部分内容不友好。我在实操中还有一个习惯训练完成后先拿一组固定种子和固定参数跑一遍标准测试集把输出存档作为回归基准。后续每次改训练策略、改推理参数都跑同一套测试集做对比。这样做最大的好处是任何一次改动带来的效果变化都可感知、可回溯不会出现“感觉变好了但说不清哪里变了”的情况。这套方法帮我少走了很多弯路。对于刚接触扩散模型的朋友我的建议是先不要急着上花哨的采样器和高阶调度方案老老实实用默认参数跑通训练和推理闭环再用控制变量法逐项调整。每一步只改一个变量记录效果差异慢慢你就对训练与推理的行为差异有了体感。这个过程虽然费时间但它能帮你建立一套自己的调试直觉比任何论文里的参数表格都管用。 
长河君 · 2026/10/17 3:11:15 · 阅读 1.2k 扩散模型训练与推理差异全解析：从噪声预测到工程调优
1. 训练和推理的底层逻辑差异扩散模型这两年几乎成了生成式AI的代名词但很多人其实卡在一个很微妙的地方训练的时候明明挺顺利loss也降得漂亮真到inference阶段出图效果却一言难尽。反过来也有训练时各种踩坑调参调得焦头烂额最后勉强能看。要搞清楚这些现象第一件事是把训练和推理这两个阶段分开看别看它们表面上都叫“扩散模型”机制差异大得很。1.1 训练时模型到底在学什么扩散模型的训练阶段核心是前向加噪和噪声预测两件事。前向过程就是给一张干净图像逐步添加高斯噪声直到图像彻底变成纯噪声。这个过程有个很好的数学性质不需要一步一步加给定任意时间步t可以直接从干净图像x₀一步跳到加了t步噪声后的状态xₜ。公式长这样xₜ √(ᾱₜ) · x₀ √(1 - ᾱₜ) · ε其中ε是从标准正态分布里采样出来的噪声ᾱₜ是预先算好的噪声调度参数。整个训练的目标就是让模型去预测这个ε——也就是“我往这张图上加了什么噪声模型你要能猜出来”。所以训练时模型做的工作其实非常单纯输入一个加了噪声的图像xₜ再给它一个时间步t作为条件让它输出一个预测的噪声。然后用L2或者L1损失函数跟真实的ε算距离反向传播更新参数。整个过程是一步到位的监督学习不存在“逐步迭代”这回事。我见过不少人刚接触扩散模型时有个误区以为训练的时候模型也是一步一步去噪的像推理那样反复跑多次。不是的。训练就是单次前向传播加梯度回传效率高得很。DDPM论文里训练一个模型在单张显卡上跑几天就能出不错的效果就是因为训练本身并不复杂。1.2 推理时模型在做什么推理阶段完全不同。这时候没有真实图像了输入是一张纯噪声图我们要让模型一步步把它“还原”成一张干净图像。推理的过程是一个多步迭代从x_T开始每一步利用模型预测的噪声估算出上一步的状态x_{t-1}然后继续往后退直到x₀。每一步都需要一次完整的前向传播所以推理N步模型就要跑N次前向传播。这里最关键的差异就出来了训练时模型预测噪声推理时模型用预测的噪声来“反向走一步”。训练阶段模型只需要预测推理阶段模型不仅要预测还要用预测结果去构造下一步的输入。这意味着推理阶段的每一环都依赖上一步的输出这个链条一旦某一步出问题误差会累积放大。你训练时loss降得再低推理步数不够、调度器选得不对、引导系数调得太高都可能让最终效果崩掉。1.3 两个阶段对时间步的理解角度完全不同时间步t在训练和推理中的角色也要分开理解。训练时t是随机采样出来的。每张训练图进来随机抽一个t然后加对应程度的噪声让模型学着预测。模型并不知道下一个t是什么它只需要针对当前给定的t做好预测就行。所以训练时模型见过所有t的情况从接近0几乎没噪声到接近T几乎纯噪声都有。推理时t是从T逐步递减到0的确定性序列。模型需要沿着这个序列一步步走每一步的输入依赖上一步的输出。这里就出现一个微妙问题训练时t是离散的整数推理时如果我们用了连续时间调度器比如某些SDE求解器模型面对的时间步模式和训练时不完全一致。这要求模型对时间步的嵌入表达得足够细腻不然就会出现“模型在某个t区间上预测不准”的局部拉胯情况。所以有经验的工程师在训练时都会刻意确保时间步采样策略覆盖全区间不能让模型对某些t过于“偏科”。我之前踩过这个坑训练时用了均匀采样但某个区域因为数据分布原因权重偏低推理时一旦走到那个区域图像就开始糊后来调整了时间步采样分布才解决。2. 随机性来源的差别与联系随机性这回事训练和推理的理解如果不透彻很多调参思路都会跑偏。2.1 训练阶段的随机性从哪来训练阶段的随机性主要来自三个地方数据采样、噪声采样、时间步采样。数据采样就是每个batch里抽哪些图这个好理解。噪声采样决定了每一张图被加什么噪声也就是ε的具体取值。时间步采样决定了模型当前看到的加噪程度。三种随机性叠加在一起构成了训练时的数据分布。有意思的是训练阶段这些随机性全部是可见的、可控的。噪声是我们自己加的模型要预测的也是这个具体的噪声。所以训练过程的本质是让模型学会一个从“加噪图 时间步”到“噪声”的映射。随机性越多模型的泛化能力越强但前提是这些随机性确实是独立同分布的不引入偏置。一个很容易被忽视的细节是噪声采样最好用标准正态分布不要图省事用均匀分布也不要自作聪明给噪声加权重。损失函数里已经通过时间步的加权系数对噪声尺度做了补偿噪声本身用标准正态就够了。我用过均匀分布误差明显的教训模型对极端噪声的预测能力会变差推理时高噪声区域的表现非常不稳定。2.2 推理阶段的随机性从哪来推理阶段的随机性来源就比较微妙了。如果用DDPM的原生采样方式每一步在估算均值之外还会加一个随机噪声项这个噪声项是随机采样出来的会让整个生成过程带有随机性。这也是为什么同样的提示词、同样的种子换了随机种子就会出不同图。但如果用DDIM这类确定性采样器推理过程就完全没有随机性了。给定起始噪声整条轨迹是确定的。也就是说随机性只在最开始的那张纯噪声图里。这也是很多同学试过同一个种子出相同图之后产生的疑问来源不是系统出bug了是采样器本身把随机性收敛到起始噪声上了。这个差异在工程上很重要。如果我们做批量推理观察效果DDPM原生采样在相同条件下每次结果都不同DDIM则是一致的。你在调试效果时如果发现两次运行结果完全相同不用惊讶这是确定性采样器的正常行为。2.3 随机性差异对实际调参的影响理解随机性的分布差异对调参有实际指导意义。推理时的起始噪声本质上就是训练时高噪声区对应的状态。训练阶段模型见过大量这个区域的数据推理时起始噪声如果偏离了训练时的分布生成效果就会从第一步开始偏。所以很多推理实现里会先缩放一下起始噪声的幅度让它跟训练时的调度对齐。这个问题我再展开说一点扩散模型的推理起始噪声理想情况下应该服从标准正态分布且既不能太小也不能太大。太小了起步就接近干净图像模型没有足够的“发挥空间”太大了超出模型训练时见过的噪声幅度第一几步就会出伪影。实际经验告诉我用训练时相同的噪声调度参数来缩放起始噪声是成本最低的安全做法。3. 训练和推理的调度器选择差异调度器这两个字在训练和推理里指的东西完全不同如果不注意区分很容易混淆概念。3.1 训练阶段的时间步调度训练阶段我们通常会设计一个噪声调度计划——也就是一组参数βₜ或者对应的ᾱₜ决定每个时间步加多少噪声。常见的有线性调度、余弦调度再往后的版本还有各种改进型。噪声调度的设计直接影响了模型在训练时看到的数据分布。线性调度在t中等区域噪声强度变化较快余弦调度在前半段和后半段更平缓它们各有利弊。实际上很多同学做实验时固定用某个框架的默认值就完了也不去细究里面的含义。但如果你的任务比较特殊比如图像分辨率特别高或者特别低默认调度可能不一定合适。我在一个高分辨率生成项目里就吃过亏。默认调度在低分辨率下没问题换到高分辨率之后模型训练中途loss一直反复震荡生成图像出现细碎伪影。后来把噪声调度替换成更适合高分辨率的版本问题是直接消失了。所以调度选择不是摆设它实质决定了模型“见过的训练样本分布”这跟推理效果强相关。需要注意的是训练时的调度和各时间步的损失加权是配套的。有些实现会额外对时间步加权重比如让中间t对loss的贡献更大。这种操作本质上是在告诉模型“你要在中间区间学得更精细”效果也很直接。3.2 推理阶段的采样调度器推理阶段的调度器就完全另一个维度了——它是决定“怎么从噪声一步步走到干净图像”的数值求解方案。常见的包括DDPM采样器、DDIM采样器、DPM-Solver、DPM 2M之类。不同的采样器在相同步数下生成质量和速度差异极大。比如DDPM原生采样步数少了效果很差而DPM-Solver走十几步就能逼近较好效果。这背后的原因是DDPM原生采样器本质上是某个SDE的离散化步数直接决定离散误差而DPM-Solver这类高阶求解器在数学上做了更精确的近似步数是降低但精度还能保持。实际工程中我一般会先跑一个“步数-质量曲线”扫描固定一个测试提示词用同一个起始噪声分别跑10、20、30、50步对比输出结果的差异。用这个实验来确定最小可接受的步数再根据推理吞吐需求定最终的步数。这个方法看起来土但最可靠比看论文推荐值靠谱多了。3.3 训练推理一体化的调度对齐问题训练和推理的调度差异最隐蔽的坑在于推理时的调度区间和训练时的调度区间必须对齐。训练时模型见过的噪声幅度是从小到大覆盖全范围的但推理时实际走的轨迹并不一定覆盖全范围。有些采样器默认从某个起始时间步开始可能不是T而是0.8T之类的等于跳过了高噪声区。如果你的训练数据分布在那部分有特殊形态模型可能在推理路径上表现不佳。解决思路有两个方向一是推理时显式地从完整噪声状态开始确保第一步模型面对的局面和训练时的高噪声区间匹配二是训练时也可以降低高噪声区间的加权让模型重点学习推理真正会走到的区间。两种方向各有应用场景我倾向于默认对齐全区间除非有明确的效率收益才考虑剪短轨迹。4. 关键参数设置上的训练与推理差异参数这件事训练和推理的差异可能是最直观的也是最容易踩坑的。很多人把训练时的习惯带到推理时或者反过来效果都不好。4.1 训练时的关键参数训练阶段的核心参数包括学习率、batch size、EMA、dropout、loss权重、时间步采样分布等。学习率这块扩散模型和常规分类模型的差别不算太大AdamW是标配学习率一般从1e-4到1e-5之间调试。batch size决定了梯度估计的稳定性也直接影响显存占用。EMA在训练扩散模型中几乎可以用“必备”来形容它通过参数滑动平均让模型的推理表现比当前权重更平滑。dropout在训练扩散模型中是个有争议的点。全量训练时dropout会让训练和推理行为不一致因为推理时dropout会关闭。有些微调场景反而靠dropout来防止过拟合。我的经验是全量训练时不太建议加dropout除非你有明确理由微调或做风格适配的时候dropout值设置在0.1到0.2之间比较合适再高了生成结果会开始发灰。loss权重这块很多主流实现默认已经是调优过的了一般不需要额外折腾。但如果你自己写训练循环一定要确保时间步对应的加权系数和噪声调度匹配不匹配的后果就是模型在部分时间步上的预测精度明显偏低。4.2 推理时的关键参数推理阶段就完全不同了。最常调的是步数、引导系数CFG scale、采样器类型、负向提示词如果有、图像尺寸和种子这些。步数是质量和速度最直接的权衡。步数太少离散误差大图像会出现结构崩坏、细节缺失。步数太多推理时间线性上涨且收益急速递减。对大多数用DPM-Solver系列的情况20到30步已经能拿到很稳定的结果而DDIM通常需要50步以上。引导系数CFG是扩散模型推理独有的参数它改变了采样轨迹的分布朝向让模型更“听从”条件信息。CFG越高图像越锐利、越贴近条件描述但超过某个值之后色彩会开始过饱和图像出现伪影甚至彻底崩坏。不同模型、不同采样器的最优CFG值不一样。我做项目时通常会在一个固定步数下对CFG做一次网格扫描比如4、7、10、13、16几档肉眼对比后确定一个最优区间。负向提示词的原理其实也和CFG相关实质是另一个条件引导方向的辅助。它不是训练里出现的东西完全属于推理侧的技巧。4.3 训练和推理参数差异的一个关键对比表为了便于对照我把两个阶段的核心参数列成一张表方便做方案设计时直接参考。参数维度训练阶段推理阶段模型前向次数每步训练只前向1次每张图要前向N次N为采样步数随机性来源数据采样、噪声采样、时间步采样起始噪声或每步追加噪声取决于采样器时间步处理随机单步采样一次训练只看一个t从T到0的逐步迭代序列调度器含义噪声幅度调度决定训练数据分布数值求解器决定去噪轨迹的逼近方式样本无关的公共参数学习率、batch、EMA、dropout步数、CFG、采样器类型、种子显存占用特征梯度、优化器状态、batch叠加仅前向推理显存通常远低于训练耗时特征单个step很快但总轮数大单个样本耗时长但可并行批量处理这张表基本把训练和推理的框架差异列全了。实际工作中我们既不能完全割裂地看待训练和推理也不能混为一谈。正确思路是训练好一套能覆盖全时间步分布的模型推理时在保持调度一致的前提下做效率和质量的权衡。5. 显存与计算效率的差异这个维度在工程落地中逃不掉。训练和推理对算力资源的需求模式差别很大理解清楚了才能做好资源规划。5.1 训练阶段的显存开销训练时显存消耗的大头是激活值、梯度和优化器状态。一个batch里每张图的前向激活要缓存反向传播时要重新计算或用缓存的值求梯度然后AdamW还要维护一阶矩和二阶矩。这三样叠加起来训练显存是推理的好几倍甚至一个数量级。所以训练时我们通常会限制batch size让它跟显存匹配。梯度累积gradient accumulation是一种常见的折中方案小batch跑几步把梯度累加起来再统一更新参数。这样梯度等效于一个大batch物理显存却只占小batch的量。代价是训练时间变长因为每一步都还有额外的参数更新开销。另一个常用的省显存技巧是混合精度训练。用FP16或BF16跑前向和反向参数主副本保持FP32。BF16在某些硬件上更稳定不容易出现数值溢出是近两年扩散模型训练的主流选择。如果你的loss经常出现NaN先检查混合精度相关设置别急着怀疑模型结构。5.2 推理阶段的显存特征推理时显存开销要小得多。不需要梯度不需要优化器状态缓存也轻主要就是模型参数和当前激活。所以推理时能把batch size开得很大甚至单张卡同时推理若干张图。但是有一个坑就是推理时的步数决定了一次生成要做多少次前向传播。虽然每一步显存不高但如果用大batch同时推理前向计算反复执行计算时间总量仍然很可观。显存管住了不代表时间就省了。工程上一个常用的优化手段是模型量化或者蒸馏。把模型从FP16降到INT8单步推理的延迟降低显存进一步减少。对于线上服务场景扩散模型的蒸馏版模型几乎成了标配Stable Diffusion系列之后的社区蒸馏模型能几秒钟出图就是因为把推理步数压到了个位数同时保留了大致相同的视觉效果。5.3 训练效率与推理效率的不可兼得训练高效的模型架构推理不一定高效。反过来也一样。典型的例子是扩散模型里用更多Transformer结构提升表达能力训练收敛更快了但推理时每一步的计算量可能更大了。工程上做选型时我会明确区分两个阶段的目标。训练阶段追求的是模型收敛质量和训练成本之间的平衡推理阶段追求的是单位时间能产出多少合格图和单张图的延迟。两者需要分别优化有时候甚至要为了推理效率牺牲部分训练便利性比如减少模型中的冗余层、用FFN替换部分重计算模块。我做某跨平台系统的图像生成模块时就是这样训练阶段用完整的高精度模型来做离线训练部署时只用蒸馏版本的轻量模型。离线跑多久都无所谓但线上单次推理延迟必须控制在可接受范围内。这个思路虽然说起来简单实际操作时要反复验证蒸馏后的效果损失是否在业务容忍范围内。6. 实操经验典型问题排查与技巧实录最后这部分我把实际项目中碰到的典型问题整理出来这些问题中相当一部分的根因都出在训练与推理机制没对齐的环节上。6.1 训练loss下降但生成效果差这是最常见的问题之一。训练阶段loss持续下降监控曲线很漂亮一跑推理效果却很差。排查思路第一站是检查推理时使用的采样参数是否异常——步数是否太少CFG是否太高采样器是否选错。这两块物理影响极大经常是九成问题的根源。排除这些之后看调度对齐。我遇过一种情况模型在训练时用了某种加噪调度推理代码里却默认用了另一套调度参数导致模型看到的噪声尺度跟训练时完全不同。那推理效果自然是一塌糊涂。解决办法就是把训练调度参数显式传给推理代码单独设定统一的调度配置。再往后看数据分布。如果训练数据本身体量不够或者有偏置模型学到的分布就是偏的loss再怎么降也只能在一个偏了的分布上拟合。这种问题没法单靠调采样参数解决得回到数据层面处理。6.2 推理结果色彩过饱和或发灰色彩问题是推理侧的高频症状但根因也可能是训练侧。过饱和最常见的原因是CFG太高。CFG放大条件信息的同时相当于给生成分布施加了更“用力”的拉拽色彩就会跟着往极端走。解决方案很简单降低CFG或者给CFG加一些动态衰减策略在后期步数降低引导强度。发灰通常意味着生成结果朝均值回归。一个常见原因是推理步数太少模型还没法把高频细节从噪声中分离出来最终输出呈现平滑化倾向。另一个原因可能出在dropout没关干净。训练时开了dropout推理时如果忘记切换到eval模式模型的输出会偏糊偏灰。这个小坑我印象很深有一次排查了很久才发现是mode switch漏了。6.3 相同种子但结果不可复现这种情况通常不是模型问题而是推理链路的随机源没管好。比如使用了非确定性采样器或者GPU算子本身存在非确定性执行路径。解决办法是把推理代码里的随机数生成器显式固定下来并且确保采样器是确定性的。特别要注意某些算子在不同batch大小下随机行为不同不要以为固定种子就万事大吉。如果环境允许直接指定确定性算法牺牲一点算子性能换取完全可复现。6.4 指定步数下推理速度不可接受推理速度问题主要从三块入手采样器类型、步数、模型结构。采样器类型优先换DPM-Solver这类高阶求解器能大幅压步数。步数上限砍到当前质量可接受的范围别用默认建议值死磕。模型结构如果还有空间可以做剪枝或量化推理。还有一个小技巧——批处理时把不同尺寸或不同条件的batch分桶避免计算浪费。比如同时推理一批图步数相同但CFG条件不同实际计算图没法复用但如果让相同步长的样本走一个batch就能最大化GPU利用率。6.5 模型对特定提示词或特定类别敏感这种现象让我以前很头疼。模型整体表现不差但对某些特定内容生成的图有明显质量下滑像没见过这类数据一样。原因无非两种训练数据里这类样本量不足或者推理引导参数不适合这类内容。第一种问题回训练侧多采数据或加数据增强。第二种问题可以通过针对这类内容做一次步数和CFG的专门扫描来解决有些时候只是默认参数对这部分内容不友好。我在实操中还有一个习惯训练完成后先拿一组固定种子和固定参数跑一遍标准测试集把输出存档作为回归基准。后续每次改训练策略、改推理参数都跑同一套测试集做对比。这样做最大的好处是任何一次改动带来的效果变化都可感知、可回溯不会出现“感觉变好了但说不清哪里变了”的情况。这套方法帮我少走了很多弯路。对于刚接触扩散模型的朋友我的建议是先不要急着上花哨的采样器和高阶调度方案老老实实用默认参数跑通训练和推理闭环再用控制变量法逐项调整。每一步只改一个变量记录效果差异慢慢你就对训练与推理的行为差异有了体感。这个过程虽然费时间但它能帮你建立一套自己的调试直觉比任何论文里的参数表格都管用。