Stable Diffusion应该是最近两三年里对普通人冲击最大的AI模型之一。输入一行文字二三十秒后出来一幅完整度相当高的图像放在三年前想都不敢想。但大多数人其实只接触过WebUI或者ComfyUI这种封装好的界面点几个按钮就能出图真正问到“CLIP在里面干了什么”“UNet为什么长成U型”“扩散模型的每一步去噪到底在算什么”能说清楚的人就不多了。这篇笔记捋的是我自己对着论文和源码过了一遍的四集学习记录我尽量用直白的方式把CLIP文本编码、扩散模型、UNet结构和文生图代码实战串起来讲。不管你是刚入门的AI绘画爱好者还是想深入源码甚至自己微调模型的工程师这篇都可以当成一份能反复查阅的参考资料。1. 先看全局Stable Diffusion这套架构到底在解决什么问题第一次接触Stable Diffusion的时候我也很懵一会儿VAE、一会儿CLIP、一会儿又是UNet名字太多容易绕晕。后来我把整个流程画成了一条流水线文字输入经过CLIP变成语言向量随机噪声作为初始“画布”放到潜空间里由UNet一步步去噪去噪过程中每一步都会参考语言向量来调整方向最后VAE把潜空间解密成真正能看的像素图。这么一看整个模型其实就是在做一个从“语言条件加随机噪声”到“最终图像”的映射三个模块各自负责一段谁也不能缺席。1.1 从生成任务倒推模块设计直接生成一张512x512的彩色图片意味着要在512x512x3的像素空间里做推理。如果用纯粹在像素空间跑的扩散模型每一步都要处理约78万个数值训练和推理的算力开销都是天文数字。这也是为什么Stable Diffusion选择了潜空间方案先用VAE把图像压缩到一个64x64x4的潜变量里体积直接缩了两三个数量级扩散过程只在潜空间进行最后再解码回像素。打个比方你在巨幅海报上画草图每改一笔的成本都很高而在小稿纸上反复调整构图定稿后再放大到海报上效率完全不同。有了潜空间这张“草稿纸”剩下的就是两个核心问题一是如何让模型理解你想要的画面内容二是如何让模型在草稿纸上逐步细化出画面。前者交给CLIP文本编码器后者交给UNet在不同噪声强度下的去噪过程。三个模块各司其职组合起来正是Stable Diffusion能在消费级显卡上跑起来的原因。很多人把Stable Diffusion简单理解成“扩散模型”也没错但扩散模型只是核心引擎整个系统是围绕它打造的一套完整流水线。1.2 为什么必须理解CLIP、扩散模型和UNet三者配合我踩过一个坑单纯记住“Stable Diffusion 扩散模型”结果看到VAE和CLIP还是一头雾水。其实三者之间是强耦合的。没有CLIPUNet就不知道这行文字想表达什么没有扩散模型UNet就无事可做因为没有“加噪-去噪”这个过程网络学不到“噪声如何退回清晰图像”没有VAE整套流程就要在像素空间硬算普通显卡根本扛不住。理解这一层你再看WebUI里的各种选项就会清晰很多采样器是扩散模型的采样策略CFG Scale是文本引导强度重绘幅度是潜变量替换比例这些都是流水线上某个环节的参数旋钮。所以说学Stable Diffusion不要急着背参数先把模块分工搞清楚。后面的内容我会逐个拆开讲但请记住它们不是三个独立的模型而是同一条流水线上前后衔接的部件。2. CLIP文本编码器文字是怎么变成模型认识的向量的先讲文字这一端。Stable Diffusion里用到的CLIP全称是Contrastive Language-Image Pre-TrainingOpenAI在2021年提出。它的本意是学习“文字和图片之间的对应关系”训练方式是对比学习给出一批图文对让模型学会把匹配的文本和图像在向量空间里拉近把不匹配的推远。训练完成之后它会得到两个编码器一个处理图像一个处理文本。在Stable Diffusion里我们只用到它的文本编码器这个常被忽略的细节其实很关键。2.1 文本编码器的输入输出细节CLIP的文本编码器本身是一个Transformer分词用的是字节对编码BPE词表大小在49408左右。它有一个硬性限制最多接受77个token的输入序列。这个77不是随便定的是训练时的上下文长度最大就是77。如果你输入的长句超过77个token后面部分会被直接截断这也是为什么很多老手建议把提示词里最重要的关键词放在前面越靠后越容易被丢掉。输入一句提示词之后文本编码器输出的是一个形状为77x768的浮点数组。注意它不是简单的“整个句子的向量”而是77个位置各自的768维嵌入。768对应CLIP ViT-B/32的隐层大小如果用的是更强的ViT-L/14版本维度会变成1280。这个细节在对比不同模型时特别关键比如把SD1.5的文本编码器换成SDXL的输入维度都不一样不能直接混用这也是很多社区模型要求固定使用某个text encoder版本的原因。2.2 文本嵌入在扩散过程中扮演什么角色在UNet中文本嵌入不会一次性被“用完”它会贯穿整个去噪过程。每一步UNet都会通过CrossAttention机制把当前的图像特征作为查询Query把文本特征作为键和值Key和Value让图像特征去“检索”文本信息从而决定下一步往哪个方向去噪。换句话说文本嵌入就是一个始终在后台起作用的路标。这也能解释为什么改提示词后只是某一两个词语变化整张图的结构都会跟着变——因为每个像素位置都在重新匹配文本里的词语。还有一个经常被忽略的点无分类器引导Classifier-Free GuidanceCFG。推理时模型会做两次预测一次针对空文本无条件的噪声预测一次针对你输入的提示词有条件的噪声预测然后按下式合并noise_pred noise_uncond guidance_scale * (noise_cond - noise_uncond)这个guidance_scale就是你在WebUI里看到的CFG Scale。数值越大模型越偏向“忠实执行文本”但过大的时候图像会过饱和、出现彩色伪影。这个公式直观地把“遵循文本的程度”变成可调节的旋钮理解它之后调参就不必再靠玄学。2.3 CLIP使用与微调时的几个容易踩的坑CLIP模型微调这两年越来越多人关注常见方向是LoRA微调因为CLIP参数量不小直接全量微调很容易过拟合。几个经验微调CLIP文本编码器时如果不是做图文匹配任务建议冻结图像编码器只调文本侧能省一半显存和大量训练时间。数据量不够大的时候学习率要调得非常小通常在1e-5甚至5e-6起步比UNet的LoRA低一个数量级。在Stable Diffusion微调场景中很多人会同时对UNet和文本编码器做LoRA此时文本编码器的LoRA权重占比不需要太高0.4到0.6就够太高反而会破坏原始语义。另外SD的文本编码器对输入文本是大小写不敏感的但它非常依赖“自然语言短语”。你写“cat, running, on, grass”这种碎片化提示词效果往往不如“a cat running on the grass”。这背后其实是CLIP训练数据里自然语句占多数的原因模型更擅长理解语法通顺的表达。这个习惯在后文代码实战里也能明显看到。3. 扩散模型与UNet去噪这台发动机是怎么运转的CLIP解决了“听懂话”的问题接下来就是最核心的“画出来”。理论基础来自扩散模型去噪主体则是UNet。要真正理解UNet在每一层做了什么得先把扩散模型的前向加噪和反向去噪讲清楚。3.1 前向过程把一张清晰图片慢慢搅成噪声扩散模型最早的思想来自物理中的热扩散一滴墨在水中慢慢散开最后整杯水均匀变灰。这个过程不可逆但我们希望训练一个神经网络让它学会在“从灰变清”的过程中逆向去噪。前向加噪过程可以写成这样一个递推式给定一张干净图片x₀在第t步按预设的噪声计划叠加高斯噪声得到x_t。如果非要给一个数学表达前向过程可以表示为 x_t √(α̅_t)·x_0 √(1-α̅_t)·ε其中ε是标准高斯噪声α̅_t是随时间递减的系数。第1步加一点噪声第2步加更多依此类推到第T步时图片基本已经完全变成高斯白噪声。训练时不需要真的一步步递推因为高斯噪声的叠加可以解析计算直接从x₀一步跳到任意x_t。训练目标也很直观网络输入x_t和时间步t要去预测我们刚叠加的那个噪声ε损失就是预测噪声和真实噪声之间的均方误差。这里有个反直觉的点网络预测的不是清晰的x₀而是噪声本身。为什么因为在高噪声情况下直接预测x₀极度不稳定而预测噪声天然就是“当前状态下去掉多少噪声”的直接量训练起来更稳定。3.2 反向过程从一个噪声样本逐步还原图像训练完成后生成阶段进入反向过程。我们从随机高斯噪声x_T出发让UNet预测当前噪声然后按采样器规则“抽掉”一部分噪声得到x_T-1重复T步直到x_0。注意采样器有很多种DDPM采样器每一步都按完整高斯分布采样随机性大效果好但慢DDIM采样器是确定性的可以大幅减少步数比如从1000步减到50步质量也不损失太多。WebUI和ComfyUI里常见的DPM、Euler Ancestral也是在不同数学近似下的采样器只是收敛路径和随机性策略不同。这就是为什么“步数”非常重要步数越多每一步只做微小去噪修正质量更高步数太少每一步要跨很大一步容易细节崩坏。一般建议30步起步稳定在40-60步。从代码角度看每一步都要过一次UNet的前向所以步数直接决定生成耗时也是一开始很多人觉得SD“慢”的根源。3.3 潜在扩散模型为什么要在潜空间里扩散如果你理解了上面过程会发现一个严重问题在512x512x3的像素空间连跑50步UNet每一步都要处理上百万个数普通显卡根本吃不消。潜在扩散模型LDM的解决思路是先用VAE把512x512的图像编码成64x64x4的潜变量压缩到原尺寸的1/48扩散去噪全部在64x64x4空间操作最后用VAE解码器还原成512x512像素图。计算量从百万级降到万级这也是Stable Diffusion能在6G、8G显存上跑起来的关键。代价是潜空间操作会丢失部分高频细节。你在SD生成的图里偶尔看到的文字糊成一团、手指畸形一部分原因就出在这个空间压缩上。SDXL以及各类新架构一直在尝试增大潜空间通道数或改进VAE来缓解说明这个瓶颈到现在依然存在。3.4 UNet结构拆解U型骨骼加注意力UNet之所以叫UNet是因为网络结构呈U字形左边编码器下采样右边解码器上采样中间一道瓶颈每层编码器的特征图通过跳跃连接送到对应层解码器。这样设计的意义在于下采样过程逐步提取高层次语义但空间分辨率越来越低上采样过程逐步恢复分辨率但只靠低分辨率特征重建细节会模糊所以跳跃连接把同分辨率层的细节特征带过来二者拼接细节和语义都有。Stable Diffusion的UNet比原始UNet复杂不少但整体骨架一致。基本单元是ResNetBlock和注意力模块。ResNetBlock自带残差连接保证深层网络也好训练注意力模块又分成Self-Attention和CrossAttention两种Self-Attention让图像不同位置互相参考保证全局一致性CrossAttention则是连接文本和图像的核心把CLIP文本嵌入作为Key和Value图像特征作为Query让每个图像位置都知道自己该关注文本中哪个词。UNet还有一条特殊的输入时间步t。为什么需要它因为不同去噪阶段要做的事完全不同纯噪声阶段主要恢复大结构接近完成阶段主要在补细节。加一个时间步嵌入可以让网络各层动态调整行为。这个时间嵌入通常是正弦位置编码再经一个小MLP以残差形式加到各个ResNetBlock里。3.5 UNet使用时要记住的几条注意事项第一UNet的输入输出都是潜空间张量不能直接把像素图扔进去。很多人写脚本时习惯先转tensor结果忘了走VAE编码模型根本不认。第二UNet的通道数配置决定显存占用SD1.5的基础UNet是320、640、1280、1280四层通道SDXL明显加宽显存需求随之上升这不是代码能完全解决的。第三微调时UNet的学习率通常要比文本编码器高一个数量级在LoRA场景下常见为1e-4左右原因很简单UNet参数量大更新幅度如果参考文本编码器的微小学习率收敛会极慢。4. 文生图代码实战从零跑通一套生成流程原理讲了不少接下来动手把代码跑通。这里以HuggingFace的diffusers库为例它是目前最主流的SD编程接口API封装干净适合作为学习路径。如果你习惯WebUI或者ComfyUI也不用担心理解了这里的代码后那些界面其实只是换了一层皮。4.1 环境准备怎么把依赖装干净环境问题永远是第一个坑。推荐Python 3.10或3.11配一个干净的虚拟环境。核心依赖是PyTorch、transformers、diffusers、accelerate。以NVIDIA显卡为例pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install diffusers transformers accelerate safetensorsApple Silicon的Mac用户不要装cu121版本应安装PyTorch官方arm64版本然后靠MPS后端跑。这里特别提醒两点尽量不要在base环境里直接装diffusers非常容易和系统自带的torch版本冲突macOS上经常出现Importerror: dlopen报错十有八九是Python版本和PyTorch动态库不匹配建议新建一个干净的conda环境再装。4.2 最小可用代码示例下面直接复用官方SD1.5模型的完整生成代码网络条件不好的话可以先把模型下到本地再改路径。import torch from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler model_id runwayml/stable-diffusion-v1-5 pipe StableDiffusionPipeline.from_pretrained( model_id, torch_dtypetorch.float16, safety_checkerNone ) pipe.scheduler DPMSolverMultistepScheduler.from_config(pipe.scheduler.config) pipe pipe.to(cuda) prompt a majestic lion running across the savanna at sunset, photorealistic negative_prompt lowres, blurry, extra limbs, bad anatomy generator torch.Generator(devicecuda).manual_seed(42) image pipe( promptprompt, negative_promptnegative_prompt, num_inference_steps40, guidance_scale7.5, height512, width512, generatorgenerator ).images[0] image.save(output.png)这段代码从模型加载到出图核心参数也就十来个。第一次跑会把模型权重下载到本地约4到5G之后再加载就快了。4.3 参数调节的实操经验参数这东西看文档一百遍不如自己跑一遍对比。这里给一张速查表参数推荐起点常用范围说明num_inference_steps4020-150步数越高细节越好耗时线性增长guidance_scale7.51-15越高越遵从提示词过高会过饱和seed42任意整数固定后可复现同一张构图height/width512512-768超过训练域容易出现重复与畸形prompt写法完整句子比碎片关键词更稳定把核心主体放前面。negative_prompt强烈建议写至少包含“lowres, blurry”能明显减少模糊和噪点。scheduler默认的DPMSolver在40步内效果已经很好不用迷信大采样步数。seed还有一个妙用固定seed后微调提示词很容易看出“某几个词到底影响了什么”这是调试提示词的常用手段。4.4 从单管发展到扩展玩法当你掌握了基础代码其实就掌握了Stable Diffusion很多衍生功能的核心。img2img是把初始潜变量换成输入图的编码Inpainting是对局部区域重新采样ControlNet是在UNet各分辨率层注入额外条件。它们底层都在操作diffusion loop只是改变了UNet的输入来源或增加了额外条件。所以遇到新功能不用慌先问自己一句这个功能到底改的是UNet的哪个输入这样分析新模型会快很多。比如ComfyUI里流行的z-image-turbo这类加速文生图工作流原理就是蒸馏过的轻量UNet配合较少采样步数换来接近实时的出图体验。如果你已经掌握了基础流程去追新技术时会轻松很多。5. 常见问题与排查技巧实录代码跑起来之后各种奇奇怪怪的报错才轮番登场。我把踩过的坑以及社区里高频出现的问题整理一下按环境、运行、质量三块分类。5.1 环境启动类Mac报错怎么处理macOS上最著名的启动问题是类似Importerror: dlopen(/path/torch/_C.so, 0x0002): symbol not found这样的报错。原因通常是Python版本太高比如3.12与torch某个版本的ABI不匹配。我的处理顺序是检查Python版本用3.10或3.11重建虚拟环境重新安装匹配Apple Silicon的torch版本设置环境变量PYTORCH_ENABLE_MPS_FALLBACK1让MPS后端遇到不支持的算子时自动回退CPU如果还不行删除缓存目录下的__pycache__有可能是旧编译产物污染了环境。这套流程解决了我遇到的大多数Mac启动问题而且很多情况下问题并不在diffusers本身而在torch与系统的兼容性上。5.2 显存与内存问题CUDA out of memory最常见。优先做三件事确认batch_size为1开启attention slicing代码里直接pipe.enable_attention_slicing()或者用pipe.enable_model_cpu_offload()把部分模块放回CPU。另外用fp16推理能省近一半显存但要在加载Pipeline时显式传torch_dtypetorch.float16而且某些老显卡fp16可能反而变慢需要实测。还有一个容易忽视的点生成大图时整体构图没问题但放大后满是噪点。这个其实不是显存问题而是VAE解码潜变量时的低频伪影可以尝试换成vae-ft-mse-840000这类修复型VAE画面干净度会有明显提升。5.3 生成质量异常的排查顺序如果是全黑、全灰图先检查safety_checker是否还在生效很多安全模型会把不合规内容直接输出为纯黑图排查时可先传safety_checkerNone。如果指令完全不生效优先检查CFG数值其次是文本编码器是否被LoRA污染。如果出现重复元素、多只手这类结构错误多半是分辨率超出模型训练域先降回512再观察。我自己平时的质量排查顺序是提示词是不是没有形成完整句子改为自然语言表达→ CFG是否过高 → 步数是否不足 → 固定seed多跑几张看是否随机性问题 → 最后再怀疑VAE。按照这个顺序大多数质量问题五分钟内能找到原因而不是上来就乱调参数。最后分享一点个人体会。如果你能坚持看到这里并且亲手把代码跑通那接下来值得深入的方向有三条一是研究采样器之间的数学关系这能在同样步数下获得更好质感二是把SD1.5换成SDXL甚至SD3观察它们如何改进了文本编码器与UNet结构三是尝试用LoRA进行微调在不破坏原始模型的前提下给UNet注入特定风格。从黑盒用户到能读懂每个模块最大的变化不是出图质量立刻提升而是遇到问题不再慌张。以前一个报错能卡一小时现在我会先判断是环境问题、数据问题还是模型问题再对症下药。这套分析框架比任何一张精致的生成图都更有价值。 
长河君 · 2026/10/14 14:43:59 · 阅读 1.2k Stable Diffusion核心原理：CLIP、扩散模型与UNet全解析
Stable Diffusion应该是最近两三年里对普通人冲击最大的AI模型之一。输入一行文字二三十秒后出来一幅完整度相当高的图像放在三年前想都不敢想。但大多数人其实只接触过WebUI或者ComfyUI这种封装好的界面点几个按钮就能出图真正问到“CLIP在里面干了什么”“UNet为什么长成U型”“扩散模型的每一步去噪到底在算什么”能说清楚的人就不多了。这篇笔记捋的是我自己对着论文和源码过了一遍的四集学习记录我尽量用直白的方式把CLIP文本编码、扩散模型、UNet结构和文生图代码实战串起来讲。不管你是刚入门的AI绘画爱好者还是想深入源码甚至自己微调模型的工程师这篇都可以当成一份能反复查阅的参考资料。1. 先看全局Stable Diffusion这套架构到底在解决什么问题第一次接触Stable Diffusion的时候我也很懵一会儿VAE、一会儿CLIP、一会儿又是UNet名字太多容易绕晕。后来我把整个流程画成了一条流水线文字输入经过CLIP变成语言向量随机噪声作为初始“画布”放到潜空间里由UNet一步步去噪去噪过程中每一步都会参考语言向量来调整方向最后VAE把潜空间解密成真正能看的像素图。这么一看整个模型其实就是在做一个从“语言条件加随机噪声”到“最终图像”的映射三个模块各自负责一段谁也不能缺席。1.1 从生成任务倒推模块设计直接生成一张512x512的彩色图片意味着要在512x512x3的像素空间里做推理。如果用纯粹在像素空间跑的扩散模型每一步都要处理约78万个数值训练和推理的算力开销都是天文数字。这也是为什么Stable Diffusion选择了潜空间方案先用VAE把图像压缩到一个64x64x4的潜变量里体积直接缩了两三个数量级扩散过程只在潜空间进行最后再解码回像素。打个比方你在巨幅海报上画草图每改一笔的成本都很高而在小稿纸上反复调整构图定稿后再放大到海报上效率完全不同。有了潜空间这张“草稿纸”剩下的就是两个核心问题一是如何让模型理解你想要的画面内容二是如何让模型在草稿纸上逐步细化出画面。前者交给CLIP文本编码器后者交给UNet在不同噪声强度下的去噪过程。三个模块各司其职组合起来正是Stable Diffusion能在消费级显卡上跑起来的原因。很多人把Stable Diffusion简单理解成“扩散模型”也没错但扩散模型只是核心引擎整个系统是围绕它打造的一套完整流水线。1.2 为什么必须理解CLIP、扩散模型和UNet三者配合我踩过一个坑单纯记住“Stable Diffusion 扩散模型”结果看到VAE和CLIP还是一头雾水。其实三者之间是强耦合的。没有CLIPUNet就不知道这行文字想表达什么没有扩散模型UNet就无事可做因为没有“加噪-去噪”这个过程网络学不到“噪声如何退回清晰图像”没有VAE整套流程就要在像素空间硬算普通显卡根本扛不住。理解这一层你再看WebUI里的各种选项就会清晰很多采样器是扩散模型的采样策略CFG Scale是文本引导强度重绘幅度是潜变量替换比例这些都是流水线上某个环节的参数旋钮。所以说学Stable Diffusion不要急着背参数先把模块分工搞清楚。后面的内容我会逐个拆开讲但请记住它们不是三个独立的模型而是同一条流水线上前后衔接的部件。2. CLIP文本编码器文字是怎么变成模型认识的向量的先讲文字这一端。Stable Diffusion里用到的CLIP全称是Contrastive Language-Image Pre-TrainingOpenAI在2021年提出。它的本意是学习“文字和图片之间的对应关系”训练方式是对比学习给出一批图文对让模型学会把匹配的文本和图像在向量空间里拉近把不匹配的推远。训练完成之后它会得到两个编码器一个处理图像一个处理文本。在Stable Diffusion里我们只用到它的文本编码器这个常被忽略的细节其实很关键。2.1 文本编码器的输入输出细节CLIP的文本编码器本身是一个Transformer分词用的是字节对编码BPE词表大小在49408左右。它有一个硬性限制最多接受77个token的输入序列。这个77不是随便定的是训练时的上下文长度最大就是77。如果你输入的长句超过77个token后面部分会被直接截断这也是为什么很多老手建议把提示词里最重要的关键词放在前面越靠后越容易被丢掉。输入一句提示词之后文本编码器输出的是一个形状为77x768的浮点数组。注意它不是简单的“整个句子的向量”而是77个位置各自的768维嵌入。768对应CLIP ViT-B/32的隐层大小如果用的是更强的ViT-L/14版本维度会变成1280。这个细节在对比不同模型时特别关键比如把SD1.5的文本编码器换成SDXL的输入维度都不一样不能直接混用这也是很多社区模型要求固定使用某个text encoder版本的原因。2.2 文本嵌入在扩散过程中扮演什么角色在UNet中文本嵌入不会一次性被“用完”它会贯穿整个去噪过程。每一步UNet都会通过CrossAttention机制把当前的图像特征作为查询Query把文本特征作为键和值Key和Value让图像特征去“检索”文本信息从而决定下一步往哪个方向去噪。换句话说文本嵌入就是一个始终在后台起作用的路标。这也能解释为什么改提示词后只是某一两个词语变化整张图的结构都会跟着变——因为每个像素位置都在重新匹配文本里的词语。还有一个经常被忽略的点无分类器引导Classifier-Free GuidanceCFG。推理时模型会做两次预测一次针对空文本无条件的噪声预测一次针对你输入的提示词有条件的噪声预测然后按下式合并noise_pred noise_uncond guidance_scale * (noise_cond - noise_uncond)这个guidance_scale就是你在WebUI里看到的CFG Scale。数值越大模型越偏向“忠实执行文本”但过大的时候图像会过饱和、出现彩色伪影。这个公式直观地把“遵循文本的程度”变成可调节的旋钮理解它之后调参就不必再靠玄学。2.3 CLIP使用与微调时的几个容易踩的坑CLIP模型微调这两年越来越多人关注常见方向是LoRA微调因为CLIP参数量不小直接全量微调很容易过拟合。几个经验微调CLIP文本编码器时如果不是做图文匹配任务建议冻结图像编码器只调文本侧能省一半显存和大量训练时间。数据量不够大的时候学习率要调得非常小通常在1e-5甚至5e-6起步比UNet的LoRA低一个数量级。在Stable Diffusion微调场景中很多人会同时对UNet和文本编码器做LoRA此时文本编码器的LoRA权重占比不需要太高0.4到0.6就够太高反而会破坏原始语义。另外SD的文本编码器对输入文本是大小写不敏感的但它非常依赖“自然语言短语”。你写“cat, running, on, grass”这种碎片化提示词效果往往不如“a cat running on the grass”。这背后其实是CLIP训练数据里自然语句占多数的原因模型更擅长理解语法通顺的表达。这个习惯在后文代码实战里也能明显看到。3. 扩散模型与UNet去噪这台发动机是怎么运转的CLIP解决了“听懂话”的问题接下来就是最核心的“画出来”。理论基础来自扩散模型去噪主体则是UNet。要真正理解UNet在每一层做了什么得先把扩散模型的前向加噪和反向去噪讲清楚。3.1 前向过程把一张清晰图片慢慢搅成噪声扩散模型最早的思想来自物理中的热扩散一滴墨在水中慢慢散开最后整杯水均匀变灰。这个过程不可逆但我们希望训练一个神经网络让它学会在“从灰变清”的过程中逆向去噪。前向加噪过程可以写成这样一个递推式给定一张干净图片x₀在第t步按预设的噪声计划叠加高斯噪声得到x_t。如果非要给一个数学表达前向过程可以表示为 x_t √(α̅_t)·x_0 √(1-α̅_t)·ε其中ε是标准高斯噪声α̅_t是随时间递减的系数。第1步加一点噪声第2步加更多依此类推到第T步时图片基本已经完全变成高斯白噪声。训练时不需要真的一步步递推因为高斯噪声的叠加可以解析计算直接从x₀一步跳到任意x_t。训练目标也很直观网络输入x_t和时间步t要去预测我们刚叠加的那个噪声ε损失就是预测噪声和真实噪声之间的均方误差。这里有个反直觉的点网络预测的不是清晰的x₀而是噪声本身。为什么因为在高噪声情况下直接预测x₀极度不稳定而预测噪声天然就是“当前状态下去掉多少噪声”的直接量训练起来更稳定。3.2 反向过程从一个噪声样本逐步还原图像训练完成后生成阶段进入反向过程。我们从随机高斯噪声x_T出发让UNet预测当前噪声然后按采样器规则“抽掉”一部分噪声得到x_T-1重复T步直到x_0。注意采样器有很多种DDPM采样器每一步都按完整高斯分布采样随机性大效果好但慢DDIM采样器是确定性的可以大幅减少步数比如从1000步减到50步质量也不损失太多。WebUI和ComfyUI里常见的DPM、Euler Ancestral也是在不同数学近似下的采样器只是收敛路径和随机性策略不同。这就是为什么“步数”非常重要步数越多每一步只做微小去噪修正质量更高步数太少每一步要跨很大一步容易细节崩坏。一般建议30步起步稳定在40-60步。从代码角度看每一步都要过一次UNet的前向所以步数直接决定生成耗时也是一开始很多人觉得SD“慢”的根源。3.3 潜在扩散模型为什么要在潜空间里扩散如果你理解了上面过程会发现一个严重问题在512x512x3的像素空间连跑50步UNet每一步都要处理上百万个数普通显卡根本吃不消。潜在扩散模型LDM的解决思路是先用VAE把512x512的图像编码成64x64x4的潜变量压缩到原尺寸的1/48扩散去噪全部在64x64x4空间操作最后用VAE解码器还原成512x512像素图。计算量从百万级降到万级这也是Stable Diffusion能在6G、8G显存上跑起来的关键。代价是潜空间操作会丢失部分高频细节。你在SD生成的图里偶尔看到的文字糊成一团、手指畸形一部分原因就出在这个空间压缩上。SDXL以及各类新架构一直在尝试增大潜空间通道数或改进VAE来缓解说明这个瓶颈到现在依然存在。3.4 UNet结构拆解U型骨骼加注意力UNet之所以叫UNet是因为网络结构呈U字形左边编码器下采样右边解码器上采样中间一道瓶颈每层编码器的特征图通过跳跃连接送到对应层解码器。这样设计的意义在于下采样过程逐步提取高层次语义但空间分辨率越来越低上采样过程逐步恢复分辨率但只靠低分辨率特征重建细节会模糊所以跳跃连接把同分辨率层的细节特征带过来二者拼接细节和语义都有。Stable Diffusion的UNet比原始UNet复杂不少但整体骨架一致。基本单元是ResNetBlock和注意力模块。ResNetBlock自带残差连接保证深层网络也好训练注意力模块又分成Self-Attention和CrossAttention两种Self-Attention让图像不同位置互相参考保证全局一致性CrossAttention则是连接文本和图像的核心把CLIP文本嵌入作为Key和Value图像特征作为Query让每个图像位置都知道自己该关注文本中哪个词。UNet还有一条特殊的输入时间步t。为什么需要它因为不同去噪阶段要做的事完全不同纯噪声阶段主要恢复大结构接近完成阶段主要在补细节。加一个时间步嵌入可以让网络各层动态调整行为。这个时间嵌入通常是正弦位置编码再经一个小MLP以残差形式加到各个ResNetBlock里。3.5 UNet使用时要记住的几条注意事项第一UNet的输入输出都是潜空间张量不能直接把像素图扔进去。很多人写脚本时习惯先转tensor结果忘了走VAE编码模型根本不认。第二UNet的通道数配置决定显存占用SD1.5的基础UNet是320、640、1280、1280四层通道SDXL明显加宽显存需求随之上升这不是代码能完全解决的。第三微调时UNet的学习率通常要比文本编码器高一个数量级在LoRA场景下常见为1e-4左右原因很简单UNet参数量大更新幅度如果参考文本编码器的微小学习率收敛会极慢。4. 文生图代码实战从零跑通一套生成流程原理讲了不少接下来动手把代码跑通。这里以HuggingFace的diffusers库为例它是目前最主流的SD编程接口API封装干净适合作为学习路径。如果你习惯WebUI或者ComfyUI也不用担心理解了这里的代码后那些界面其实只是换了一层皮。4.1 环境准备怎么把依赖装干净环境问题永远是第一个坑。推荐Python 3.10或3.11配一个干净的虚拟环境。核心依赖是PyTorch、transformers、diffusers、accelerate。以NVIDIA显卡为例pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install diffusers transformers accelerate safetensorsApple Silicon的Mac用户不要装cu121版本应安装PyTorch官方arm64版本然后靠MPS后端跑。这里特别提醒两点尽量不要在base环境里直接装diffusers非常容易和系统自带的torch版本冲突macOS上经常出现Importerror: dlopen报错十有八九是Python版本和PyTorch动态库不匹配建议新建一个干净的conda环境再装。4.2 最小可用代码示例下面直接复用官方SD1.5模型的完整生成代码网络条件不好的话可以先把模型下到本地再改路径。import torch from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler model_id runwayml/stable-diffusion-v1-5 pipe StableDiffusionPipeline.from_pretrained( model_id, torch_dtypetorch.float16, safety_checkerNone ) pipe.scheduler DPMSolverMultistepScheduler.from_config(pipe.scheduler.config) pipe pipe.to(cuda) prompt a majestic lion running across the savanna at sunset, photorealistic negative_prompt lowres, blurry, extra limbs, bad anatomy generator torch.Generator(devicecuda).manual_seed(42) image pipe( promptprompt, negative_promptnegative_prompt, num_inference_steps40, guidance_scale7.5, height512, width512, generatorgenerator ).images[0] image.save(output.png)这段代码从模型加载到出图核心参数也就十来个。第一次跑会把模型权重下载到本地约4到5G之后再加载就快了。4.3 参数调节的实操经验参数这东西看文档一百遍不如自己跑一遍对比。这里给一张速查表参数推荐起点常用范围说明num_inference_steps4020-150步数越高细节越好耗时线性增长guidance_scale7.51-15越高越遵从提示词过高会过饱和seed42任意整数固定后可复现同一张构图height/width512512-768超过训练域容易出现重复与畸形prompt写法完整句子比碎片关键词更稳定把核心主体放前面。negative_prompt强烈建议写至少包含“lowres, blurry”能明显减少模糊和噪点。scheduler默认的DPMSolver在40步内效果已经很好不用迷信大采样步数。seed还有一个妙用固定seed后微调提示词很容易看出“某几个词到底影响了什么”这是调试提示词的常用手段。4.4 从单管发展到扩展玩法当你掌握了基础代码其实就掌握了Stable Diffusion很多衍生功能的核心。img2img是把初始潜变量换成输入图的编码Inpainting是对局部区域重新采样ControlNet是在UNet各分辨率层注入额外条件。它们底层都在操作diffusion loop只是改变了UNet的输入来源或增加了额外条件。所以遇到新功能不用慌先问自己一句这个功能到底改的是UNet的哪个输入这样分析新模型会快很多。比如ComfyUI里流行的z-image-turbo这类加速文生图工作流原理就是蒸馏过的轻量UNet配合较少采样步数换来接近实时的出图体验。如果你已经掌握了基础流程去追新技术时会轻松很多。5. 常见问题与排查技巧实录代码跑起来之后各种奇奇怪怪的报错才轮番登场。我把踩过的坑以及社区里高频出现的问题整理一下按环境、运行、质量三块分类。5.1 环境启动类Mac报错怎么处理macOS上最著名的启动问题是类似Importerror: dlopen(/path/torch/_C.so, 0x0002): symbol not found这样的报错。原因通常是Python版本太高比如3.12与torch某个版本的ABI不匹配。我的处理顺序是检查Python版本用3.10或3.11重建虚拟环境重新安装匹配Apple Silicon的torch版本设置环境变量PYTORCH_ENABLE_MPS_FALLBACK1让MPS后端遇到不支持的算子时自动回退CPU如果还不行删除缓存目录下的__pycache__有可能是旧编译产物污染了环境。这套流程解决了我遇到的大多数Mac启动问题而且很多情况下问题并不在diffusers本身而在torch与系统的兼容性上。5.2 显存与内存问题CUDA out of memory最常见。优先做三件事确认batch_size为1开启attention slicing代码里直接pipe.enable_attention_slicing()或者用pipe.enable_model_cpu_offload()把部分模块放回CPU。另外用fp16推理能省近一半显存但要在加载Pipeline时显式传torch_dtypetorch.float16而且某些老显卡fp16可能反而变慢需要实测。还有一个容易忽视的点生成大图时整体构图没问题但放大后满是噪点。这个其实不是显存问题而是VAE解码潜变量时的低频伪影可以尝试换成vae-ft-mse-840000这类修复型VAE画面干净度会有明显提升。5.3 生成质量异常的排查顺序如果是全黑、全灰图先检查safety_checker是否还在生效很多安全模型会把不合规内容直接输出为纯黑图排查时可先传safety_checkerNone。如果指令完全不生效优先检查CFG数值其次是文本编码器是否被LoRA污染。如果出现重复元素、多只手这类结构错误多半是分辨率超出模型训练域先降回512再观察。我自己平时的质量排查顺序是提示词是不是没有形成完整句子改为自然语言表达→ CFG是否过高 → 步数是否不足 → 固定seed多跑几张看是否随机性问题 → 最后再怀疑VAE。按照这个顺序大多数质量问题五分钟内能找到原因而不是上来就乱调参数。最后分享一点个人体会。如果你能坚持看到这里并且亲手把代码跑通那接下来值得深入的方向有三条一是研究采样器之间的数学关系这能在同样步数下获得更好质感二是把SD1.5换成SDXL甚至SD3观察它们如何改进了文本编码器与UNet结构三是尝试用LoRA进行微调在不破坏原始模型的前提下给UNet注入特定风格。从黑盒用户到能读懂每个模块最大的变化不是出图质量立刻提升而是遇到问题不再慌张。以前一个报错能卡一小时现在我会先判断是环境问题、数据问题还是模型问题再对症下药。这套分析框架比任何一张精致的生成图都更有价值。