1. 先搞清楚这套系统到底在做什么从一张噪点到一幅画Stable Diffusion 这套系统你拆开来看核心其实就三块一个负责理解文字的 CLIP一个负责去噪的 UNet还有一个负责调度整个去噪节奏的采样器。很多人一上来就被扩散模型潜在空间交叉注意力这些词吓住但本质上它干的事情很简单从一个随机噪点出发一步步把噪点擦干净最终显露出你想要的图像。就像一个盲人在一块大理石上雕刻先敲掉大块再精修细节最后呈现出一尊雕像。我写这套四集精讲笔记的初衷就是把这条链路上每个环节的为什么讲透而不是丢一堆 Python 代码让你照着抄。这套方法适合谁说实话只要你对文生图这个词感过兴趣无论你是搞设计的、做算法的、还是纯粹想玩玩本地部署的爱好者都能从这套笔记里找到自己需要的部分。设计师可能只需要理解 CLIP 为什么能听懂人话、CFG 参数调太高为什么图会发黑算法工程师可以深入去看 UNet 里的时间步嵌入和注意力权重而动手型玩家我希望你能照着最后一集的代码在自己电脑上跑通一个最小流程——那才是真正产生原来如此感受的时刻。我见过太多人拿着别人训练好的模型埋头调参数却完全不知道 PD 和 DDIM 有什么区别也不知道为什么换了采样器出图风格会变。这不是你的错是现有教程普遍在原理和代码之间那道鸿沟上跳过去了。这套笔记就是来填这条沟的我会从整体流程开始一步步拆解 CLIP 的编码逻辑、扩散模型的正向加噪与逆向去噪、UNet 的结构与注意力机制最后给出一段真正能跑通的文生图代码并附上我在实际部署中踩过的坑。如果你按顺序读下来再回头去看那些调参数玄学你会发现大部分问题都有了合理的解释。1.1 文生图的本质与整体流程先不要管任何数学公式用一句话概括整个 Stable Diffusion 的推理流程你输入一段文字然后系统在纯随机的噪声图上按照文字给出的方向感一步步将噪声抹去。每一步都基于两个信息——当前这张图长什么样以及文字希望它长什么样。两个信息被拼接在一起输入到 UNet 这个雕刻家里UNet 预测出下一步应该往哪个方向修然后采样器就据此更新图片。这个流程里的关键点在于UNet 不是一次性预测出最终图像而是每步只预测一小步。为什么这样因为一步到位太难了神经网络在复杂的图像分布上直接映射结果会非常粗糙。而迭代式的去噪把一个大难题拆成了几百个小步骤每一步的预测任务都相对简单误差也就更可控。扩散模型的名字就来源于这个拆步的思路——它受热力学中扩散过程的启发如果你把一滴墨水滴入清水它会不可逆地扩散均匀扩散模型就是学习这个扩散过程的逆过程从均匀混沌的噪声中找回原本墨滴的形状。1.2 为什么是潜在空间不是画布太大是计算太贵讲到 Stable Diffusion就绕不开潜在扩散模型Latent Diffusion Model这个说法。为什么不直接在像素上做扩散原因特别现实一张 512x512 的 RGB 图片有 78 万个像素点每个点有 3 个通道。你在这么大尺寸上迭代 50 步每一步都要让神经网络处理几十万维的数据训练和推理的计算量都大到离谱。所以 Stable Diffusion 采用了一个很聪明的前置操作先通过一个叫 VAE变分自编码器的模型把图片压缩到一个很小的潜在空间里。这个压缩不是简单的缩放而是把图片的语义信息编码成一组低维向量——你可以理解为它在 8x 到几十倍的压缩率下仍然保留了画面里有什么、布局如何这样的高层信息。扩散和去噪过程都在这个潜在空间里进行最后再用 VAE 的解码器把去噪后的潜在向量还原成像素图像。这就是潜在两个字的核心含义。我刚接触的时候把潜在空间想象成草稿还挺贴切的模型在草稿本上反复修改构图和物体改满意了再誊到正式画布上。这个设计的直接好处是训练成本大幅下降普通显卡也跑得动后来各种加速 LoRA 微调的思路也都是建立在潜在空间这个底座上的。2. CLIP让机器把文字和图像对齐的翻译官Stable Diffusion 里接收你文字的那个模块就是 CLIP。CLIP 的全称是 Contrastive Language-Image Pre-training由 OpenAI 在 2021 年提出。它的核心思想非常直白训练一个模型让它在同一个向量空间里把相关的图片和文字放在相近的位置。相关性越高向量距离越近不相关就推远。这个概念听着简单但它是整个文生图体系的基石。没有 CLIP你的提示词对模型来说就是一堆无意义的符号有了 CLIP模型才能在每一步去噪时读懂你应该往哪个方向修图。2.1 CLIP 的核心设计双塔编码器与对比学习CLIP 的网络结构一般叫双塔结构左边一个图像编码器右边一个文本编码器。图像编码器可以是 ResNet 或者 ViT文本编码器通常是 Transformer。这两个编码器各干各的但它们的输出被映射到同一个多维向量空间里。训练方式用的是对比学习。想象你有一批图片每张图片配了一段描述文字。模型的目标是让正确的图片-文字对的相似度分数尽可能高让错误的图片-文字对的分数尽可能低。这里的相似度通常用余弦相似度计算。因为训练数据足够大OpenAI 用了将近 4 亿个图文对CLIP 最终学到了一种通用对齐关系不只是记住训练集里的配对而是能理解一只戴着帽子的狗这种在训练数据里可能没见过的组合。这个特性对 Stable Diffusion 至关重要。因为用户输入的提示词千奇百怪模型必须有能力把没见过的新组合映射到视觉概念上。CLIP 的文本编码器就像一个经验丰富的翻译官不仅懂语法还懂画面感。2.2 在 Stable Diffusion 中 CLIP 到底扮演什么角色在 Stable Diffusion 的 UNet 里CLIP 的文本编码器被用来把提示词转成一组 embedding 向量。注意这里用的是 CLIP 的文本编码器部分图像编码器在推理阶段基本不用。这组向量会通过一种叫交叉注意力的机制注入到 UNet 的各个层中指导去噪过程。具体来说UNet 在处理每一张噪声图时会同时关注两个东西一个是当前图像自身的特征另一个是用 CLIP 提取的文本特征。两者通过注意力层融合。你可以把交叉注意力想象成在作画过程中每画一笔都要抬头看一眼前人给的草稿对照一下方向对不对。草稿就是提示词编码画布就是潜在空间里的噪声图。CLIP 在这里还有一层特殊作用它的 text encoder 输出的是 77 个 token 的序列超出部分会被截断或者通过其他方式扩展。这也是为什么你在输入超长提示词时会发现后半段的影响变弱——因为 CLIP 的文本编码器输入端就是这么设计的。了解这个限制你就能理解为什么有些插件比如长提示词增强能提升表现力本质是绕开了这个 77 token 的瓶颈。2.3 动手看 CLIP 的输入输出一段 Python 实测光说原理太空我建议你亲手跑一下这段代码直观感受 CLIP 文本编码器的输入输出。下面用 transformers 库加载最常用的 CLIP 文本编码器看看它对一句话的编码结果长什么样。from transformers import CLIPProcessor, CLIPTextModel import torch model_id openai/clip-vit-large-patch14 processor CLIPProcessor.from_pretrained(model_id) text_model CLIPTextModel.from_pretrained(model_id) text a portrait of a cat, detailed, photorealistic inputs processor(texttext, return_tensorspt, paddingTrue) outputs text_model(**inputs) # 输出是一个 [batch_size, seq_len, hidden_dim] 的张量 # hidden_dim 是 768seq_len 是 77CLIP 固定长度 last_hidden_state outputs.last_hidden_state print(last_hidden_state.shape) # 拿第一个 token对应 [CLS]的向量作为整句的全局表示 sentence_embedding last_hidden_state[:, 0, :] print(sentence_embedding[:5]) # 打印前 5 个数字看看维度值你跑完会看到张量形状是[1, 77, 768]。这就是 CLIP 给 Stable Diffusion 的文本特征。其中 77 是它固定的序列长度768 是隐藏维度。在 Stable Diffusion 内部这个原始向量还会经过一个线性层投影到 UNet 使用的维度。这一步实测的意义在于解掉你对 CLIP 的黑盒感——它没有魔法就是一组高维数值后续所有关于提示词、CFG 的讨论都是建立在这组数值之上的。另外一个常见疑问是CLIP 的文本编码器能不能微调当然能。我在笔记里专门讲过 CLIP 微调对文生图风格的影响。从我的实验看微调 CLIP 比微调 UNet 影响更全局因为它改变的是对提示词的整体理解方式就像换了翻译官的母语习惯。但这也意味着风险微调不当会让原本能理解的提示词变笨所以新手不建议轻易动 CLIP。3. 扩散模型与 UNet一步步去噪的雕刻家CLIP 帮你读懂了要求接下来要执行去噪工作的就是 UNet。UNet 这个名字听起来像某种网络协议的缩写其实它源自 2015 年一篇医学图像分割论文因为网络结构呈 U 形而得名左边逐步下采样提取特征右边逐步上采样恢复尺寸中间有跳跃连接保留细节。这个结构最初是给分割任务设计的没想到在扩散模型时代成了主力工具。要理解 UNet 在 Stable Diffusion 里干了什么得先搞清楚扩散模型的两个阶段前向过程加噪和逆向过程去噪。3.1 前向扩散给图片慢慢加噪的过程扩散模型的想法是如果我们能把一张清晰的图片一步步破坏成纯噪声那么反过来能不能从纯噪声一步步重建回清晰图片前向过程就是那个逐步破坏的动作。每一步我们在图片上叠加一点高斯噪声并且用当前步数 t 来控制噪声强度。这个过程的数学形式是x_t sqrt(alpha_bar_t) * x_0 sqrt(1 - alpha_bar_t) * epsilon其中epsilon是从标准高斯分布采样的噪声alpha_bar_t是递减的系数控制 t 越大时原图保留越少、噪声越多。到足够大的 T 步时x_T基本就是一张纯噪声图。这个公式看着简单但它有一个漂亮的性质给定 x_0你可以直接跳到任意第 t 步的加噪结果而不必一步一步模拟。这一下子就让训练变得高效了。训练目标是让 UNet 学会预测出这个噪声epsilon而不是预测原图或者预测分数。我估计有读者会问为什么预测噪声不直接预测原图实验发现预测噪声在训练和采样过程中稳定得更好。你把它理解成雕刻家只需要知道自己下一步该凿掉哪块废料就顺了找到废料去掉它剩下的自然就是雕像。3.2 逆向去噪UNet 是如何学会猜噪声的真正生成图像时我们做的是逆向过程。先从纯噪声x_T出发然后需要模型告诉我们当前这幅图里包含了什么样的可去除噪声。UNet 输入两个东西当前噪声图x_t以及一个时间步的信号t。输出是一张预测的噪声图epsilon_hat。然后采样器根据epsilon_hat和某种调度规则算出下一步的图像x_{t-1}。如此反复直到x_0。这听起来像一个自证过程噪声图里的噪声和内容是混合在一起的模型怎么知道哪些该去掉答案来自训练。训练阶段我们给 UNet 看了海量的第 t 步噪声图 对应的真实噪声配对UNet 就是在学这样一个映射给定当前图它里面藏着的那团噪声长什么样。它不需要知道图里的物体叫什么只需要能从噪声图里分离出噪声成分。我在笔记里画过一张对比图前向过程是图片 → 加噪 → 噪声逆向过程是噪声 → 去噪 → 图片。你会发现这两个过程使用的网络权重其实是同一个 UNet但它们对应的场景不同所以模型中大量用到了条件信息——这就是为什么 UNet 里会有那么多注意力层它需要整理来自文本、图像和时间步三方面的信号。3.3 UNet 里的注意力机制为什么它能理解提示词UNet 不是那种简单的卷积堆叠。Stable Diffusion 用的 UNet 加入了多个注意力模块其中最重要的是交叉注意力cross-attention。交叉注意力的查询来自图像特征键值来自文本特征。这样网络在做局部操作时可以查询提示词中的相关部分。用个生活例子你在画一只戴帽子的猫UNet 的每个卷积块就像你在挥舞画笔而交叉注意力就是你时不时低头看一眼草稿上画的帽子应该在哪个位置、什么形状。它让噪声图里每个区域都能从文本序列里挑出最相关的单词来指导自己的绘制。这也解释了为什么cat 和 hat 的 embedding 之间的关系会对画面产生那么大的影响——交叉注意力机制本质上建立了文本和图像区域之间的软关联。时间步 t 的处理也有讲究。UNet 会通过一个正弦位置编码将 t 变成向量然后加到所有层的特征上。这样同一个网络在处理噪点很多的前期步骤和细节丰富的后期步骤时会主动调整自己的行为方式前期负责铺大色块后期负责描细节。3.4 训练与推理两个阶段完全不同的逻辑训练阶段和推理阶段有一个非常容易混淆的地方我单独拎出来说。训练扩散模型时我们需要的是完整的加噪-去噪循环随机选一张真实图随机选一个步数 t对它加噪让 UNet 预测噪声然后用均方误差损失更新权重。而推理阶段也就是你实际生成图片时根本没有真实图作为参照就是从噪声出发靠 UNet 的预测驱动整个去噪链条。你可能会觉得奇怪没有真实图模型怎么会越去噪越像真实图这恰恰是扩散模型训练生效的结果——网络在训练中学到了真实图片的分布特征所以它在去噪时总是倾向于生成看起来像真实图像的结构而不是随机图案。推理阶段还有两个关键参数步数 steps 和引导强度 guidance_scale。步数越多去噪过程越精细但速度越慢guidance_scale 控制的是文本条件的权重越高代表越忠实提示词但过高会导致色彩过饱和甚至崩坏。这两者我在下一部分的代码实战里都会用到。4. 文生图代码实战从零跑通一个最小流程原理聊到这儿不写代码等于没讲。这一节我带你把 Stable Diffusion 的文生图跑通。其实现在用 diffusers 库代码量少得惊人但我更希望你在跑通之后能回头对应到前面讲的每个部件——注意观察哪里是 VAE 编码哪里是 CLIP 编码哪里是 UNet 去噪哪里是 VAE 解码。4.1 环境准备与依赖安装我以当前比较稳定的 diffusers 版本为例。建议你用一个干净的 Python 3.10 环境先装 PyTorch带 CUDA 的版本再装几个库pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install diffusers transformers accelerate safetensors装完之后可以用一个小脚本确认一切正常import torch from diffusers import StableDiffusionPipeline print(torch.cuda.is_available()) print(torch.__version__)如果你没有独立显卡内存大于 8GB 也能硬跑但速度会慢到怀疑人生。我个人的建议是至少一块 6GB 显存的显卡或者直接用在线服务试水。本地环境的坑最常见的就是 CUDA 版本和 PyTorch 对不上所以我用--index-url明确指定了 cu118 这个版本号省得后面到处报错。4.2 用 Transformers 和 Diffusers 实现文生图核心代码就下面这一段。我用的是 Stable Diffusion 2.1 基础版模型文件会自动从 Hugging Face 下载到本地缓存第一次跑会要些时间。from diffusers import StableDiffusionPipeline import torch # 加载管线这里会自动拉取 text encoder、VAE 和 UNet 三个组件 pipe StableDiffusionPipeline.from_pretrained( stabilityai/stable-diffusion-2-1-base, torch_dtypetorch.float16 ) pipe pipe.to(cuda) # 建议开启这个能省不少显存 pipe.enable_attention_slicing() prompt a cinematic photo of a cat astronaut, detailed fur, nebula background image pipe( prompt, num_inference_steps50, guidance_scale7.5, seed42 ).images[0] image.save(cat_astronaut.png)注意我传了seed42这是为了结果可复现。diffusers 库的新版本用的是generator参数我在笔记里用的是旧接口其实两者等价。你看短短几行就生成了图片。但如果你只满足于这个 Demo那这套笔记就白看了。我们拆解一下这段代码背后发生了什么pipe对象内部其实是一个StableDiffusionPipeline它按顺序调用 text encoder → UNet → VAE decoder 三个组件。image是一张 PIL 图片它最终由 VAE decoder 把潜在空间的向量解码回像素。num_inference_steps50意味着 UNet 会被调用 50 次一次一步地修正潜在向量。4.3 核心参数逐个调一遍steps、guidance_scale、scheduler参数调参是玄学这种说法本质是不理解各参数在流程里的作用。我用自己的实验数据给你列一张表方便你看着调参数取值范围作用调高了会怎样steps20~100控制 UNet 迭代次数细节更丰富但时间更长超过 50 收益递减guidance_scale5~15控制文本条件强度过于贴近提示词色彩易饱和、出现伪影seed任意控制初始噪声固定种子换提示词能观察到风格稳定变化关于 steps 我有一个实测体会从 20 步提高到 50 步效果提升非常明显从 50 提到 100肉眼几乎看不出差别但耗时翻倍。所以日常生成用 30~50 步是性价比最高的区间。guidance_scale这个参数对应原理部分说的文本条件权重。它的实现方式是采样时做两次 UNet 前向一次是有文本条件的预测一次是无文本条件的预测最后用noise_pred noise_uncond guidance_scale * (noise_cond - noise_uncond)融合。这个公式解释了为什么过高的值会导致生成结果过于用力——它放大了文本的影响同时也放大了误差。另外你还可以换采样器scheduler。默认的PNDMScheduler是确定性采样DDIMScheduler步数更少但质量相近DPMSolverMultistepScheduler则几乎成为当下默认选项因为它在保证质量的同时能把步数压到 20 左右。换采样器的代码就一行pipe.scheduler DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)我在笔记里强烈推荐新手直接上 DPM 这类采样器因为它的 20 步效果接近默认的 50 步视觉上没有明显退化。这个结论不是玄学DEIS 和 DPM 这类采样器本身就是在数学上做了更高效的离散化逼近。5. 实际踩过的坑与调优心得最后一章我把自己跑这套流程时真实踩过的坑整理出来。这些经验不是教科书上会写的但每一个都耽误过我至少半小时到一天的时间。5.1 显存不够怎么办优化选项清单很多人问6GB 显存能不能跑 512x512 的 Stable Diffusion能但你必须开优化。diffusers 提供了一系列开关我从最有效到最辅助排序enable_attention_slicing()把注意力计算切块显著降低峰值显存。enable_vae_slicing()将 VAE 解码过程拆成小块省 30% 左右显存。采样分辨率降到 512x512 以下潜在空间是直接按比例缩放的分辨率降低显存占用是近似平方下降。开启torch.compile如果你的 PyTorch 版本支持不仅是加速有时候也能减少部分临时张量的开销。我自己的经验是三行优化全开之后5GB 显存跑 512x512 的 20 步迭代没有压力。如果还是爆显存建议考虑用 SD 1.5 的官方低分辨率模型效果差异不大但显存友好很多。5.2 出图质量不稳定种子、步数与 CFG 的平衡新手常见抱怨是同一句话每次生成都不一样是不是出 bug 了。记住只要把seed固定住生成结果就是完全可复现的。所以做比较实验时请永远固定种子。种子不同初始噪声就不同最后画面构图不同是正常现象这也是发散灵感的好工具——你甚至可以用固定提示词 随机种子当抽卡玩。不稳定感的另一个来源是 CFGguidance_scale设置过高。比如你把 guidance_scale 调到 20它虽然会在语义上更贴近提示词但图像会变得油腻背景画风杂乱。我的建议是先调到你喜欢的步数再逐渐减小guidance_scale直到出现你能接受的最自然风格。通常 6~8 是比较稳的甜点区间。5.3 CLIP 微调到底有用吗个人经验分享关于 CLIP 微调这件事我在笔记里单独开过一节。很多人误以为微调 CLIP 能让自己的模型更好地理解某种画风比如把脸画得更美、更二次元。但这其实是个误区——CLIP 负责的是文-图对齐不是画风渲染。画风主要通过 UNet 和微调 UNet比如 LoRA、DreamBooth来改变。那 CLIP 微调有什么用有但作用很底层。它可以让你的模型在训练数据有限的领域里遇到更贴合的语义特征比如某个特定的角色名、产品或艺术流派专属词汇。但你必须清醒地认识到CLIP 是文生图链路里的总指挥动它一下所有提示词的响应都会变所以它更像是让模型听得懂更专业的话而不是让模型画得更像谁。如果你想让模型输出特定角色去微调 UNet 和 VAE decoder 才更靠谱。我做过一个邪道实验给 CLIP 文本编码器做了几天 LoRA结果对普通画风的促进微乎其微反而让一些常规词汇的理解出现了位移最后只好回滚。5.4 从笔记到实践完成四集精讲的学习路径这套四集笔记我整理过一段时间它的原版相当于是从零到部署的完整视频课每个章节都配了代码和检查点。我提炼出最重要的部分做成现在的文字版第一集确认整体架构与 CLIP第二集深入扩散模型与 UNet第三集是拉通跑一个最小流程第四集是各种部署优化与质量调优。你现在看到的这篇文字基本是前三集的浓缩加第四集的心得。如果你想真正学会我强烈建议你按这个顺序来先用自己的话把这篇文章的流程图画一遍然后用我给的代码跑通一张图哪怕是粗糙的接着试着换一个提示词、换一个采样器、换一组 steps观察画面变化。只要你能解释清楚为什么换采样器后 20 步效果反而更好你就已经走出了纯玄学调参的怪圈。最后再分享一个小技巧我习惯把每次实验的提示词、参数、种子、生成结果截图一起放进一个 Markdown 表格里。当你积累了 50 组记录之后你再回头看参数之间的相互作用就会发现很多规律是肉眼扫一眼根本看不出来的。这套笔记的价值不在于让你背下所有概念而是让你知道去哪里找答案、怎么看参数之间的关系。这一行就是这样——没有一劳永逸的完美参数只有不断摸索中沉淀出的感觉。 
长河君 · 2026/10/28 0:00:44 · 阅读 1.2k Stable Diffusion文生图全解析：从CLIP到UNet的扩散模型原理与实战
1. 先搞清楚这套系统到底在做什么从一张噪点到一幅画Stable Diffusion 这套系统你拆开来看核心其实就三块一个负责理解文字的 CLIP一个负责去噪的 UNet还有一个负责调度整个去噪节奏的采样器。很多人一上来就被扩散模型潜在空间交叉注意力这些词吓住但本质上它干的事情很简单从一个随机噪点出发一步步把噪点擦干净最终显露出你想要的图像。就像一个盲人在一块大理石上雕刻先敲掉大块再精修细节最后呈现出一尊雕像。我写这套四集精讲笔记的初衷就是把这条链路上每个环节的为什么讲透而不是丢一堆 Python 代码让你照着抄。这套方法适合谁说实话只要你对文生图这个词感过兴趣无论你是搞设计的、做算法的、还是纯粹想玩玩本地部署的爱好者都能从这套笔记里找到自己需要的部分。设计师可能只需要理解 CLIP 为什么能听懂人话、CFG 参数调太高为什么图会发黑算法工程师可以深入去看 UNet 里的时间步嵌入和注意力权重而动手型玩家我希望你能照着最后一集的代码在自己电脑上跑通一个最小流程——那才是真正产生原来如此感受的时刻。我见过太多人拿着别人训练好的模型埋头调参数却完全不知道 PD 和 DDIM 有什么区别也不知道为什么换了采样器出图风格会变。这不是你的错是现有教程普遍在原理和代码之间那道鸿沟上跳过去了。这套笔记就是来填这条沟的我会从整体流程开始一步步拆解 CLIP 的编码逻辑、扩散模型的正向加噪与逆向去噪、UNet 的结构与注意力机制最后给出一段真正能跑通的文生图代码并附上我在实际部署中踩过的坑。如果你按顺序读下来再回头去看那些调参数玄学你会发现大部分问题都有了合理的解释。1.1 文生图的本质与整体流程先不要管任何数学公式用一句话概括整个 Stable Diffusion 的推理流程你输入一段文字然后系统在纯随机的噪声图上按照文字给出的方向感一步步将噪声抹去。每一步都基于两个信息——当前这张图长什么样以及文字希望它长什么样。两个信息被拼接在一起输入到 UNet 这个雕刻家里UNet 预测出下一步应该往哪个方向修然后采样器就据此更新图片。这个流程里的关键点在于UNet 不是一次性预测出最终图像而是每步只预测一小步。为什么这样因为一步到位太难了神经网络在复杂的图像分布上直接映射结果会非常粗糙。而迭代式的去噪把一个大难题拆成了几百个小步骤每一步的预测任务都相对简单误差也就更可控。扩散模型的名字就来源于这个拆步的思路——它受热力学中扩散过程的启发如果你把一滴墨水滴入清水它会不可逆地扩散均匀扩散模型就是学习这个扩散过程的逆过程从均匀混沌的噪声中找回原本墨滴的形状。1.2 为什么是潜在空间不是画布太大是计算太贵讲到 Stable Diffusion就绕不开潜在扩散模型Latent Diffusion Model这个说法。为什么不直接在像素上做扩散原因特别现实一张 512x512 的 RGB 图片有 78 万个像素点每个点有 3 个通道。你在这么大尺寸上迭代 50 步每一步都要让神经网络处理几十万维的数据训练和推理的计算量都大到离谱。所以 Stable Diffusion 采用了一个很聪明的前置操作先通过一个叫 VAE变分自编码器的模型把图片压缩到一个很小的潜在空间里。这个压缩不是简单的缩放而是把图片的语义信息编码成一组低维向量——你可以理解为它在 8x 到几十倍的压缩率下仍然保留了画面里有什么、布局如何这样的高层信息。扩散和去噪过程都在这个潜在空间里进行最后再用 VAE 的解码器把去噪后的潜在向量还原成像素图像。这就是潜在两个字的核心含义。我刚接触的时候把潜在空间想象成草稿还挺贴切的模型在草稿本上反复修改构图和物体改满意了再誊到正式画布上。这个设计的直接好处是训练成本大幅下降普通显卡也跑得动后来各种加速 LoRA 微调的思路也都是建立在潜在空间这个底座上的。2. CLIP让机器把文字和图像对齐的翻译官Stable Diffusion 里接收你文字的那个模块就是 CLIP。CLIP 的全称是 Contrastive Language-Image Pre-training由 OpenAI 在 2021 年提出。它的核心思想非常直白训练一个模型让它在同一个向量空间里把相关的图片和文字放在相近的位置。相关性越高向量距离越近不相关就推远。这个概念听着简单但它是整个文生图体系的基石。没有 CLIP你的提示词对模型来说就是一堆无意义的符号有了 CLIP模型才能在每一步去噪时读懂你应该往哪个方向修图。2.1 CLIP 的核心设计双塔编码器与对比学习CLIP 的网络结构一般叫双塔结构左边一个图像编码器右边一个文本编码器。图像编码器可以是 ResNet 或者 ViT文本编码器通常是 Transformer。这两个编码器各干各的但它们的输出被映射到同一个多维向量空间里。训练方式用的是对比学习。想象你有一批图片每张图片配了一段描述文字。模型的目标是让正确的图片-文字对的相似度分数尽可能高让错误的图片-文字对的分数尽可能低。这里的相似度通常用余弦相似度计算。因为训练数据足够大OpenAI 用了将近 4 亿个图文对CLIP 最终学到了一种通用对齐关系不只是记住训练集里的配对而是能理解一只戴着帽子的狗这种在训练数据里可能没见过的组合。这个特性对 Stable Diffusion 至关重要。因为用户输入的提示词千奇百怪模型必须有能力把没见过的新组合映射到视觉概念上。CLIP 的文本编码器就像一个经验丰富的翻译官不仅懂语法还懂画面感。2.2 在 Stable Diffusion 中 CLIP 到底扮演什么角色在 Stable Diffusion 的 UNet 里CLIP 的文本编码器被用来把提示词转成一组 embedding 向量。注意这里用的是 CLIP 的文本编码器部分图像编码器在推理阶段基本不用。这组向量会通过一种叫交叉注意力的机制注入到 UNet 的各个层中指导去噪过程。具体来说UNet 在处理每一张噪声图时会同时关注两个东西一个是当前图像自身的特征另一个是用 CLIP 提取的文本特征。两者通过注意力层融合。你可以把交叉注意力想象成在作画过程中每画一笔都要抬头看一眼前人给的草稿对照一下方向对不对。草稿就是提示词编码画布就是潜在空间里的噪声图。CLIP 在这里还有一层特殊作用它的 text encoder 输出的是 77 个 token 的序列超出部分会被截断或者通过其他方式扩展。这也是为什么你在输入超长提示词时会发现后半段的影响变弱——因为 CLIP 的文本编码器输入端就是这么设计的。了解这个限制你就能理解为什么有些插件比如长提示词增强能提升表现力本质是绕开了这个 77 token 的瓶颈。2.3 动手看 CLIP 的输入输出一段 Python 实测光说原理太空我建议你亲手跑一下这段代码直观感受 CLIP 文本编码器的输入输出。下面用 transformers 库加载最常用的 CLIP 文本编码器看看它对一句话的编码结果长什么样。from transformers import CLIPProcessor, CLIPTextModel import torch model_id openai/clip-vit-large-patch14 processor CLIPProcessor.from_pretrained(model_id) text_model CLIPTextModel.from_pretrained(model_id) text a portrait of a cat, detailed, photorealistic inputs processor(texttext, return_tensorspt, paddingTrue) outputs text_model(**inputs) # 输出是一个 [batch_size, seq_len, hidden_dim] 的张量 # hidden_dim 是 768seq_len 是 77CLIP 固定长度 last_hidden_state outputs.last_hidden_state print(last_hidden_state.shape) # 拿第一个 token对应 [CLS]的向量作为整句的全局表示 sentence_embedding last_hidden_state[:, 0, :] print(sentence_embedding[:5]) # 打印前 5 个数字看看维度值你跑完会看到张量形状是[1, 77, 768]。这就是 CLIP 给 Stable Diffusion 的文本特征。其中 77 是它固定的序列长度768 是隐藏维度。在 Stable Diffusion 内部这个原始向量还会经过一个线性层投影到 UNet 使用的维度。这一步实测的意义在于解掉你对 CLIP 的黑盒感——它没有魔法就是一组高维数值后续所有关于提示词、CFG 的讨论都是建立在这组数值之上的。另外一个常见疑问是CLIP 的文本编码器能不能微调当然能。我在笔记里专门讲过 CLIP 微调对文生图风格的影响。从我的实验看微调 CLIP 比微调 UNet 影响更全局因为它改变的是对提示词的整体理解方式就像换了翻译官的母语习惯。但这也意味着风险微调不当会让原本能理解的提示词变笨所以新手不建议轻易动 CLIP。3. 扩散模型与 UNet一步步去噪的雕刻家CLIP 帮你读懂了要求接下来要执行去噪工作的就是 UNet。UNet 这个名字听起来像某种网络协议的缩写其实它源自 2015 年一篇医学图像分割论文因为网络结构呈 U 形而得名左边逐步下采样提取特征右边逐步上采样恢复尺寸中间有跳跃连接保留细节。这个结构最初是给分割任务设计的没想到在扩散模型时代成了主力工具。要理解 UNet 在 Stable Diffusion 里干了什么得先搞清楚扩散模型的两个阶段前向过程加噪和逆向过程去噪。3.1 前向扩散给图片慢慢加噪的过程扩散模型的想法是如果我们能把一张清晰的图片一步步破坏成纯噪声那么反过来能不能从纯噪声一步步重建回清晰图片前向过程就是那个逐步破坏的动作。每一步我们在图片上叠加一点高斯噪声并且用当前步数 t 来控制噪声强度。这个过程的数学形式是x_t sqrt(alpha_bar_t) * x_0 sqrt(1 - alpha_bar_t) * epsilon其中epsilon是从标准高斯分布采样的噪声alpha_bar_t是递减的系数控制 t 越大时原图保留越少、噪声越多。到足够大的 T 步时x_T基本就是一张纯噪声图。这个公式看着简单但它有一个漂亮的性质给定 x_0你可以直接跳到任意第 t 步的加噪结果而不必一步一步模拟。这一下子就让训练变得高效了。训练目标是让 UNet 学会预测出这个噪声epsilon而不是预测原图或者预测分数。我估计有读者会问为什么预测噪声不直接预测原图实验发现预测噪声在训练和采样过程中稳定得更好。你把它理解成雕刻家只需要知道自己下一步该凿掉哪块废料就顺了找到废料去掉它剩下的自然就是雕像。3.2 逆向去噪UNet 是如何学会猜噪声的真正生成图像时我们做的是逆向过程。先从纯噪声x_T出发然后需要模型告诉我们当前这幅图里包含了什么样的可去除噪声。UNet 输入两个东西当前噪声图x_t以及一个时间步的信号t。输出是一张预测的噪声图epsilon_hat。然后采样器根据epsilon_hat和某种调度规则算出下一步的图像x_{t-1}。如此反复直到x_0。这听起来像一个自证过程噪声图里的噪声和内容是混合在一起的模型怎么知道哪些该去掉答案来自训练。训练阶段我们给 UNet 看了海量的第 t 步噪声图 对应的真实噪声配对UNet 就是在学这样一个映射给定当前图它里面藏着的那团噪声长什么样。它不需要知道图里的物体叫什么只需要能从噪声图里分离出噪声成分。我在笔记里画过一张对比图前向过程是图片 → 加噪 → 噪声逆向过程是噪声 → 去噪 → 图片。你会发现这两个过程使用的网络权重其实是同一个 UNet但它们对应的场景不同所以模型中大量用到了条件信息——这就是为什么 UNet 里会有那么多注意力层它需要整理来自文本、图像和时间步三方面的信号。3.3 UNet 里的注意力机制为什么它能理解提示词UNet 不是那种简单的卷积堆叠。Stable Diffusion 用的 UNet 加入了多个注意力模块其中最重要的是交叉注意力cross-attention。交叉注意力的查询来自图像特征键值来自文本特征。这样网络在做局部操作时可以查询提示词中的相关部分。用个生活例子你在画一只戴帽子的猫UNet 的每个卷积块就像你在挥舞画笔而交叉注意力就是你时不时低头看一眼草稿上画的帽子应该在哪个位置、什么形状。它让噪声图里每个区域都能从文本序列里挑出最相关的单词来指导自己的绘制。这也解释了为什么cat 和 hat 的 embedding 之间的关系会对画面产生那么大的影响——交叉注意力机制本质上建立了文本和图像区域之间的软关联。时间步 t 的处理也有讲究。UNet 会通过一个正弦位置编码将 t 变成向量然后加到所有层的特征上。这样同一个网络在处理噪点很多的前期步骤和细节丰富的后期步骤时会主动调整自己的行为方式前期负责铺大色块后期负责描细节。3.4 训练与推理两个阶段完全不同的逻辑训练阶段和推理阶段有一个非常容易混淆的地方我单独拎出来说。训练扩散模型时我们需要的是完整的加噪-去噪循环随机选一张真实图随机选一个步数 t对它加噪让 UNet 预测噪声然后用均方误差损失更新权重。而推理阶段也就是你实际生成图片时根本没有真实图作为参照就是从噪声出发靠 UNet 的预测驱动整个去噪链条。你可能会觉得奇怪没有真实图模型怎么会越去噪越像真实图这恰恰是扩散模型训练生效的结果——网络在训练中学到了真实图片的分布特征所以它在去噪时总是倾向于生成看起来像真实图像的结构而不是随机图案。推理阶段还有两个关键参数步数 steps 和引导强度 guidance_scale。步数越多去噪过程越精细但速度越慢guidance_scale 控制的是文本条件的权重越高代表越忠实提示词但过高会导致色彩过饱和甚至崩坏。这两者我在下一部分的代码实战里都会用到。4. 文生图代码实战从零跑通一个最小流程原理聊到这儿不写代码等于没讲。这一节我带你把 Stable Diffusion 的文生图跑通。其实现在用 diffusers 库代码量少得惊人但我更希望你在跑通之后能回头对应到前面讲的每个部件——注意观察哪里是 VAE 编码哪里是 CLIP 编码哪里是 UNet 去噪哪里是 VAE 解码。4.1 环境准备与依赖安装我以当前比较稳定的 diffusers 版本为例。建议你用一个干净的 Python 3.10 环境先装 PyTorch带 CUDA 的版本再装几个库pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install diffusers transformers accelerate safetensors装完之后可以用一个小脚本确认一切正常import torch from diffusers import StableDiffusionPipeline print(torch.cuda.is_available()) print(torch.__version__)如果你没有独立显卡内存大于 8GB 也能硬跑但速度会慢到怀疑人生。我个人的建议是至少一块 6GB 显存的显卡或者直接用在线服务试水。本地环境的坑最常见的就是 CUDA 版本和 PyTorch 对不上所以我用--index-url明确指定了 cu118 这个版本号省得后面到处报错。4.2 用 Transformers 和 Diffusers 实现文生图核心代码就下面这一段。我用的是 Stable Diffusion 2.1 基础版模型文件会自动从 Hugging Face 下载到本地缓存第一次跑会要些时间。from diffusers import StableDiffusionPipeline import torch # 加载管线这里会自动拉取 text encoder、VAE 和 UNet 三个组件 pipe StableDiffusionPipeline.from_pretrained( stabilityai/stable-diffusion-2-1-base, torch_dtypetorch.float16 ) pipe pipe.to(cuda) # 建议开启这个能省不少显存 pipe.enable_attention_slicing() prompt a cinematic photo of a cat astronaut, detailed fur, nebula background image pipe( prompt, num_inference_steps50, guidance_scale7.5, seed42 ).images[0] image.save(cat_astronaut.png)注意我传了seed42这是为了结果可复现。diffusers 库的新版本用的是generator参数我在笔记里用的是旧接口其实两者等价。你看短短几行就生成了图片。但如果你只满足于这个 Demo那这套笔记就白看了。我们拆解一下这段代码背后发生了什么pipe对象内部其实是一个StableDiffusionPipeline它按顺序调用 text encoder → UNet → VAE decoder 三个组件。image是一张 PIL 图片它最终由 VAE decoder 把潜在空间的向量解码回像素。num_inference_steps50意味着 UNet 会被调用 50 次一次一步地修正潜在向量。4.3 核心参数逐个调一遍steps、guidance_scale、scheduler参数调参是玄学这种说法本质是不理解各参数在流程里的作用。我用自己的实验数据给你列一张表方便你看着调参数取值范围作用调高了会怎样steps20~100控制 UNet 迭代次数细节更丰富但时间更长超过 50 收益递减guidance_scale5~15控制文本条件强度过于贴近提示词色彩易饱和、出现伪影seed任意控制初始噪声固定种子换提示词能观察到风格稳定变化关于 steps 我有一个实测体会从 20 步提高到 50 步效果提升非常明显从 50 提到 100肉眼几乎看不出差别但耗时翻倍。所以日常生成用 30~50 步是性价比最高的区间。guidance_scale这个参数对应原理部分说的文本条件权重。它的实现方式是采样时做两次 UNet 前向一次是有文本条件的预测一次是无文本条件的预测最后用noise_pred noise_uncond guidance_scale * (noise_cond - noise_uncond)融合。这个公式解释了为什么过高的值会导致生成结果过于用力——它放大了文本的影响同时也放大了误差。另外你还可以换采样器scheduler。默认的PNDMScheduler是确定性采样DDIMScheduler步数更少但质量相近DPMSolverMultistepScheduler则几乎成为当下默认选项因为它在保证质量的同时能把步数压到 20 左右。换采样器的代码就一行pipe.scheduler DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)我在笔记里强烈推荐新手直接上 DPM 这类采样器因为它的 20 步效果接近默认的 50 步视觉上没有明显退化。这个结论不是玄学DEIS 和 DPM 这类采样器本身就是在数学上做了更高效的离散化逼近。5. 实际踩过的坑与调优心得最后一章我把自己跑这套流程时真实踩过的坑整理出来。这些经验不是教科书上会写的但每一个都耽误过我至少半小时到一天的时间。5.1 显存不够怎么办优化选项清单很多人问6GB 显存能不能跑 512x512 的 Stable Diffusion能但你必须开优化。diffusers 提供了一系列开关我从最有效到最辅助排序enable_attention_slicing()把注意力计算切块显著降低峰值显存。enable_vae_slicing()将 VAE 解码过程拆成小块省 30% 左右显存。采样分辨率降到 512x512 以下潜在空间是直接按比例缩放的分辨率降低显存占用是近似平方下降。开启torch.compile如果你的 PyTorch 版本支持不仅是加速有时候也能减少部分临时张量的开销。我自己的经验是三行优化全开之后5GB 显存跑 512x512 的 20 步迭代没有压力。如果还是爆显存建议考虑用 SD 1.5 的官方低分辨率模型效果差异不大但显存友好很多。5.2 出图质量不稳定种子、步数与 CFG 的平衡新手常见抱怨是同一句话每次生成都不一样是不是出 bug 了。记住只要把seed固定住生成结果就是完全可复现的。所以做比较实验时请永远固定种子。种子不同初始噪声就不同最后画面构图不同是正常现象这也是发散灵感的好工具——你甚至可以用固定提示词 随机种子当抽卡玩。不稳定感的另一个来源是 CFGguidance_scale设置过高。比如你把 guidance_scale 调到 20它虽然会在语义上更贴近提示词但图像会变得油腻背景画风杂乱。我的建议是先调到你喜欢的步数再逐渐减小guidance_scale直到出现你能接受的最自然风格。通常 6~8 是比较稳的甜点区间。5.3 CLIP 微调到底有用吗个人经验分享关于 CLIP 微调这件事我在笔记里单独开过一节。很多人误以为微调 CLIP 能让自己的模型更好地理解某种画风比如把脸画得更美、更二次元。但这其实是个误区——CLIP 负责的是文-图对齐不是画风渲染。画风主要通过 UNet 和微调 UNet比如 LoRA、DreamBooth来改变。那 CLIP 微调有什么用有但作用很底层。它可以让你的模型在训练数据有限的领域里遇到更贴合的语义特征比如某个特定的角色名、产品或艺术流派专属词汇。但你必须清醒地认识到CLIP 是文生图链路里的总指挥动它一下所有提示词的响应都会变所以它更像是让模型听得懂更专业的话而不是让模型画得更像谁。如果你想让模型输出特定角色去微调 UNet 和 VAE decoder 才更靠谱。我做过一个邪道实验给 CLIP 文本编码器做了几天 LoRA结果对普通画风的促进微乎其微反而让一些常规词汇的理解出现了位移最后只好回滚。5.4 从笔记到实践完成四集精讲的学习路径这套四集笔记我整理过一段时间它的原版相当于是从零到部署的完整视频课每个章节都配了代码和检查点。我提炼出最重要的部分做成现在的文字版第一集确认整体架构与 CLIP第二集深入扩散模型与 UNet第三集是拉通跑一个最小流程第四集是各种部署优化与质量调优。你现在看到的这篇文字基本是前三集的浓缩加第四集的心得。如果你想真正学会我强烈建议你按这个顺序来先用自己的话把这篇文章的流程图画一遍然后用我给的代码跑通一张图哪怕是粗糙的接着试着换一个提示词、换一个采样器、换一组 steps观察画面变化。只要你能解释清楚为什么换采样器后 20 步效果反而更好你就已经走出了纯玄学调参的怪圈。最后再分享一个小技巧我习惯把每次实验的提示词、参数、种子、生成结果截图一起放进一个 Markdown 表格里。当你积累了 50 组记录之后你再回头看参数之间的相互作用就会发现很多规律是肉眼扫一眼根本看不出来的。这套笔记的价值不在于让你背下所有概念而是让你知道去哪里找答案、怎么看参数之间的关系。这一行就是这样——没有一劳永逸的完美参数只有不断摸索中沉淀出的感觉。