做 AI 漫剧这个念头我去年就有了。当时看着别人用各种云端工具生成漫画和短视频效果确实惊艳但真到自己上手就发现问题不少每次跑一个十几秒的分镜要等半天角色脸每出一张变一个样改个提示词就全推倒重来。折腾到后来我索性把这些活儿全部搬到本地用 ComfyUI 搭了一条从分镜脚本到成片的流水线。前前后后花了大概两个月踩了无数坑——显存炸过、角色漂移过、崩脸崩到怀疑人生、视频闪得没法看——但现在这套流程已经能稳定跑在消费级显卡上我做一集不到 30 秒的漫剧片段从文本脚本到最终出片总耗时基本控制在一小时以内。这篇文章我把整套流水线的搭建过程、显存优化思路、角色一致性工程的具体做法以及实际踩过的坑完整写出来。适合想用本地设备做 AI 漫剧、AI 短视频的朋友也适合正在被“爆显存”“角色不一致”折磨的折腾型玩家。我会尽量把每个决策背后的理由讲清楚方便你根据自己手上的显卡配置做取舍。1. 项目定位与可行性判断1.1 消费级显卡跑 AI 漫剧8G 显存是起步线先泼一盆冷水消费级显卡能跑但别指望它像云端集群那样无脑。我之前在一张 12G 显存的消费级显卡上做过测试后来又换到 8G 显存的环境去验证结论是——只要管好显存、管好分段、管好“一次只干一件事”8G 起步就能跑通整条流水线只是速度和分辨率有上限。整条 AI 视频流水线的主要开销可以拆成三块底模加载、采样过程、VAE 解码。底模加载是大头一个 SD1.5 的 checkpoint 大约 2-4GSDXL 大约 7GFLUX 类甚至到 12G 以上。采样过程主要吃的是中间激活值和临时缓存分辨率越大、batch 越大、步数越多开销越高。VAE 解码看起来不起眼但大分辨率下一样能吃掉几个 G。所以判断一个显卡能不能跑不是只看“能不能加载模型”而是看“加载完模型之后还剩多少显存给采样”。这也是本文后面所有优化策略的出发点。实测来看8G 显存跑 SD1.5 系底模出图分辨率压到 768 以内是稳妥的12G 顯存则可以把 SDXL 作为主力底模出图分辨率能上到 1024 附近。再往上追求更大分辨率或者同时加载多个模型就要用下文说的各种手段去腾显存了。1.2 流水线四阶段从剧本到成片的架构拆解我把这条流水线分成四个阶段。第一阶段是剧本与分镜把文本脚本按镜头拆分每个镜头记录好景别、动作、台词、情绪。第二阶段是角色资产构建为每个主要角色准备统一的参考立绘训练或收集对应的 LoRA建立角色描述模板。第三阶段是画面生成用 ComfyUI 批量生成每个镜头的关键帧再通过帧间插值和动态模型做成短视频片段。第四阶段是后期合成用 FFmpeg 拼接、加字幕、配乐、加转场。这个架构看起来简单但真正的难点在于阶段之间的“一致性交接”分镜描述能不能被角色资产稳定还原关键帧之间的运动是否自然多段视频拼接时会不会出现风格跳变。这些问题单独看都不致命串起来就成了导致“一看就是 AI 拼的”的元凶。所以我在实际执行时给每个阶段都设了“验收标准”。比如角色资产阶段必须通过“多角度泛化测试”画面生成阶段必须通过“同一角色跨三镜对比测试”。这些标准看似繁琐却能让你在长流程里及时发现问题而不是等成片出来才发现角色已经面目全非。2. 显存优化实战选型、启动参数与精度取舍2.1 模型选型别只看新模型要看整个工作流的兼容度我最初的想法是直接用最新最强的模型结果在 8G 卡上直接被教育了一顿。SDXL 配合各种优化勉强能跑但加上 ControlNet、IPAdapter 和批量渲染显存很快就见底。而 SD1.5 系的老模型虽然细节纹理不如新模型但生态成熟、各种配套节点多对显存也友好得多。这里有个容易被忽略的决策逻辑底模并不是越新越好而是要看整个工作流里所有节点是否都支持它。比如你习惯用的某个 ControlNet 预处理器只发布了适配 SD1.5 的版本硬要用 SDXL 底模就得找替代方案反而把流水线搞复杂。我最终的选型方案是8G 显存以 SD1.5 为底模主力搭配轻量化的动态模型和精简版 ControlNet视频段长控制在 16-24 帧12G 显存可以用 SDXL 系底模视频段长可以放宽到 32 帧16G 及以上可以再叠更大的 batch但单卡环境下速度依然受限于显存带宽不能盲目贪大。2.2 启动参数与模型动态加载不释放显存等于白搭ComfyUI 的启动参数对显存影响非常大这一块网上很多教程都是一笔带过但实际差别很明显。我实测下来目前在消费级显卡上用的启动命令是这样的python main.py --listen 127.0.0.1 --port 8188 --medvram --cache-none--medvram让系统自动分配一部分显存给权重缓存其余动态加载适合 8G-12G 的显卡。--lowvram则是把权重反复加载、卸载几乎不常驻显存适合 6G 以下的卡但速度会明显变慢。--highvram是把模型全部常驻显存如果显存不够直接 OOM我不建议在消费级显卡上开。还有一个经常被忽略的关键点ComfyUI 默认会在任务间缓存多个模型如果工作流里同时加载了 checkpoint、ControlNet、IPAdapter这些权重会全部挤在显存里。我踩过最大的坑就是工作流里叠了一堆节点每个节点都加载模型结果一张 12G 的卡被吃满了还没开始采样。解决办法是养成手动管理模型的习惯同一个阶段只用必要的模型用完及时卸载。2.3 量化精度取舍fp8、VAE 和 GGUF 的实测感受显存不够最常见的手段是量化。ComfyUI 生态里 checkpoint 和 VAE 都有 fp8、fp16 等不同精度版本我这几轮测试下来有一些比较具体的感受。权重用 fp8 能节省约一半的模型驻留显存画质损失在 SD1.5 上几乎不可感知在 SDXL 上稍微注意看能发现细节略有损失但正常观看出图完全够用。VAE 我不建议量化到太低位原因很简单VAE 负责把潜在空间解码成像素图像精度过低会出现色斑和色彩断层这些问题后期修起来比显存不足还烦人。我一般让 VAE 保持 fp16如果实在没显存再降到 fp8。另外GGUF 量化版本适合更低显存的环境但它对采样器和采样速度有额外约束需要花时间研究兼容性。这里有个取舍逻辑值得说透量化省下来的钱是“权重驻留显存”但采样过程本身还需要一定量的临时缓存这部分省不掉。所以如果你在采样中途爆显存单纯量化不一定能解决问题更优先要做的是降低分辨率、减小 batch、缩短段长。量化更像是“压舱底”的手段而不是第一优化手段。3. 角色一致性工程四条防线锁住同一张脸3.1 角色漂移的本质与四管齐下方案AI 生成本质上是概率采样同一段提示词在不同随机种子下得到的脸完全不同即使固定了种子在长流程里一旦引入 ControlNet、局部重绘、视频插值这些节点采样分布也会被改变。再加上漫剧往往需要几十上百张连续画面角色的脸就会在你看不见的地方一点一点漂走。我在反复踩坑之后把角色一致性拆成了四个层面的工程手段固定标签体系、固化角色 LoRA、锚定参考图、精修出图。这四者不是可选项而是缺一不可的配合关系。固定标签体系是让每个角色有一套完全统一的描述词谁都不许在某个镜头里把“银发马尾”临时改成“白毛长直发”固化角色 LoRA 是让模型在概率上更偏向这个角色锚定参考图是给画面注入角色特征作为参照精修出图则是最后一步的面部细节矫正。四个层面越靠前越关键越靠后越精细。3.2 角色 LoRA 训练素材、标签与参数记录LoRA 是角色一致性的地基。我前前后后训练过几个角色 LoRA一个比较通用的流程是这样第一步收集角色图 15-30 张尽可能覆盖正脸、侧脸、不同角度、不同表情和不同光照这些素材可以来自同一个角色在不同分镜里的历史输出也可以用人工筛选的关键帧。第二步图片统一切到 512×512 或 768×768做标签处理。这里我有一条经验把人物特征类的标签全部删掉只保留场景类和环境类标签目的是让 LoRA 学习“角色本身”而不是“角色在某场景里的样子”。第三步是训练参数。学习率我一般从 1e-4 起步步数根据图片数量控制在 1000-1500 步之间超过容易过拟合角色特征会僵化脸是像了但表情和姿态都变得呆板。第四步是训练完之后的“泛化测试”——用固定种子跑一组覆盖不同角度、不同姿态的提示词确认角色特征能稳定保持。这一步绝不能省因为我遇到过训练时看预览图完美、一到真实分镜里就翻车的情况原因就是素材里某个角度的图片太多LoRA 把那个角度背了下来其他角度全部失效。3.3 锚定参考图 FaceDetailer 局部重绘LoRA 再强遇到极端角度或复杂动作时依然会出现“神似形不似”。我的做法是给每个角色准备一张“锚定参考图”在生成关键帧时通过 IPAdapter 把参考图的人物特征注入采样过程。参考图的选择也有讲究不要用太艺术化、滤镜感太强的图最好是一张光线均匀、角度正面且特征清晰的立绘。锚定参考图解决的是“整体像不像”的问题但面部的细节崩坏还得靠 FaceDetailer 这类局部重绘节点来兜底。FaceDetailer 的原理是先检测人脸区域再对脸部做一次低强度重绘。这里有个非常关键的参数Denoise 不能太高我一般设在 0.25-0.35 之间。太高的 denoise 等于把脸完全重画很可能画成另一张脸太低则起不到修复崩脸的作用。检测模型我常用face_yolov8配合低分辨率输入实测能把崩脸率从肉眼可见降到基本可以忽略。这个节点我建议放在批量出图流程里作为标准环节而不是出问题后再补。3.4 姿态和构图锚定ControlNet 的组合用法角色一致性不只是脸一致还包括身材比例、服装特征、肢体动态。我用的方法是在分镜关键帧生成时用 ControlNet 的 OpenPose 节点锁定人体姿态用 Depth 或 Canny 锁定场景构图。这样即使同一角色换了几组提示词组合它的动作和景别也能保持在一定范围内而不是每个镜头都重新长出一个姿势。不过要提醒的是ControlNet 不是越多越好。多个 ControlNet 同时作用时权重参数会互相干扰出来的画面往往会“四不像”动作是锁住了但构图被深度图带偏人脸又因为 pose 的过强引导而变形。我通常单个镜头最多叠加两个 ControlNet一个管人物姿态一个管画面结构。如果你只需要人物站立对话其实一个 OpenPose 就够用别为了“更稳”而盲目堆节点稳定往往来自于克制而不是叠加。4. 漫剧视频流水线实操分镜、动态化与合成4.1 分镜脚本到关键帧提示词模板化我习惯把一集 30 秒的漫剧拆成 3-4 个镜头段落每个段落 8-12 帧的动态信息。每个镜头的分镜信息包括画面描述、景别、动作描述、情绪关键词、台词文本。分镜信息会被整理成结构化的表格再映射到 ComfyUI 的文本输入上。提示词模板的固定化很重要。我把“质量词”“角色描述”“动作场景”“镜头语言”分成四个区块每次生成只替换中间的变化部分这样可以在相当程度上避免“同一个角色在不同镜头里风格突变”的问题。我用的模板大概是这样的[角色锚定描述串], [动作与场景描述], [景别与镜头语言], [光影与风格词], negative prompt 固定不变举个例子同一角色在镜头 A 写“银发马尾, 琥珀瞳, 黑夹克, 颈圈, 坐在窗边, 室内咖啡厅, 柔光”在镜头 B 就不能改成“白毛, 金瞳, 外套, 站在街头, 夜景霓虹”因为角色锚定描述串里的核心特征词一旦变动哪怕只是一字之差模型都会在特征空间里漂移。这也是我在第 3 部分反复强调“固定标签体系”的落地场景。4.2 动态化处理AnimateDiff 与图生视频的取舍关键帧生成之后就是把静态画面变成动态视频。ComfyUI 生态里目前比较成熟的是 AnimateDiff 系模型也有 SVD 这类图生视频模型。我的经验是AnimateDiff 更适合“可控性强、动作幅度小”的漫剧镜头因为它的运动信息是通过 motion 模块和 ControlNet 共同约束的SVD 则更适合“输入一张图、自由运镜”的场景比如镜头缓缓推近或平移。AnimateDiff 的使用有几个关键参数值得记一下。第一段长不宜过长16 帧以内稳定性最好超过 32 帧画面很容易漂移哪怕是同一个角色也会在连续帧里出现脸型变化。第二加入 ControlNet 对运动进行约束非常必要不然角色会在视频里“飘着走”像浮在背景上一样。第三CFG 值建议调低我一般设在 5-6。CFG 太高会让每一帧都过度自信导致单帧看起来很锐利、连起来播放却闪烁不止。4.3 帧序列拼接与转场技巧ComfyUI 生成的是连续的帧图像序列最终成片需要拼接。我一般用 FFmpeg 把帧序列按指定帧率合成视频再到剪辑软件里加字幕、音效和转场。这里有个特别实用的技巧相邻两段视频之间不要硬切而是在后期做一个 2-4 帧的交叉混合转场。原因很简单AI 视频大概率会有轻微的色调差异或细节变化硬切会出现非常明显的“跳变感”。一个小小的柔和转场就能把这种感觉压下去观感会好很多。另一个细节是声音设计漫剧的对白配音、环境音和转场音效都能有效掩盖画面本身的微小不自然我强烈建议在成片阶段不要把精力全放在画面上声音的加持往往能让视频显得“完成度”高出一大截。5. 问题排查与避坑实录5.1 显存报错先分阶段定位再决定优化方向显存不足是最常见的问题特征是五花八门的 CUDA out of memory 报错。先说排查顺序先看是哪个环节爆的显存。如果是在加载模型时爆说明权重占用太高优先换更小模型或做量化如果是在采样过程中爆就要降低分辨率、减小 batch、缩短动态段长如果是在 VAE 解码阶段爆检查 VAE 精度或者换轻量 VAE 版本。还有一个很多人忽略的原因后台程序占显存。浏览器打开几十个标签页、剪辑软件挂在后台、另一个训练脚本还开着都会吃掉几百 MB 到几个 G 的显存。我在排障的时候会把所有无关软件全部关掉再清一遍系统缓存很多时候报错就这么莫名其妙地消失了。另外把 ComfyUI 的输出图像分辨率调低到测试值确认流程能跑通之后再加回去能帮你快速判断是不是分辨率触到了显存天花板。5.2 角色漂移排查从 LoRA 权重到 FaceDetailer 路径角色漂移的排查有一定套路。我会按顺序检查第一步把 LoRA 权重调高一点看角色特征是否回归第二步把参考图的注入强度调高看是否因为 IPAdapter 没起作用第三步检查 FaceDetailer 是不是在“捣乱”——它的检测模型如果配错路径或检测框不准就会反复把角色的脸重画成同一张不相关的脸。我遇到过一次很奇怪的问题FaceDetailer 每次都把角色脸重画成一个“路人脸”排查了半天最后发现是检测模型的路径配错导致检测区域偏移。这类问题在日志里往往没有明显报错只能逐个节点去检查输入输出也是实际工程里最熬人的部分。所以我养成了一个习惯每个新节点第一次接入工作流时单独跑一次单图测试确认输出符合预期后再接入批量流程这个小习惯帮我省下了大量排障时间。5.3 视频闪烁的处理流程视频闪烁是动态化之后最常见的问题也是最难完全消除的问题。闪烁的本质是每一帧采样时都引入了独立的随机噪声帧与帧之间缺乏足够的共享信息。AnimateDiff 虽然会通过 motion 模块共享运动信息但 motion 强度不够、CFG 太高、段长太长都会让闪烁重新冒出来。我的处理流程是这样先把 CFG 从默认的 7 往下降到 5-6把段长从 32 帧缩到 16 帧这两个参数对闪烁的影响最直接然后检查 ControlNet 是否真实生效——如果控制条件没有传进采样过程角色就会在背景里“蠕动”最后如果还是闪就只能在后期加一层轻微的降噪滤镜。说实话AI 视频做到“肉眼基本不闪”其实已经够用了不要为了追求绝对稳定而牺牲画面锐度那反而会让观感变糊。这套流水线我到现在还在持续调整。说实话它离“一键生成完整漫剧”还有很长的距离——每个环节都需要人工盯、人工调、人工修。但它的价值在于把“从零到一”的试错成本压了下来。过去做一分多钟的漫剧短视频我可能要花一整个周末现在同样的时间能跑两个版本的完整分镜而且角色是同一个角色、画面是同一套风格。如果你也想在本地折腾 AI 漫剧我的建议是别一上来就追求“全自动”先把显存吃紧的问题解决掉再把角色一致性这一关过了后面的速度问题都可以慢慢优化。 
长河君 · 2026/10/15 22:18:02 · 阅读 1.2k 消费级显卡本地部署ComfyUI：AI漫剧制作全流程与显存优化实践
做 AI 漫剧这个念头我去年就有了。当时看着别人用各种云端工具生成漫画和短视频效果确实惊艳但真到自己上手就发现问题不少每次跑一个十几秒的分镜要等半天角色脸每出一张变一个样改个提示词就全推倒重来。折腾到后来我索性把这些活儿全部搬到本地用 ComfyUI 搭了一条从分镜脚本到成片的流水线。前前后后花了大概两个月踩了无数坑——显存炸过、角色漂移过、崩脸崩到怀疑人生、视频闪得没法看——但现在这套流程已经能稳定跑在消费级显卡上我做一集不到 30 秒的漫剧片段从文本脚本到最终出片总耗时基本控制在一小时以内。这篇文章我把整套流水线的搭建过程、显存优化思路、角色一致性工程的具体做法以及实际踩过的坑完整写出来。适合想用本地设备做 AI 漫剧、AI 短视频的朋友也适合正在被“爆显存”“角色不一致”折磨的折腾型玩家。我会尽量把每个决策背后的理由讲清楚方便你根据自己手上的显卡配置做取舍。1. 项目定位与可行性判断1.1 消费级显卡跑 AI 漫剧8G 显存是起步线先泼一盆冷水消费级显卡能跑但别指望它像云端集群那样无脑。我之前在一张 12G 显存的消费级显卡上做过测试后来又换到 8G 显存的环境去验证结论是——只要管好显存、管好分段、管好“一次只干一件事”8G 起步就能跑通整条流水线只是速度和分辨率有上限。整条 AI 视频流水线的主要开销可以拆成三块底模加载、采样过程、VAE 解码。底模加载是大头一个 SD1.5 的 checkpoint 大约 2-4GSDXL 大约 7GFLUX 类甚至到 12G 以上。采样过程主要吃的是中间激活值和临时缓存分辨率越大、batch 越大、步数越多开销越高。VAE 解码看起来不起眼但大分辨率下一样能吃掉几个 G。所以判断一个显卡能不能跑不是只看“能不能加载模型”而是看“加载完模型之后还剩多少显存给采样”。这也是本文后面所有优化策略的出发点。实测来看8G 显存跑 SD1.5 系底模出图分辨率压到 768 以内是稳妥的12G 顯存则可以把 SDXL 作为主力底模出图分辨率能上到 1024 附近。再往上追求更大分辨率或者同时加载多个模型就要用下文说的各种手段去腾显存了。1.2 流水线四阶段从剧本到成片的架构拆解我把这条流水线分成四个阶段。第一阶段是剧本与分镜把文本脚本按镜头拆分每个镜头记录好景别、动作、台词、情绪。第二阶段是角色资产构建为每个主要角色准备统一的参考立绘训练或收集对应的 LoRA建立角色描述模板。第三阶段是画面生成用 ComfyUI 批量生成每个镜头的关键帧再通过帧间插值和动态模型做成短视频片段。第四阶段是后期合成用 FFmpeg 拼接、加字幕、配乐、加转场。这个架构看起来简单但真正的难点在于阶段之间的“一致性交接”分镜描述能不能被角色资产稳定还原关键帧之间的运动是否自然多段视频拼接时会不会出现风格跳变。这些问题单独看都不致命串起来就成了导致“一看就是 AI 拼的”的元凶。所以我在实际执行时给每个阶段都设了“验收标准”。比如角色资产阶段必须通过“多角度泛化测试”画面生成阶段必须通过“同一角色跨三镜对比测试”。这些标准看似繁琐却能让你在长流程里及时发现问题而不是等成片出来才发现角色已经面目全非。2. 显存优化实战选型、启动参数与精度取舍2.1 模型选型别只看新模型要看整个工作流的兼容度我最初的想法是直接用最新最强的模型结果在 8G 卡上直接被教育了一顿。SDXL 配合各种优化勉强能跑但加上 ControlNet、IPAdapter 和批量渲染显存很快就见底。而 SD1.5 系的老模型虽然细节纹理不如新模型但生态成熟、各种配套节点多对显存也友好得多。这里有个容易被忽略的决策逻辑底模并不是越新越好而是要看整个工作流里所有节点是否都支持它。比如你习惯用的某个 ControlNet 预处理器只发布了适配 SD1.5 的版本硬要用 SDXL 底模就得找替代方案反而把流水线搞复杂。我最终的选型方案是8G 显存以 SD1.5 为底模主力搭配轻量化的动态模型和精简版 ControlNet视频段长控制在 16-24 帧12G 显存可以用 SDXL 系底模视频段长可以放宽到 32 帧16G 及以上可以再叠更大的 batch但单卡环境下速度依然受限于显存带宽不能盲目贪大。2.2 启动参数与模型动态加载不释放显存等于白搭ComfyUI 的启动参数对显存影响非常大这一块网上很多教程都是一笔带过但实际差别很明显。我实测下来目前在消费级显卡上用的启动命令是这样的python main.py --listen 127.0.0.1 --port 8188 --medvram --cache-none--medvram让系统自动分配一部分显存给权重缓存其余动态加载适合 8G-12G 的显卡。--lowvram则是把权重反复加载、卸载几乎不常驻显存适合 6G 以下的卡但速度会明显变慢。--highvram是把模型全部常驻显存如果显存不够直接 OOM我不建议在消费级显卡上开。还有一个经常被忽略的关键点ComfyUI 默认会在任务间缓存多个模型如果工作流里同时加载了 checkpoint、ControlNet、IPAdapter这些权重会全部挤在显存里。我踩过最大的坑就是工作流里叠了一堆节点每个节点都加载模型结果一张 12G 的卡被吃满了还没开始采样。解决办法是养成手动管理模型的习惯同一个阶段只用必要的模型用完及时卸载。2.3 量化精度取舍fp8、VAE 和 GGUF 的实测感受显存不够最常见的手段是量化。ComfyUI 生态里 checkpoint 和 VAE 都有 fp8、fp16 等不同精度版本我这几轮测试下来有一些比较具体的感受。权重用 fp8 能节省约一半的模型驻留显存画质损失在 SD1.5 上几乎不可感知在 SDXL 上稍微注意看能发现细节略有损失但正常观看出图完全够用。VAE 我不建议量化到太低位原因很简单VAE 负责把潜在空间解码成像素图像精度过低会出现色斑和色彩断层这些问题后期修起来比显存不足还烦人。我一般让 VAE 保持 fp16如果实在没显存再降到 fp8。另外GGUF 量化版本适合更低显存的环境但它对采样器和采样速度有额外约束需要花时间研究兼容性。这里有个取舍逻辑值得说透量化省下来的钱是“权重驻留显存”但采样过程本身还需要一定量的临时缓存这部分省不掉。所以如果你在采样中途爆显存单纯量化不一定能解决问题更优先要做的是降低分辨率、减小 batch、缩短段长。量化更像是“压舱底”的手段而不是第一优化手段。3. 角色一致性工程四条防线锁住同一张脸3.1 角色漂移的本质与四管齐下方案AI 生成本质上是概率采样同一段提示词在不同随机种子下得到的脸完全不同即使固定了种子在长流程里一旦引入 ControlNet、局部重绘、视频插值这些节点采样分布也会被改变。再加上漫剧往往需要几十上百张连续画面角色的脸就会在你看不见的地方一点一点漂走。我在反复踩坑之后把角色一致性拆成了四个层面的工程手段固定标签体系、固化角色 LoRA、锚定参考图、精修出图。这四者不是可选项而是缺一不可的配合关系。固定标签体系是让每个角色有一套完全统一的描述词谁都不许在某个镜头里把“银发马尾”临时改成“白毛长直发”固化角色 LoRA 是让模型在概率上更偏向这个角色锚定参考图是给画面注入角色特征作为参照精修出图则是最后一步的面部细节矫正。四个层面越靠前越关键越靠后越精细。3.2 角色 LoRA 训练素材、标签与参数记录LoRA 是角色一致性的地基。我前前后后训练过几个角色 LoRA一个比较通用的流程是这样第一步收集角色图 15-30 张尽可能覆盖正脸、侧脸、不同角度、不同表情和不同光照这些素材可以来自同一个角色在不同分镜里的历史输出也可以用人工筛选的关键帧。第二步图片统一切到 512×512 或 768×768做标签处理。这里我有一条经验把人物特征类的标签全部删掉只保留场景类和环境类标签目的是让 LoRA 学习“角色本身”而不是“角色在某场景里的样子”。第三步是训练参数。学习率我一般从 1e-4 起步步数根据图片数量控制在 1000-1500 步之间超过容易过拟合角色特征会僵化脸是像了但表情和姿态都变得呆板。第四步是训练完之后的“泛化测试”——用固定种子跑一组覆盖不同角度、不同姿态的提示词确认角色特征能稳定保持。这一步绝不能省因为我遇到过训练时看预览图完美、一到真实分镜里就翻车的情况原因就是素材里某个角度的图片太多LoRA 把那个角度背了下来其他角度全部失效。3.3 锚定参考图 FaceDetailer 局部重绘LoRA 再强遇到极端角度或复杂动作时依然会出现“神似形不似”。我的做法是给每个角色准备一张“锚定参考图”在生成关键帧时通过 IPAdapter 把参考图的人物特征注入采样过程。参考图的选择也有讲究不要用太艺术化、滤镜感太强的图最好是一张光线均匀、角度正面且特征清晰的立绘。锚定参考图解决的是“整体像不像”的问题但面部的细节崩坏还得靠 FaceDetailer 这类局部重绘节点来兜底。FaceDetailer 的原理是先检测人脸区域再对脸部做一次低强度重绘。这里有个非常关键的参数Denoise 不能太高我一般设在 0.25-0.35 之间。太高的 denoise 等于把脸完全重画很可能画成另一张脸太低则起不到修复崩脸的作用。检测模型我常用face_yolov8配合低分辨率输入实测能把崩脸率从肉眼可见降到基本可以忽略。这个节点我建议放在批量出图流程里作为标准环节而不是出问题后再补。3.4 姿态和构图锚定ControlNet 的组合用法角色一致性不只是脸一致还包括身材比例、服装特征、肢体动态。我用的方法是在分镜关键帧生成时用 ControlNet 的 OpenPose 节点锁定人体姿态用 Depth 或 Canny 锁定场景构图。这样即使同一角色换了几组提示词组合它的动作和景别也能保持在一定范围内而不是每个镜头都重新长出一个姿势。不过要提醒的是ControlNet 不是越多越好。多个 ControlNet 同时作用时权重参数会互相干扰出来的画面往往会“四不像”动作是锁住了但构图被深度图带偏人脸又因为 pose 的过强引导而变形。我通常单个镜头最多叠加两个 ControlNet一个管人物姿态一个管画面结构。如果你只需要人物站立对话其实一个 OpenPose 就够用别为了“更稳”而盲目堆节点稳定往往来自于克制而不是叠加。4. 漫剧视频流水线实操分镜、动态化与合成4.1 分镜脚本到关键帧提示词模板化我习惯把一集 30 秒的漫剧拆成 3-4 个镜头段落每个段落 8-12 帧的动态信息。每个镜头的分镜信息包括画面描述、景别、动作描述、情绪关键词、台词文本。分镜信息会被整理成结构化的表格再映射到 ComfyUI 的文本输入上。提示词模板的固定化很重要。我把“质量词”“角色描述”“动作场景”“镜头语言”分成四个区块每次生成只替换中间的变化部分这样可以在相当程度上避免“同一个角色在不同镜头里风格突变”的问题。我用的模板大概是这样的[角色锚定描述串], [动作与场景描述], [景别与镜头语言], [光影与风格词], negative prompt 固定不变举个例子同一角色在镜头 A 写“银发马尾, 琥珀瞳, 黑夹克, 颈圈, 坐在窗边, 室内咖啡厅, 柔光”在镜头 B 就不能改成“白毛, 金瞳, 外套, 站在街头, 夜景霓虹”因为角色锚定描述串里的核心特征词一旦变动哪怕只是一字之差模型都会在特征空间里漂移。这也是我在第 3 部分反复强调“固定标签体系”的落地场景。4.2 动态化处理AnimateDiff 与图生视频的取舍关键帧生成之后就是把静态画面变成动态视频。ComfyUI 生态里目前比较成熟的是 AnimateDiff 系模型也有 SVD 这类图生视频模型。我的经验是AnimateDiff 更适合“可控性强、动作幅度小”的漫剧镜头因为它的运动信息是通过 motion 模块和 ControlNet 共同约束的SVD 则更适合“输入一张图、自由运镜”的场景比如镜头缓缓推近或平移。AnimateDiff 的使用有几个关键参数值得记一下。第一段长不宜过长16 帧以内稳定性最好超过 32 帧画面很容易漂移哪怕是同一个角色也会在连续帧里出现脸型变化。第二加入 ControlNet 对运动进行约束非常必要不然角色会在视频里“飘着走”像浮在背景上一样。第三CFG 值建议调低我一般设在 5-6。CFG 太高会让每一帧都过度自信导致单帧看起来很锐利、连起来播放却闪烁不止。4.3 帧序列拼接与转场技巧ComfyUI 生成的是连续的帧图像序列最终成片需要拼接。我一般用 FFmpeg 把帧序列按指定帧率合成视频再到剪辑软件里加字幕、音效和转场。这里有个特别实用的技巧相邻两段视频之间不要硬切而是在后期做一个 2-4 帧的交叉混合转场。原因很简单AI 视频大概率会有轻微的色调差异或细节变化硬切会出现非常明显的“跳变感”。一个小小的柔和转场就能把这种感觉压下去观感会好很多。另一个细节是声音设计漫剧的对白配音、环境音和转场音效都能有效掩盖画面本身的微小不自然我强烈建议在成片阶段不要把精力全放在画面上声音的加持往往能让视频显得“完成度”高出一大截。5. 问题排查与避坑实录5.1 显存报错先分阶段定位再决定优化方向显存不足是最常见的问题特征是五花八门的 CUDA out of memory 报错。先说排查顺序先看是哪个环节爆的显存。如果是在加载模型时爆说明权重占用太高优先换更小模型或做量化如果是在采样过程中爆就要降低分辨率、减小 batch、缩短动态段长如果是在 VAE 解码阶段爆检查 VAE 精度或者换轻量 VAE 版本。还有一个很多人忽略的原因后台程序占显存。浏览器打开几十个标签页、剪辑软件挂在后台、另一个训练脚本还开着都会吃掉几百 MB 到几个 G 的显存。我在排障的时候会把所有无关软件全部关掉再清一遍系统缓存很多时候报错就这么莫名其妙地消失了。另外把 ComfyUI 的输出图像分辨率调低到测试值确认流程能跑通之后再加回去能帮你快速判断是不是分辨率触到了显存天花板。5.2 角色漂移排查从 LoRA 权重到 FaceDetailer 路径角色漂移的排查有一定套路。我会按顺序检查第一步把 LoRA 权重调高一点看角色特征是否回归第二步把参考图的注入强度调高看是否因为 IPAdapter 没起作用第三步检查 FaceDetailer 是不是在“捣乱”——它的检测模型如果配错路径或检测框不准就会反复把角色的脸重画成同一张不相关的脸。我遇到过一次很奇怪的问题FaceDetailer 每次都把角色脸重画成一个“路人脸”排查了半天最后发现是检测模型的路径配错导致检测区域偏移。这类问题在日志里往往没有明显报错只能逐个节点去检查输入输出也是实际工程里最熬人的部分。所以我养成了一个习惯每个新节点第一次接入工作流时单独跑一次单图测试确认输出符合预期后再接入批量流程这个小习惯帮我省下了大量排障时间。5.3 视频闪烁的处理流程视频闪烁是动态化之后最常见的问题也是最难完全消除的问题。闪烁的本质是每一帧采样时都引入了独立的随机噪声帧与帧之间缺乏足够的共享信息。AnimateDiff 虽然会通过 motion 模块共享运动信息但 motion 强度不够、CFG 太高、段长太长都会让闪烁重新冒出来。我的处理流程是这样先把 CFG 从默认的 7 往下降到 5-6把段长从 32 帧缩到 16 帧这两个参数对闪烁的影响最直接然后检查 ControlNet 是否真实生效——如果控制条件没有传进采样过程角色就会在背景里“蠕动”最后如果还是闪就只能在后期加一层轻微的降噪滤镜。说实话AI 视频做到“肉眼基本不闪”其实已经够用了不要为了追求绝对稳定而牺牲画面锐度那反而会让观感变糊。这套流水线我到现在还在持续调整。说实话它离“一键生成完整漫剧”还有很长的距离——每个环节都需要人工盯、人工调、人工修。但它的价值在于把“从零到一”的试错成本压了下来。过去做一分多钟的漫剧短视频我可能要花一整个周末现在同样的时间能跑两个版本的完整分镜而且角色是同一个角色、画面是同一套风格。如果你也想在本地折腾 AI 漫剧我的建议是别一上来就追求“全自动”先把显存吃紧的问题解决掉再把角色一致性这一关过了后面的速度问题都可以慢慢优化。