从“一句剧本”到“一部短剧”这句话听起来像是广告语但这个周末我真把它跑通了——而且是全程在本地电脑上完成不花一分钱API费用。我用一句话当起点“深夜加班的程序员发现自己写的代码正在一步步删除整座城市的记忆。”然后靠着本地部署的大语言模型、图像生成和视频生成工具把它变成了一部十几秒、有旁白有字幕的AI短剧。整条链路我踩了不少坑也把很多想当然的认知修正了一遍。这篇就把实测过程、工具选型、每个环节的参数以及遇到问题怎么排查全部写出来。这套流程适合谁如果你是内容创作者想批量做短视频素材但不想依赖云端付费接口如果你在学本地部署大模型想找一个能落地的综合项目又或者你只是好奇“开源的AI工具链到底能不能独立产出一件完整作品”那这篇文章应该能帮你省下大量试错时间。我会尽量把每一步都写到可以直接复现的程度。1. 一句话到成片这套本地流水线总共分几步1.1 “零元本地”的真实含义免费不代表没有成本先别急着被“零元”两个字带偏。我实测下来所谓零元是指不需要为API、订阅、云端算力付费但你的电费、时间、硬件折旧这些隐形成本还是要算进去的。尤其是时间成本第一次搭环境大概率要用掉一个完整的周末过程中会反复遇到模型下载失败、显存不足、工作流断掉之类的破事。为什么还要坚持本地跑三个理由让我觉得值得。第一个是隐私和数据安全。短剧的剧本、画面素材、配音音频都在自己电脑里处理上传需求几乎为零这对不想把创意底稿交给第三方服务的创作者来说很重要。第二个是试错成本。云端API按token收费生成一张图按次收费你每一次“随便试试”都是在烧钱本地跑则完全没有这个顾虑同一个剧本我可以改十遍提示词也不心疼。第三个是可复现性。本地环境一旦搭好配置是固定的同一套工作流导出成JSON后下次一键加载结果稳定不用怕云端模型悄悄换了版本导致成片风格漂移。但我要提醒一句本地部署不等于“零技术门槛”。你需要会看命令行报错、会改配置文件、能忍受各种依赖版本不兼容。这不是劝退而是先把预期摆正。它不是抖音式的一键成片但当你把这条路跑通之后二次创作效率会非常惊人。1.2 五步流水线扩写、分镜、出图、动起来、配音合成整个流程可以拆成五个环节分别对应传统影视制作里的编剧、导演、美术、摄影和剪辑岗位。第一步是“剧本扩写”。把一句话扩写成有起承转合的完整剧本。第二步是“分镜拆解”。剧本拆成若干个镜头每个镜头要有画面描述、景别、字幕文案和旁白。第三步是“画面生成”。把分镜里的画面描述变成静态图片。第四步是“动态化”。让静态图片产生轻微镜头运动变成短视频片段。第五步是“合成输出”。生成旁白音频、配上字幕、把视频片段按顺序拼接。这套流程的核心思路是把“生成式AI”从一个“碰运气的黑盒”变成一个“每步可控的工业管线”。每一步的输出都有明确的结构下一步只需要消费上一步的结构化结果。这样做的好处是任何一环出了问题你可以精准定位到具体步骤去修而不是整条重来。1.3 为什么选“Agent式分工”而不是一次生成你可能会问现在不是有那种输入一句描述直接输出整段视频的模型吗为什么不直接用我也试过效果只能说“可用但不可控”。直接生成的全片往往在画面一致性、叙事逻辑、字幕匹配上不稳定更重要的是你没法精确修改某一帧或某一句旁白。想改一个镜头只能整片重新生成一次就是一个小时起步太绝望。所以我走的是“Agent式分工”的路子让不同模型各司其职语言模型负责创意和结构化图像模型负责画面视频模型负责动态语音模型负责发声最后由FFmpeg做硬剪辑。这就像拍电影时编剧、美术、摄影、剪辑各有专长你不会指望一个摄影师把剧本也写了。而且把流程拆开后每一环都能单独优化。比如我对剧本不满意只需要重跑大模型那一步图片和视频素材不用重新生成。这种模块化思路才是本地零元玩法真正高效的地方。2. 先确认硬件兜不兜得住再谈零元2.1 我这台机器的配置和你需要的最低门槛先交代我的实测机器配置CPU是i5-12400F内存32GB DDR4显卡是RTX 3060 12GB显存版本系统盘是512GB SSD。这套配置在今天的标准里算中规中矩但它能完整跑完上面说的整条流水线所以可以作为参考基准。如果只跑文本生成和配音8GB内存加任意四核CPU都能应付这部分几乎没门槛。卡脖子的主要在图像和视频生成环节需要独立显卡且显存至少8GB。8GB显存可以比较舒服地跑SD1.5系列的图像模型配一个7B量化级别的大语言模型属于“能玩”的状态。12GB显存则是我想推荐的甜点配置可以跑SDXL和AnimateDiff的轻量视频工作流体验会好一个档次。如果你的显卡显存只有6GB甚至更低也别直接放弃可以靠CPU推理文本、低分辨率出图、缩短视频帧数来降级运行只是速度和效果都要打折扣。硬盘空间也需要提前规划。一个7B模型大概4到5GB一个SD1.5模型约2GBAnimateDiff的运动模块约1.7GB再加上ComfyUI本体和各种依赖总占用30GB很轻松。装之前看一眼C盘或工作盘剩余空间别等到下载到一半才发现装不下。2.2 六件套工具Ollama、ComfyUI、AnimateDiff、Piper、FFmpeg工具选型直接影响后面的体验我把自己实测跑通的组合列出来并说清楚为什么选它。大语言模型的管理我用的是Ollama。它的优势是命令行极简常用的几个命令就能搞定模型的下载、运行和交互内存管理也比一些花哨的桌面端工具更省心。模型方面我用的是qwen2.5:7b-instruct-q4_K_M量化版中文编剧能力在7B这个级别里算很不错的而且占用只有4.7GB留给其他环节的显存余量还很多。图像生成用ComfyUI。坦白说它的界面没有某些一键包那么友好但节点式工作流对“批量生成、固定流程、导出复现”来说是真正的利器。我可以把从加载模型、写提示词到批量保存图片的整套逻辑保存为一个流程文件下次直接拖进来改改提示词就能跑。动态化我走的是AnimateDiff它是ComfyUI里很成熟的视频生成插件。相比那些直接文生视频的大模型AnimateDiff的模型文件更小、速度更快、对显存的要求也更友好。代价是它的运动幅度有限比较适合做“镜头缓慢推拉、人物轻微动作”这类效果而不是剧烈的动作场面。配音我用Piper。它是一个完全离线的TTS引擎中文音色虽然比不上商业云端引擎那么自然但胜在免费、快速、不依赖网络。最后合成用FFmpeg它是视频处理界的瑞士军刀把音频、视频、字幕拼接成成片全靠它就够了。2.3 模型清单与显存占用估算别下载完发现带不动下面这张表是我实测环境里的模型清单以及各自的大致占用方便你在下载之前先估算自己的机器行不行。环节工具推荐模型磁盘占用显存占用剧本扩写/分镜Ollamaqwen2.5:7b-instruct-q4_K_M约4.7GB6-7GB图像生成ComfyUI SD1.5realisticVisionV60B1约2GB4-6GB动态化AnimateDiffmm_sd_v15_v2约1.7GB4-6GB配音Piperzh_CN-huayan-medium约100MB几乎为0需要特别说明上面的显存占用不是简单相加。AnimateDiff和图像模型共用同一个显存池实际跑的时候ComfyUI会加载图像模型后再加载运动模块所以一个12GB显存的3060完全可以一口气跑完视频生成。Ollama如果和ComfyUI同时跑确实会争抢显存所以我建议在每一步之间关闭不用的进程或者利用ollama的OLLAMA_MAX_LOADED_MODELS环境变量限制模型驻留数量避免显存被占满。如果你盯上了SDXL或更大的视频模型显存需求会直接翻倍。以我实测的经验12GB显存跑SDXL已经比较紧张再叠加AnimateDiff的帧处理大概率会爆显存。真要追求更高画质的话优先考虑用低分辨率生成再加超分而不是盲目上大模型。3. 手把手实操从一句剧本到成片3.1 第一步用Ollama把一句话“膨胀”成完整剧本先用命令行把Ollama装好。Windows用户直接下载安装包macOS或Linux用户用包管理器装然后拉取模型ollama pull qwen2.5:7b-instruct-q4_K_M ollama run qwen2.5:7b-instruct-q4_K_M进入交互模式后就是要给它“喂”一句剧本并让它扩写。这里的关键不是提示词写得多玄而是把要求说清楚。我用的系统提示词大概是这样你现在是一名短视频编剧擅长把一句话创意扩展成结构完整的微型短剧。 要求 1. 输出片名、故事梗概、角色设定表、分场脚本。 2. 分场脚本中每场包含场景描述、角色动作、对白或旁白。 3. 节奏要紧凑适合3分钟以内的短视频叙事。 4. 语言简洁避免大段心理描写多用画面感强的动作和场景。 用户输入深夜加班的程序员发现自己写的代码正在一步步删除整座城市的记忆。温度参数建议设置在0.7左右。温度太高会让输出天马行空但结构松散太低则容易写得干巴。我实测0.7是个不错的平衡点既能给出意料之外的情节又不会彻底跑题。模型返回的剧本不会一次就完美这很正常。我的习惯是让它先出完整剧本然后追问“请增加一个转折点”或“把结尾改成开放式”直到内容满意为止。这个环节的唯一目的就是把故事立住后续的画面都是对它的翻译故事底子差的话画面再漂亮也没用。3.2 第二步剧本转分镜脚本结构比文采重要剧本定稿后我不会直接拿去生成图而是先让大模型把它拆成分镜脚本。这一步的产出必须非常结构化因为后面ComfyUI需要的是一句句明确的画面描述而不是充满文学渲染的段落。我一般这样要求模型请把以下剧本拆成分镜脚本每个镜头的输出必须包含 1. shot: 镜头编号 2. scene: 场景描述室内/室外光线环境 3. camera: 景别远景/全景/中景/近景/特写 4. action: 画面主体动作具体、可视化 5. subtitle: 屏幕字幕文字 6. narration: 旁白文字 7. style: 画面风格关键词如赛博朋克、写实、电影感、冷色调 请用严格的Markdown表格输出不要额外解释。这种结构化的输出形式对后续自动化非常关键。以我的开头剧本为例模型给出了类似这样的分镜shotscenecameraactionsubtitlenarrationstyle1城市夜景俯瞰写字楼窗户零星亮灯远景镜头缓缓推近一栋大楼凌晨0:17这是他在这家公司加班的第341天赛博朋克、雨夜、冷色调2办公室内部工位屏幕亮着中景程序员盯着屏幕神情疲惫又紧张删除任务启动他发现自己写的代码正在删除城市记忆写实、电影感、暗调3屏幕特写代码快速滚动特写代码逐行消失生成“记忆删除中”45%——记忆清除中数据流仿佛有生命科技感、高对比4窗外城市一角突然模糊远景城市局部像像素一般剥落城市开始遗忘那不是bug是设计超现实、颗粒感有了这张表后面每一个镜头都有了独立的“生产任务单”我可以逐个镜头生成素材而不是面对一整段长文手足无措。3.3 第三步用ComfyUI批量产出画面素材拿到分镜表后进入ComfyUI。如果你还没装建议下载整合包或者手动安装然后把SD1.5模型放进ComfyUI/models/checkpoints目录。我第一次用的是realisticVisionV60B1这个模型写实风格比较适合叙事类短剧你也可以根据自己的题材换成动漫风或水墨风模型。ComfyUI的工作流里把上面的每个镜头“翻译”成图像提示词是有套路的。正向提示词我会写成“主体、动作、环境、光线、风格”的顺序负向提示词固定填低质量、模糊、变形、多余的肢体等。比如分镜表里的第2镜头我的正向提示词大约是a tired programmer in his 30s, sitting at office desk, staring at computer screen, dark office, blue screen light on face, tense expression, cinematic lighting, photorealistic, film grain, dark tone分镜表里已经写了中文风格描述大模型当时也在旁边直接把中文描述丢给模型让它翻译成英文提示词即可不用手写。批量出图的时候有两点特别重要。第一点是图片尺寸统一。短剧的所有画面最好都用同样的宽高比比如竖屏9:16就用512x912横屏16:9就用640x384分辨率统一后期拼起来眼睛不累。第二点是控制随机种子。ComfyUI里每个节点都允许固定seed固定种子后同一提示词生成结果稳定。虽然短剧追求的是“角色相似但不相同”但种子至少能帮你控制在同一个画风区间不至于每个镜头跳脱得离谱。生成时我会一种子多步抽卡在每个镜头下面挑一张最满意的存下来。这里有个小技巧把分镜表里旁白需要的画面情绪直接写进提示词比如“孤独感”“紧张感”模型确实会在光影和构图上体现出来比单纯堆砌“cinematic”要有效。3.4 第四步静止画面变动态镜头图生视频节点串联画面素材有了接下来是让它们动起来。AnimateDiff在ComfyUI里的核心节点逻辑是加载图像模型、采样器、加载运动模块、设定帧数然后生成一段短视频。我的工作流大致是这样的LoadImage导入已选定的静态图用VAE编码成潜空间接入AnimateDiff的采样器运动模块路径指向mm_sd_v15_v2帧数设为16到24帧采样步数20步CFG参数设成7。这样每个镜头大概能生成1到2秒的轻微动态画面比如镜头推近、头发飘动、光影闪动。这里有个心态要调整好AnimateDiff不是Sora它不是让画面里的人物真的走路、打架、奔跑而是给静态画面注入“呼吸感”。所以分镜设计时就不要安排复杂动作尽量是镜头缓缓推进、主体轻微晃动、光线下雨这类氛围型动态。不是它能力不行是工具定位如此我们得顺着工具的脾气来。生成过程中占显存明显上升12GB显卡跑16帧一般没问题但如果拉高到32帧中途偶尔会爆。爆了不要慌把分辨率降一档或者把帧数减半优先保住流畅度。3.5 第五步配音、字幕、剪辑合成一条龙视频片段都有了接下来处理声音。我用的Piper离线TTS把旁白文字复制进去生成wav文件。中文音色选zh_CN-huayan-medium语速偏慢比较适合悬疑和情感类旁白如果嫌慢可以按倍速调整。Piper生成的音频基本能听但会有两个常见毛病机械感比较重句尾有时吞音。我实测的处理方法是旁白文案尽量用短句、口语化别写长难句生成后再用音频软件或FFmpeg的volume滤镜统一音量。字幕我这次是手动录入因为用的分镜表里已经有现成的subtitle字段。如果你希望全自动也可以装Whisper做本地语音转写但那会额外占用大量内存和时间短剧场景下手动校对反而更快。最后是合成。FFmpeg是这环节的主角我的常规操作是先把所有视频片段写进一个列表文件用concat命令拼接成一条完整视频然后再把配音加进去。命令大概长这样ffmpeg -f concat -safe 0 -i list.txt -i narration.wav -c:v libx264 -profile:v high -pix_fmt yuv420p -c:a aac -shortest output.mp4如果希望在视频里烧录字幕再加一行subtitles滤镜指定字幕文件路径。这一步能帮你把素材变成真正能发布的成品也是很多一键生成工具不会让你自己控制的部分。整个流程走完我这部十几秒的短剧大概花了三个多小时。前期的环境搭建和模型下载占掉大头真正跑通后再生产一部新片子的时间可以压缩到一小时以内。4. 实测中最容易踩的坑和我的排查记录4.1 显存溢出不是模型越大越好我在整个实测过程中遇到最多的坑就是显存溢出。最常见的情况是Ollama跑着大模型没退出ComfyUI又努力加载图像模型然后在生成视频的那一步弹出一个“CUDA out of memory”直接把工作流打断。排查思路要先看任务管理器确认当前到底是什么占了显存。如果不是必要就把Ollama的驻留模型释放掉用ollama stop命令把模型清出内存ComfyUI里也可以把暂时不用的模型卸载。还有一个技巧是调低图像分辨率优先用384x672这类小尺寸等效果满意再考虑超分放大。千万别一味追求大模型7B文本模型加SD1.5图像模型已经足够做出观感不错的短剧。4.2 角色不连贯靠种子和提示词约束另一个让人头疼的问题是角色外貌不连贯。同一个角色在不同镜头里长得像是两个人肤色、发型、服装全在漂移。这在AI短剧里几乎是逃不掉的因为图像生成模型本身没有“角色身份”的概念。我能用的缓解手段有三个。第一个是在所有相关镜头里保持同一个固定种子让基础噪声一致。第二个是把角色外貌的核心描述写成一个固定前缀比如“男30岁黑色短发戴圆框眼镜深蓝色卫衣”每个镜头都带上这段描述。第三个是尽量多用中景和远景减少特写因为特写最容易暴露角色细节不一致。真要严格统一角色得训练LoRA模型那又是一个更深的坑短剧入门阶段完全没必要。4.3 口型对不上短剧不一定要对话特写做第一版成片时我安排了一个角色说话的镜头结果口型和音频死活对不上观感非常怪。后来我想通了本地零元这条链路里嘴唇同步几乎是“不可能三角”里最不划算的那一个投入产出比太低。所以后来我把叙事策略改成了“旁白叙事体”减少角色直接说话的画面而是让旁白来解释情节画面只负责呈现氛围和动作。这样既回避了口型同步问题又让短剧更像“电影感”的预告片。真要拍对话场景我会让角色侧脸或者背对镜头只保留声音不给嘴唇特写。这不是妥协而是利用工具特点做适合的叙事选择。4.4 常见问题速查表我把实测过程中遇到的高频问题整理成一张速查表方便你直接对照排查。症状可能原因解决方案CUDA out of memory显存被多个模型同时占用关闭多余的驻留模型降低分辨率减少帧数模型下载中断网络不稳或磁盘空间不足清理磁盘空间重新执行pull命令续传提示词很长但画风不理想正向提示词太笼统按“主体、动作、环境、光线、风格”顺序重组角色不同镜头长相漂移种子未固定或描述词不一致固定seed统一角色外貌描述前缀配音有机械感TTS模型音色限制使用短句旁白语速放慢后期统一音量视频片段拼接卡帧各片段帧率不一致合成前统一转换帧率用concat协议拼接ComfyUI界面CPU爆满启动时加载模型过多清理历史队列关闭其他占内存的应用这七个问题几乎覆盖了我整个周末的大部分翻车现场。不是说知道答案就完全避坑但至少下次再遇到你能快速判断问题出在哪个环节而不是从头开始怀疑人生。整条链路跑通之后我最深的感受不是“AI真厉害”而是“创作主权终于回到自己手里”。云端工具再方便本质上你还是在一个别人划定的框里创作本地零元的流程虽然糙一点但它每一步都是透明的、可控的、可改进的。我最后再分享一个实用建议新手入门别一上来就写复杂的长剧先从10秒的“一句反转”开始比如“他在电梯里按下18楼电梯却在屏幕上显示——18楼已经不存在了”这种短平快的结构出片最快也最容易获得正反馈。等这条链路跑熟再慢慢往角色的连续性、叙事深度这些方向去扩展你的AI短剧之路才算真正起步。 
长河君 · 2026/9/11 3:10:10 · 阅读 1.2k 零成本本地AI短剧制作全流程：从一句话到成片
从“一句剧本”到“一部短剧”这句话听起来像是广告语但这个周末我真把它跑通了——而且是全程在本地电脑上完成不花一分钱API费用。我用一句话当起点“深夜加班的程序员发现自己写的代码正在一步步删除整座城市的记忆。”然后靠着本地部署的大语言模型、图像生成和视频生成工具把它变成了一部十几秒、有旁白有字幕的AI短剧。整条链路我踩了不少坑也把很多想当然的认知修正了一遍。这篇就把实测过程、工具选型、每个环节的参数以及遇到问题怎么排查全部写出来。这套流程适合谁如果你是内容创作者想批量做短视频素材但不想依赖云端付费接口如果你在学本地部署大模型想找一个能落地的综合项目又或者你只是好奇“开源的AI工具链到底能不能独立产出一件完整作品”那这篇文章应该能帮你省下大量试错时间。我会尽量把每一步都写到可以直接复现的程度。1. 一句话到成片这套本地流水线总共分几步1.1 “零元本地”的真实含义免费不代表没有成本先别急着被“零元”两个字带偏。我实测下来所谓零元是指不需要为API、订阅、云端算力付费但你的电费、时间、硬件折旧这些隐形成本还是要算进去的。尤其是时间成本第一次搭环境大概率要用掉一个完整的周末过程中会反复遇到模型下载失败、显存不足、工作流断掉之类的破事。为什么还要坚持本地跑三个理由让我觉得值得。第一个是隐私和数据安全。短剧的剧本、画面素材、配音音频都在自己电脑里处理上传需求几乎为零这对不想把创意底稿交给第三方服务的创作者来说很重要。第二个是试错成本。云端API按token收费生成一张图按次收费你每一次“随便试试”都是在烧钱本地跑则完全没有这个顾虑同一个剧本我可以改十遍提示词也不心疼。第三个是可复现性。本地环境一旦搭好配置是固定的同一套工作流导出成JSON后下次一键加载结果稳定不用怕云端模型悄悄换了版本导致成片风格漂移。但我要提醒一句本地部署不等于“零技术门槛”。你需要会看命令行报错、会改配置文件、能忍受各种依赖版本不兼容。这不是劝退而是先把预期摆正。它不是抖音式的一键成片但当你把这条路跑通之后二次创作效率会非常惊人。1.2 五步流水线扩写、分镜、出图、动起来、配音合成整个流程可以拆成五个环节分别对应传统影视制作里的编剧、导演、美术、摄影和剪辑岗位。第一步是“剧本扩写”。把一句话扩写成有起承转合的完整剧本。第二步是“分镜拆解”。剧本拆成若干个镜头每个镜头要有画面描述、景别、字幕文案和旁白。第三步是“画面生成”。把分镜里的画面描述变成静态图片。第四步是“动态化”。让静态图片产生轻微镜头运动变成短视频片段。第五步是“合成输出”。生成旁白音频、配上字幕、把视频片段按顺序拼接。这套流程的核心思路是把“生成式AI”从一个“碰运气的黑盒”变成一个“每步可控的工业管线”。每一步的输出都有明确的结构下一步只需要消费上一步的结构化结果。这样做的好处是任何一环出了问题你可以精准定位到具体步骤去修而不是整条重来。1.3 为什么选“Agent式分工”而不是一次生成你可能会问现在不是有那种输入一句描述直接输出整段视频的模型吗为什么不直接用我也试过效果只能说“可用但不可控”。直接生成的全片往往在画面一致性、叙事逻辑、字幕匹配上不稳定更重要的是你没法精确修改某一帧或某一句旁白。想改一个镜头只能整片重新生成一次就是一个小时起步太绝望。所以我走的是“Agent式分工”的路子让不同模型各司其职语言模型负责创意和结构化图像模型负责画面视频模型负责动态语音模型负责发声最后由FFmpeg做硬剪辑。这就像拍电影时编剧、美术、摄影、剪辑各有专长你不会指望一个摄影师把剧本也写了。而且把流程拆开后每一环都能单独优化。比如我对剧本不满意只需要重跑大模型那一步图片和视频素材不用重新生成。这种模块化思路才是本地零元玩法真正高效的地方。2. 先确认硬件兜不兜得住再谈零元2.1 我这台机器的配置和你需要的最低门槛先交代我的实测机器配置CPU是i5-12400F内存32GB DDR4显卡是RTX 3060 12GB显存版本系统盘是512GB SSD。这套配置在今天的标准里算中规中矩但它能完整跑完上面说的整条流水线所以可以作为参考基准。如果只跑文本生成和配音8GB内存加任意四核CPU都能应付这部分几乎没门槛。卡脖子的主要在图像和视频生成环节需要独立显卡且显存至少8GB。8GB显存可以比较舒服地跑SD1.5系列的图像模型配一个7B量化级别的大语言模型属于“能玩”的状态。12GB显存则是我想推荐的甜点配置可以跑SDXL和AnimateDiff的轻量视频工作流体验会好一个档次。如果你的显卡显存只有6GB甚至更低也别直接放弃可以靠CPU推理文本、低分辨率出图、缩短视频帧数来降级运行只是速度和效果都要打折扣。硬盘空间也需要提前规划。一个7B模型大概4到5GB一个SD1.5模型约2GBAnimateDiff的运动模块约1.7GB再加上ComfyUI本体和各种依赖总占用30GB很轻松。装之前看一眼C盘或工作盘剩余空间别等到下载到一半才发现装不下。2.2 六件套工具Ollama、ComfyUI、AnimateDiff、Piper、FFmpeg工具选型直接影响后面的体验我把自己实测跑通的组合列出来并说清楚为什么选它。大语言模型的管理我用的是Ollama。它的优势是命令行极简常用的几个命令就能搞定模型的下载、运行和交互内存管理也比一些花哨的桌面端工具更省心。模型方面我用的是qwen2.5:7b-instruct-q4_K_M量化版中文编剧能力在7B这个级别里算很不错的而且占用只有4.7GB留给其他环节的显存余量还很多。图像生成用ComfyUI。坦白说它的界面没有某些一键包那么友好但节点式工作流对“批量生成、固定流程、导出复现”来说是真正的利器。我可以把从加载模型、写提示词到批量保存图片的整套逻辑保存为一个流程文件下次直接拖进来改改提示词就能跑。动态化我走的是AnimateDiff它是ComfyUI里很成熟的视频生成插件。相比那些直接文生视频的大模型AnimateDiff的模型文件更小、速度更快、对显存的要求也更友好。代价是它的运动幅度有限比较适合做“镜头缓慢推拉、人物轻微动作”这类效果而不是剧烈的动作场面。配音我用Piper。它是一个完全离线的TTS引擎中文音色虽然比不上商业云端引擎那么自然但胜在免费、快速、不依赖网络。最后合成用FFmpeg它是视频处理界的瑞士军刀把音频、视频、字幕拼接成成片全靠它就够了。2.3 模型清单与显存占用估算别下载完发现带不动下面这张表是我实测环境里的模型清单以及各自的大致占用方便你在下载之前先估算自己的机器行不行。环节工具推荐模型磁盘占用显存占用剧本扩写/分镜Ollamaqwen2.5:7b-instruct-q4_K_M约4.7GB6-7GB图像生成ComfyUI SD1.5realisticVisionV60B1约2GB4-6GB动态化AnimateDiffmm_sd_v15_v2约1.7GB4-6GB配音Piperzh_CN-huayan-medium约100MB几乎为0需要特别说明上面的显存占用不是简单相加。AnimateDiff和图像模型共用同一个显存池实际跑的时候ComfyUI会加载图像模型后再加载运动模块所以一个12GB显存的3060完全可以一口气跑完视频生成。Ollama如果和ComfyUI同时跑确实会争抢显存所以我建议在每一步之间关闭不用的进程或者利用ollama的OLLAMA_MAX_LOADED_MODELS环境变量限制模型驻留数量避免显存被占满。如果你盯上了SDXL或更大的视频模型显存需求会直接翻倍。以我实测的经验12GB显存跑SDXL已经比较紧张再叠加AnimateDiff的帧处理大概率会爆显存。真要追求更高画质的话优先考虑用低分辨率生成再加超分而不是盲目上大模型。3. 手把手实操从一句剧本到成片3.1 第一步用Ollama把一句话“膨胀”成完整剧本先用命令行把Ollama装好。Windows用户直接下载安装包macOS或Linux用户用包管理器装然后拉取模型ollama pull qwen2.5:7b-instruct-q4_K_M ollama run qwen2.5:7b-instruct-q4_K_M进入交互模式后就是要给它“喂”一句剧本并让它扩写。这里的关键不是提示词写得多玄而是把要求说清楚。我用的系统提示词大概是这样你现在是一名短视频编剧擅长把一句话创意扩展成结构完整的微型短剧。 要求 1. 输出片名、故事梗概、角色设定表、分场脚本。 2. 分场脚本中每场包含场景描述、角色动作、对白或旁白。 3. 节奏要紧凑适合3分钟以内的短视频叙事。 4. 语言简洁避免大段心理描写多用画面感强的动作和场景。 用户输入深夜加班的程序员发现自己写的代码正在一步步删除整座城市的记忆。温度参数建议设置在0.7左右。温度太高会让输出天马行空但结构松散太低则容易写得干巴。我实测0.7是个不错的平衡点既能给出意料之外的情节又不会彻底跑题。模型返回的剧本不会一次就完美这很正常。我的习惯是让它先出完整剧本然后追问“请增加一个转折点”或“把结尾改成开放式”直到内容满意为止。这个环节的唯一目的就是把故事立住后续的画面都是对它的翻译故事底子差的话画面再漂亮也没用。3.2 第二步剧本转分镜脚本结构比文采重要剧本定稿后我不会直接拿去生成图而是先让大模型把它拆成分镜脚本。这一步的产出必须非常结构化因为后面ComfyUI需要的是一句句明确的画面描述而不是充满文学渲染的段落。我一般这样要求模型请把以下剧本拆成分镜脚本每个镜头的输出必须包含 1. shot: 镜头编号 2. scene: 场景描述室内/室外光线环境 3. camera: 景别远景/全景/中景/近景/特写 4. action: 画面主体动作具体、可视化 5. subtitle: 屏幕字幕文字 6. narration: 旁白文字 7. style: 画面风格关键词如赛博朋克、写实、电影感、冷色调 请用严格的Markdown表格输出不要额外解释。这种结构化的输出形式对后续自动化非常关键。以我的开头剧本为例模型给出了类似这样的分镜shotscenecameraactionsubtitlenarrationstyle1城市夜景俯瞰写字楼窗户零星亮灯远景镜头缓缓推近一栋大楼凌晨0:17这是他在这家公司加班的第341天赛博朋克、雨夜、冷色调2办公室内部工位屏幕亮着中景程序员盯着屏幕神情疲惫又紧张删除任务启动他发现自己写的代码正在删除城市记忆写实、电影感、暗调3屏幕特写代码快速滚动特写代码逐行消失生成“记忆删除中”45%——记忆清除中数据流仿佛有生命科技感、高对比4窗外城市一角突然模糊远景城市局部像像素一般剥落城市开始遗忘那不是bug是设计超现实、颗粒感有了这张表后面每一个镜头都有了独立的“生产任务单”我可以逐个镜头生成素材而不是面对一整段长文手足无措。3.3 第三步用ComfyUI批量产出画面素材拿到分镜表后进入ComfyUI。如果你还没装建议下载整合包或者手动安装然后把SD1.5模型放进ComfyUI/models/checkpoints目录。我第一次用的是realisticVisionV60B1这个模型写实风格比较适合叙事类短剧你也可以根据自己的题材换成动漫风或水墨风模型。ComfyUI的工作流里把上面的每个镜头“翻译”成图像提示词是有套路的。正向提示词我会写成“主体、动作、环境、光线、风格”的顺序负向提示词固定填低质量、模糊、变形、多余的肢体等。比如分镜表里的第2镜头我的正向提示词大约是a tired programmer in his 30s, sitting at office desk, staring at computer screen, dark office, blue screen light on face, tense expression, cinematic lighting, photorealistic, film grain, dark tone分镜表里已经写了中文风格描述大模型当时也在旁边直接把中文描述丢给模型让它翻译成英文提示词即可不用手写。批量出图的时候有两点特别重要。第一点是图片尺寸统一。短剧的所有画面最好都用同样的宽高比比如竖屏9:16就用512x912横屏16:9就用640x384分辨率统一后期拼起来眼睛不累。第二点是控制随机种子。ComfyUI里每个节点都允许固定seed固定种子后同一提示词生成结果稳定。虽然短剧追求的是“角色相似但不相同”但种子至少能帮你控制在同一个画风区间不至于每个镜头跳脱得离谱。生成时我会一种子多步抽卡在每个镜头下面挑一张最满意的存下来。这里有个小技巧把分镜表里旁白需要的画面情绪直接写进提示词比如“孤独感”“紧张感”模型确实会在光影和构图上体现出来比单纯堆砌“cinematic”要有效。3.4 第四步静止画面变动态镜头图生视频节点串联画面素材有了接下来是让它们动起来。AnimateDiff在ComfyUI里的核心节点逻辑是加载图像模型、采样器、加载运动模块、设定帧数然后生成一段短视频。我的工作流大致是这样的LoadImage导入已选定的静态图用VAE编码成潜空间接入AnimateDiff的采样器运动模块路径指向mm_sd_v15_v2帧数设为16到24帧采样步数20步CFG参数设成7。这样每个镜头大概能生成1到2秒的轻微动态画面比如镜头推近、头发飘动、光影闪动。这里有个心态要调整好AnimateDiff不是Sora它不是让画面里的人物真的走路、打架、奔跑而是给静态画面注入“呼吸感”。所以分镜设计时就不要安排复杂动作尽量是镜头缓缓推进、主体轻微晃动、光线下雨这类氛围型动态。不是它能力不行是工具定位如此我们得顺着工具的脾气来。生成过程中占显存明显上升12GB显卡跑16帧一般没问题但如果拉高到32帧中途偶尔会爆。爆了不要慌把分辨率降一档或者把帧数减半优先保住流畅度。3.5 第五步配音、字幕、剪辑合成一条龙视频片段都有了接下来处理声音。我用的Piper离线TTS把旁白文字复制进去生成wav文件。中文音色选zh_CN-huayan-medium语速偏慢比较适合悬疑和情感类旁白如果嫌慢可以按倍速调整。Piper生成的音频基本能听但会有两个常见毛病机械感比较重句尾有时吞音。我实测的处理方法是旁白文案尽量用短句、口语化别写长难句生成后再用音频软件或FFmpeg的volume滤镜统一音量。字幕我这次是手动录入因为用的分镜表里已经有现成的subtitle字段。如果你希望全自动也可以装Whisper做本地语音转写但那会额外占用大量内存和时间短剧场景下手动校对反而更快。最后是合成。FFmpeg是这环节的主角我的常规操作是先把所有视频片段写进一个列表文件用concat命令拼接成一条完整视频然后再把配音加进去。命令大概长这样ffmpeg -f concat -safe 0 -i list.txt -i narration.wav -c:v libx264 -profile:v high -pix_fmt yuv420p -c:a aac -shortest output.mp4如果希望在视频里烧录字幕再加一行subtitles滤镜指定字幕文件路径。这一步能帮你把素材变成真正能发布的成品也是很多一键生成工具不会让你自己控制的部分。整个流程走完我这部十几秒的短剧大概花了三个多小时。前期的环境搭建和模型下载占掉大头真正跑通后再生产一部新片子的时间可以压缩到一小时以内。4. 实测中最容易踩的坑和我的排查记录4.1 显存溢出不是模型越大越好我在整个实测过程中遇到最多的坑就是显存溢出。最常见的情况是Ollama跑着大模型没退出ComfyUI又努力加载图像模型然后在生成视频的那一步弹出一个“CUDA out of memory”直接把工作流打断。排查思路要先看任务管理器确认当前到底是什么占了显存。如果不是必要就把Ollama的驻留模型释放掉用ollama stop命令把模型清出内存ComfyUI里也可以把暂时不用的模型卸载。还有一个技巧是调低图像分辨率优先用384x672这类小尺寸等效果满意再考虑超分放大。千万别一味追求大模型7B文本模型加SD1.5图像模型已经足够做出观感不错的短剧。4.2 角色不连贯靠种子和提示词约束另一个让人头疼的问题是角色外貌不连贯。同一个角色在不同镜头里长得像是两个人肤色、发型、服装全在漂移。这在AI短剧里几乎是逃不掉的因为图像生成模型本身没有“角色身份”的概念。我能用的缓解手段有三个。第一个是在所有相关镜头里保持同一个固定种子让基础噪声一致。第二个是把角色外貌的核心描述写成一个固定前缀比如“男30岁黑色短发戴圆框眼镜深蓝色卫衣”每个镜头都带上这段描述。第三个是尽量多用中景和远景减少特写因为特写最容易暴露角色细节不一致。真要严格统一角色得训练LoRA模型那又是一个更深的坑短剧入门阶段完全没必要。4.3 口型对不上短剧不一定要对话特写做第一版成片时我安排了一个角色说话的镜头结果口型和音频死活对不上观感非常怪。后来我想通了本地零元这条链路里嘴唇同步几乎是“不可能三角”里最不划算的那一个投入产出比太低。所以后来我把叙事策略改成了“旁白叙事体”减少角色直接说话的画面而是让旁白来解释情节画面只负责呈现氛围和动作。这样既回避了口型同步问题又让短剧更像“电影感”的预告片。真要拍对话场景我会让角色侧脸或者背对镜头只保留声音不给嘴唇特写。这不是妥协而是利用工具特点做适合的叙事选择。4.4 常见问题速查表我把实测过程中遇到的高频问题整理成一张速查表方便你直接对照排查。症状可能原因解决方案CUDA out of memory显存被多个模型同时占用关闭多余的驻留模型降低分辨率减少帧数模型下载中断网络不稳或磁盘空间不足清理磁盘空间重新执行pull命令续传提示词很长但画风不理想正向提示词太笼统按“主体、动作、环境、光线、风格”顺序重组角色不同镜头长相漂移种子未固定或描述词不一致固定seed统一角色外貌描述前缀配音有机械感TTS模型音色限制使用短句旁白语速放慢后期统一音量视频片段拼接卡帧各片段帧率不一致合成前统一转换帧率用concat协议拼接ComfyUI界面CPU爆满启动时加载模型过多清理历史队列关闭其他占内存的应用这七个问题几乎覆盖了我整个周末的大部分翻车现场。不是说知道答案就完全避坑但至少下次再遇到你能快速判断问题出在哪个环节而不是从头开始怀疑人生。整条链路跑通之后我最深的感受不是“AI真厉害”而是“创作主权终于回到自己手里”。云端工具再方便本质上你还是在一个别人划定的框里创作本地零元的流程虽然糙一点但它每一步都是透明的、可控的、可改进的。我最后再分享一个实用建议新手入门别一上来就写复杂的长剧先从10秒的“一句反转”开始比如“他在电梯里按下18楼电梯却在屏幕上显示——18楼已经不存在了”这种短平快的结构出片最快也最容易获得正反馈。等这条链路跑熟再慢慢往角色的连续性、叙事深度这些方向去扩展你的AI短剧之路才算真正起步。