1. 视频大模型去路人这件事到底在解决什么问题拍过街拍、旅拍或者探店视频的人都有一个共同的痛画面构图、光线、模特状态全都到位了偏偏背景里杵着几个路人。传统做法无非两种要么用剪辑软件逐帧抠图打关键帧要么用内容识别填充一帧一帧擦一条十秒的素材干上两三个小时是常态遇到路人走动幅度大、遮挡关系复杂的镜头基本就是劝退。我最早接触这个需求是在帮朋友处理一批城市漫步素材二十多条片子每条都有三到五个路人乱入。当时用传统工具硬啃了整整两天眼睛都快瞎了效果还只能算勉强能看。后来视频生成大模型的能力起来了尤其是图生视频和视频修复这条线成熟之后我意识到这件事完全可以用一套工作流把它自动化掉——这就是标题里说的降维打击不是把旧方法做得更快而是换一个维度让模型去理解画面语义直接重新生成干净背景。这套工作流的核心价值在于三点。第一是效率原本按小时计的精细擦除现在可以压缩到分钟级第二是质量大模型对遮挡区域的重建是基于语义理解的不是简单复制周边像素边缘过渡和纹理连续性明显更好第三是可复用一旦工作流搭好换素材、换场景只需要替换输入不用重新调参数。适合谁来参考如果你是有一定剪辑基础、想提升出片效率的创作者这套流程能直接抄作业如果你是刚接触AI工具的新手也不用慌我会把每一步的参数含义和踩坑点都讲清楚跟着走一遍就能跑通。需要提前说明的是这套方案不是万能的它对素材本身有一定要求后面我会专门讲哪些镜头适合、哪些镜头建议绕开。2. 整体方案设计与技术选型思路2.1 为什么选视频大模型而不是传统擦除传统擦除工具的本质是像素搬运它从路人周围的区域采样然后填充到路人占据的位置。这个逻辑在背景简单、纹理重复的场景下还行比如纯色墙面、草地、天空。但一旦背景有结构线、有透视关系、有复杂纹理搬运出来的像素就会露馅出现明显的涂抹感和结构断裂。视频大模型走的是另一条路。它先理解这一帧里什么是前景、什么是背景、背景应该长什么样然后基于理解去生成被遮挡的部分。打个比方传统方法是拿一块补丁往破洞上贴视频大模型是看着破洞周围的图案重新织一块布补上去。前者考验的是补丁选得好不好后者考验的是模型对画面的理解够不够深。这就是降维打击的真正含义不是在同一维度上比谁擦得干净而是换了一个维度从修补变成重建。实测下来在背景有建筑线条、有透视纵深的场景里视频大模型的重建质量比传统方法高出一个档次尤其是路人移动过程中背景逐渐露出的部分模型能保持前后帧的一致性不会出现闪烁。2.2 工作流的整体架构一套完整的去路人工作流我把它拆成四个环节素材预处理、蒙版生成、视频重建、后处理合成。这四个环节环环相扣任何一个环节偷懒最后出来的效果都会打折扣。素材预处理负责把原始视频切成模型能吃的格式包括分辨率统一、帧率对齐、时长裁剪。蒙版生成是整套流程里最容易被低估的一步它的作用是告诉模型哪些区域需要重建蒙版画得准不准直接决定重建质量。视频重建是核心环节调用视频大模型对蒙版区域进行内容生成。后处理合成负责把重建结果和原始画面拼回去处理边缘过渡、色彩匹配、帧间稳定性。为什么要把蒙版单独拎出来做因为很多新手会想当然地让模型自己找路人但实际测试中通用模型对路人的识别并不稳定它可能把路人当成画面主体保留下来也可能把不该擦的东西擦掉。手动或半自动生成蒙版虽然多了一步但可控性高得多尤其是画面里有多个路人、路人和主体有交互的时候蒙版就是你的方向盘。2.3 工具链的选型逻辑工具选型这块我不推荐一上来就追求全自动。全自动方案听起来省事但调试成本高出了问题你都不知道是哪一环崩的。我的建议是半自动起步跑通之后再逐步自动化。蒙版生成环节可以用分割模型做初筛再手动修边。分割模型负责把画面里的人形区域框出来你在这个基础上用画笔补一补、擦一擦比从零开始画快得多。视频重建环节选支持图生视频或者视频修复能力的模型重点看两个指标一是对蒙版边缘的处理是否自然二是多帧之间的一致性是否稳定。后处理环节用常规剪辑软件或者合成工具都行关键是支持蒙版羽化和色彩匹配。这里有个选型心得不要迷信参数最大的模型。有些大模型生成质量确实高但推理速度慢、成本高处理一条十秒视频要等好几分钟。实际工作里我倾向于选一个质量够用、速度可接受的模型把省下来的时间用在蒙版精修上整体产出反而更好。参数和成本的平衡后面实操部分我会给一个具体的参考区间。3. 核心细节拆解与实操要点3.1 素材预处理别小看这一步素材预处理看起来简单但它是后面所有环节的地基。我踩过的坑里至少有三成问题出在这一步没做好。第一是分辨率。视频大模型对输入分辨率有要求太高了推理慢、显存吃紧太低了重建细节丢失。我的经验是把长边控制在1280到1920之间具体看模型支持范围。如果原始素材是4K先降采样再处理处理完如果需要4K输出再用超分补回去。这个顺序很重要直接拿4K喂模型大概率会爆显存或者超时。第二是帧率。模型通常按固定帧率处理常见是24或30帧。如果你的素材是60帧先抽帧到30帧再处理处理完再插帧回去。为什么不直接处理60帧因为帧率越高模型需要保持一致性的帧就越多出错概率越大而且推理成本翻倍。抽帧处理再插帧质量损失在可接受范围内效率提升明显。第三是时长。单次处理的视频片段不宜过长我一般切成3到5秒一段。太短了模型没有足够上下文理解场景太长了容易累积误差。切段的时候注意在动作平稳的地方切别在路人快速移动的瞬间切否则接缝处容易出问题。提示预处理阶段建议保留一份原始素材的备份所有处理都在副本上进行。一旦中间环节出问题可以快速回退不用从头再来。3.2 蒙版生成决定成败的关键一步蒙版生成是整套工作流里技术含量最高、也最考验耐心的一步。我见过太多人在这里偷懒结果重建出来的画面要么路人没擦干净要么背景被擦出一个大洞。蒙版的本质是一张黑白图白色区域代表需要重建黑色区域代表保留原样。理想状态下白色区域应该精确覆盖路人边缘贴合路人的轮廓不多不少。实际操作中我建议白色区域比路人轮廓稍微外扩几个像素因为模型在重建边缘时需要一点过渡空间蒙版卡得太死边缘容易出现硬切。生成蒙版有几种方式。纯手动画最准但最慢适合路人少、轮廓简单的场景。半自动方式是先用分割模型跑一遍得到初步的人形区域然后手动修边。分割模型的选择上优先选对人这个类别识别准的有些通用分割模型会把路人和背景里的雕塑、海报里的人像混淆需要手动排除。修边的时候有个技巧用软边画笔。硬边画笔修出来的蒙版边缘太锐利重建后容易出现一圈明显的接缝。软边画笔让蒙版边缘有一个渐变过渡模型重建时能更自然地融合。羽化半径我一般设在3到8像素之间具体看分辨率分辨率越高羽化值越大。还有一个容易被忽略的点蒙版要逐帧检查。路人是在移动的蒙版如果只在关键帧画好中间帧靠插值遇到路人形变、遮挡关系变化的时候就会失准。我的做法是每5到10帧检查一次发现偏移就手动修正。这一步费时间但省不得。3.3 提示词设计让模型知道你要什么视频大模型重建蒙版区域时提示词的作用是引导模型生成符合场景的内容。很多人以为去路人不需要提示词让模型自由发挥就行结果生成出来的背景和周围环境完全不搭颜色、纹理、透视全对不上。提示词的核心原则是描述背景而不是描述路人。你要告诉模型这里应该是什么而不是这里原来有什么。比如一个街拍镜头路人站在一面红砖墙前面你的提示词应该是红砖墙面砖块纹理清晰自然光照墙面有轻微岁月痕迹而不是擦掉穿蓝衣服的人。提示词的颗粒度要适中。太笼统了模型生成的内容随机性大太细了模型可能过度拟合文字描述忽略画面本身的上下文。我的经验是抓住三个要素材质、光照、透视。材质决定纹理光照决定明暗和色温透视决定线条走向。这三个要素描述清楚生成结果基本就能和周围环境对上。如果场景比较复杂比如背景有多个层次可以在提示词里分层描述。举个例子前景是石板路中景是店铺门面远景是天空提示词就按这个顺序写让模型知道空间关系。实测下来分层描述比笼统描述的重建质量高不少尤其是透视关系复杂的场景。注意提示词里不要出现具体的人名、品牌名或者任何可能触发模型生成特定内容的词。去路人场景下提示词越聚焦于环境本身结果越稳定。3.4 参数配置几个必须调对的数值视频重建环节有几个关键参数调不对的话要么质量差要么跑不动。重建强度这个参数控制模型对蒙版区域的改动幅度。设得太低路人擦不干净残留痕迹明显设得太高模型可能把周围不该改的区域也改了导致画面整体偏移。我的经验值是在0.6到0.8之间具体看蒙版精度蒙版越准强度可以适当调高。帧间一致性权重控制多帧之间的稳定性。这个值低了重建结果会闪烁前后帧背景对不上值高了模型可能过于保守重建区域显得模糊。一般设在0.7左右比较平衡。如果素材里路人移动快可以适当调高到0.8牺牲一点清晰度换稳定性。采样步数影响生成质量步数越多质量越高但推理时间线性增长。实测下来20到30步是性价比区间低于20步细节明显不足高于30步提升有限但时间翻倍。除非是特别重要的镜头否则没必要拉到50步以上。随机种子这个参数很多人忽略但它对结果稳定性影响很大。固定种子可以让同一段素材多次处理结果一致方便对比调参。如果对某次结果不满意换个种子重新跑往往能得到不同的重建效果相当于多了一个重roll的机会。4. 完整实操流程与关键环节实现4.1 环境准备与素材导入先把工具链搭起来。我用的组合是分割模型负责初筛蒙版视频大模型负责重建剪辑软件负责后处理。这三样不一定是特定产品你可以根据自己手头的工具替换逻辑是通的就行。素材导入前先做一遍筛选。不是所有镜头都适合去路人我总结了几条判断标准路人占画面比例超过三分之一的不建议处理因为重建区域太大模型容易编路人和主体有肢体接触或者遮挡关系复杂的不建议处理蒙版画不准背景是纯色或者简单纹理的传统方法可能更快不一定非要上大模型。筛选完之后把素材统一转成模型支持的格式。我一般用ffmpeg做批量转码命令大概是这样ffmpeg -i input.mp4 -vf scale1920:-2,fps30 -c:v libx264 -crf 18 -an output.mp4这条命令做了三件事把长边缩放到1920帧率统一到30去掉音频轨道。去掉音频是因为处理过程中音频没用留着反而增加文件体积。crf 18是画质参数数值越小画质越好18是一个兼顾质量和体积的值。4.2 蒙版制作实操记录拿一条实际素材举例。画面是一个步行街镜头主体在画面中央往前走背景里有三个路人两个在左侧店铺门口一个在右侧远处。这种多路人场景蒙版要分开处理。第一步用分割模型跑一遍得到所有人形区域的初步蒙版。跑完之后检查发现左侧两个路人被正确识别右侧远处那个因为太小被漏掉了。手动补上右侧区域用软边画笔沿着路人轮廓画一圈外扩约5个像素。第二步逐帧检查蒙版。这条素材里左侧两个路人是静止的蒙版基本不用改右侧那个路人在走动每10帧检查一次发现偏移就修正。整条素材约8秒240帧检查加修正花了大概15分钟。听起来久但比逐帧手动画快多了。第三步导出蒙版序列。导出的时候注意格式一般用PNG序列黑白二值或者灰度都行看模型要求。导出前再整体过一遍确认没有漏帧、没有错位。提示蒙版序列的命名要和原视频帧对应比如frame_0001.png对应第一帧。命名乱了后面合成会出大问题这一步别图省事。4.3 视频重建的参数设置与执行蒙版准备好之后导入视频大模型。输入是原始视频加蒙版序列输出是重建后的视频。参数按前面说的来重建强度0.7帧间一致性0.75采样步数25种子先固定一个值方便对比。提示词按场景写。这条步行街镜头我写的提示词是步行街地面灰色石板铺装两侧店铺门面自然日光透视纵深背景建筑线条清晰。没有提路人没有提具体店铺只描述环境本身。执行的时候注意观察显存占用。如果爆显存优先降分辨率或者缩短单次处理时长不要盲目降采样步数步数降了质量掉得厉害。我一般把单次处理控制在3秒以内显存占用能压在安全线以下。跑完之后先看整体效果重点检查三个地方路人是否完全消失、背景纹理是否连续、多帧之间是否闪烁。如果路人还有残留说明蒙版没盖全或者重建强度不够如果背景纹理断裂说明提示词描述不到位或者蒙版边缘太硬如果闪烁说明帧间一致性权重低了。4.4 后处理合成与细节打磨重建结果出来之后不是直接就能用的。模型生成的部分和原始画面之间往往有轻微的色差和亮度差需要做色彩匹配。我用剪辑软件里的色彩匹配工具以原始画面为参考把重建区域的颜色拉过去。这一步花不了几分钟但效果提升很明显。边缘过渡也要处理。即使蒙版做了羽化重建区域和原始区域的交界处还是可能有一圈淡淡的痕迹。用模糊工具或者修复画笔在交界处轻轻过一遍痕迹基本就看不出来了。注意力度要轻重了会把重建的细节也糊掉。最后是帧间稳定性检查。把处理完的视频逐帧播放一遍重点看路人原来所在的位置有没有忽明忽暗的闪烁。如果有回到重建环节调高帧间一致性权重重新跑。如果只是个别帧有问题可以在剪辑软件里单独修那一帧不用整条重跑。5. 常见问题与排查技巧实录5.1 路人擦不干净怎么办这是最常见的问题原因通常有三个。一是蒙版没盖全路人边缘有残留模型只重建了蒙版内的区域蒙版外的部分原样保留。解决办法是回到蒙版环节把路人轮廓外扩几个像素确保完全覆盖。二是重建强度太低模型改动幅度不够。适当调高重建强度但注意别调太高否则周围区域会被误改。三是提示词描述和实际背景不符模型生成的内容和周围环境对不上看起来就像没擦干净。检查提示词确保描述的是背景本身。5.2 重建区域和周围环境不搭这个问题表现为重建出来的背景颜色、纹理、透视和周围对不上像贴了一块补丁。根因是模型缺乏足够的上下文信息。解决办法有两个一是扩大蒙版外扩范围让模型看到更多周围环境作为参考二是在提示词里补充材质、光照、透视的描述给模型更多引导。如果还是不行试试降低重建强度让模型在原有像素基础上做微调而不是完全重新生成。5.3 多帧之间闪烁闪烁的本质是模型在每一帧独立生成帧与帧之间缺乏一致性约束。调高帧间一致性权重是最直接的办法。如果调高之后还是闪检查蒙版序列是否逐帧准确蒙版在帧间跳动也会导致重建结果跳动。另外如果素材本身帧率不稳定也会影响一致性建议先做帧率对齐再处理。5.4 处理速度太慢速度慢通常是分辨率太高、时长太长、采样步数太多三个原因叠加。按优先级排查先把单次处理时长压到3秒以内再把分辨率降到1280长边最后考虑降采样步数。降步数是最后手段因为对质量影响最大。如果这三样都调了还是慢可能是硬件配置不够考虑换一个轻量级模型或者把任务拆到多个时间段跑。5.5 常见问题速查表问题现象可能原因排查方向解决动作路人擦不干净蒙版未盖全检查蒙版边缘外扩蒙版3到8像素重建区域突兀上下文不足检查提示词补充材质光照透视描述多帧闪烁一致性权重低检查帧间参数调高一致性权重至0.75以上处理速度慢分辨率或时长超标检查输入规格降分辨率、缩短时长边缘有接缝蒙版边缘太硬检查羽化设置增大羽化半径色彩不匹配生成与原始色差检查后处理做色彩匹配校正5.6 几条踩坑换来的经验第一条蒙版宁大勿小。蒙版画小了路人擦不干净返工成本高画大了最多多重建一点背景模型通常能处理得不错。两害相权取其轻蒙版外扩是更稳妥的选择。第二条提示词宁简勿繁。新手容易把提示词写得很长很细结果模型被文字带偏忽略了画面本身的上下文。提示词抓住材质、光照、透视三个核心就够了剩下的交给模型。第三条分段处理留重叠。把长视频切成短段处理时相邻段之间留一两秒重叠合成的时候用重叠部分做过渡接缝处会自然很多。不留重叠的话段与段之间容易出现跳变。第四条先跑低质量预览。正式处理前先用低分辨率、低步数跑一遍预览确认蒙版和提示词没问题再上高质量参数。预览花一分钟能省下后面几十分钟的返工。第五条保留中间产物。蒙版序列、重建结果、参数配置都存好万一后面要调整不用从头再来。我习惯给每个项目建一个文件夹按环节分子目录找起来方便。6. 不同场景下的适配策略6.1 街拍与旅拍场景这类场景的特点是背景复杂、路人多、光线变化大。处理重点是蒙版要精细因为背景里的建筑线条、招牌文字一旦被误擦修复起来很麻烦。提示词要重点描述建筑材质和透视关系帮助模型理解空间结构。光线变化大的素材建议按光线分段处理每段单独调参数不要一条素材一套参数跑到底。6.2 探店与室内场景室内场景背景相对简单但灯光复杂容易出现色温不一致的问题。处理重点是色彩匹配重建区域和原始区域的色温要对齐。提示词里要写清楚灯光类型是暖光还是冷光是顶光还是侧光。另外室内场景里路人和陈设的遮挡关系多蒙版要特别注意处理遮挡边缘。6.3 活动记录与多人场景这类场景路人密集逐个擦除成本太高。我的建议是选择性处理只擦除画面主体附近、影响构图的路人远处的路人可以保留反而增加现场感。如果必须全擦考虑用批量蒙版加批量重建的方式但要做好质量参差的准备重要镜头还是得单独精修。6.4 低成本快速出片策略如果时间紧、要求不高可以走一条快速通道降低分辨率到720p采样步数降到15蒙版用分割模型自动生成不做精修提示词用通用模板。这样处理一条十秒视频大概一两分钟质量够发社交媒体。等有空了再用高质量参数重跑重要镜头。快速通道和精修通道结合是实际工作中比较务实的做法。7. 工作流自动化与批量处理思路7.1 哪些环节可以自动化跑通单条流程之后自然会想批量处理。我的经验是预处理、蒙版初筛、重建执行、后处理合成这四个环节可以自动化蒙版精修和提示词设计这两个环节建议保留人工。预处理自动化最简单写个脚本批量转码、切段、命名。蒙版初筛用分割模型批量跑输出初步蒙版序列。重建执行写个循环按配置批量调用模型。后处理合成也可以用脚本做批量色彩匹配和拼接。这几个环节自动化之后单条视频的人工介入时间能压缩到原来的三分之一。蒙版精修和提示词设计为什么保留人工因为这两个环节直接决定质量而且场景差异大自动化方案很难覆盖所有情况。我的做法是自动化跑一遍人工检查一遍只修有问题的部分而不是全部重做。7.2 批量处理的参数管理批量处理最大的坑是参数一刀切。不同素材的分辨率、光线、路人密度都不一样用同一套参数跑总有一些素材效果差。我的做法是建一个参数表按素材类型分组每组一套参数。跑之前先给素材分类然后按组调用对应参数。参数表大概长这样素材类型分辨率重建强度一致性权重采样步数羽化半径街拍复杂背景19200.70.8256室内简单背景12800.650.75204活动多人场景12800.750.8258快速预览7200.70.7154这张表是我实际用下来的经验值你可以根据自己的素材特点调整。关键是养成分类管理的习惯别所有素材混在一起跑。7.3 质量抽检与返工策略批量处理完之后不可能逐条精看要做抽检。我的抽检比例是20%重点抽检路人密集、背景复杂的素材。抽检发现问题的标记出来单独返工。返工的时候只重跑有问题的环节不用整条重来。返工策略上我遵循先易后难的原则。先修蒙版问题因为蒙版问题最直观也最好修再修参数问题调参数重跑最后修提示词问题这个最费时间放最后。大部分问题在前两步就能解决真正需要改提示词的不到一成。8. 效果评估与质量把控8.1 怎么判断处理结果合格判断标准分三个层次。基础层是路人完全消失没有残留痕迹进阶层是重建区域和周围环境自然融合看不出处理痕迹高阶层是逐帧播放无闪烁动态场景下背景稳定。基础层是底线进阶层是及格线高阶层是优秀线。实际工作中不是所有素材都要做到高阶层。社交媒体发布的进阶层就够了商业交付的尽量往高阶层靠。评估的时候把视频放到实际播放环境里看手机上看和电脑上看效果可能不一样以目标播放环境为准。8.2 质量不达标时的取舍有时候怎么调都达不到理想效果这时候要懂得取舍。如果路人残留不明显可以考虑保留用剪辑手法弱化比如加一点运动模糊或者调色掩盖。如果重建区域实在不自然可以考虑换一个角度或者换一条素材不要在一棵树上吊死。我的经验是一条素材调了三次还不行就果断放弃换素材。时间成本也是成本死磕一条素材不如把时间花在能出效果的素材上。这个判断需要一点经验积累但原则是清楚的质量、效率、成本三者平衡不要为了追求完美牺牲整体产出。8.3 长期使用的经验沉淀用久了会发现不同场景的处理套路是可以沉淀下来的。我建了一个自己的场景库把处理过的典型场景、对应的蒙版策略、提示词模板、参数配置都记下来。下次遇到类似场景直接调用不用从零开始。这个场景库的价值随时间增长。刚开始可能只有几条记录用上半年就能覆盖大部分常见场景。新素材进来先匹配场景库匹配上了直接套模板匹配不上再手动处理处理完把新场景补进库里。这样工作流会越用越顺效率越来越高。9. 我个人的一些实操体会这套工作流我断断续续用了大半年处理了大概几百条素材最大的体会是工具再强也替代不了对画面的理解。视频大模型能帮你重建背景但它不知道这个镜头里什么重要、什么可以牺牲。蒙版画在哪里、提示词怎么写、参数怎么调这些判断还是得靠人。另一个体会是不要追求一步到位。我刚开始总想一次跑出完美结果参数调来调去反而效率低。后来改成先跑预览、再精修、最后定稿的三段式整体效率高了很多。预览阶段快速试错精修阶段集中火力定稿阶段只做微调每个阶段目标明确不纠结。最后分享一个小技巧处理重要素材前先用一条不重要的素材跑一遍完整流程确认工具链没问题、参数没问题再上重要素材。这个习惯帮我避免了好几次因为环境变动导致的批量返工。工具链这东西隔一段时间不用就可能出状况跑一遍热身流程心里有底。 
长河君 · 2026/10/5 4:36:12 · 阅读 1.2k 视频大模型去路人工作流：从蒙版生成到批量处理的完整实操指南
1. 视频大模型去路人这件事到底在解决什么问题拍过街拍、旅拍或者探店视频的人都有一个共同的痛画面构图、光线、模特状态全都到位了偏偏背景里杵着几个路人。传统做法无非两种要么用剪辑软件逐帧抠图打关键帧要么用内容识别填充一帧一帧擦一条十秒的素材干上两三个小时是常态遇到路人走动幅度大、遮挡关系复杂的镜头基本就是劝退。我最早接触这个需求是在帮朋友处理一批城市漫步素材二十多条片子每条都有三到五个路人乱入。当时用传统工具硬啃了整整两天眼睛都快瞎了效果还只能算勉强能看。后来视频生成大模型的能力起来了尤其是图生视频和视频修复这条线成熟之后我意识到这件事完全可以用一套工作流把它自动化掉——这就是标题里说的降维打击不是把旧方法做得更快而是换一个维度让模型去理解画面语义直接重新生成干净背景。这套工作流的核心价值在于三点。第一是效率原本按小时计的精细擦除现在可以压缩到分钟级第二是质量大模型对遮挡区域的重建是基于语义理解的不是简单复制周边像素边缘过渡和纹理连续性明显更好第三是可复用一旦工作流搭好换素材、换场景只需要替换输入不用重新调参数。适合谁来参考如果你是有一定剪辑基础、想提升出片效率的创作者这套流程能直接抄作业如果你是刚接触AI工具的新手也不用慌我会把每一步的参数含义和踩坑点都讲清楚跟着走一遍就能跑通。需要提前说明的是这套方案不是万能的它对素材本身有一定要求后面我会专门讲哪些镜头适合、哪些镜头建议绕开。2. 整体方案设计与技术选型思路2.1 为什么选视频大模型而不是传统擦除传统擦除工具的本质是像素搬运它从路人周围的区域采样然后填充到路人占据的位置。这个逻辑在背景简单、纹理重复的场景下还行比如纯色墙面、草地、天空。但一旦背景有结构线、有透视关系、有复杂纹理搬运出来的像素就会露馅出现明显的涂抹感和结构断裂。视频大模型走的是另一条路。它先理解这一帧里什么是前景、什么是背景、背景应该长什么样然后基于理解去生成被遮挡的部分。打个比方传统方法是拿一块补丁往破洞上贴视频大模型是看着破洞周围的图案重新织一块布补上去。前者考验的是补丁选得好不好后者考验的是模型对画面的理解够不够深。这就是降维打击的真正含义不是在同一维度上比谁擦得干净而是换了一个维度从修补变成重建。实测下来在背景有建筑线条、有透视纵深的场景里视频大模型的重建质量比传统方法高出一个档次尤其是路人移动过程中背景逐渐露出的部分模型能保持前后帧的一致性不会出现闪烁。2.2 工作流的整体架构一套完整的去路人工作流我把它拆成四个环节素材预处理、蒙版生成、视频重建、后处理合成。这四个环节环环相扣任何一个环节偷懒最后出来的效果都会打折扣。素材预处理负责把原始视频切成模型能吃的格式包括分辨率统一、帧率对齐、时长裁剪。蒙版生成是整套流程里最容易被低估的一步它的作用是告诉模型哪些区域需要重建蒙版画得准不准直接决定重建质量。视频重建是核心环节调用视频大模型对蒙版区域进行内容生成。后处理合成负责把重建结果和原始画面拼回去处理边缘过渡、色彩匹配、帧间稳定性。为什么要把蒙版单独拎出来做因为很多新手会想当然地让模型自己找路人但实际测试中通用模型对路人的识别并不稳定它可能把路人当成画面主体保留下来也可能把不该擦的东西擦掉。手动或半自动生成蒙版虽然多了一步但可控性高得多尤其是画面里有多个路人、路人和主体有交互的时候蒙版就是你的方向盘。2.3 工具链的选型逻辑工具选型这块我不推荐一上来就追求全自动。全自动方案听起来省事但调试成本高出了问题你都不知道是哪一环崩的。我的建议是半自动起步跑通之后再逐步自动化。蒙版生成环节可以用分割模型做初筛再手动修边。分割模型负责把画面里的人形区域框出来你在这个基础上用画笔补一补、擦一擦比从零开始画快得多。视频重建环节选支持图生视频或者视频修复能力的模型重点看两个指标一是对蒙版边缘的处理是否自然二是多帧之间的一致性是否稳定。后处理环节用常规剪辑软件或者合成工具都行关键是支持蒙版羽化和色彩匹配。这里有个选型心得不要迷信参数最大的模型。有些大模型生成质量确实高但推理速度慢、成本高处理一条十秒视频要等好几分钟。实际工作里我倾向于选一个质量够用、速度可接受的模型把省下来的时间用在蒙版精修上整体产出反而更好。参数和成本的平衡后面实操部分我会给一个具体的参考区间。3. 核心细节拆解与实操要点3.1 素材预处理别小看这一步素材预处理看起来简单但它是后面所有环节的地基。我踩过的坑里至少有三成问题出在这一步没做好。第一是分辨率。视频大模型对输入分辨率有要求太高了推理慢、显存吃紧太低了重建细节丢失。我的经验是把长边控制在1280到1920之间具体看模型支持范围。如果原始素材是4K先降采样再处理处理完如果需要4K输出再用超分补回去。这个顺序很重要直接拿4K喂模型大概率会爆显存或者超时。第二是帧率。模型通常按固定帧率处理常见是24或30帧。如果你的素材是60帧先抽帧到30帧再处理处理完再插帧回去。为什么不直接处理60帧因为帧率越高模型需要保持一致性的帧就越多出错概率越大而且推理成本翻倍。抽帧处理再插帧质量损失在可接受范围内效率提升明显。第三是时长。单次处理的视频片段不宜过长我一般切成3到5秒一段。太短了模型没有足够上下文理解场景太长了容易累积误差。切段的时候注意在动作平稳的地方切别在路人快速移动的瞬间切否则接缝处容易出问题。提示预处理阶段建议保留一份原始素材的备份所有处理都在副本上进行。一旦中间环节出问题可以快速回退不用从头再来。3.2 蒙版生成决定成败的关键一步蒙版生成是整套工作流里技术含量最高、也最考验耐心的一步。我见过太多人在这里偷懒结果重建出来的画面要么路人没擦干净要么背景被擦出一个大洞。蒙版的本质是一张黑白图白色区域代表需要重建黑色区域代表保留原样。理想状态下白色区域应该精确覆盖路人边缘贴合路人的轮廓不多不少。实际操作中我建议白色区域比路人轮廓稍微外扩几个像素因为模型在重建边缘时需要一点过渡空间蒙版卡得太死边缘容易出现硬切。生成蒙版有几种方式。纯手动画最准但最慢适合路人少、轮廓简单的场景。半自动方式是先用分割模型跑一遍得到初步的人形区域然后手动修边。分割模型的选择上优先选对人这个类别识别准的有些通用分割模型会把路人和背景里的雕塑、海报里的人像混淆需要手动排除。修边的时候有个技巧用软边画笔。硬边画笔修出来的蒙版边缘太锐利重建后容易出现一圈明显的接缝。软边画笔让蒙版边缘有一个渐变过渡模型重建时能更自然地融合。羽化半径我一般设在3到8像素之间具体看分辨率分辨率越高羽化值越大。还有一个容易被忽略的点蒙版要逐帧检查。路人是在移动的蒙版如果只在关键帧画好中间帧靠插值遇到路人形变、遮挡关系变化的时候就会失准。我的做法是每5到10帧检查一次发现偏移就手动修正。这一步费时间但省不得。3.3 提示词设计让模型知道你要什么视频大模型重建蒙版区域时提示词的作用是引导模型生成符合场景的内容。很多人以为去路人不需要提示词让模型自由发挥就行结果生成出来的背景和周围环境完全不搭颜色、纹理、透视全对不上。提示词的核心原则是描述背景而不是描述路人。你要告诉模型这里应该是什么而不是这里原来有什么。比如一个街拍镜头路人站在一面红砖墙前面你的提示词应该是红砖墙面砖块纹理清晰自然光照墙面有轻微岁月痕迹而不是擦掉穿蓝衣服的人。提示词的颗粒度要适中。太笼统了模型生成的内容随机性大太细了模型可能过度拟合文字描述忽略画面本身的上下文。我的经验是抓住三个要素材质、光照、透视。材质决定纹理光照决定明暗和色温透视决定线条走向。这三个要素描述清楚生成结果基本就能和周围环境对上。如果场景比较复杂比如背景有多个层次可以在提示词里分层描述。举个例子前景是石板路中景是店铺门面远景是天空提示词就按这个顺序写让模型知道空间关系。实测下来分层描述比笼统描述的重建质量高不少尤其是透视关系复杂的场景。注意提示词里不要出现具体的人名、品牌名或者任何可能触发模型生成特定内容的词。去路人场景下提示词越聚焦于环境本身结果越稳定。3.4 参数配置几个必须调对的数值视频重建环节有几个关键参数调不对的话要么质量差要么跑不动。重建强度这个参数控制模型对蒙版区域的改动幅度。设得太低路人擦不干净残留痕迹明显设得太高模型可能把周围不该改的区域也改了导致画面整体偏移。我的经验值是在0.6到0.8之间具体看蒙版精度蒙版越准强度可以适当调高。帧间一致性权重控制多帧之间的稳定性。这个值低了重建结果会闪烁前后帧背景对不上值高了模型可能过于保守重建区域显得模糊。一般设在0.7左右比较平衡。如果素材里路人移动快可以适当调高到0.8牺牲一点清晰度换稳定性。采样步数影响生成质量步数越多质量越高但推理时间线性增长。实测下来20到30步是性价比区间低于20步细节明显不足高于30步提升有限但时间翻倍。除非是特别重要的镜头否则没必要拉到50步以上。随机种子这个参数很多人忽略但它对结果稳定性影响很大。固定种子可以让同一段素材多次处理结果一致方便对比调参。如果对某次结果不满意换个种子重新跑往往能得到不同的重建效果相当于多了一个重roll的机会。4. 完整实操流程与关键环节实现4.1 环境准备与素材导入先把工具链搭起来。我用的组合是分割模型负责初筛蒙版视频大模型负责重建剪辑软件负责后处理。这三样不一定是特定产品你可以根据自己手头的工具替换逻辑是通的就行。素材导入前先做一遍筛选。不是所有镜头都适合去路人我总结了几条判断标准路人占画面比例超过三分之一的不建议处理因为重建区域太大模型容易编路人和主体有肢体接触或者遮挡关系复杂的不建议处理蒙版画不准背景是纯色或者简单纹理的传统方法可能更快不一定非要上大模型。筛选完之后把素材统一转成模型支持的格式。我一般用ffmpeg做批量转码命令大概是这样ffmpeg -i input.mp4 -vf scale1920:-2,fps30 -c:v libx264 -crf 18 -an output.mp4这条命令做了三件事把长边缩放到1920帧率统一到30去掉音频轨道。去掉音频是因为处理过程中音频没用留着反而增加文件体积。crf 18是画质参数数值越小画质越好18是一个兼顾质量和体积的值。4.2 蒙版制作实操记录拿一条实际素材举例。画面是一个步行街镜头主体在画面中央往前走背景里有三个路人两个在左侧店铺门口一个在右侧远处。这种多路人场景蒙版要分开处理。第一步用分割模型跑一遍得到所有人形区域的初步蒙版。跑完之后检查发现左侧两个路人被正确识别右侧远处那个因为太小被漏掉了。手动补上右侧区域用软边画笔沿着路人轮廓画一圈外扩约5个像素。第二步逐帧检查蒙版。这条素材里左侧两个路人是静止的蒙版基本不用改右侧那个路人在走动每10帧检查一次发现偏移就修正。整条素材约8秒240帧检查加修正花了大概15分钟。听起来久但比逐帧手动画快多了。第三步导出蒙版序列。导出的时候注意格式一般用PNG序列黑白二值或者灰度都行看模型要求。导出前再整体过一遍确认没有漏帧、没有错位。提示蒙版序列的命名要和原视频帧对应比如frame_0001.png对应第一帧。命名乱了后面合成会出大问题这一步别图省事。4.3 视频重建的参数设置与执行蒙版准备好之后导入视频大模型。输入是原始视频加蒙版序列输出是重建后的视频。参数按前面说的来重建强度0.7帧间一致性0.75采样步数25种子先固定一个值方便对比。提示词按场景写。这条步行街镜头我写的提示词是步行街地面灰色石板铺装两侧店铺门面自然日光透视纵深背景建筑线条清晰。没有提路人没有提具体店铺只描述环境本身。执行的时候注意观察显存占用。如果爆显存优先降分辨率或者缩短单次处理时长不要盲目降采样步数步数降了质量掉得厉害。我一般把单次处理控制在3秒以内显存占用能压在安全线以下。跑完之后先看整体效果重点检查三个地方路人是否完全消失、背景纹理是否连续、多帧之间是否闪烁。如果路人还有残留说明蒙版没盖全或者重建强度不够如果背景纹理断裂说明提示词描述不到位或者蒙版边缘太硬如果闪烁说明帧间一致性权重低了。4.4 后处理合成与细节打磨重建结果出来之后不是直接就能用的。模型生成的部分和原始画面之间往往有轻微的色差和亮度差需要做色彩匹配。我用剪辑软件里的色彩匹配工具以原始画面为参考把重建区域的颜色拉过去。这一步花不了几分钟但效果提升很明显。边缘过渡也要处理。即使蒙版做了羽化重建区域和原始区域的交界处还是可能有一圈淡淡的痕迹。用模糊工具或者修复画笔在交界处轻轻过一遍痕迹基本就看不出来了。注意力度要轻重了会把重建的细节也糊掉。最后是帧间稳定性检查。把处理完的视频逐帧播放一遍重点看路人原来所在的位置有没有忽明忽暗的闪烁。如果有回到重建环节调高帧间一致性权重重新跑。如果只是个别帧有问题可以在剪辑软件里单独修那一帧不用整条重跑。5. 常见问题与排查技巧实录5.1 路人擦不干净怎么办这是最常见的问题原因通常有三个。一是蒙版没盖全路人边缘有残留模型只重建了蒙版内的区域蒙版外的部分原样保留。解决办法是回到蒙版环节把路人轮廓外扩几个像素确保完全覆盖。二是重建强度太低模型改动幅度不够。适当调高重建强度但注意别调太高否则周围区域会被误改。三是提示词描述和实际背景不符模型生成的内容和周围环境对不上看起来就像没擦干净。检查提示词确保描述的是背景本身。5.2 重建区域和周围环境不搭这个问题表现为重建出来的背景颜色、纹理、透视和周围对不上像贴了一块补丁。根因是模型缺乏足够的上下文信息。解决办法有两个一是扩大蒙版外扩范围让模型看到更多周围环境作为参考二是在提示词里补充材质、光照、透视的描述给模型更多引导。如果还是不行试试降低重建强度让模型在原有像素基础上做微调而不是完全重新生成。5.3 多帧之间闪烁闪烁的本质是模型在每一帧独立生成帧与帧之间缺乏一致性约束。调高帧间一致性权重是最直接的办法。如果调高之后还是闪检查蒙版序列是否逐帧准确蒙版在帧间跳动也会导致重建结果跳动。另外如果素材本身帧率不稳定也会影响一致性建议先做帧率对齐再处理。5.4 处理速度太慢速度慢通常是分辨率太高、时长太长、采样步数太多三个原因叠加。按优先级排查先把单次处理时长压到3秒以内再把分辨率降到1280长边最后考虑降采样步数。降步数是最后手段因为对质量影响最大。如果这三样都调了还是慢可能是硬件配置不够考虑换一个轻量级模型或者把任务拆到多个时间段跑。5.5 常见问题速查表问题现象可能原因排查方向解决动作路人擦不干净蒙版未盖全检查蒙版边缘外扩蒙版3到8像素重建区域突兀上下文不足检查提示词补充材质光照透视描述多帧闪烁一致性权重低检查帧间参数调高一致性权重至0.75以上处理速度慢分辨率或时长超标检查输入规格降分辨率、缩短时长边缘有接缝蒙版边缘太硬检查羽化设置增大羽化半径色彩不匹配生成与原始色差检查后处理做色彩匹配校正5.6 几条踩坑换来的经验第一条蒙版宁大勿小。蒙版画小了路人擦不干净返工成本高画大了最多多重建一点背景模型通常能处理得不错。两害相权取其轻蒙版外扩是更稳妥的选择。第二条提示词宁简勿繁。新手容易把提示词写得很长很细结果模型被文字带偏忽略了画面本身的上下文。提示词抓住材质、光照、透视三个核心就够了剩下的交给模型。第三条分段处理留重叠。把长视频切成短段处理时相邻段之间留一两秒重叠合成的时候用重叠部分做过渡接缝处会自然很多。不留重叠的话段与段之间容易出现跳变。第四条先跑低质量预览。正式处理前先用低分辨率、低步数跑一遍预览确认蒙版和提示词没问题再上高质量参数。预览花一分钟能省下后面几十分钟的返工。第五条保留中间产物。蒙版序列、重建结果、参数配置都存好万一后面要调整不用从头再来。我习惯给每个项目建一个文件夹按环节分子目录找起来方便。6. 不同场景下的适配策略6.1 街拍与旅拍场景这类场景的特点是背景复杂、路人多、光线变化大。处理重点是蒙版要精细因为背景里的建筑线条、招牌文字一旦被误擦修复起来很麻烦。提示词要重点描述建筑材质和透视关系帮助模型理解空间结构。光线变化大的素材建议按光线分段处理每段单独调参数不要一条素材一套参数跑到底。6.2 探店与室内场景室内场景背景相对简单但灯光复杂容易出现色温不一致的问题。处理重点是色彩匹配重建区域和原始区域的色温要对齐。提示词里要写清楚灯光类型是暖光还是冷光是顶光还是侧光。另外室内场景里路人和陈设的遮挡关系多蒙版要特别注意处理遮挡边缘。6.3 活动记录与多人场景这类场景路人密集逐个擦除成本太高。我的建议是选择性处理只擦除画面主体附近、影响构图的路人远处的路人可以保留反而增加现场感。如果必须全擦考虑用批量蒙版加批量重建的方式但要做好质量参差的准备重要镜头还是得单独精修。6.4 低成本快速出片策略如果时间紧、要求不高可以走一条快速通道降低分辨率到720p采样步数降到15蒙版用分割模型自动生成不做精修提示词用通用模板。这样处理一条十秒视频大概一两分钟质量够发社交媒体。等有空了再用高质量参数重跑重要镜头。快速通道和精修通道结合是实际工作中比较务实的做法。7. 工作流自动化与批量处理思路7.1 哪些环节可以自动化跑通单条流程之后自然会想批量处理。我的经验是预处理、蒙版初筛、重建执行、后处理合成这四个环节可以自动化蒙版精修和提示词设计这两个环节建议保留人工。预处理自动化最简单写个脚本批量转码、切段、命名。蒙版初筛用分割模型批量跑输出初步蒙版序列。重建执行写个循环按配置批量调用模型。后处理合成也可以用脚本做批量色彩匹配和拼接。这几个环节自动化之后单条视频的人工介入时间能压缩到原来的三分之一。蒙版精修和提示词设计为什么保留人工因为这两个环节直接决定质量而且场景差异大自动化方案很难覆盖所有情况。我的做法是自动化跑一遍人工检查一遍只修有问题的部分而不是全部重做。7.2 批量处理的参数管理批量处理最大的坑是参数一刀切。不同素材的分辨率、光线、路人密度都不一样用同一套参数跑总有一些素材效果差。我的做法是建一个参数表按素材类型分组每组一套参数。跑之前先给素材分类然后按组调用对应参数。参数表大概长这样素材类型分辨率重建强度一致性权重采样步数羽化半径街拍复杂背景19200.70.8256室内简单背景12800.650.75204活动多人场景12800.750.8258快速预览7200.70.7154这张表是我实际用下来的经验值你可以根据自己的素材特点调整。关键是养成分类管理的习惯别所有素材混在一起跑。7.3 质量抽检与返工策略批量处理完之后不可能逐条精看要做抽检。我的抽检比例是20%重点抽检路人密集、背景复杂的素材。抽检发现问题的标记出来单独返工。返工的时候只重跑有问题的环节不用整条重来。返工策略上我遵循先易后难的原则。先修蒙版问题因为蒙版问题最直观也最好修再修参数问题调参数重跑最后修提示词问题这个最费时间放最后。大部分问题在前两步就能解决真正需要改提示词的不到一成。8. 效果评估与质量把控8.1 怎么判断处理结果合格判断标准分三个层次。基础层是路人完全消失没有残留痕迹进阶层是重建区域和周围环境自然融合看不出处理痕迹高阶层是逐帧播放无闪烁动态场景下背景稳定。基础层是底线进阶层是及格线高阶层是优秀线。实际工作中不是所有素材都要做到高阶层。社交媒体发布的进阶层就够了商业交付的尽量往高阶层靠。评估的时候把视频放到实际播放环境里看手机上看和电脑上看效果可能不一样以目标播放环境为准。8.2 质量不达标时的取舍有时候怎么调都达不到理想效果这时候要懂得取舍。如果路人残留不明显可以考虑保留用剪辑手法弱化比如加一点运动模糊或者调色掩盖。如果重建区域实在不自然可以考虑换一个角度或者换一条素材不要在一棵树上吊死。我的经验是一条素材调了三次还不行就果断放弃换素材。时间成本也是成本死磕一条素材不如把时间花在能出效果的素材上。这个判断需要一点经验积累但原则是清楚的质量、效率、成本三者平衡不要为了追求完美牺牲整体产出。8.3 长期使用的经验沉淀用久了会发现不同场景的处理套路是可以沉淀下来的。我建了一个自己的场景库把处理过的典型场景、对应的蒙版策略、提示词模板、参数配置都记下来。下次遇到类似场景直接调用不用从零开始。这个场景库的价值随时间增长。刚开始可能只有几条记录用上半年就能覆盖大部分常见场景。新素材进来先匹配场景库匹配上了直接套模板匹配不上再手动处理处理完把新场景补进库里。这样工作流会越用越顺效率越来越高。9. 我个人的一些实操体会这套工作流我断断续续用了大半年处理了大概几百条素材最大的体会是工具再强也替代不了对画面的理解。视频大模型能帮你重建背景但它不知道这个镜头里什么重要、什么可以牺牲。蒙版画在哪里、提示词怎么写、参数怎么调这些判断还是得靠人。另一个体会是不要追求一步到位。我刚开始总想一次跑出完美结果参数调来调去反而效率低。后来改成先跑预览、再精修、最后定稿的三段式整体效率高了很多。预览阶段快速试错精修阶段集中火力定稿阶段只做微调每个阶段目标明确不纠结。最后分享一个小技巧处理重要素材前先用一条不重要的素材跑一遍完整流程确认工具链没问题、参数没问题再上重要素材。这个习惯帮我避免了好几次因为环境变动导致的批量返工。工具链这东西隔一段时间不用就可能出状况跑一遍热身流程心里有底。