视频生成模型在过去一年里疯狂迭代各类第三方评测榜的头部位置几乎每个月都在换血。我们团队也做过一次类似的突围——在没有大厂算力池兜底的前提下把一个自研视频生成模型从能出片推到评测榜前排。今天不聊公关稿里的赢家叙事纯粹从技术复盘的角度说清楚一个视频生成模型想站上评测头部真正要拼的东西是什么哪些分数值得追哪些分数是陷阱。这篇内容适合算法工程师、AI产品负责人以及对视频生成模型技术路线感兴趣但被各种榜单通稿绕晕的人。我会把评测逻辑、模型选型、训练细节和落地验证四块内容拆开讲最后附上我们团队踩坑后的管理复盘。1. 评测登顶背后的真实衡量维度1.1 榜单打分到底在打什么第三方视频生成评测榜看似繁杂核心维度翻来覆去就几类文本指令遵从度、单帧画面质量、时序连贯性、运动合理性、物理规律一致性以及部分榜单额外加入的美学偏好。多数榜单采用人工打分标注员对每一段生成视频按维度打1到5分最后汇总成综合分排名。少部分榜单混用自动指标比如用CLIP Score看图文匹配度用FVD看帧序列分布距离。但这里有个很多人忽略的点同样一个模型在不同榜单上的名次可能差距悬殊。原因在于各榜单的测试集构造、打分维度的权重分配、标注员的指导标准都不一样。有的榜单特别看重镜头运动和画面美学有的榜单更看重指令里复杂语义的还原度。我们的模型曾在偏美学风格的榜单上排到前列但在强调物理真实性的榜单上被同一批竞品拉开差距。所以登顶这个说法要放到具体评价体系里才有意义。一个模型如果只在一个榜单上分数突出很可能是在迎合该榜单的打分偏好真正经得起推敲的成绩是能在多个评价体系下稳定挤进头部。1.2 排名波动的三个隐藏变量第一个隐藏变量是测试Prompt池的难易分布。有些榜单为了区分度故意塞入大量长指令、多主体交互、镜头控制类提示词另一些榜单以日常短视频风格为主指令比较简单。同一个模型在这两种池子里的表现可能有天壤之别因为长指令测试对语义解耦能力要求极高。第二个隐藏变量是打分种子的随机性。视频生成本身带随机性同一段Prompt多次生成的样本质量方差很大。榜单会不会对每个Prompt做多次采样取最优或取均值直接影响最终得分。我们在对照评测时发现取最优值的情况下模型的排名可能上浮五名以上取均值则更接近真实水平。第三个隐藏变量是人工标注者的偏好漂移。不同批次的标注员对运动幅度大但偶有畸变和运动幅度小但稳定两种结果给的分数倾向完全不同。这也是为什么很多榜单会在某个版本更新后出现整体分数波动其实模型没变是人的偏好变了。理解这三个变量之后再看那些登顶通稿就更容易分辨哪些是真实水平跃升哪些只是评测协议下的产物。2. 技术路线的关键岔路口我们为什么押注扩散路线2.1 两条主流路线的取舍视频生成模型的技术路线讨论最多的是扩散模型和自回归模型两大类还有近年冒头的混合架构。扩散模型的主流实现是Latent Video Diffusion先通过预训练VAE把视频压缩到隐空间再在隐空间里做去噪自回归路线则是把视频帧或视觉token按顺序预测借鉴语言模型的成功经验。我们当时的算力预算不支持同时在两条路上齐头并进必须做减法。选择扩散路线核心原因是它在运动自然度和训练稳定性上更可控。扩散模型对时间维度的学习是整体去噪式的每个时间步都参与全局信息交互长距离运动一致性天然比逐帧自回归更容易保持。自回归模型的优势在于灵活生成任意长度视频但训练时需要处理误差累积问题前期调试成本明显更高。还有一个实际考量扩散路线的开源生态更成熟预训练权重、推理优化工具链更齐全。对人力有限的小团队来说站在开源生态的肩膀上起步比从零造轮子节省两到三个月时间。2.2 我们在训练成本上踩过的坑第一个坑是直接在长视频上做端到端训练。我们早期尝试直接生成8秒以上视频结果显存开销爆炸训练收敛极慢生成的动态在3秒后迅速退化变成低质循环或者画面冻结。后来才意识到长视频生成能力应该在短视频基础上通过时序模块外推来获得而不是一开始就硬学。第二个坑是数据清洗的颗粒度。视频生成模型对训练数据的质量敏感度比图像模型高一个量级。带有字幕条、水印、剪辑硬切、画面跳变的视频如果不做严格过滤模型会把字幕渲染、硬切转场当成正常视觉现象学进去。我们的数据管线用了多层过滤先用规则筛掉带固定水印区域的视频再用运动检测识别硬切帧最后用一个小型图像质量模型给关键帧打分低于阈值的整段丢弃。这套流程跑通后生成画面的干净感提升非常明显。第三个坑是算力分配失衡。我们曾把80%的训练预算压在模型主架构上留给数据管线和评测验证的资源太少结果模型迭代两周后才发现运动偏慢的系统性问题。后来调整为训练、数据、评测三部分预算各占六、二、二的比例虽然训练绝对时长变短了但每次迭代的有效信息密度高很多。3. 把时间维度和运动感知做对的工程细节3.1 时空压缩模块的压缩比取舍视频模型里的VAE承担了空间和时间双重压缩。空间压缩通常比较好理解主要是分辨率维度时间压缩则容易被忽略。很多开源方案默认在时间维度做4倍压缩也就是把连续4帧合成一个时间步。这个数字不是随意定的它直接影响模型对高频运动的表达能力。我们做过一组对照实验时间压缩比设为4时快速挥手的动作基本可复原设为8时高频运动明显出现拖影和中间帧丢失。但压缩比越小序列长度越长训练和推理成本也随之上涨。最终我们在分辨率、压缩比、最大生成时长之间取了一个平衡点保持时间压缩比为4限制训练时长在5秒以内用推理阶段的采样技巧去弥补更长时长的连贯性。3.2 分阶段训练的顺序安排视频生成模型训练失败率最高的阶段是学不动运动。我们尝试了很多调度策略最终稳定下来的是三段式训练法。第一阶段锁定时空压缩模块只在隐空间上训练单帧图像生成能力。这个阶段让模型先掌握高质量画面的先验分布相当于先把每帧画好看解决掉。第二阶段引入时间注意力模块用短视频段2秒左右训练帧间关系。关键是在这一阶段把学习率降一个量级否则新加入的时间模块会剧烈扰动已学到的空间特征导致画面质量断崖下跌。第三阶段放开全部模块做长时序微调加入更多带镜头运动的视频数据让模型学会画面动起来而不是画面切换。这个阶段最容易出现的故障是运动幅度塌缩——模型倾向于生成轻微抖动的安全画面因为大幅运动的训练样本不够。我们的对策是从数据侧做运动幅度均衡采样保证大幅度运动视频在batch里占用稳定比例。3.3 推理加速与采样器选择训练做得再好的模型如果推理速度慢到无法做实际应用评测分数再高也没有商业价值。我们在这块投入了相当多精力最后的经验是采样步数和采样器类型对视频质量的影响比很多人想象中大。在DDIM采样器下30步和50步的生成结果差异在肉眼盲测中几乎不可分辨DPM系列采样器则能在20步左右达到接近效果但偶尔会出现细节过锐化的问题在画面纹理区域产生不自然的颗粒感。我们的线上方案最终选择了经过蒸馏的8步推理版本配合一个轻量级精修模块做细节补偿。这里有个值得分享的技巧做采样器选型时不要只看评测分数一定要做专门的运动一致性压力测试。有的采样器在静态画面评测里分数很高但遇到快速横摇镜头时会产生帧间亮度闪烁这种问题在单帧打分里根本暴露不出来。4. 评测分数上去了不代表模型真的能打4.1 针对评测集过拟合的隐忧模型在评测榜上分数高了之后我们的第一反应不是庆祝而是怀疑。因为内部很快就观察到模型对某些特定风格的Prompt比如电影感空镜物体缓慢旋转表现异常出色几乎成了稳定输出模板但对同样出现在测试集边缘的复杂指令却会出现语义丢失。这就是典型的评测集过拟合前兆。当训练数据里大量混入与评测集同源的视频风格时模型会学会表面模仿而非底层生成。为了对抗这个问题我们自建了三个与外部评测集分布差异明显的对抗性验证集一个以多主体复杂交互为主一个以高速运动与物理碰撞为主一个以密集文字与图标生成为主。每周迭代时必须保证模型在这三个验证集上的指标不劣于上一版本才能放行到正式版本。这个机制的代价是开发节奏变慢但也让我们避免了一个很尴尬的局面费尽心力优化的模型只在某个排行榜上好看换个场景就露馅。4.2 真人盲测中暴露的两类典型失败在自动化指标之外我们坚持每个月做一轮真人盲测找不参与研发的同事和外部志愿者对同一批Prompt的生成结果做偏好打分。盲测暴露的问题远比数值指标丰富。第一类是物理半真半假物体运动初看合理细看就发现重力加速度不对。比如杯子从桌面滑落前半段加速合理后半段却像在失重环境里慢慢飘。这种问题在自动指标里完全没有反映因为FVD和CLIP Score捕捉不到微妙的物理错误。第二类是语义顺序颠倒指令要求先开门后进屋模型生成的结果是人物已经在屋里门却还在缓缓打开。这说明模型对事件的时序逻辑理解不足它知道画面里该出现什么元素却搞不清楚这些元素的先后关系。针对这个问题我们在训练数据里专门增加了带顺序标记的说明文本并在验证阶段设计了事件顺序判断题——让模型描述它生成的视频里事件发生的先后顺序再与标注结果比对准确率达到八成以上才算合格。连我们自己都没料到真人盲测的反馈后来成了内部最看重的指标之一。分数是给人看的模型最终要过的也是人这一关。5. 复盘小团队做视频模型突围的关键经验5.1 以失败率为北极星指标的工程管法视频生成模型研发很容易陷入指标一时爽、上线火葬场的循环。我们后期把内部管理指标从平均分切换成了关键场景失败率——统计模型在对抗性验证集上生成明显失败视频画面崩坏、语义丢失、物理异常的占比。切换之后团队行为立刻变了。以前大家刷平均分的动力很强因为平均分的提升路径清晰可见但平均分提高常常是因为模型把容易的样本做得更好了对困难样本的实际改善微乎其微。失败率指标则直接逼着大家去啃硬骨头因为只有把失败率压下去发布版本的安全性才真正有保障。按我们的经验视频生成模型的失败率压到5%以下之前都不太适合大规模开放给普通用户使用压到2%以下才勉强算一个能用的产品。这个阈值可以给同样在做视频生成模型的团队做个参考。5.2 下一个阶段的扩展方向复盘到最后我想说说下一步的路。评测登顶只是短期战报视频生成模型真正的分水岭在于可控性——让创作者能精确控制镜头运动、主体动作、物体交互逻辑。我们下一阶段的主攻方向是把画面生成和运动控制解耦在训练时引入相机轨迹和物体运动轨迹作为额外条件输入让模型在生成之前先知道这个镜头该怎么走。拆解的思路也很直接先训练一个轻量的运动规划模块输出镜头轨迹和主体运动参数再把这些参数注入视频生成模型的采样过程。这样做的价值在于创作者不再需要靠文字描述去运气式控制画面而是有了精确到轨迹级别的控制接口。这条路虽然还在早期探索但我认为它会比单纯堆评测分数带来更多长期价值。从参与项目的第一天到现在我最深的感受是视频生成模型的研发是一场高强度的系统工程比拼算法创新只是其中一个环节数据质量、评测设计和工程落地能力同样决定成败。榜单可以指路但不能替你做决策。真正重要的是搞清楚自己做的模型要服务什么场景然后围绕那个场景把每一个技术环节打磨到位。拿一次高分也许有运气成分能把失败率稳定压住才是真本事。 
长河君 · 2026/10/22 13:44:18 · 阅读 1.2k 视频生成模型登顶榜单背后：技术选型、训练细节与可控性突围复盘
视频生成模型在过去一年里疯狂迭代各类第三方评测榜的头部位置几乎每个月都在换血。我们团队也做过一次类似的突围——在没有大厂算力池兜底的前提下把一个自研视频生成模型从能出片推到评测榜前排。今天不聊公关稿里的赢家叙事纯粹从技术复盘的角度说清楚一个视频生成模型想站上评测头部真正要拼的东西是什么哪些分数值得追哪些分数是陷阱。这篇内容适合算法工程师、AI产品负责人以及对视频生成模型技术路线感兴趣但被各种榜单通稿绕晕的人。我会把评测逻辑、模型选型、训练细节和落地验证四块内容拆开讲最后附上我们团队踩坑后的管理复盘。1. 评测登顶背后的真实衡量维度1.1 榜单打分到底在打什么第三方视频生成评测榜看似繁杂核心维度翻来覆去就几类文本指令遵从度、单帧画面质量、时序连贯性、运动合理性、物理规律一致性以及部分榜单额外加入的美学偏好。多数榜单采用人工打分标注员对每一段生成视频按维度打1到5分最后汇总成综合分排名。少部分榜单混用自动指标比如用CLIP Score看图文匹配度用FVD看帧序列分布距离。但这里有个很多人忽略的点同样一个模型在不同榜单上的名次可能差距悬殊。原因在于各榜单的测试集构造、打分维度的权重分配、标注员的指导标准都不一样。有的榜单特别看重镜头运动和画面美学有的榜单更看重指令里复杂语义的还原度。我们的模型曾在偏美学风格的榜单上排到前列但在强调物理真实性的榜单上被同一批竞品拉开差距。所以登顶这个说法要放到具体评价体系里才有意义。一个模型如果只在一个榜单上分数突出很可能是在迎合该榜单的打分偏好真正经得起推敲的成绩是能在多个评价体系下稳定挤进头部。1.2 排名波动的三个隐藏变量第一个隐藏变量是测试Prompt池的难易分布。有些榜单为了区分度故意塞入大量长指令、多主体交互、镜头控制类提示词另一些榜单以日常短视频风格为主指令比较简单。同一个模型在这两种池子里的表现可能有天壤之别因为长指令测试对语义解耦能力要求极高。第二个隐藏变量是打分种子的随机性。视频生成本身带随机性同一段Prompt多次生成的样本质量方差很大。榜单会不会对每个Prompt做多次采样取最优或取均值直接影响最终得分。我们在对照评测时发现取最优值的情况下模型的排名可能上浮五名以上取均值则更接近真实水平。第三个隐藏变量是人工标注者的偏好漂移。不同批次的标注员对运动幅度大但偶有畸变和运动幅度小但稳定两种结果给的分数倾向完全不同。这也是为什么很多榜单会在某个版本更新后出现整体分数波动其实模型没变是人的偏好变了。理解这三个变量之后再看那些登顶通稿就更容易分辨哪些是真实水平跃升哪些只是评测协议下的产物。2. 技术路线的关键岔路口我们为什么押注扩散路线2.1 两条主流路线的取舍视频生成模型的技术路线讨论最多的是扩散模型和自回归模型两大类还有近年冒头的混合架构。扩散模型的主流实现是Latent Video Diffusion先通过预训练VAE把视频压缩到隐空间再在隐空间里做去噪自回归路线则是把视频帧或视觉token按顺序预测借鉴语言模型的成功经验。我们当时的算力预算不支持同时在两条路上齐头并进必须做减法。选择扩散路线核心原因是它在运动自然度和训练稳定性上更可控。扩散模型对时间维度的学习是整体去噪式的每个时间步都参与全局信息交互长距离运动一致性天然比逐帧自回归更容易保持。自回归模型的优势在于灵活生成任意长度视频但训练时需要处理误差累积问题前期调试成本明显更高。还有一个实际考量扩散路线的开源生态更成熟预训练权重、推理优化工具链更齐全。对人力有限的小团队来说站在开源生态的肩膀上起步比从零造轮子节省两到三个月时间。2.2 我们在训练成本上踩过的坑第一个坑是直接在长视频上做端到端训练。我们早期尝试直接生成8秒以上视频结果显存开销爆炸训练收敛极慢生成的动态在3秒后迅速退化变成低质循环或者画面冻结。后来才意识到长视频生成能力应该在短视频基础上通过时序模块外推来获得而不是一开始就硬学。第二个坑是数据清洗的颗粒度。视频生成模型对训练数据的质量敏感度比图像模型高一个量级。带有字幕条、水印、剪辑硬切、画面跳变的视频如果不做严格过滤模型会把字幕渲染、硬切转场当成正常视觉现象学进去。我们的数据管线用了多层过滤先用规则筛掉带固定水印区域的视频再用运动检测识别硬切帧最后用一个小型图像质量模型给关键帧打分低于阈值的整段丢弃。这套流程跑通后生成画面的干净感提升非常明显。第三个坑是算力分配失衡。我们曾把80%的训练预算压在模型主架构上留给数据管线和评测验证的资源太少结果模型迭代两周后才发现运动偏慢的系统性问题。后来调整为训练、数据、评测三部分预算各占六、二、二的比例虽然训练绝对时长变短了但每次迭代的有效信息密度高很多。3. 把时间维度和运动感知做对的工程细节3.1 时空压缩模块的压缩比取舍视频模型里的VAE承担了空间和时间双重压缩。空间压缩通常比较好理解主要是分辨率维度时间压缩则容易被忽略。很多开源方案默认在时间维度做4倍压缩也就是把连续4帧合成一个时间步。这个数字不是随意定的它直接影响模型对高频运动的表达能力。我们做过一组对照实验时间压缩比设为4时快速挥手的动作基本可复原设为8时高频运动明显出现拖影和中间帧丢失。但压缩比越小序列长度越长训练和推理成本也随之上涨。最终我们在分辨率、压缩比、最大生成时长之间取了一个平衡点保持时间压缩比为4限制训练时长在5秒以内用推理阶段的采样技巧去弥补更长时长的连贯性。3.2 分阶段训练的顺序安排视频生成模型训练失败率最高的阶段是学不动运动。我们尝试了很多调度策略最终稳定下来的是三段式训练法。第一阶段锁定时空压缩模块只在隐空间上训练单帧图像生成能力。这个阶段让模型先掌握高质量画面的先验分布相当于先把每帧画好看解决掉。第二阶段引入时间注意力模块用短视频段2秒左右训练帧间关系。关键是在这一阶段把学习率降一个量级否则新加入的时间模块会剧烈扰动已学到的空间特征导致画面质量断崖下跌。第三阶段放开全部模块做长时序微调加入更多带镜头运动的视频数据让模型学会画面动起来而不是画面切换。这个阶段最容易出现的故障是运动幅度塌缩——模型倾向于生成轻微抖动的安全画面因为大幅运动的训练样本不够。我们的对策是从数据侧做运动幅度均衡采样保证大幅度运动视频在batch里占用稳定比例。3.3 推理加速与采样器选择训练做得再好的模型如果推理速度慢到无法做实际应用评测分数再高也没有商业价值。我们在这块投入了相当多精力最后的经验是采样步数和采样器类型对视频质量的影响比很多人想象中大。在DDIM采样器下30步和50步的生成结果差异在肉眼盲测中几乎不可分辨DPM系列采样器则能在20步左右达到接近效果但偶尔会出现细节过锐化的问题在画面纹理区域产生不自然的颗粒感。我们的线上方案最终选择了经过蒸馏的8步推理版本配合一个轻量级精修模块做细节补偿。这里有个值得分享的技巧做采样器选型时不要只看评测分数一定要做专门的运动一致性压力测试。有的采样器在静态画面评测里分数很高但遇到快速横摇镜头时会产生帧间亮度闪烁这种问题在单帧打分里根本暴露不出来。4. 评测分数上去了不代表模型真的能打4.1 针对评测集过拟合的隐忧模型在评测榜上分数高了之后我们的第一反应不是庆祝而是怀疑。因为内部很快就观察到模型对某些特定风格的Prompt比如电影感空镜物体缓慢旋转表现异常出色几乎成了稳定输出模板但对同样出现在测试集边缘的复杂指令却会出现语义丢失。这就是典型的评测集过拟合前兆。当训练数据里大量混入与评测集同源的视频风格时模型会学会表面模仿而非底层生成。为了对抗这个问题我们自建了三个与外部评测集分布差异明显的对抗性验证集一个以多主体复杂交互为主一个以高速运动与物理碰撞为主一个以密集文字与图标生成为主。每周迭代时必须保证模型在这三个验证集上的指标不劣于上一版本才能放行到正式版本。这个机制的代价是开发节奏变慢但也让我们避免了一个很尴尬的局面费尽心力优化的模型只在某个排行榜上好看换个场景就露馅。4.2 真人盲测中暴露的两类典型失败在自动化指标之外我们坚持每个月做一轮真人盲测找不参与研发的同事和外部志愿者对同一批Prompt的生成结果做偏好打分。盲测暴露的问题远比数值指标丰富。第一类是物理半真半假物体运动初看合理细看就发现重力加速度不对。比如杯子从桌面滑落前半段加速合理后半段却像在失重环境里慢慢飘。这种问题在自动指标里完全没有反映因为FVD和CLIP Score捕捉不到微妙的物理错误。第二类是语义顺序颠倒指令要求先开门后进屋模型生成的结果是人物已经在屋里门却还在缓缓打开。这说明模型对事件的时序逻辑理解不足它知道画面里该出现什么元素却搞不清楚这些元素的先后关系。针对这个问题我们在训练数据里专门增加了带顺序标记的说明文本并在验证阶段设计了事件顺序判断题——让模型描述它生成的视频里事件发生的先后顺序再与标注结果比对准确率达到八成以上才算合格。连我们自己都没料到真人盲测的反馈后来成了内部最看重的指标之一。分数是给人看的模型最终要过的也是人这一关。5. 复盘小团队做视频模型突围的关键经验5.1 以失败率为北极星指标的工程管法视频生成模型研发很容易陷入指标一时爽、上线火葬场的循环。我们后期把内部管理指标从平均分切换成了关键场景失败率——统计模型在对抗性验证集上生成明显失败视频画面崩坏、语义丢失、物理异常的占比。切换之后团队行为立刻变了。以前大家刷平均分的动力很强因为平均分的提升路径清晰可见但平均分提高常常是因为模型把容易的样本做得更好了对困难样本的实际改善微乎其微。失败率指标则直接逼着大家去啃硬骨头因为只有把失败率压下去发布版本的安全性才真正有保障。按我们的经验视频生成模型的失败率压到5%以下之前都不太适合大规模开放给普通用户使用压到2%以下才勉强算一个能用的产品。这个阈值可以给同样在做视频生成模型的团队做个参考。5.2 下一个阶段的扩展方向复盘到最后我想说说下一步的路。评测登顶只是短期战报视频生成模型真正的分水岭在于可控性——让创作者能精确控制镜头运动、主体动作、物体交互逻辑。我们下一阶段的主攻方向是把画面生成和运动控制解耦在训练时引入相机轨迹和物体运动轨迹作为额外条件输入让模型在生成之前先知道这个镜头该怎么走。拆解的思路也很直接先训练一个轻量的运动规划模块输出镜头轨迹和主体运动参数再把这些参数注入视频生成模型的采样过程。这样做的价值在于创作者不再需要靠文字描述去运气式控制画面而是有了精确到轨迹级别的控制接口。这条路虽然还在早期探索但我认为它会比单纯堆评测分数带来更多长期价值。从参与项目的第一天到现在我最深的感受是视频生成模型的研发是一场高强度的系统工程比拼算法创新只是其中一个环节数据质量、评测设计和工程落地能力同样决定成败。榜单可以指路但不能替你做决策。真正重要的是搞清楚自己做的模型要服务什么场景然后围绕那个场景把每一个技术环节打磨到位。拿一次高分也许有运气成分能把失败率稳定压住才是真本事。