当前位置: 首页 > news >正文

MAGI-1: Autoregressive Video Generation at Scale

TL;DR

  • 2025 年 sand AI 发布的视频生成工作,提出了 MAGI-1:一种基于扩散的大规模生成模型,通过自回归地生成按时间分块的视频,每个块包含一段固定长度的连续帧

Paper name
MAGI-1: Autoregressive Video Generation at Scale

Paper Reading Note

Paper URL:

  • https://static.magi.world/static/files/MAGI_1.pdf

Project URL:

  • https://sand.ai/

Introduction

背景

  • 大多数大规模视频扩散模型仍依赖于对完整时间序列同时处理的全局条件去噪架构。这类模型通常使用统一的噪声水平,并且推理时需要访问完整序列,忽略了时间数据中固有的因果结构,因此在需要流式、实时交互或自回归生成的场景中表现不佳。

本文方案

  • 提出了 MAGI-1:一种基于扩散的大规模生成模型,通过自回归地生成按时间分块的视频,每个块包含一段固定长度的连续帧。这种按块处理的方法在因果建模与时间抽象之间提供了系统性的权衡,使模型能够捕捉中程的时间依赖关系,同时严格保持从左到右的时间一致性。训练在块级别进行,并使用时间递增的噪声水平,从而得到既具有自回归结构又能灵活进行条件生成的模型。
    • 分布式注意力机制(MagiAttention):专为双向空间处理与因果时间去噪设计

Methods

  • MAGI-1 以流水线方式逐块生成视频。具体来说,每个块包含多个帧,这些帧被整体去噪。当一个块去噪到一定程度(不必完全干净)后,下一个块便开始生成,并以此前所有块为条件。此设计允许多个块并行处理。在我们的实现中,每个块包含 24 帧原始画面(相当于 24 FPS 下的一秒视频片段),最多可同时推理四个块。相比于完全去噪一个块后再生成后续块的方法,我们的方法通过并行性更好地利用了计算资源,降低了获得后续干净块的延迟,实现了实时流式视频生成。
    在这里插入图片描述

基于 Transformer 的变分自编码器(VAE)

  • 考虑到卷积架构在现代 GPU 上的推理速度远低于 transformer 架构,基于 Transformer 设计了新的 VAE 架构

在这里插入图片描述

  • 模型架构

    • 在编码器中,输入首先经过一个基于 3D 卷积(核大小 8×8×4,步幅 8×8×4)的嵌入模块处理,输出 1024 个通道。随后加入绝对位置嵌入,丰富时空表达。基于此,堆叠了 24 个 Transformer 块,通过对查询、键、值进行归一化来提升训练稳定性。最终输出经过 LayerNorm 归一化,并通过线性层投影到 32 通道,其中前 16 通道表示预测均值,后 16 通道表示预测对数方差。与原始输入视频相比,编码特征在空间维度上下采样了 8 倍,在时间维度上下采样了 4 倍。
    • 解码器采用与编码器对称的架构。为了恢复原始的时空分辨率,先对最终 Transformer 块的输出应用像素重排(pixel shuffle)操作,然后进行 3×3×3 的 3D 卷积并输出 3 通道生成最终像素空间图像。
    • 图片输入;单帧的图像输入,我们在时间维度上将该帧复制四次,这比用三帧空白填充效果更好。
  • VAE 的训练分为两个阶段

    • 第一阶段使用固定输入分辨率(16 帧短片,空间分辨率 256×256 像素)
    • 第二阶段
      • 同时使用图像数据(单帧)和视频数据(16 帧短片)
      • 每个训练步骤随机采样空间分辨率和宽高比,从而增强泛化能力。总像素数(高×宽)约为 256² 或 384²,宽高比在 [0.25, 4.0] 范围内均匀采样
  • 推理

    • 推理时,我们采用滑动窗口方法支持任意分辨率。空间维度窗口大小为 256×256 像素,步幅为 192 像素,相邻块有 25% 重叠;时间维度则无重叠。
  • VAE 和其他模型对比,模型参数量最大,但是推理速度最快。重建的指标也排名较高
    在这里插入图片描述

自回归的降噪模型

  • 采用 flow-matching 训练目标

  • FFN 用 sandwich norm

  • 并行的 attention block 提升计算效率

    • Block-Causal Attention:
      • 每个 chunk 内是 full attention,chunk 间是 causal attention
      • 3D RoPE,base frequency is learnable
      • 基于 FlashAttention-3 实现了一个 Flexible-Flash-Attention kernel
      • GQA
      • QK-Norm
    • condition 输入使用的 cross attention
      在这里插入图片描述
  • 模型参数配置
    在这里插入图片描述

  • training timestep 采样:在 t<0.3 部分用了 70% 的算力
    在这里插入图片描述
    原因是发现 t=0.3 时模型能生成合理的清晰视频
    在这里插入图片描述

Conclusion

  • MAGI-1 报告写得非常详尽,模型架构还是和目前主流架构有较大区别,能看出是希望走出一定差异化路线的。Causal 的 chunk 设计对于长视频的生成确实比较友好
  • VAE 采用 transformer 架构还是比较少见的,高分辨下需要分块处理可能需要有一定优化工作量
http://www.xdnf.cn/news/183061.html

相关文章:

  • 基于Jamba模型的天气预测实战
  • java工具类
  • Redis哨兵模式深度解析:实现高可用与自动故障转移的终极指南
  • 大语言模型架构基础与挑战
  • 简单了解Java的I/O流机制与文件读写操作
  • 智能电网新引擎:动态增容装置如何解锁输电线路潜力?
  • spark学习总结
  • C++/SDL 进阶游戏开发 —— 双人塔防(代号:村庄保卫战 14)
  • Java大厂面试:互联网医疗场景中的Spring Boot与微服务应用
  • 第42周:文献阅读
  • 杭州小红书代运营公司-品融电商:专业赋能品牌社交增长
  • Java + Spring Boot + MyBatis获取以及持久化sql语句的方法
  • 单片机之间的双向通信
  • 可视化图解算法: 二叉搜索树转双向排序链表
  • Spdlog 日志组件的安装及使用
  • 【C语言】程序分配的区域
  • spring框架学习(下)
  • 现场问题排查-postgresql某表索引损坏导致指定数据无法更新影响卷宗材料上传
  • Java异常处理全面指南:从基础到高级实践
  • (done) 吴恩达版提示词工程 6. 转换 (翻译,通用翻译,语气风格变换,文本格式转换,拼写检查和语法检查)
  • 关于定时任务原理
  • Python实例题:Python气象数据分析
  • 猿人学web端爬虫攻防大赛赛题第15题——备周则意怠-常见则不疑
  • Linux Centos8使用yum命令安装mysql8
  • 《100天精通Python——基础篇 2025 第9天:字典操作全解析与哈希原理揭秘》
  • SAE 实现应用发布全过程可观测
  • 将你的本地项目发布到 GitHub (新手指南)
  • 00-算法打卡-目录
  • Using the NCCL Library: A Practical Guide
  • Ubuntu安装SSH服务