从看 AI 生成视频到亲手玩 AI 生成的世界——中间隔着的其实是一道关于实时的坎。2026年10月15日昆仑万维正式发布世界上第一款运行在单张消费级显卡上的视频大模型游戏——Matrix-Game 4.0。Matrix-Game 4.0 构建起了游戏世界模型的新范式由游戏引擎维护世界状态与交互规则由视频生成模型实时呈现精细画面。它把 480p、60 FPS 的实时游戏体验装进了一张 NVIDIA RTX 5090从你按下按键到画面做出反应延迟低于 150 毫秒。Matrix-Game 4.0 首次跑通了代码生成游戏逻辑 → 结构画面提供结构约束 → 视频模型实时渲染的完整闭环让游戏原型开发、个性化定制与 UGC 从此拥有了真正可落地的技术路径。项目已同步开源。开源地址Github https://github.com/SkyworkAI/Matrix-Game.gitHuggingfacehttps://huggingface.co/Skywork/Matrix-Game-4.0项目网站https://matrix-game-v4-0.github.io/page/一、从一段代码到一个可玩的世界——Matrix-Game 4.0 的四块基石1. 单卡实时让可玩的视频模型走出实验室在消费级显卡上实时生成游戏画面曾是难以兼得的目标——视频生成模型对算力的胃口长期把它锁在实验室的多卡集群里。Matrix-Game 4.0 给出的答案是一组硬指标单张 NVIDIA RTX 5090480p 分辨率下游戏以 60 FPS 运行从玩家按键到首帧响应端到端延迟低于 150 毫秒单步去噪的稳态生成速度达 83 FPS显存峰值 18.5 GiB。这组数字意味着视频模型驱动的游戏第一次具备了本地部署与实时交互的实际价值——它不再是一段离线渲染的演示视频而是你能坐在电脑前真正上手操作的游戏。2.Harness 新范式让世界状态被真正管理起来Matrix-Game 4.0 重新定义了视频模型与世界之间的关系Coding Agent编程智能体通过代码构建轻量游戏引擎作为裁判持续维护世界状态、执行交互规则并输出结构画面与动态语义条件视频模型作为画师负责将简单几何转化为丰富画面。引擎的外部约束与持续校正让世界状态可以持续维护、游戏规则可以精确定义、玩法可以用自然语言改写——这是 Genie 范式从未真正解决过的世界是否在被认真管理的问题。3.贯通数据、训练与运行时一条可复用的工程链路从结构画面-精细画面数据对采集、动态语义标注到可控视频训练、少步自回归蒸馏与实时推理统一的几何和语义条件贯穿完整技术链路。这套流程为拓展新场景、新交互和新玩法提供了工程基础降低对精细 3D 资产制作的依赖让游戏原型得以快速开发与迭代让小团队也能搭世界从口号走向现实。4.发布同步开源让创作者真正玩起来Matrix-Game 4.0 在发布时同步开源向研究者、开发者和创作者提供可复用的技术基础与可改编的游戏代码。结合 Coding Agent创作者可以通过自然语言调整场景、定制交互、设计玩法——把研究与创作的门槛压到一行 Prompt 的高度让更多创意成为可以亲自体验、持续迭代的游戏。二、三个根本卡点为什么能走的世界却不好玩回看上一代交互式世界模型问题从来不在画面质量——它们已经能生成足够好看的场景。真正的卡点藏在更底层的地方。把上一代路线拆开看有三个问题始终没有被解决。3. 世界状态缺少独立、可验证的维护机制在没有外部引擎维护显式状态的情况下场景与物体的持续存在主要依赖模型的内部表示和历史记忆。模型可以记住曾经看到的画面但这不等于开发者能够精确地读取、修改和验证每一个物体的状态也难以保证视野之外的角色和事件始终按照指定规则持续演化。5. 长时间交互的一致性仍难稳定保证自回归生成依赖此前的生成结果局部偏差可能随着连续交互传播、累积。当玩家长时间探索、反复返回同一地点或让物体多次进出视野时场景结构、物体身份和交互结果都可能发生漂移。扩大上下文、引入记忆机制能够改善这些问题但并不带来游戏级的长期一致性保障。7. 合理的交互画面不等于可靠的游戏规则模型可以生成开门、碰撞或攻击等视觉效果但一个完整的游戏还需要精确的数值结算——生命值增减、道具归属、任务进度、胜负判定。这些机制不仅要看起来合理还必须能够被开发者明确定义、修改和测试并在不同操作与长时间运行中保持一致。三个问题其实指向同一件事现有路线把世界寄存在模型的记忆里而游戏需要的是一个可以被读取、被修改、被验证的世界。这正是 Matrix-Game 4.0 选择代码构建游戏、AI 实时生成画面这一范式的起点——与其让模型努力记住整个世界不如给世界一个显式的、可维护的载体。三、新范式让引擎管世界让 AI 画世界Matrix-Game 4.0 的解法是给视频模型套上一个负责维护世界状态的Harness——由外部游戏管理器提供空间布局参考、管理世界状态、更新语义动态视频模型则统一接收这些上下文与控制条件自回归地生成短时且逼真的未来画面。整个系统由三个模块构成分工清晰1.游戏引擎世界的裁判引擎负责记录世界里到底发生了什么并决定玩家的操作会产生什么结果。它不必承担完整的精细画面制作而是通过简化的几何模型和场景结构描述道路、建筑、角色与可交互物体生命值、背包、重力、碰撞和任务进度等状态与规则都由代码明确维护和执行而不是从生成画面中推测。随着玩家操作引擎持续更新世界并输出结构画面为视频模型提供场景布局、物体运动和相机视角的约束。即使物体离开视野它的状态也仍由引擎按照游戏规则维护。2.Coding Agent世界的构建者编程智能体负责把玩家的创意转化为可运行的游戏。玩家可以用自然语言提出需求从调整地形、布置物件到修改 NPC 行为、设计新的玩法都由此落实为场景配置与游戏代码。例如让怪物从四面八方涌来不仅意味着画面中出现更多怪物还需要实现生成位置、移动方式、攻击行为和胜负条件。编程智能体也可以协助定义场景的语义与视觉风格同一个简化建筑既可以设定为海边的旧屋也可以成为未来都市中的商店——这些描述作为文本条件与结构画面一起指导视觉生成。3.视频生成模型世界的画师视频模型负责将结构画面转化为精细的视觉体验在保留场景结构与运动约束的前提下生成材质、光照、环境氛围及丰富的外观细节降低对逐项制作精细 3D 资产的依赖。它结合当前控制条件与历史画面以因果自回归方式持续生成并通过面向实时重渲染的少步蒸馏与推理优化缩短玩家操作到画面响应之间的等待。实时运行流程玩家操作 → 引擎更新世界状态 → 输出结构画面与控制条件 → 视频模型实时渲染 → 呈现给玩家这一路线的关键是将游戏如何运行与游戏如何呈现分开处理代码承载规则引擎维护状态视频模型生成视觉表现。结合编程智能体的创作能力Matrix-Game 4.0 让更多人能以更低的制作门槛把创意转化为可玩、可修改、可持续迭代的游戏。四、从数据到推理加速一条被贯通的完整链路一个能实时运行的游戏世界背后是数据、训练与运行时三层能力的打通。数据为世界模型构建的结构画面-精细画面对齐数据集团队基于虚幻引擎 5UE5构建了面向世界模型与视频生成的结构画面-精细画面跨域对齐数据集覆盖 CitySample 超大城市、开放沙漠、复杂城堡、高动态空战四大典型场景。自研的轻量化几何抽象采集管线在保持相机轨迹与时间戳严格时空同步的前提下将复杂场景抽象为保留空间拓扑、刚体位姿与动力学轨迹的低模结构表征并与高模影视级画面逐帧像素级对齐同时并行捕获物体实例 ID、可见性状态及因果交互事件构建富语义的动态元数据流。动态 Caption让描述跟着游戏走在可交互游戏中画面会随玩家操作不断变化转动视角后可见物体不同移动或触发事件后物体状态也会改变。固定的文字描述难以及时反映这些变化。Matrix-Game 4.0 引入动态 Caption系统将场景中物体的 ID 与语义描述关联并从游戏引擎获取当前可见对象及实时状态运行时填入提示词模板。结构画面提供位置、布局和运动等结构信息Caption 补充画面中有哪些对象、处于什么状态等语义信息两者共同约束生成。可控生成与空间记忆视频模型基于 Wan2.2 5B 改造为视频到视频V2V模式引擎渲染的结构画面与待生成视频按通道拼接148 通道输入告诉模型画什么、画在哪同时输入动态合成的场景事件 prompt、空间记忆参考图和第一帧分别负责细节描述、场景一致与画面衔接。渲染模型网络结148 通道拼接输入30 层因果 DiT自注意力读 K/V 缓存交叉注意力读文本 K/V推理加速把每一毫秒都抠出来为了让 60 FPS 在消费级显卡上真正落地团队做了大量工程优化用 CUDA Graph 将 DiT 主干计算预录制、运行时一次性重放为 RoPE、归一化与 FP8 量化编写融合的专用 GPU kernel同一层的 Q、K、V 共用一次输入量化文本条件的 KV 只在 Caption 更新时重算视频历史 KV 改用环形缓存自注意力按 KV 窗口切分后并行计算编解码换用轻量的 TAEHV。最终文本编码器、DiT 与 VAE 可以全部常驻一张 RTX 5090。五、Coding Agent用一个念头改写一款游戏Matrix-Game 4.0 最让人兴奋的地方或许不是它画得多好而是它有多容易被改。借助编程智能体Coding Agent玩家可以在现有游戏代码的基础上用自然语言定制自己的游戏从调整地形、布置场景物件到修改 NPC 的行为与交互逻辑甚至设计全新的玩法。创意不再卡在 3D 资产的生产线上而是可以直接进入可玩、可迭代的阶段。这也正是这条技术路径的现实意义随着 AI 编程助手快速进步搭建轻量游戏引擎的成本已经大幅降低。我们也鼓励创作者基于项目提供的游戏代码继续改编与拓展共同探索更多玩法。过去一年视频生成模型跑游戏跑出不少新成绩——但能不能在普通玩家的电脑上跑起来是另一回事。从这张对比图中在端到端延迟上Code World Model 约 10.2 秒、StreamRender-H3 约 545 毫秒、AgentGarten 约 878 毫秒而 Matrix-Game 4.0 只有 112 毫秒——从按下一个键到画面做出响应约是前者的 1/90、后两者的 1/5 与 1/8第一次真正落进实时可玩的区间。在算力要求上其他方案分别需要 1× H200 141GB、8× GB200 与 1× H100 数据中心卡而 Matrix-Game 4.0 只跑在 1× RTX 5090 上——一张消费级显卡、32GB 显存即可。在开源情况上Code World Model 与 StreamRender-H3 为已开放、AgentGarten 为部分开放Matrix-Game 4.0 则是代码、权重、白模同步开放。六、开源让更多人一起玩起来Matrix-Game 4.0 在发布时同步开源为研究者、开发者和创作者提供可复用的技术基础与可改编的游戏代码。我们也鼓励创作者基于项目提供的游戏代码继续改编与拓展共同探索更多玩法。未来团队将持续迭代模型部署 refiner 提高画面分辨率探索跨玩家视角保持一致的多人联机体验提供更细粒度的画面控制并拓展对更多游戏类型与场景的支持。从可控制的视频到可运行的世界这一步也许比看上去更重要。它意味着创意的门槛在降低而想象力的边界在打开。 
长河君 · 2026/10/15 15:50:37 · 阅读 1.2k 昆仑万维诞生世界上第一款消费级显卡视频大模型游戏，同步开源
从看 AI 生成视频到亲手玩 AI 生成的世界——中间隔着的其实是一道关于实时的坎。2026年10月15日昆仑万维正式发布世界上第一款运行在单张消费级显卡上的视频大模型游戏——Matrix-Game 4.0。Matrix-Game 4.0 构建起了游戏世界模型的新范式由游戏引擎维护世界状态与交互规则由视频生成模型实时呈现精细画面。它把 480p、60 FPS 的实时游戏体验装进了一张 NVIDIA RTX 5090从你按下按键到画面做出反应延迟低于 150 毫秒。Matrix-Game 4.0 首次跑通了代码生成游戏逻辑 → 结构画面提供结构约束 → 视频模型实时渲染的完整闭环让游戏原型开发、个性化定制与 UGC 从此拥有了真正可落地的技术路径。项目已同步开源。开源地址Github https://github.com/SkyworkAI/Matrix-Game.gitHuggingfacehttps://huggingface.co/Skywork/Matrix-Game-4.0项目网站https://matrix-game-v4-0.github.io/page/一、从一段代码到一个可玩的世界——Matrix-Game 4.0 的四块基石1. 单卡实时让可玩的视频模型走出实验室在消费级显卡上实时生成游戏画面曾是难以兼得的目标——视频生成模型对算力的胃口长期把它锁在实验室的多卡集群里。Matrix-Game 4.0 给出的答案是一组硬指标单张 NVIDIA RTX 5090480p 分辨率下游戏以 60 FPS 运行从玩家按键到首帧响应端到端延迟低于 150 毫秒单步去噪的稳态生成速度达 83 FPS显存峰值 18.5 GiB。这组数字意味着视频模型驱动的游戏第一次具备了本地部署与实时交互的实际价值——它不再是一段离线渲染的演示视频而是你能坐在电脑前真正上手操作的游戏。2.Harness 新范式让世界状态被真正管理起来Matrix-Game 4.0 重新定义了视频模型与世界之间的关系Coding Agent编程智能体通过代码构建轻量游戏引擎作为裁判持续维护世界状态、执行交互规则并输出结构画面与动态语义条件视频模型作为画师负责将简单几何转化为丰富画面。引擎的外部约束与持续校正让世界状态可以持续维护、游戏规则可以精确定义、玩法可以用自然语言改写——这是 Genie 范式从未真正解决过的世界是否在被认真管理的问题。3.贯通数据、训练与运行时一条可复用的工程链路从结构画面-精细画面数据对采集、动态语义标注到可控视频训练、少步自回归蒸馏与实时推理统一的几何和语义条件贯穿完整技术链路。这套流程为拓展新场景、新交互和新玩法提供了工程基础降低对精细 3D 资产制作的依赖让游戏原型得以快速开发与迭代让小团队也能搭世界从口号走向现实。4.发布同步开源让创作者真正玩起来Matrix-Game 4.0 在发布时同步开源向研究者、开发者和创作者提供可复用的技术基础与可改编的游戏代码。结合 Coding Agent创作者可以通过自然语言调整场景、定制交互、设计玩法——把研究与创作的门槛压到一行 Prompt 的高度让更多创意成为可以亲自体验、持续迭代的游戏。二、三个根本卡点为什么能走的世界却不好玩回看上一代交互式世界模型问题从来不在画面质量——它们已经能生成足够好看的场景。真正的卡点藏在更底层的地方。把上一代路线拆开看有三个问题始终没有被解决。3. 世界状态缺少独立、可验证的维护机制在没有外部引擎维护显式状态的情况下场景与物体的持续存在主要依赖模型的内部表示和历史记忆。模型可以记住曾经看到的画面但这不等于开发者能够精确地读取、修改和验证每一个物体的状态也难以保证视野之外的角色和事件始终按照指定规则持续演化。5. 长时间交互的一致性仍难稳定保证自回归生成依赖此前的生成结果局部偏差可能随着连续交互传播、累积。当玩家长时间探索、反复返回同一地点或让物体多次进出视野时场景结构、物体身份和交互结果都可能发生漂移。扩大上下文、引入记忆机制能够改善这些问题但并不带来游戏级的长期一致性保障。7. 合理的交互画面不等于可靠的游戏规则模型可以生成开门、碰撞或攻击等视觉效果但一个完整的游戏还需要精确的数值结算——生命值增减、道具归属、任务进度、胜负判定。这些机制不仅要看起来合理还必须能够被开发者明确定义、修改和测试并在不同操作与长时间运行中保持一致。三个问题其实指向同一件事现有路线把世界寄存在模型的记忆里而游戏需要的是一个可以被读取、被修改、被验证的世界。这正是 Matrix-Game 4.0 选择代码构建游戏、AI 实时生成画面这一范式的起点——与其让模型努力记住整个世界不如给世界一个显式的、可维护的载体。三、新范式让引擎管世界让 AI 画世界Matrix-Game 4.0 的解法是给视频模型套上一个负责维护世界状态的Harness——由外部游戏管理器提供空间布局参考、管理世界状态、更新语义动态视频模型则统一接收这些上下文与控制条件自回归地生成短时且逼真的未来画面。整个系统由三个模块构成分工清晰1.游戏引擎世界的裁判引擎负责记录世界里到底发生了什么并决定玩家的操作会产生什么结果。它不必承担完整的精细画面制作而是通过简化的几何模型和场景结构描述道路、建筑、角色与可交互物体生命值、背包、重力、碰撞和任务进度等状态与规则都由代码明确维护和执行而不是从生成画面中推测。随着玩家操作引擎持续更新世界并输出结构画面为视频模型提供场景布局、物体运动和相机视角的约束。即使物体离开视野它的状态也仍由引擎按照游戏规则维护。2.Coding Agent世界的构建者编程智能体负责把玩家的创意转化为可运行的游戏。玩家可以用自然语言提出需求从调整地形、布置物件到修改 NPC 行为、设计新的玩法都由此落实为场景配置与游戏代码。例如让怪物从四面八方涌来不仅意味着画面中出现更多怪物还需要实现生成位置、移动方式、攻击行为和胜负条件。编程智能体也可以协助定义场景的语义与视觉风格同一个简化建筑既可以设定为海边的旧屋也可以成为未来都市中的商店——这些描述作为文本条件与结构画面一起指导视觉生成。3.视频生成模型世界的画师视频模型负责将结构画面转化为精细的视觉体验在保留场景结构与运动约束的前提下生成材质、光照、环境氛围及丰富的外观细节降低对逐项制作精细 3D 资产的依赖。它结合当前控制条件与历史画面以因果自回归方式持续生成并通过面向实时重渲染的少步蒸馏与推理优化缩短玩家操作到画面响应之间的等待。实时运行流程玩家操作 → 引擎更新世界状态 → 输出结构画面与控制条件 → 视频模型实时渲染 → 呈现给玩家这一路线的关键是将游戏如何运行与游戏如何呈现分开处理代码承载规则引擎维护状态视频模型生成视觉表现。结合编程智能体的创作能力Matrix-Game 4.0 让更多人能以更低的制作门槛把创意转化为可玩、可修改、可持续迭代的游戏。四、从数据到推理加速一条被贯通的完整链路一个能实时运行的游戏世界背后是数据、训练与运行时三层能力的打通。数据为世界模型构建的结构画面-精细画面对齐数据集团队基于虚幻引擎 5UE5构建了面向世界模型与视频生成的结构画面-精细画面跨域对齐数据集覆盖 CitySample 超大城市、开放沙漠、复杂城堡、高动态空战四大典型场景。自研的轻量化几何抽象采集管线在保持相机轨迹与时间戳严格时空同步的前提下将复杂场景抽象为保留空间拓扑、刚体位姿与动力学轨迹的低模结构表征并与高模影视级画面逐帧像素级对齐同时并行捕获物体实例 ID、可见性状态及因果交互事件构建富语义的动态元数据流。动态 Caption让描述跟着游戏走在可交互游戏中画面会随玩家操作不断变化转动视角后可见物体不同移动或触发事件后物体状态也会改变。固定的文字描述难以及时反映这些变化。Matrix-Game 4.0 引入动态 Caption系统将场景中物体的 ID 与语义描述关联并从游戏引擎获取当前可见对象及实时状态运行时填入提示词模板。结构画面提供位置、布局和运动等结构信息Caption 补充画面中有哪些对象、处于什么状态等语义信息两者共同约束生成。可控生成与空间记忆视频模型基于 Wan2.2 5B 改造为视频到视频V2V模式引擎渲染的结构画面与待生成视频按通道拼接148 通道输入告诉模型画什么、画在哪同时输入动态合成的场景事件 prompt、空间记忆参考图和第一帧分别负责细节描述、场景一致与画面衔接。渲染模型网络结148 通道拼接输入30 层因果 DiT自注意力读 K/V 缓存交叉注意力读文本 K/V推理加速把每一毫秒都抠出来为了让 60 FPS 在消费级显卡上真正落地团队做了大量工程优化用 CUDA Graph 将 DiT 主干计算预录制、运行时一次性重放为 RoPE、归一化与 FP8 量化编写融合的专用 GPU kernel同一层的 Q、K、V 共用一次输入量化文本条件的 KV 只在 Caption 更新时重算视频历史 KV 改用环形缓存自注意力按 KV 窗口切分后并行计算编解码换用轻量的 TAEHV。最终文本编码器、DiT 与 VAE 可以全部常驻一张 RTX 5090。五、Coding Agent用一个念头改写一款游戏Matrix-Game 4.0 最让人兴奋的地方或许不是它画得多好而是它有多容易被改。借助编程智能体Coding Agent玩家可以在现有游戏代码的基础上用自然语言定制自己的游戏从调整地形、布置场景物件到修改 NPC 的行为与交互逻辑甚至设计全新的玩法。创意不再卡在 3D 资产的生产线上而是可以直接进入可玩、可迭代的阶段。这也正是这条技术路径的现实意义随着 AI 编程助手快速进步搭建轻量游戏引擎的成本已经大幅降低。我们也鼓励创作者基于项目提供的游戏代码继续改编与拓展共同探索更多玩法。过去一年视频生成模型跑游戏跑出不少新成绩——但能不能在普通玩家的电脑上跑起来是另一回事。从这张对比图中在端到端延迟上Code World Model 约 10.2 秒、StreamRender-H3 约 545 毫秒、AgentGarten 约 878 毫秒而 Matrix-Game 4.0 只有 112 毫秒——从按下一个键到画面做出响应约是前者的 1/90、后两者的 1/5 与 1/8第一次真正落进实时可玩的区间。在算力要求上其他方案分别需要 1× H200 141GB、8× GB200 与 1× H100 数据中心卡而 Matrix-Game 4.0 只跑在 1× RTX 5090 上——一张消费级显卡、32GB 显存即可。在开源情况上Code World Model 与 StreamRender-H3 为已开放、AgentGarten 为部分开放Matrix-Game 4.0 则是代码、权重、白模同步开放。六、开源让更多人一起玩起来Matrix-Game 4.0 在发布时同步开源为研究者、开发者和创作者提供可复用的技术基础与可改编的游戏代码。我们也鼓励创作者基于项目提供的游戏代码继续改编与拓展共同探索更多玩法。未来团队将持续迭代模型部署 refiner 提高画面分辨率探索跨玩家视角保持一致的多人联机体验提供更细粒度的画面控制并拓展对更多游戏类型与场景的支持。从可控制的视频到可运行的世界这一步也许比看上去更重要。它意味着创意的门槛在降低而想象力的边界在打开。