人工智能多模态媒体生成自动驾驶大模型【免费下载链接】Cosmos3-Nano-Transfer-Auto项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano-Transfer-Auto点击查看免费下载Cosmos3-Nano-Transfer-Auto是 NVIDIA 推出的物理 AI 世界模拟模型它接收一段控制视频WSMWorld Scenario Map世界场景地图加文字描述就能把同一个驾驶场景批量重生成——道路、车流、车道线完全保持不变而天气、光照、时间等外观随你的文字提示随意切换这正是典型的驾驶场景风格迁移。本文带新手从零理解 WSM 是什么、风格迁移是怎么发生的以及如何用自带示例跑起来。一句话理解WSM 是场景的线稿想象给画家画画你先给一张铅笔线稿只保留结构去掉色彩再口头说明画成黄昏、下小雨。画家就会沿着线稿填上全新的色彩与氛围——结构没变风格全变了。WSM 就是这张线稿。它以MP4 视频的形式存在每个摄像头视角一条逐帧编码了驾驶场景的结构信息 交通标志、红绿灯️ 车道线、道路标记 车辆、行人等物体的 3D 包围盒object cuboids而外观属性——天气、光照、一天中的时间——不写在视频里而是交给文字提示词text prompt描述。结构归 WSM风格归文本这就是可控风格迁移的核心分工。风格迁移是怎么实现的Cosmos3-Nano-Transfer-Auto 是 Cosmos3-Nano 基座模型在多传感器驾驶数据含 LiDAR上后训练得到的变体采用 TransformerMixture-of-Transformers架构可训练参数 16B。生成时的输入条件是输入形式作用WSM 控制视频每视角一条 MP4锁定道路、车流、车道线等场景结构文字提示每个视角一段指定天气、光照、时间等外观LiDAR 控制可选高精地图 range-map 序列生成对齐的 LiDAR 观测首帧 RGB可选初始摄像头图像锚定起始画面模型用双向bidirectional生成联合去噪整段多视角序列一次最多支持11 路摄像头含 120°/30°/70° 标准视角与 200° 鱼眼输出 480p 或 720p、单视角最多 300 帧、10–30 FPS 的同步视频请求 LiDAR 时还会同步生成带强度信息的 3D 点云。也就是说改一下文本里的 golden hour、rainy night同一条路、同一批车流就会以全新外观重新出现——同场景、可复现、可大规模批量生成这正是训练和评估自动驾驶感知模型最需要的合成数据能力。动手前先看示例数据仓库自带一套完整示例场景 assets/sample_data/白天 7 摄像头同步片段来自 NVIDIA PhysicalAI Autonomous Vehicles 数据集目录结构非常清晰daytime_scene/ rgb/ # 7 路真实摄像头视频生成目标 wsm/ # 7 路 WSM 控制视频风格迁移的线稿 captions/ # 原版段落式英文描述 captions_with_timestamp/ # 带时间戳的描述官方推荐推理效果更好 lidar/ # 高精地图控制 录制 LiDAR 目标推荐先看几个文件示例说明assets/sample_data/README.md一路 WSM 控制视频assets/sample_data/daytime_scene/wsm/camera_front_wide_120fov.mp4对应的正面广角真实画面assets/sample_data/daytime_scene/rgb/camera_front_wide_120fov.mp4带时间戳的文本描述assets/sample_data/daytime_scene/captions_with_timestamp/camera_front_wide_120fov.json推理请求文件assets/sample_data/input-transfer-auto.jsonl对照wsm/与rgb/中同名文件播放你能直观看到结构线稿和最终画面的对应关系。快速上手三种推理方式方式一vLLM-Omni 服务化官方 Quick Start在一台带 NVIDIA GPU 的 Linux 主机上用 Docker 启动服务再把示例的 7 路 WSM 视频与文本描述通过/v1/videos/sync接口提交即可得到 7 路同步视频201 帧、832×480、30 FPS。关键参数num_inference_steps35、guidance_scale3、flow_shift10。完整命令见 README.md 的Quick Start小节。方式二SGLang 服务化SGLang 通过 OpenAI 兼容的 Videos API 提供同一模型输入改为容器内可读的路径生成为异步任务提交后轮询结果适合需要队列化的批量合成。方式三Cosmos Framework 原生推理直接对示例请求文件运行torchrun --standalone --nproc-per-node4 \ -m cosmos_framework.scripts.inference \ -i input-transfer-auto.jsonl -o outputs/transfer-auto-daytime \ --checkpoint-path 本地checkpoint路径 --cp-size 4 ...该请求会同时生成 7 路 1280×720 视频和联合 LiDARrange_m与intensity适合做完整的多传感器数据生产。 小贴士想要换天气或昼夜只需改每个视角的文本描述WSM 控制视频保持不变结构和车流就不会漂移。官方也建议优先使用captions_with_timestamp/版本的描述它更贴近训练风格实测推理效果更好。效果如何官方评测亮点在 720p 评测中相比 Cosmos-Transfer2.5-2B Multiview 基线Cosmos3-Nano-Transfer-Auto 的图像 FID 从 61.9 降到 45.5T2V、27.8I2V跨视角几何一致性Cross-view Sampson error也全面更优LiDAR 侧 BEV JSD、对象检测 F1 等指标同样领先说明迁移风格的同时结构保真度依然过硬。完整数据表见 README.md 的Quality Benchmark部分。常见问题 FAQWSM 控制视频从哪来由 WSM 渲染器renderer当前示例为 v4.0.1基于场景结构渲染生成每个视角一条 MP4与摄像头视频帧帧对齐示例为 1280×720、300 帧、30 FPS。只能生成 7 路摄像头吗不是。模型原生支持 1–11 视角Hyperion 8.1 摄像头组示例只用了其中 7 路更换摄像头阵列需要额外后训练适配。生成的数据能直接用于训练吗模型定位为规模化批量合成数据同一场景可无限次以不同天气/光照重生成用来扩充感知与驾驶模型的训练集。但官方提醒合成数据仍需按 V 模型流程做充分测试与验证后再用于部署。支持哪些硬件NVIDIA Blackwell / Hopper 架构 GPU如 GB200、H100/H200/H20Linux 系统运行引擎为 PyTorch、vLLM-Omni、SGLang。总结️WSM 是场景结构控制视频用线稿式画面锁定道路、交通元素与物体位置✍️文本负责风格天气、光照、时间随心切换实现驾驶场景风格迁移多视角 LiDAR 同步输出最多 11 路摄像头最多 300 帧/路三条推理路径vLLM-Omni、SGLang、Cosmos Framework示例数据开箱即用想进一步体验建议先从 assets/sample_data/ 的白天示例跑起对比wsm/与rgb/视频几分钟内就能理解控制视频 文本这套风格迁移范式的全部精髓。赞分享人工智能多模态媒体生成自动驾驶大模型【免费下载链接】Cosmos3-Nano-Transfer-Auto项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano-Transfer-Auto点击查看免费下载相关推荐揭秘Cosmos3-Nano-Sim-Auto的虚拟方向盘WSM世界场景图控制原理详解揭秘Cosmos3 Nano Sim Auto的虚拟方向盘WSM世界场景图控制原理详解 Cosmos3 Nano Sim Auto 是 NVIDIA 推出的实人工智能基础模型媒体生成自动驾驶计算机视觉NVIDIA重磅发布Cosmos3-Nano-Transfer-Auto16B参数世界模型如何让自动驾驶合成数据生成又快又准NVIDIA重磅发布Cosmos3 Nano Transfer Auto16B参数世界模型如何让自动驾驶合成数据生成又快又准 Cosmos3 Nano Tra人工智能多模态媒体生成自动驾驶大模型如何10分钟上手Cosmos3-Nano-Transfer-Auto用vLLM-Omni生成7路同步驾驶视频的完整教程附代码如何10分钟上手Cosmos3 Nano Transfer Auto用vLLM Omni生成7路同步驾驶视频的完整教程附代码 Cosmos3 Nano T人工智能多模态媒体生成自动驾驶大模型创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/30 6:02:05 · 阅读 1.2k WSM世界场景地图是什么？Cosmos3-Nano-Transfer-Auto如何用控制视频实现驾驶场景风格迁移
人工智能多模态媒体生成自动驾驶大模型【免费下载链接】Cosmos3-Nano-Transfer-Auto项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano-Transfer-Auto点击查看免费下载Cosmos3-Nano-Transfer-Auto是 NVIDIA 推出的物理 AI 世界模拟模型它接收一段控制视频WSMWorld Scenario Map世界场景地图加文字描述就能把同一个驾驶场景批量重生成——道路、车流、车道线完全保持不变而天气、光照、时间等外观随你的文字提示随意切换这正是典型的驾驶场景风格迁移。本文带新手从零理解 WSM 是什么、风格迁移是怎么发生的以及如何用自带示例跑起来。一句话理解WSM 是场景的线稿想象给画家画画你先给一张铅笔线稿只保留结构去掉色彩再口头说明画成黄昏、下小雨。画家就会沿着线稿填上全新的色彩与氛围——结构没变风格全变了。WSM 就是这张线稿。它以MP4 视频的形式存在每个摄像头视角一条逐帧编码了驾驶场景的结构信息 交通标志、红绿灯️ 车道线、道路标记 车辆、行人等物体的 3D 包围盒object cuboids而外观属性——天气、光照、一天中的时间——不写在视频里而是交给文字提示词text prompt描述。结构归 WSM风格归文本这就是可控风格迁移的核心分工。风格迁移是怎么实现的Cosmos3-Nano-Transfer-Auto 是 Cosmos3-Nano 基座模型在多传感器驾驶数据含 LiDAR上后训练得到的变体采用 TransformerMixture-of-Transformers架构可训练参数 16B。生成时的输入条件是输入形式作用WSM 控制视频每视角一条 MP4锁定道路、车流、车道线等场景结构文字提示每个视角一段指定天气、光照、时间等外观LiDAR 控制可选高精地图 range-map 序列生成对齐的 LiDAR 观测首帧 RGB可选初始摄像头图像锚定起始画面模型用双向bidirectional生成联合去噪整段多视角序列一次最多支持11 路摄像头含 120°/30°/70° 标准视角与 200° 鱼眼输出 480p 或 720p、单视角最多 300 帧、10–30 FPS 的同步视频请求 LiDAR 时还会同步生成带强度信息的 3D 点云。也就是说改一下文本里的 golden hour、rainy night同一条路、同一批车流就会以全新外观重新出现——同场景、可复现、可大规模批量生成这正是训练和评估自动驾驶感知模型最需要的合成数据能力。动手前先看示例数据仓库自带一套完整示例场景 assets/sample_data/白天 7 摄像头同步片段来自 NVIDIA PhysicalAI Autonomous Vehicles 数据集目录结构非常清晰daytime_scene/ rgb/ # 7 路真实摄像头视频生成目标 wsm/ # 7 路 WSM 控制视频风格迁移的线稿 captions/ # 原版段落式英文描述 captions_with_timestamp/ # 带时间戳的描述官方推荐推理效果更好 lidar/ # 高精地图控制 录制 LiDAR 目标推荐先看几个文件示例说明assets/sample_data/README.md一路 WSM 控制视频assets/sample_data/daytime_scene/wsm/camera_front_wide_120fov.mp4对应的正面广角真实画面assets/sample_data/daytime_scene/rgb/camera_front_wide_120fov.mp4带时间戳的文本描述assets/sample_data/daytime_scene/captions_with_timestamp/camera_front_wide_120fov.json推理请求文件assets/sample_data/input-transfer-auto.jsonl对照wsm/与rgb/中同名文件播放你能直观看到结构线稿和最终画面的对应关系。快速上手三种推理方式方式一vLLM-Omni 服务化官方 Quick Start在一台带 NVIDIA GPU 的 Linux 主机上用 Docker 启动服务再把示例的 7 路 WSM 视频与文本描述通过/v1/videos/sync接口提交即可得到 7 路同步视频201 帧、832×480、30 FPS。关键参数num_inference_steps35、guidance_scale3、flow_shift10。完整命令见 README.md 的Quick Start小节。方式二SGLang 服务化SGLang 通过 OpenAI 兼容的 Videos API 提供同一模型输入改为容器内可读的路径生成为异步任务提交后轮询结果适合需要队列化的批量合成。方式三Cosmos Framework 原生推理直接对示例请求文件运行torchrun --standalone --nproc-per-node4 \ -m cosmos_framework.scripts.inference \ -i input-transfer-auto.jsonl -o outputs/transfer-auto-daytime \ --checkpoint-path 本地checkpoint路径 --cp-size 4 ...该请求会同时生成 7 路 1280×720 视频和联合 LiDARrange_m与intensity适合做完整的多传感器数据生产。 小贴士想要换天气或昼夜只需改每个视角的文本描述WSM 控制视频保持不变结构和车流就不会漂移。官方也建议优先使用captions_with_timestamp/版本的描述它更贴近训练风格实测推理效果更好。效果如何官方评测亮点在 720p 评测中相比 Cosmos-Transfer2.5-2B Multiview 基线Cosmos3-Nano-Transfer-Auto 的图像 FID 从 61.9 降到 45.5T2V、27.8I2V跨视角几何一致性Cross-view Sampson error也全面更优LiDAR 侧 BEV JSD、对象检测 F1 等指标同样领先说明迁移风格的同时结构保真度依然过硬。完整数据表见 README.md 的Quality Benchmark部分。常见问题 FAQWSM 控制视频从哪来由 WSM 渲染器renderer当前示例为 v4.0.1基于场景结构渲染生成每个视角一条 MP4与摄像头视频帧帧对齐示例为 1280×720、300 帧、30 FPS。只能生成 7 路摄像头吗不是。模型原生支持 1–11 视角Hyperion 8.1 摄像头组示例只用了其中 7 路更换摄像头阵列需要额外后训练适配。生成的数据能直接用于训练吗模型定位为规模化批量合成数据同一场景可无限次以不同天气/光照重生成用来扩充感知与驾驶模型的训练集。但官方提醒合成数据仍需按 V 模型流程做充分测试与验证后再用于部署。支持哪些硬件NVIDIA Blackwell / Hopper 架构 GPU如 GB200、H100/H200/H20Linux 系统运行引擎为 PyTorch、vLLM-Omni、SGLang。总结️WSM 是场景结构控制视频用线稿式画面锁定道路、交通元素与物体位置✍️文本负责风格天气、光照、时间随心切换实现驾驶场景风格迁移多视角 LiDAR 同步输出最多 11 路摄像头最多 300 帧/路三条推理路径vLLM-Omni、SGLang、Cosmos Framework示例数据开箱即用想进一步体验建议先从 assets/sample_data/ 的白天示例跑起对比wsm/与rgb/视频几分钟内就能理解控制视频 文本这套风格迁移范式的全部精髓。赞分享人工智能多模态媒体生成自动驾驶大模型【免费下载链接】Cosmos3-Nano-Transfer-Auto项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano-Transfer-Auto点击查看免费下载相关推荐揭秘Cosmos3-Nano-Sim-Auto的虚拟方向盘WSM世界场景图控制原理详解揭秘Cosmos3 Nano Sim Auto的虚拟方向盘WSM世界场景图控制原理详解 Cosmos3 Nano Sim Auto 是 NVIDIA 推出的实人工智能基础模型媒体生成自动驾驶计算机视觉NVIDIA重磅发布Cosmos3-Nano-Transfer-Auto16B参数世界模型如何让自动驾驶合成数据生成又快又准NVIDIA重磅发布Cosmos3 Nano Transfer Auto16B参数世界模型如何让自动驾驶合成数据生成又快又准 Cosmos3 Nano Tra人工智能多模态媒体生成自动驾驶大模型如何10分钟上手Cosmos3-Nano-Transfer-Auto用vLLM-Omni生成7路同步驾驶视频的完整教程附代码如何10分钟上手Cosmos3 Nano Transfer Auto用vLLM Omni生成7路同步驾驶视频的完整教程附代码 Cosmos3 Nano T人工智能多模态媒体生成自动驾驶大模型创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考