人工智能大模型具身智能机器人【免费下载链接】cosmos3-nano-libero10-sdg-export-D5项目地址https://ai.gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D5点击查看免费下载cosmos3-nano-libero10-sdg-export-D5是 NVIDIA Cosmos3-Nano 系列中一个面向机器人操作的视觉-动作VLA策略模型它以Qwen3-VL 8B为语言主干通过Mixture-of-TransformersMoT设计并联一个扩散生成专家在 LIBERO-10 基准上后训练得到。标准场景成功率93.4%光照/纹理扰动场景仍有82.9%。本文将带你从零读懂它的架构分层、关键配置和权重布局。 这个模型到底是做什么的一句话定位给定机器人第一视角图像/视频 语言指令输出动作序列action chunks。它是 Cosmos Cookbook 中用合成数据重风格化 LIBERO-10 演示并量化收益受控实验里的一个单元cell D5训练数据为 379 条真实 LIBERO-10 演示 1895 条重风格化副本共训练 2000 步全局 batch 2048seed 42。核心指标见 README.md项目数值参数规模约 151.7 亿total_parameters: 15173136576精度 / 体积bf16 safetensors7 分片约 30 GB标准场景成功率93.4 ± 1.2 %10 任务 × 50 初始状态扰动场景成功率82.9 ± 1.9 %随机光照、纹理、天空盒与相机抖动基座模型nvidia/Cosmos3-Nanorevisione59a53c2推理框架cosmos-frameworkv1.2.2policy server 可直接加载⚠️ 训练数据不在本仓库再分发LIBERO-10 原始数据在nvidia/LIBERO_LeRobot_v3重风格化数据由 Cookbook 配方现场再生成。 总体架构一套骨架、双专家并联的 MoT 设计这是理解本模型的核心。传统 VLM 只有一套 Transformer 层而omni_mot_model_config见 config.json让每一层都同时拥有两套专家权重理解专家language / undQwen3-VL 8B 的语言塔负责看懂图像与指令走自回归因果 LM 路径生成专家_moe_gen后缀扩散专家负责生成——视频 latent 与动作的扩散去噪采用双向two-way联合注意力与语言侧交互joint_attn_implementation: two_wayconfig.json。打开 model.safetensors.index.json 可以直观验证模型共36 层每一层都成对出现——组件理解专家生成专家注意力投影self_attn.q/k/v/o_projself_attn.q/k/v/o_proj_moe_genQK 归一化self_attn.q_norm / k_normself_attn.q_norm_moe_gen / k_norm_moe_gen前馈网络mlp.gate/up/down_projmlp_moe_gen.gate/up/down_projLayerNorminput_layernorminput_layernorm_moe_gen两套权重完全独立、共享同一序列上的联合注意力这正是 Mixture-of-Transformers 的精髓用复制一层的成本换取理解与生成两条路径互不干扰让语言模型强大的世界理解能力能被扩散生成侧直接借用。 一个有趣的细节lora_target_modules只列了q/k/v/o_proj_moe_genconfig.json——一旦启用 LoRA 微调也只微调生成专家的注意力投影语言主干保持冻结语义进一步印证了扩散专家是可插拔模块的设计意图。⚙️ 从 config.json 看懂五大配置模块config.json 是整个模型的蓝图按功能可拆成五块。1️⃣ 语言主干vlm_configmodel_name为Qwen/Qwen3-VL-8B-Instructconfig.json配置源指向Qwen3-VL-8B-Instruct.json视觉塔ViT共 27 个 block含 3 组deepstack_merger与 1 组merger把图像/视频 patch 逐级合并成语言 token启用qk_norm_for_text文本侧 QK 归一化词嵌入与lm_head共享权重tie_word_embeddings: true。2️⃣ 扩散专家diffusion_expert_config这块决定了生成什么、怎么生成config.json参数值含义base_fps24视频基础帧率patch_spatial2视觉 latent 的空间 patch 化倍数max_vae_latent_side_after_patchify20patchify 后 latent 最大边长enable_action_modality_embeddingtrue为动作这一模态单独加嵌入unified_3d_mrope_*—统一的 3D M-RoPE 位置编码时间模态留 15000 的边距让视频与动作共享时间轴视频压缩由wan2pt2_vae_interface完成空间压缩 16 倍、时间压缩 4 倍config.json推理端采用rectified flowunipc 调度器、1000 个训练时间步、logitnormal 时间分布config.json动作损失权重特意放大到 10.0action_loss_weight: 10.0保证动作生成不被视频重建目标淹没。3️⃣ 动作生成链路action_gen与各投影层本模型的核心身份是机器人策略动作相关的接头全部集中在语言塔之外max_action_dim: 64动作维度上限state_ch: 48、state_t: 300机器人状态向量 48 维、时间窗 300llm2action/action2llm语言塔隐状态 ↔ 动作向量的双向投影见 model.safetensors.index.json 末尾权重llm2vae/vae2llm动作与视频 latent 之间共享 VAE 空间的桥接层time_embedder扩散时间步的正弦 MLP 嵌入num_embodiment_domains: 32最多支持 32 种本体域不同机器人形态嵌入这是其跨具身泛化能力的基础。4️⃣ 训练与并行策略parallelism显示训练用 4 路数据并行分片FSDPmaster 精度 float32、reduce 精度 bf16config.jsonattention_io_layout: sequence_sharded与选择性激活检查点只重算fmfa之外的 op保存fmha兼顾显存与吞吐。checkpoint.json 还记录了导出时使用了EMA 权重use_ema_weights: true并关闭了预训练权重加载——你拿到的就是训练完的真实状态而非中间态。5️⃣ 精度与量化precision: bfloat16未启用 FP8 量化quantization.method: null与 7 个 safetensors 分片的实际精度一致。 权重文件怎么读文件说明model-00001-of-00007.safetensors 等 7 个分片bf16 权重合计约 30 GB分片 1 存嵌入/视觉塔分片 7 存lm_head、llm2action等动作头model.safetensors.index.json1160 个张量到 7 个分片的映射表metadata记录总参数量 15,173,136,576tokenizer.json / vocab.json / merges.txtQwen3-VL-8B-Instruct 分词器与 export_manifest.json 中processor_source.repo一致chat_template.json标准 Qwen 对话模板含图像/视频占位符处理逻辑preprocessor_config.json / video_preprocessor_config.json图像/视频预处理patch 16、temporal patch 2、merge 2export_manifest.json导出元数据视觉塔来源、处理器来源与 revision 快速上手如何加载这个模型前置条件Python 环境、transformers 4.57.6config.json声明的版本、cosmos-frameworkv1.2.2策略服务器依赖。获取模型Git LFS 仓库约 30 GB请预留磁盘 git clone https://gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D5确认完整性7 个 safetensors 分片 model.safetensors.index.json均在本地即可分片应为 GB 级若每个只有 4 KB 说明 LFS 未拉取需执行git lfs pull。加载方式官方推荐用cosmos-framework的policy server加载它会按config.json的auto_mapAutoModel → cosmos3.model.Cosmos3OmniModelconfig.json装配 MoT 双专家结构架构标识为Cosmos3OmniModelmodel_type: cosmos3_omni需 cosmos 专用代码路径而非原生 transformers 权重目录直接推理。输入约定来自 config.json图像走images键、视频走video键、指令字幕走ai_caption键输出为 64 维上限的动作序列。❓ 新手常见问题FAQQ1MoT 和 MoE混合专家是一回事吗不是。MoE 是同一层里多个 FFN 用门控路由二选一MoT 是同一层里按模态/任务拆出整套独立子层注意力MLP归一化并行运行。本模型的 und / gen 双专家由输入模态决定走法没有路由网络。Q2为什么扰动场景成功率掉到 82.9% 还能用README 明确提示cell 之间小于 2.5 分的差异在训练 seed 波动范围内README.md。82.9% 是在随机化光照、纹理、天空盒与相机抖动下的鲁棒性指标恰好说明合成数据增强SDG即仓库名中sdg的由来带来了环境不变性收益。Q3D5是什么它是受控实验网格中的一个单元格编号实验组 D 的第 5 个 seed/配置组合。README 提醒重风格化 cell 必须与其 duplicate control 对比解读单独看 D5 没有意义。Q4能微调到自己的机器人吗配置已预留 LoRA 开关lora_enabled: false、rank 16、alpha 32且目标模块默认只指向*_moe_gen投影config.json——微调时只动生成专家即可保留语言理解能力这是官方架构给出的最省力微调路径。小结cosmos3-nano-libero10-sdg-export-D5展示了世界模型路线做机器人策略的完整工程形态——Qwen3-VL 8B 负责理解36 层并联的扩散专家负责生成动作头负责落地三者在 MoT 骨架中各司其职。对想深入的同学建议按config.json→model.safetensors.index.json→ README 实验数据的顺序逐层对照阅读。赞分享人工智能大模型具身智能机器人【免费下载链接】cosmos3-nano-libero10-sdg-export-D5项目地址https://ai.gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D5点击查看免费下载相关推荐Wand-Enhancer 完整指南本地解锁 WeMod 专业版的实操步骤Wand Enhancer 完整指南本地解锁 WeMod 专业版的实操步骤 Wand Enhancer 是开源的本地补丁工具让 WeMod 客户端识别为专业人工智能大模型具身智能机器人GhostTrack 完整指南三步跑通 IP 定位、手机号解析与 24 平台用户名查找GhostTrack 完整指南三步跑通 IP 定位、手机号解析与 24 平台用户名查找 GhostTrack 是一个用 Python 写的轻量 OSINT 工人工智能大模型具身智能机器人2.5个百分点的噪声cosmos3-nano-libero10-sdg-export-D_half受控对照实验设计的科学解读2.5个百分点的噪声cosmos3 nano libero10 sdg export D_half受控对照实验设计的科学解读 cosmos3 nano lib人工智能大模型机器人具身智能微调上一篇ComfyUI LLM Party v0.6.0版本发布OpenAI与MCP生态融合的新年派对下一篇Slurm-web v4.2.0版本发布增强Slurm集群管理能力创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/21 1:19:12 · 阅读 1.2k cosmos3-nano-libero10-sdg-export-D5 架构深度解析：Qwen3-VL 8B 语言主干 + 扩散专家的 Mixture-of-Transformers 设计完全指南
人工智能大模型具身智能机器人【免费下载链接】cosmos3-nano-libero10-sdg-export-D5项目地址https://ai.gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D5点击查看免费下载cosmos3-nano-libero10-sdg-export-D5是 NVIDIA Cosmos3-Nano 系列中一个面向机器人操作的视觉-动作VLA策略模型它以Qwen3-VL 8B为语言主干通过Mixture-of-TransformersMoT设计并联一个扩散生成专家在 LIBERO-10 基准上后训练得到。标准场景成功率93.4%光照/纹理扰动场景仍有82.9%。本文将带你从零读懂它的架构分层、关键配置和权重布局。 这个模型到底是做什么的一句话定位给定机器人第一视角图像/视频 语言指令输出动作序列action chunks。它是 Cosmos Cookbook 中用合成数据重风格化 LIBERO-10 演示并量化收益受控实验里的一个单元cell D5训练数据为 379 条真实 LIBERO-10 演示 1895 条重风格化副本共训练 2000 步全局 batch 2048seed 42。核心指标见 README.md项目数值参数规模约 151.7 亿total_parameters: 15173136576精度 / 体积bf16 safetensors7 分片约 30 GB标准场景成功率93.4 ± 1.2 %10 任务 × 50 初始状态扰动场景成功率82.9 ± 1.9 %随机光照、纹理、天空盒与相机抖动基座模型nvidia/Cosmos3-Nanorevisione59a53c2推理框架cosmos-frameworkv1.2.2policy server 可直接加载⚠️ 训练数据不在本仓库再分发LIBERO-10 原始数据在nvidia/LIBERO_LeRobot_v3重风格化数据由 Cookbook 配方现场再生成。 总体架构一套骨架、双专家并联的 MoT 设计这是理解本模型的核心。传统 VLM 只有一套 Transformer 层而omni_mot_model_config见 config.json让每一层都同时拥有两套专家权重理解专家language / undQwen3-VL 8B 的语言塔负责看懂图像与指令走自回归因果 LM 路径生成专家_moe_gen后缀扩散专家负责生成——视频 latent 与动作的扩散去噪采用双向two-way联合注意力与语言侧交互joint_attn_implementation: two_wayconfig.json。打开 model.safetensors.index.json 可以直观验证模型共36 层每一层都成对出现——组件理解专家生成专家注意力投影self_attn.q/k/v/o_projself_attn.q/k/v/o_proj_moe_genQK 归一化self_attn.q_norm / k_normself_attn.q_norm_moe_gen / k_norm_moe_gen前馈网络mlp.gate/up/down_projmlp_moe_gen.gate/up/down_projLayerNorminput_layernorminput_layernorm_moe_gen两套权重完全独立、共享同一序列上的联合注意力这正是 Mixture-of-Transformers 的精髓用复制一层的成本换取理解与生成两条路径互不干扰让语言模型强大的世界理解能力能被扩散生成侧直接借用。 一个有趣的细节lora_target_modules只列了q/k/v/o_proj_moe_genconfig.json——一旦启用 LoRA 微调也只微调生成专家的注意力投影语言主干保持冻结语义进一步印证了扩散专家是可插拔模块的设计意图。⚙️ 从 config.json 看懂五大配置模块config.json 是整个模型的蓝图按功能可拆成五块。1️⃣ 语言主干vlm_configmodel_name为Qwen/Qwen3-VL-8B-Instructconfig.json配置源指向Qwen3-VL-8B-Instruct.json视觉塔ViT共 27 个 block含 3 组deepstack_merger与 1 组merger把图像/视频 patch 逐级合并成语言 token启用qk_norm_for_text文本侧 QK 归一化词嵌入与lm_head共享权重tie_word_embeddings: true。2️⃣ 扩散专家diffusion_expert_config这块决定了生成什么、怎么生成config.json参数值含义base_fps24视频基础帧率patch_spatial2视觉 latent 的空间 patch 化倍数max_vae_latent_side_after_patchify20patchify 后 latent 最大边长enable_action_modality_embeddingtrue为动作这一模态单独加嵌入unified_3d_mrope_*—统一的 3D M-RoPE 位置编码时间模态留 15000 的边距让视频与动作共享时间轴视频压缩由wan2pt2_vae_interface完成空间压缩 16 倍、时间压缩 4 倍config.json推理端采用rectified flowunipc 调度器、1000 个训练时间步、logitnormal 时间分布config.json动作损失权重特意放大到 10.0action_loss_weight: 10.0保证动作生成不被视频重建目标淹没。3️⃣ 动作生成链路action_gen与各投影层本模型的核心身份是机器人策略动作相关的接头全部集中在语言塔之外max_action_dim: 64动作维度上限state_ch: 48、state_t: 300机器人状态向量 48 维、时间窗 300llm2action/action2llm语言塔隐状态 ↔ 动作向量的双向投影见 model.safetensors.index.json 末尾权重llm2vae/vae2llm动作与视频 latent 之间共享 VAE 空间的桥接层time_embedder扩散时间步的正弦 MLP 嵌入num_embodiment_domains: 32最多支持 32 种本体域不同机器人形态嵌入这是其跨具身泛化能力的基础。4️⃣ 训练与并行策略parallelism显示训练用 4 路数据并行分片FSDPmaster 精度 float32、reduce 精度 bf16config.jsonattention_io_layout: sequence_sharded与选择性激活检查点只重算fmfa之外的 op保存fmha兼顾显存与吞吐。checkpoint.json 还记录了导出时使用了EMA 权重use_ema_weights: true并关闭了预训练权重加载——你拿到的就是训练完的真实状态而非中间态。5️⃣ 精度与量化precision: bfloat16未启用 FP8 量化quantization.method: null与 7 个 safetensors 分片的实际精度一致。 权重文件怎么读文件说明model-00001-of-00007.safetensors 等 7 个分片bf16 权重合计约 30 GB分片 1 存嵌入/视觉塔分片 7 存lm_head、llm2action等动作头model.safetensors.index.json1160 个张量到 7 个分片的映射表metadata记录总参数量 15,173,136,576tokenizer.json / vocab.json / merges.txtQwen3-VL-8B-Instruct 分词器与 export_manifest.json 中processor_source.repo一致chat_template.json标准 Qwen 对话模板含图像/视频占位符处理逻辑preprocessor_config.json / video_preprocessor_config.json图像/视频预处理patch 16、temporal patch 2、merge 2export_manifest.json导出元数据视觉塔来源、处理器来源与 revision 快速上手如何加载这个模型前置条件Python 环境、transformers 4.57.6config.json声明的版本、cosmos-frameworkv1.2.2策略服务器依赖。获取模型Git LFS 仓库约 30 GB请预留磁盘 git clone https://gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D5确认完整性7 个 safetensors 分片 model.safetensors.index.json均在本地即可分片应为 GB 级若每个只有 4 KB 说明 LFS 未拉取需执行git lfs pull。加载方式官方推荐用cosmos-framework的policy server加载它会按config.json的auto_mapAutoModel → cosmos3.model.Cosmos3OmniModelconfig.json装配 MoT 双专家结构架构标识为Cosmos3OmniModelmodel_type: cosmos3_omni需 cosmos 专用代码路径而非原生 transformers 权重目录直接推理。输入约定来自 config.json图像走images键、视频走video键、指令字幕走ai_caption键输出为 64 维上限的动作序列。❓ 新手常见问题FAQQ1MoT 和 MoE混合专家是一回事吗不是。MoE 是同一层里多个 FFN 用门控路由二选一MoT 是同一层里按模态/任务拆出整套独立子层注意力MLP归一化并行运行。本模型的 und / gen 双专家由输入模态决定走法没有路由网络。Q2为什么扰动场景成功率掉到 82.9% 还能用README 明确提示cell 之间小于 2.5 分的差异在训练 seed 波动范围内README.md。82.9% 是在随机化光照、纹理、天空盒与相机抖动下的鲁棒性指标恰好说明合成数据增强SDG即仓库名中sdg的由来带来了环境不变性收益。Q3D5是什么它是受控实验网格中的一个单元格编号实验组 D 的第 5 个 seed/配置组合。README 提醒重风格化 cell 必须与其 duplicate control 对比解读单独看 D5 没有意义。Q4能微调到自己的机器人吗配置已预留 LoRA 开关lora_enabled: false、rank 16、alpha 32且目标模块默认只指向*_moe_gen投影config.json——微调时只动生成专家即可保留语言理解能力这是官方架构给出的最省力微调路径。小结cosmos3-nano-libero10-sdg-export-D5展示了世界模型路线做机器人策略的完整工程形态——Qwen3-VL 8B 负责理解36 层并联的扩散专家负责生成动作头负责落地三者在 MoT 骨架中各司其职。对想深入的同学建议按config.json→model.safetensors.index.json→ README 实验数据的顺序逐层对照阅读。赞分享人工智能大模型具身智能机器人【免费下载链接】cosmos3-nano-libero10-sdg-export-D5项目地址https://ai.gitcode.com/hf_mirrors/nvidia/cosmos3-nano-libero10-sdg-export-D5点击查看免费下载相关推荐Wand-Enhancer 完整指南本地解锁 WeMod 专业版的实操步骤Wand Enhancer 完整指南本地解锁 WeMod 专业版的实操步骤 Wand Enhancer 是开源的本地补丁工具让 WeMod 客户端识别为专业人工智能大模型具身智能机器人GhostTrack 完整指南三步跑通 IP 定位、手机号解析与 24 平台用户名查找GhostTrack 完整指南三步跑通 IP 定位、手机号解析与 24 平台用户名查找 GhostTrack 是一个用 Python 写的轻量 OSINT 工人工智能大模型具身智能机器人2.5个百分点的噪声cosmos3-nano-libero10-sdg-export-D_half受控对照实验设计的科学解读2.5个百分点的噪声cosmos3 nano libero10 sdg export D_half受控对照实验设计的科学解读 cosmos3 nano lib人工智能大模型机器人具身智能微调上一篇ComfyUI LLM Party v0.6.0版本发布OpenAI与MCP生态融合的新年派对下一篇Slurm-web v4.2.0版本发布增强Slurm集群管理能力创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考