【免费下载链接】video_to_data_challenge项目地址https://ai.gitcode.com/hf_mirrors/nvidia/video_to_data_challenge点击查看免费下载V2D ChallengeVideo to Data Challenge是 NVIDIA 推出的机器人操作基准数据集内置39 个带纹理的 GLB 3D 网格与10 个 URDF 刚体描述文件可直接用于搭建机器人操作仿真场景。本文面向新手带你从零理解这些仿真资产的目录结构、坐标约定以及在 MuJoCo、Isaac Sim 等引擎中的加载方式。 资产总览两条赛道、39 个物体V2D Challenge 按赛道Track组织数据。其中与 3D 资产直接相关的是Track 2Robotic Grounding和Track 3Egocentric两者共享 LeRobot v2.1 数据集格式赛道物体数量网格格式附加资产Track 2两个 Tier 各一套29 个GLB 纹理网格地面平面 JSON 支持面 USDTrack 310 个GLB 纹理网格URDF 刚体描述 Track 2 的tier_1_multiview_caption与tier_2_synthetic_noise两个子目录各自包含完整的一套mesh/物体完全相同只是轨迹噪声级别不同。搭建仿真资产库时只需选一套即可。所有资产均在 CC BY-4.0 许可证下开放可自由用于商业和非商业项目。 Track 229 个物体的 GLB 纹理网格文件位置与命名规则Track 2 的物体网格位于 track_2/tier_1_multiview_caption/mesh/Tier 2 路径将tier_1_multiview_caption替换为tier_2_synthetic_noise目录结构非常规整mesh/ ├── baseball_bat/baseball_bat.glb ├── blue_trash_can/blue_trash_can.glb ├── tall_bar_stool/tall_bar_stool.glb ├── ...共 29 个文件夹核心规则文件夹名 物体名 网格文件名。例如tall_bar_stool对应mesh/tall_bar_stool/tall_bar_stool.glb。这个规则在 track_2/tier_1_multiview_caption/meta/info.json 中以模板形式声明mesh_path: mesh/{object_name}/{object_name}.glb每个物体还附带一句自然语言描述prompt方便你用 VLM 或检索系统做物体识别。完整的 29 个物体清单可在 track_2/tier_2_synthetic_noise/mesh/ 中逐一查看涵盖棒球棒、咖啡杯、滑板、熨斗、垃圾桶等日常物品。地面平面与支持面Track 2 为每个 episode 额外提供了两类场景几何可直接导入仿真器构建环境文件格式说明ground_plane/{sequence_id}.jsonJSON地面平面方程axbyczd0OpenCV 世界坐标系support_surface/{sequence_id}_support.usdaUSD支撑面圆柱/箱体g1_retarget_world坐标系单位米例如 2026-03-12_15-06-36_spray_bottle_left_desk_ground_02.json 记录了喷壶放置桌面场景的地面参数对应的 support.usda 则定义了桌面支撑圆柱体。每个 episode 具体使用哪个ground_plane和support_surface记录在 track_2/tier_1_multiview_caption/meta/episodes_metadata.jsonl 中每行包含ground_plane、support_surface、mesh三个路径字段。 Track 310 个物体 URDF 刚体描述网格与 URDF 一一对应Track 3 是完整度最高的仿真资产包位于 track_3/public/每个物体同时提供 GLB 网格和 URDF 描述物体网格URDF白色锅mesh/white_pot/white_pot.glburdf/white_pot_rigid.urdf锅盖子mesh/white_pot_lid/white_pot_lid.glburdf/white_pot_lid_rigid.urdf米色杯mesh/beige_cup/beige_cup.glburdf/beige_cup_rigid.urdf蓝色杯mesh/blue_cup/blue_cup.glburdf/blue_cup_rigid.urdf小扫帚mesh/mini_sweeper/mini_sweeper_{visual,collision}.glburdf/mini_sweeper_rigid.urdf小簸箕mesh/mini_dust_pan/mini_dust_pan.glburdf/mini_dust_pan_rigid.urdf塑料碗架mesh/plastic_dish_rack/plastic_dish_rack.glburdf/plastic_dish_rack_rigid.urdf水壶mesh/water_pitcher/water_pitcher.glburdf/water_pitcher_rigid.urdf木块 1 / 木块 2mesh/wooden_piece_{1,2}/...glburdf/wooden_piece_1_rigid.urdf / urdf/wooden_piece_2_rigid.urdf⚠️ 注意mini_sweeper、wooden_piece_1、wooden_piece_2这三个物体分别提供了视觉网格*_visual.glb高精度渲染用和碰撞网格*_collision.glb简化版物理交互用其余 7 个物体视觉与碰撞共用同一个 GLB。URDF 内部结构速读以 track_3/public/urdf/beige_cup_rigid.urdf 为例一个完整的 URDF 包含以下关键节点robot机器人名称如track3_beige_cupmujocoMuJoCo 编译器配置balanceinertiatrue自动平衡惯性、discardvisualfalse保留视觉网格link单个刚体链接内含inertial质心偏移 质量默认 0.3 kg 占位值 惯性张量由碰撞网格三角面均匀估计visual引用../mesh/{name}/{name}.glb用于渲染collision引用碰撞网格用于物理求解所有网格路径都是相对于 URDF 文件位置的相对路径../mesh/...因此把mesh/和urdf/目录整体移动时引用不会断。 URDF 文件头部的注释明确说明Track 3 不提供实测物理属性0.3 kg 是占位质量惯性参数是碰撞网格的均匀三角面估计。若你的仿真对动力学精度敏感建议替换为实测值。 坐标约定放对位置的关键仿真中最常见的坑是网格放错了位置。V2D Challenge 的坐标约定如下Track 3track_3/README.mdpose格式[x, y, z, qw, qx, qy, qz]平移单位米四元数w 在前姿态是world_T_object即以扫描网格自身坐标系为参考系——把网格放到记录的 pose 上它就和真实物体在视频中的位置一致x、y 按每个 episode 的可见物体均值居中z 不居中保持物理高度桌面静置约 0.61 mvisible为false时 pose 全零使用前务必先按visible过滤Track 2地面平面axbyczd0定义在源 OpenCV 世界坐标系下支撑面 USD 使用g1_retarget_world坐标系单位为米网格路径模板mesh/{object_name}/{object_name}.glb 快速上手在仿真器中加载资产方案一MuJoCo推荐 Track 3 资产Track 3 的 URDF 原生支持 MuJoCo已内置mujoco配置块。只需将 track_3/public/mesh/ 和 track_3/public/urdf/ 目录拷贝到你的工作区在.xml模型中通过include引入 URDFinclude filewhite_pot_rigid.urdf/用 parquet 中记录的 pose世界 → 物体设置初始位姿即可方案二Isaac Sim / Isaac Gym推荐 Track 2 资产Track 2 的支撑面 USD 文件可直接导入 Isaac Sim。典型流程加载support_surface/*.usda搭建桌面、地面等支撑环境从ground_plane/*.json读取平面参数放置地面用mesh/{name}/{name}.glb作为物体外观结合 parquet 中的轨迹数据设置运动方案三Blender / Unity / Unreal通用 GLB 加载所有 GLB 文件均为标准 glTF 2.0 二进制格式可直接被主流 3D 引擎导入BlenderFile → Import → glTF 2.0Unity直接拖入Assets目录UnrealFile → Import选择 GLB导入后即可作为静态道具或动态刚体参与场景搭建。 常见问题与注意事项问题解答GLB 文件打不开 / 内容异常仓库使用 Git LFS 存储大文件需先git lfs pull拉取真实文件物体 name 和网格路径怎么对应Track 3name就是文件夹名如white_pot→mesh/white_pot/white_pot.glbTrack 2 同理路径模板见info.json的mesh_pathTrack 2 两个 Tier 的 mesh 有何区别完全相同只是所属 Tier 目录不同。选一套即可URDF 里的 0.3 kg 能用吗作为快速原型可以追求动力学精度请替换实测质量与惯性数据在哪个坐标系Track 3 是扫描网格自身坐标系world_T_objectTrack 2 支撑面是g1_retarget_world地面平面是 OpenCV 世界系想查看某 episode 跟踪了哪些物体Track 3 的 parquet schema metadata 中objects字段列出了该 episode 的物体名列表 关键路径速查资产相对路径Track 2 网格29 个track_2/tier_1_multiview_caption/mesh/Track 2 地面平面track_2/tier_1_multiview_caption/ground_plane/Track 2 支撑面 USDtrack_2/tier_1_multiview_caption/support_surface/Track 3 网格10 个track_3/public/mesh/Track 3 URDF10 个track_3/public/urdf/Track 3 相机标定track_3/public/meta/camera_calibration.jsonTrack 3 数据集说明track_3/README.md总 READMEREADME.md掌握以上结构和约定后你就可以将 V2D Challenge 的 39 个纹理网格与 URDF 资产灵活组合搭建出覆盖桌面操作、厨房场景、户外道具等多种场景的机器人仿真资产库直接服务于策略训练与可视化回放。赞分享【免费下载链接】video_to_data_challenge项目地址https://ai.gitcode.com/hf_mirrors/nvidia/video_to_data_challenge点击查看免费下载相关推荐如何15分钟完成专业黑苹果配置终极自动化工具完整指南如何15分钟完成专业黑苹果配置终极自动化工具完整指南 还在为黑苹果配置的复杂技术门槛而烦恼吗OpCore Simplify是一款革命性的 黑苹果配置工具 开发工具CLI如何使用SolidWorks to URDF Exporter从3D模型到机器人仿真的完整指南如何使用SolidWorks to URDF Exporter从3D模型到机器人仿真的完整指南 SolidWorks to URDF Exporter是一款强机器人ROS开发工具Cuisine vs Fabric vs Salt三大自动化工具深度对比分析Cuisine vs Fabric vs Salt三大自动化工具深度对比分析 在现代DevOps和系统管理领域自动化工具扮演着至关重要的角色。Cuisine上一篇Angular Flex-Layout终极指南从零开始掌握响应式布局下一篇QQ空间历史说说怎么全量备份Python一键导出保姆级教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/22 17:12:19 · 阅读 1.2k 搭建机器人仿真资产库：V2D Challenge的GLB纹理网格与URDF文件完整使用指南
【免费下载链接】video_to_data_challenge项目地址https://ai.gitcode.com/hf_mirrors/nvidia/video_to_data_challenge点击查看免费下载V2D ChallengeVideo to Data Challenge是 NVIDIA 推出的机器人操作基准数据集内置39 个带纹理的 GLB 3D 网格与10 个 URDF 刚体描述文件可直接用于搭建机器人操作仿真场景。本文面向新手带你从零理解这些仿真资产的目录结构、坐标约定以及在 MuJoCo、Isaac Sim 等引擎中的加载方式。 资产总览两条赛道、39 个物体V2D Challenge 按赛道Track组织数据。其中与 3D 资产直接相关的是Track 2Robotic Grounding和Track 3Egocentric两者共享 LeRobot v2.1 数据集格式赛道物体数量网格格式附加资产Track 2两个 Tier 各一套29 个GLB 纹理网格地面平面 JSON 支持面 USDTrack 310 个GLB 纹理网格URDF 刚体描述 Track 2 的tier_1_multiview_caption与tier_2_synthetic_noise两个子目录各自包含完整的一套mesh/物体完全相同只是轨迹噪声级别不同。搭建仿真资产库时只需选一套即可。所有资产均在 CC BY-4.0 许可证下开放可自由用于商业和非商业项目。 Track 229 个物体的 GLB 纹理网格文件位置与命名规则Track 2 的物体网格位于 track_2/tier_1_multiview_caption/mesh/Tier 2 路径将tier_1_multiview_caption替换为tier_2_synthetic_noise目录结构非常规整mesh/ ├── baseball_bat/baseball_bat.glb ├── blue_trash_can/blue_trash_can.glb ├── tall_bar_stool/tall_bar_stool.glb ├── ...共 29 个文件夹核心规则文件夹名 物体名 网格文件名。例如tall_bar_stool对应mesh/tall_bar_stool/tall_bar_stool.glb。这个规则在 track_2/tier_1_multiview_caption/meta/info.json 中以模板形式声明mesh_path: mesh/{object_name}/{object_name}.glb每个物体还附带一句自然语言描述prompt方便你用 VLM 或检索系统做物体识别。完整的 29 个物体清单可在 track_2/tier_2_synthetic_noise/mesh/ 中逐一查看涵盖棒球棒、咖啡杯、滑板、熨斗、垃圾桶等日常物品。地面平面与支持面Track 2 为每个 episode 额外提供了两类场景几何可直接导入仿真器构建环境文件格式说明ground_plane/{sequence_id}.jsonJSON地面平面方程axbyczd0OpenCV 世界坐标系support_surface/{sequence_id}_support.usdaUSD支撑面圆柱/箱体g1_retarget_world坐标系单位米例如 2026-03-12_15-06-36_spray_bottle_left_desk_ground_02.json 记录了喷壶放置桌面场景的地面参数对应的 support.usda 则定义了桌面支撑圆柱体。每个 episode 具体使用哪个ground_plane和support_surface记录在 track_2/tier_1_multiview_caption/meta/episodes_metadata.jsonl 中每行包含ground_plane、support_surface、mesh三个路径字段。 Track 310 个物体 URDF 刚体描述网格与 URDF 一一对应Track 3 是完整度最高的仿真资产包位于 track_3/public/每个物体同时提供 GLB 网格和 URDF 描述物体网格URDF白色锅mesh/white_pot/white_pot.glburdf/white_pot_rigid.urdf锅盖子mesh/white_pot_lid/white_pot_lid.glburdf/white_pot_lid_rigid.urdf米色杯mesh/beige_cup/beige_cup.glburdf/beige_cup_rigid.urdf蓝色杯mesh/blue_cup/blue_cup.glburdf/blue_cup_rigid.urdf小扫帚mesh/mini_sweeper/mini_sweeper_{visual,collision}.glburdf/mini_sweeper_rigid.urdf小簸箕mesh/mini_dust_pan/mini_dust_pan.glburdf/mini_dust_pan_rigid.urdf塑料碗架mesh/plastic_dish_rack/plastic_dish_rack.glburdf/plastic_dish_rack_rigid.urdf水壶mesh/water_pitcher/water_pitcher.glburdf/water_pitcher_rigid.urdf木块 1 / 木块 2mesh/wooden_piece_{1,2}/...glburdf/wooden_piece_1_rigid.urdf / urdf/wooden_piece_2_rigid.urdf⚠️ 注意mini_sweeper、wooden_piece_1、wooden_piece_2这三个物体分别提供了视觉网格*_visual.glb高精度渲染用和碰撞网格*_collision.glb简化版物理交互用其余 7 个物体视觉与碰撞共用同一个 GLB。URDF 内部结构速读以 track_3/public/urdf/beige_cup_rigid.urdf 为例一个完整的 URDF 包含以下关键节点robot机器人名称如track3_beige_cupmujocoMuJoCo 编译器配置balanceinertiatrue自动平衡惯性、discardvisualfalse保留视觉网格link单个刚体链接内含inertial质心偏移 质量默认 0.3 kg 占位值 惯性张量由碰撞网格三角面均匀估计visual引用../mesh/{name}/{name}.glb用于渲染collision引用碰撞网格用于物理求解所有网格路径都是相对于 URDF 文件位置的相对路径../mesh/...因此把mesh/和urdf/目录整体移动时引用不会断。 URDF 文件头部的注释明确说明Track 3 不提供实测物理属性0.3 kg 是占位质量惯性参数是碰撞网格的均匀三角面估计。若你的仿真对动力学精度敏感建议替换为实测值。 坐标约定放对位置的关键仿真中最常见的坑是网格放错了位置。V2D Challenge 的坐标约定如下Track 3track_3/README.mdpose格式[x, y, z, qw, qx, qy, qz]平移单位米四元数w 在前姿态是world_T_object即以扫描网格自身坐标系为参考系——把网格放到记录的 pose 上它就和真实物体在视频中的位置一致x、y 按每个 episode 的可见物体均值居中z 不居中保持物理高度桌面静置约 0.61 mvisible为false时 pose 全零使用前务必先按visible过滤Track 2地面平面axbyczd0定义在源 OpenCV 世界坐标系下支撑面 USD 使用g1_retarget_world坐标系单位为米网格路径模板mesh/{object_name}/{object_name}.glb 快速上手在仿真器中加载资产方案一MuJoCo推荐 Track 3 资产Track 3 的 URDF 原生支持 MuJoCo已内置mujoco配置块。只需将 track_3/public/mesh/ 和 track_3/public/urdf/ 目录拷贝到你的工作区在.xml模型中通过include引入 URDFinclude filewhite_pot_rigid.urdf/用 parquet 中记录的 pose世界 → 物体设置初始位姿即可方案二Isaac Sim / Isaac Gym推荐 Track 2 资产Track 2 的支撑面 USD 文件可直接导入 Isaac Sim。典型流程加载support_surface/*.usda搭建桌面、地面等支撑环境从ground_plane/*.json读取平面参数放置地面用mesh/{name}/{name}.glb作为物体外观结合 parquet 中的轨迹数据设置运动方案三Blender / Unity / Unreal通用 GLB 加载所有 GLB 文件均为标准 glTF 2.0 二进制格式可直接被主流 3D 引擎导入BlenderFile → Import → glTF 2.0Unity直接拖入Assets目录UnrealFile → Import选择 GLB导入后即可作为静态道具或动态刚体参与场景搭建。 常见问题与注意事项问题解答GLB 文件打不开 / 内容异常仓库使用 Git LFS 存储大文件需先git lfs pull拉取真实文件物体 name 和网格路径怎么对应Track 3name就是文件夹名如white_pot→mesh/white_pot/white_pot.glbTrack 2 同理路径模板见info.json的mesh_pathTrack 2 两个 Tier 的 mesh 有何区别完全相同只是所属 Tier 目录不同。选一套即可URDF 里的 0.3 kg 能用吗作为快速原型可以追求动力学精度请替换实测质量与惯性数据在哪个坐标系Track 3 是扫描网格自身坐标系world_T_objectTrack 2 支撑面是g1_retarget_world地面平面是 OpenCV 世界系想查看某 episode 跟踪了哪些物体Track 3 的 parquet schema metadata 中objects字段列出了该 episode 的物体名列表 关键路径速查资产相对路径Track 2 网格29 个track_2/tier_1_multiview_caption/mesh/Track 2 地面平面track_2/tier_1_multiview_caption/ground_plane/Track 2 支撑面 USDtrack_2/tier_1_multiview_caption/support_surface/Track 3 网格10 个track_3/public/mesh/Track 3 URDF10 个track_3/public/urdf/Track 3 相机标定track_3/public/meta/camera_calibration.jsonTrack 3 数据集说明track_3/README.md总 READMEREADME.md掌握以上结构和约定后你就可以将 V2D Challenge 的 39 个纹理网格与 URDF 资产灵活组合搭建出覆盖桌面操作、厨房场景、户外道具等多种场景的机器人仿真资产库直接服务于策略训练与可视化回放。赞分享【免费下载链接】video_to_data_challenge项目地址https://ai.gitcode.com/hf_mirrors/nvidia/video_to_data_challenge点击查看免费下载相关推荐如何15分钟完成专业黑苹果配置终极自动化工具完整指南如何15分钟完成专业黑苹果配置终极自动化工具完整指南 还在为黑苹果配置的复杂技术门槛而烦恼吗OpCore Simplify是一款革命性的 黑苹果配置工具 开发工具CLI如何使用SolidWorks to URDF Exporter从3D模型到机器人仿真的完整指南如何使用SolidWorks to URDF Exporter从3D模型到机器人仿真的完整指南 SolidWorks to URDF Exporter是一款强机器人ROS开发工具Cuisine vs Fabric vs Salt三大自动化工具深度对比分析Cuisine vs Fabric vs Salt三大自动化工具深度对比分析 在现代DevOps和系统管理领域自动化工具扮演着至关重要的角色。Cuisine上一篇Angular Flex-Layout终极指南从零开始掌握响应式布局下一篇QQ空间历史说说怎么全量备份Python一键导出保姆级教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考