开源检查点全解析)
认识EasyWAM-Hidden-Wan22基于Wan2.2-TI2V-5B的世界动作模型WAM开源检查点全解析EasyWAM-Hidden-Wan22 官方仓库发布了基于Wan2.2-TI2V-5B视频基座的世界动作模型World Action Model, WAM开源检查点覆盖 LIBERO 机器人基准的全参数与 LoRA 两个版本。如果你关注机器人视觉-动作学习、视频生成模型落地或模仿学习这份开箱即用的检查点值得关注。本文用通俗的方式带你认识这个项目它是什么、仓库里有什么、成绩有多强以及如何快速下载与评测。一、什么是世界动作模型WAM一分钟理解传统的机器人策略模型只做一件事根据当前画面直接输出下一步动作。而世界动作模型在此基础上多了一项能力World世界模型先想象未来场景会如何演化即预测未来的视频帧Action动作在理解未来演化的过程中同步生成机器人该执行的动作。EasyWAM-Hidden的具体设计见 README.md可以概括为三点构建在开源视频模型Wan2.2-TI2V-5B之上复用其强大的视频理解与生成能力新增一个独立的Action DiT动作生成模块单向接收 Video DiT视频生成模块中间特征的调控——动作分支从视频分支借力但不反向干扰结构清晰名字里的Hidden隐藏指隐藏视觉条件推理时模型仍会进行未来视频预测但生成的隐形画面不对外展示只作为动作生成的内部视觉线索。二、仓库文件清单每个文件是干什么的 文件说明libero_hidden_wan22.ptLIBERO全参数检查点包含全部可训练模块libero_hidden_wan22_lora_128.ptLIBEROLoRA检查点rank 128alpha 128libero_dataset_stats.jsonLIBERO 数据集归一化统计量README.md项目说明、基准成绩与使用方法其中 libero_dataset_stats.json 容易被人忽略但它必不可少它记录了 LIBERO 环境中8 维状态state与 7 维动作action的最小值/最大值、分位数q01/q99、均值与标准差均提供 stepwise 逐步统计和 global 全局统计两种口径推理时用这些统计量对观测做归一化、对预测动作做反归一化是评测命令的必备输入。三、全参数 vs LoRA两个版本怎么选 全参数版libero_hidden_wan22.pt包含所有可训练模块直接加载即可评测适合追求极限性能的场景LoRA 版libero_hidden_wan22_lora_128.pt只以 rank 128alpha 128的低秩适配器微调骨干 Video DiT 的目标模块其余可训练模块一并保存在同一检查点中。体积更小、训练成本更低适合算力有限的团队。⚠️重要提醒LoRA 检查点不包含完整的 Wan2.2 骨干权重。使用前需先按 EasyWAM 官方的 Wan2.2 骨干指南下载对应骨干并配置路径且必须使用配套的_lora任务配方task recipe加载否则会加载失败。两个版本共用的关键设定状态 token 的放置方式为sequence检查点格式为 EasyWAM 的 PyTorch.pt格式。四、LIBERO 基准成绩解读98.8% 平均成功率是什么水平 以下为 EasyWAM LIBERO 评测协议下的任务成功率%所有结果均使用state_position: sequence 为本仓库发布的架构全参数对比模型SpatialObjectGoalLIBERO-10Avg.EasyWAM-Unified98.498.899.298.098.6EasyWAM-MoT97.099.296.694.096.7EasyWAM-MoT-Joint98.298.097.696.897.7EasyWAM-MoT-IDM99.099.298.897.498.6 EasyWAM-Hidden99.2100.097.898.298.8LoRARank 128对比模型SpatialObjectGoalLIBERO-10Avg.EasyWAM-Unified91.298.891.866.287.0EasyWAM-MoT96.899.697.490.095.9 EasyWAM-Hidden98.099.889.486.693.5几个值得注意的点全参数版平均成功率 98.8%在同骨干Wan2.2-TI2V-5B的对比模型中排名第一Object 套件达到100.0%满分LoRA 版平均 93.5%在低参数开销设定下大幅领先 Unified 基线87.0%说明Hidden结构对参数效率同样友好LIBERO-Plus鲁棒性测试全参数覆盖背景、相机、语言、布局、光照、噪声、机器人 7 类扰动中EasyWAM-Hidden 平均77.6%与最强基线 Unified79.0%非常接近并在 Robot83.7、Layout、Camera 等维度上占优说明其性能并非只在标准环境下好看。五、快速上手三步下载并评测 ⚡第 1 步获取检查点。推荐使用官方命令行工具直接下载hf download OpenMOSS-Team/EasyWAM-Hidden-Wan22 \ libero_hidden_wan22.pt \ libero_hidden_wan22_lora_128.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints也可以通过 Git 克隆本仓库git clone https://gitcode.com/OpenMOSS/EasyWAM-Hidden-Wan22第 2 步准备运行环境。安装 EasyWAM 代码库及其对 Wan2.2-TI2V-5B 的依赖并按 EasyWAM 官方文档配置 LIBERO 仿真器。第 3 步运行评测。在 EasyWAM 代码目录下执行全参数版示例python experiments/libero/run_libero_manager.py \ tasklibero_easywam_hidden_wan22 \ ckpt./checkpoints/libero_hidden_wan22.pt \ EVALUATION.dataset_stats_path./checkpoints/libero_dataset_stats.jsonLoRA 版只需把task换成libero_easywam_hidden_wan22_lora、ckpt指向 LoRA 文件。默认协议会对 4 个 LIBERO 套件、每个任务各跑 50 次多卡机器可追加MULTIRUN.num_gpusgpu-count参数实现多卡并行评测。六、注意事项与常见问题 ❓许可证检查点采用CC BY-NC 4.0仅限非商业用途且受其基座模型与训练数据条款约束EasyWAM 代码为MIT协议。商用场景请自行确认合规性LoRA 版加载失败90% 的情况是忘了下载 Wan2.2 骨干权重、或使用了非_lora的任务配方评测结果异常检查是否正确传入了libero_dataset_stats.json的统计量路径想复现训练本仓库仅发布检查点训练与评测流程均以 EasyWAM 官方代码库为准。小结EasyWAM-Hidden-Wan22 把视频生成 动作生成的世界动作模型路线落成了可直接下载、直接评测的开源检查点全参数版以 98.8% 的 LIBERO 平均成功率拿下同骨干第一LoRA 版则用 128 秩适配器以更低成本保留了 93.5% 的竞争力。对于想快速体验 WAM 的机器人研究者而言它是一个相当好的起点。创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考