论文Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)作者Ilia Larchenko独立研究者也是 BEHAVIOR-1K 2025 冠军团队成员成绩线上仿真赛第 1 名62 支队伍79.63%领先第二名 6.1 个百分点ICRA 2026 维也纳线下真机决赛第 2 名865 分第一名 sZs 895 分开源代码github.com/IliaLarchenko/lehome_solution模型lehome_sim和lehome_real发布在 HuggingFace一、赛题回顾任务用双臂 SO-ARM101 叠一件平铺在桌上的衣服。动作是 12 维关节空间仿真 30 Hz、真机 20 Hz。三个 RGB 相机一个俯视两个腕部。四类衣物长袖上衣、短袖上衣、长裤、短裤。评分按关键点距离条件做二值判定上衣 5 个条件、裤子 4 个全部满足才算成功没有部分分。泛化每类 20 件衣服。10 件见过有官方脚本策略生成的 BC 数据10 件没见过其中 8 件完全不公开。陷阱评测时不告诉策略衣服类别策略得自己识别。如图所示四种衣服二、方法总览一句话以 π0.5 结构的 VLA 为底座用策略自己当价值函数的离线式 RLAWR RECAP持续自我提升再加上推理时调参和工程化的数据飞轮。作者自己也说这是一份工程案例报告不是对照实验基本没做消融。如图系统概览1. 模型结构沿用他们 BEHAVIOR-1K 的方案SigLIP冻结 Gemma-2B 前缀 Gemma-300M 动作专家。用 flow matching 输出 30 步 × 12 维的动作块不用语言输入。为这次比赛新加了衣物类别 token替代文本 prompt。推理时先让模型自己预测类别前几个 chunk 投票后锁定。优势值条件化优势值同时作为 token 输入和 AdaRMS 层归一化的调制信号。光用一个 token 太弱模型会做出错误衣服的动作。XSAExclusive Self-Attention、按时间步平滑的动作归一化std ∝ √t。关键设计所有预测头只看图像 token看不到关节状态防止价值头靠本体感知走捷径。如图所示策略架构2. 策略即价值函数核心思路同一个网络上挂一组线性预测头success最终能否成功的概率即 V 函数。completion任务进度 t/T只在成功的 episode 上训练。对策略变化不敏感比 success 稳定。keypoint distance直接预测评测用的那组关键点距离比。未来预测头预测 30 帧后的关键点距离以及以动作为条件的 Δsuccess。这相当于一个廉价的 Q 函数加世界模型替代品用于 best-of-N 选动作。好处只有一个模型要训练和部署表征共享辅助任务还能反哺主干。3. 奖励和优势估计技术含量最高的部分稠密化直接复用比赛的成功判定条件把过程切成中间检查点 0.5 成功 1.0第一段再按距离缩小的比例平滑发放。失败时收回奖励失败的 episode 把累计奖励均匀扣回去保证总回报始终等于 0/1和真实目标对齐。CUPED 式的打折基线Â G − αV̂。作者推导出最优 α* ρ²(V, V̂)也就是预测器有多可信就减多少。α0 退化为纯检查点奖励α1 退化为 ΔP(success)。这里借用了 A/B 测试里的方差缩减思路挺有意思。实际取了 α0.5事后估算 α* 在 0.4–0.8 之间。GAE同时用 success 和 completion 两路信号旧数据的优势值逐渐混成只看结果的 GRPO 式相对成功信号成功 episode 里折叠最紧的前 20% 额外加分precision boost。4. 优势值怎么用AWR RECAP 双管齐下AWR 改在采样器里做按 P ∝ e^clip(A,−2,2) 采样帧loss 本身不加权。低优势值的帧几乎不会被加载算力全花在好动作上。辅助头再用重要性权重纠偏。RECAP 式条件化A ≥ 0 时以一定概率打开优势值 token推理时始终打开并做classifier-free guidance。guidance 系数最后收敛到 7–9相当高。不用 PPO/GRPO 的理由flow matching 拿不到干净的 log-prob而且压低坏动作的概率会把输出推离有效动作流形。条件化和重加权只是在模型已经会的动作里重新分配概率质量。5. 推理时优化零训练成本的大头收益执行长度、播放速度、inpainting 起始点、CFG 系数、噪声温度、候选数 N每类衣服各调一套。用因子化的 Thompson Sampling 多臂老虎机在采集 rollout 的同时在线调参参数随策略演化探索本身也提供了训练数据的多样性。收敛到的结论执行步数要短3–5 步就重规划N2–3 有收益再多没用作用主要是避开最差的而不是找到最好的inpainting 要轻。6. 工程飞轮训练节点、任意多个 rollout 节点、人工 DAgger 工作站三者只通过 HuggingFace Hub 异步通信加机器就能扩容。多种采集策略随机、课程学习、成功状态重放加重增强、困难样本挖掘预测成功率骤降时存下物理状态之后从那里重来。定期回滚 checkpoint退回几天前的模型用最新积累的数据重新训用来跳出局部最优。π0.6 也有类似做法。规模约 12,500 条 rollout430 万帧一张 H200 训练约 30 万步。7. Sim-to-Real约一周的冲刺零样本迁移失败模型对渲染细节严重过拟合。把 640→224 改成 640→320→224 两步缩放仿真成功率就明显下降。做法从较晚但不是最新的 checkpoint 出发去掉所有依赖仿真特权信息的头keypoint、Q、优势值、CFG、best-of-N。按三桶混合训练官方真机 BC 数据占 60%自己的遥操作和 DAgger 数据占 30%仿真成功重放占 10%。相机叠图对齐工具把机器人驱动到数据集里某帧的关节状态实时画面和数据集画面叠加对齐相机位置。极重的图像增强并刻意随机化自己的实验台挪相机、重新标定、换灯光。统一各数据源的动作速度按来源重采样时间轴DAgger 数据 ×2.0仿真 ×0.65。真机 DAgger双主臂、双从臂加三联脚踏板切换模式。人工接管的帧权重最高接管前 5 秒内的自主帧权重渐降到 0避免学到把局面搞砸的那几步。单位 bugLeRobot 0.4.x 两个版本之间SO-101 关节状态从 −100…100 归一化改成了角度制。肉眼几乎看不出来但每个关节约有 10% 的偏差。作者直到截止前两天才发现。三、总结归纳维度关键做法学习范式BC 预热然后用 AWR采样 RECAP条件化 CFG做离线式 RL价值估计不另训 critic策略网络的辅助头就是 V、Q 和进度估计奖励复用评测条件做稠密化失败收回奖励CUPED 式打折基线推理CFG best-of-N 软 inpainting用 Thompson 采样按类别调参数据异步 Hub 飞轮成功重放和困难样本挖掘定期回滚 checkpoint迁移对齐相机叠图、速度、单位 多样化重增强、实验台随机化、DAgger我认为最值得借鉴的三点策略即价值函数加 AWR 采样器实现简单不需要单独的 critic很适合 flow-matching VLA。推理参数用 bandit 在线调几乎零成本收益却很大任何 VLA 部署都能直接用。sim-to-real 的工程清单相机叠图对齐、跨数据源速度对齐、DAgger 按接管位置加权都是可以直接照抄的做法。局限作者自己也承认几乎没有消融不知道哪些组件真正必要整体也明显过度工程化。不会自主恢复所有推理技巧都只是把策略推回已知的好模式不会探索新的恢复动作。恢复能力只能靠真机上的人工 DAgger。两轮比赛用了两套割裂的流水线真机端没有奖励和价值函数只能退回纯 BC。作者估计合成一套流水线能到 90% 以上。样本效率不高模型规模也大于任务需要作者坦言更小的模型应该也够。 
长河君 · 2026/10/29 11:01:04 · 阅读 1.2k Learning to Fold：LeHome Challenge 2026 获奖方案
论文Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)作者Ilia Larchenko独立研究者也是 BEHAVIOR-1K 2025 冠军团队成员成绩线上仿真赛第 1 名62 支队伍79.63%领先第二名 6.1 个百分点ICRA 2026 维也纳线下真机决赛第 2 名865 分第一名 sZs 895 分开源代码github.com/IliaLarchenko/lehome_solution模型lehome_sim和lehome_real发布在 HuggingFace一、赛题回顾任务用双臂 SO-ARM101 叠一件平铺在桌上的衣服。动作是 12 维关节空间仿真 30 Hz、真机 20 Hz。三个 RGB 相机一个俯视两个腕部。四类衣物长袖上衣、短袖上衣、长裤、短裤。评分按关键点距离条件做二值判定上衣 5 个条件、裤子 4 个全部满足才算成功没有部分分。泛化每类 20 件衣服。10 件见过有官方脚本策略生成的 BC 数据10 件没见过其中 8 件完全不公开。陷阱评测时不告诉策略衣服类别策略得自己识别。如图所示四种衣服二、方法总览一句话以 π0.5 结构的 VLA 为底座用策略自己当价值函数的离线式 RLAWR RECAP持续自我提升再加上推理时调参和工程化的数据飞轮。作者自己也说这是一份工程案例报告不是对照实验基本没做消融。如图系统概览1. 模型结构沿用他们 BEHAVIOR-1K 的方案SigLIP冻结 Gemma-2B 前缀 Gemma-300M 动作专家。用 flow matching 输出 30 步 × 12 维的动作块不用语言输入。为这次比赛新加了衣物类别 token替代文本 prompt。推理时先让模型自己预测类别前几个 chunk 投票后锁定。优势值条件化优势值同时作为 token 输入和 AdaRMS 层归一化的调制信号。光用一个 token 太弱模型会做出错误衣服的动作。XSAExclusive Self-Attention、按时间步平滑的动作归一化std ∝ √t。关键设计所有预测头只看图像 token看不到关节状态防止价值头靠本体感知走捷径。如图所示策略架构2. 策略即价值函数核心思路同一个网络上挂一组线性预测头success最终能否成功的概率即 V 函数。completion任务进度 t/T只在成功的 episode 上训练。对策略变化不敏感比 success 稳定。keypoint distance直接预测评测用的那组关键点距离比。未来预测头预测 30 帧后的关键点距离以及以动作为条件的 Δsuccess。这相当于一个廉价的 Q 函数加世界模型替代品用于 best-of-N 选动作。好处只有一个模型要训练和部署表征共享辅助任务还能反哺主干。3. 奖励和优势估计技术含量最高的部分稠密化直接复用比赛的成功判定条件把过程切成中间检查点 0.5 成功 1.0第一段再按距离缩小的比例平滑发放。失败时收回奖励失败的 episode 把累计奖励均匀扣回去保证总回报始终等于 0/1和真实目标对齐。CUPED 式的打折基线Â G − αV̂。作者推导出最优 α* ρ²(V, V̂)也就是预测器有多可信就减多少。α0 退化为纯检查点奖励α1 退化为 ΔP(success)。这里借用了 A/B 测试里的方差缩减思路挺有意思。实际取了 α0.5事后估算 α* 在 0.4–0.8 之间。GAE同时用 success 和 completion 两路信号旧数据的优势值逐渐混成只看结果的 GRPO 式相对成功信号成功 episode 里折叠最紧的前 20% 额外加分precision boost。4. 优势值怎么用AWR RECAP 双管齐下AWR 改在采样器里做按 P ∝ e^clip(A,−2,2) 采样帧loss 本身不加权。低优势值的帧几乎不会被加载算力全花在好动作上。辅助头再用重要性权重纠偏。RECAP 式条件化A ≥ 0 时以一定概率打开优势值 token推理时始终打开并做classifier-free guidance。guidance 系数最后收敛到 7–9相当高。不用 PPO/GRPO 的理由flow matching 拿不到干净的 log-prob而且压低坏动作的概率会把输出推离有效动作流形。条件化和重加权只是在模型已经会的动作里重新分配概率质量。5. 推理时优化零训练成本的大头收益执行长度、播放速度、inpainting 起始点、CFG 系数、噪声温度、候选数 N每类衣服各调一套。用因子化的 Thompson Sampling 多臂老虎机在采集 rollout 的同时在线调参参数随策略演化探索本身也提供了训练数据的多样性。收敛到的结论执行步数要短3–5 步就重规划N2–3 有收益再多没用作用主要是避开最差的而不是找到最好的inpainting 要轻。6. 工程飞轮训练节点、任意多个 rollout 节点、人工 DAgger 工作站三者只通过 HuggingFace Hub 异步通信加机器就能扩容。多种采集策略随机、课程学习、成功状态重放加重增强、困难样本挖掘预测成功率骤降时存下物理状态之后从那里重来。定期回滚 checkpoint退回几天前的模型用最新积累的数据重新训用来跳出局部最优。π0.6 也有类似做法。规模约 12,500 条 rollout430 万帧一张 H200 训练约 30 万步。7. Sim-to-Real约一周的冲刺零样本迁移失败模型对渲染细节严重过拟合。把 640→224 改成 640→320→224 两步缩放仿真成功率就明显下降。做法从较晚但不是最新的 checkpoint 出发去掉所有依赖仿真特权信息的头keypoint、Q、优势值、CFG、best-of-N。按三桶混合训练官方真机 BC 数据占 60%自己的遥操作和 DAgger 数据占 30%仿真成功重放占 10%。相机叠图对齐工具把机器人驱动到数据集里某帧的关节状态实时画面和数据集画面叠加对齐相机位置。极重的图像增强并刻意随机化自己的实验台挪相机、重新标定、换灯光。统一各数据源的动作速度按来源重采样时间轴DAgger 数据 ×2.0仿真 ×0.65。真机 DAgger双主臂、双从臂加三联脚踏板切换模式。人工接管的帧权重最高接管前 5 秒内的自主帧权重渐降到 0避免学到把局面搞砸的那几步。单位 bugLeRobot 0.4.x 两个版本之间SO-101 关节状态从 −100…100 归一化改成了角度制。肉眼几乎看不出来但每个关节约有 10% 的偏差。作者直到截止前两天才发现。三、总结归纳维度关键做法学习范式BC 预热然后用 AWR采样 RECAP条件化 CFG做离线式 RL价值估计不另训 critic策略网络的辅助头就是 V、Q 和进度估计奖励复用评测条件做稠密化失败收回奖励CUPED 式打折基线推理CFG best-of-N 软 inpainting用 Thompson 采样按类别调参数据异步 Hub 飞轮成功重放和困难样本挖掘定期回滚 checkpoint迁移对齐相机叠图、速度、单位 多样化重增强、实验台随机化、DAgger我认为最值得借鉴的三点策略即价值函数加 AWR 采样器实现简单不需要单独的 critic很适合 flow-matching VLA。推理参数用 bandit 在线调几乎零成本收益却很大任何 VLA 部署都能直接用。sim-to-real 的工程清单相机叠图对齐、跨数据源速度对齐、DAgger 按接管位置加权都是可以直接照抄的做法。局限作者自己也承认几乎没有消融不知道哪些组件真正必要整体也明显过度工程化。不会自主恢复所有推理技巧都只是把策略推回已知的好模式不会探索新的恢复动作。恢复能力只能靠真机上的人工 DAgger。两轮比赛用了两套割裂的流水线真机端没有奖励和价值函数只能退回纯 BC。作者估计合成一套流水线能到 90% 以上。样本效率不高模型规模也大于任务需要作者坦言更小的模型应该也够。