当机器人学会「搓」一张凝胶膜把触觉策略零样本搬进现实;把粘弹性算到像素里SDF 剪切场让 GelSight Mini 成为 RL 的「真手指」把一根销钉塞进紧孔人几乎不靠看靠指腹那一点还粘着 / 已经在滑。机器人如果只给视触觉一张接触图——仿真里会做真机上常常不会。HydroSheararXiv:2603.00446密歇根 MMint Lab × Amazon AIR旨在解决的正是这个痛点GelSight Mini这块视触觉凝胶上真正能过Sim-to-Real的不是更像的图像是剪切场有没有被写对。一、现象图像够清楚手感仍对不上腿足的策略早已习惯纯仿真训练再零样本上身手不行卡在触觉。视触觉这条路线把接触几何写进图像渲染可以很像 GelSight——但力和切向剪切却常被简化成当前穿透 当前速度。结果是仿真和真机的GelSight Mini看起来都有一块压痕Mark 点怎么走却不是同一件事。第一性原理很短——闭环需要的是接触历史不是一张快照。凝胶被粘住时表面点跟着走超过摩擦极限才滑同一终点绕路和直走Mark 点位移可以完全不同。人手的梅克尔细胞偏形状滑觉小体偏剪切只用视触觉图像等于关掉后一半——触觉里那点润物细无声的侧向信息恰恰是判断打滑与否的先兆。二、原理把凝胶当成有记忆的接触介质HydroShear 自称非完整的流体弹性模型。物理直觉膨胀场来自法向压入剪切场来自切向平移和转动而且依赖压头相对凝胶的位姿历史。数学上胶面查询点对应GelSight Mini上的 Mark 点模型把一段 SE(3) 轨迹映射成二维位移矢量M_t M_t^d膨胀 M_t^s剪切带历史粘-滑转迁本质是迟滞系统——加载与卸载走两条不同曲线跟铁磁体的磁滞回线一个脾气。只记当前状态的模型注定失忆HydroShear用递归追踪补上这段记忆三件事一起做粘滑转换、路径依赖的力与剪切累积、完整 SE(3)含翻滚。用 SDF 跟踪压头表面点在弹性体内的三维位移——符号距离函数把几何距离化天然适合表达任意水密watertight形状并求最近点HydroShear让它不再只管碰没碰还管沿表面怎么走把几何追踪和动力学绑在一起。任意几何都能出物理力场且不绑死底层引擎便于 GPU 并行。作为对照FOTS 一类方法强在平面运动翻滚带来的剪切进不去罚函数快但把凝胶当成没有记忆的弹簧一压就完。三、方法先对齐这块 GelSight Mini再在仿真里练标定在桌上完成KUKA MED LBR 末端装 35 mm 球头对固定的GelSight Mini 依次做压、剪、扭、滚采集真实 Mark 点场再分别拟合膨胀刚度 λd、剪切刚度 λs、K 与摩擦系数 μ——各自独立成子问题逐个击破。这里正是GelSight Mini不可替代的地方它膜内的 Mark 点位移是看得见的剪切场才有可标定的真值。测试 40 组胀、剪、扭、滚各 10HydroShear 的逐 taxel RMSE 全面低于 TacSL / FOTS翻滚项余弦相似度0.904FOTS 为 0.561。训练在 Isaac Gym 里用 PPO。Teacher 先看特权状态接触力、物体位姿并做成先无接触惩罚、再加惩罚的课程——免得策略为了避罚而不敢碰或者碰得太狠撕坏凝胶。再按 AACD 蒸馏Student 只看左右视触觉剪切场、末端位姿和相对目标真机部署不再看外部相机。四、结果四项任务112 / 120观测插销码垛摆书抽屉TacSL 灰度图16/3016/306/303/30TacSL 剪切19/304/3023/3024/30FOTS 原实现1/305/3020/3015/30FOTS 重实现20/3024/3026/303/30HydroShear25/3029/3028/3030/30合计112/120 93%且是零样本——真机上没有任何微调。只用触觉图像训练的策略合计 41/120 34%其他剪切仿真方法平均在 58%–61%。四个场景故意不重复插销考手位姿不确定码垛考多物体接触摆书是侧向插入、指尖整块贴死边缘对位姿几乎失效拉抽屉考未知扰动下的最小夹紧与抗滑。视触觉图像在接触斑小的时候还过得去斑一大、一滑就只剩 6/30、3/30——剪切场补的正是这个断档。五、产品为什么必须是这块 GelSight MiniGelSight Mini把视触觉做成可买模块约 32×28×28 mm、40 g视场约 18.6×14.3 mm8MP、25 FPS、RGB 光度立体、朗伯硅胶USB 单线供电换凝胶徒手完成开箱约五分钟出图ROS / ROS 2 / PyTouch 现成Panda / Schunk / KUKA 等开源 CAD 适配器齐全。项目参数 / 特性对科研的价值分辨率0.0634 mm/px240×320切向位移场可精确追踪相机 / 帧率8MP / 25 FPS实时触觉闭环够用有效视场18.6(H) × 14.3(V) mm适配指尖、夹爪凝胶4.25 mm可无工具更换长时实验、快速迭代接口 / 供电USB单线供电即插即用软件生态ROS / ROS 2 / PyTouch / Web App与 Isaac Gym 管线衔接适配方案Panda / Schunk / KUKA 等 CAD机械臂集成零门槛参数综合自 GelSight Mini 官方产品手册与开源仓库 FAQ具体以官方最新规格书为准。落到 HydroShear 这个案例三个优势被放到最大看得细——0.0634 mm/px 的空间精度让 Mark 点位移场有足够信噪比去标定四个物理参数长得标准——即插即用 完整软件生态标定采集脚本可以直接写进 Isaac Gym 的数据管线可复现——开源 CAD 适配器覆盖主流机械臂别人的实验你几乎能照着复刻。从生物视角看这几乎是仿生的人指尖的慢适应 SA 纤维报压、快速适应 RA 纤维报动GelSight的高度图对应前者、Mark 点位移场对应后者合起来才是完整手感。当你需要在不干扰接触的前提下读出法向 切向的全场信息视触觉几乎是唯一选择——力/力矩传感器只能给一个合力光学触觉给的是全场分布这正是插拔、摆书、拉抽屉这类找缝、找位、找滑移任务上成功率润物细无声式提升的根本原因。论文把局限也写在原文里假定凝胶近似平面弯曲指面要另做、SDF 分辨率与速度对折、目前依赖可穿透接触的物理引擎Isaac Gym TacSL 的 Kelvin–Voigt。TIPS推荐最小组合GelSight Minitracking marker gel 任意适配夹爪的机械臂 Isaac Gym / Isaac Lab HydroShear 开源代码——先跑通标定采集拿到 λd、λs、K、μ再仿真训练最后零样本上真机。这条链路论文已验证一遍你要做的只是换任务和物体。结语视触觉已经能告诉机器人碰到了什么形状GelSight Mini上的剪切场才告诉它这东西还想往哪走。HydroShear把后半句写进了可以开源复现的仿真——触觉从来不是感知到了什么而是那点几乎不可见的形变如何悄悄改变下一步动作。欢迎关注“欣佰特科技”持续为大家带来“具身智能领域”前沿技术及应用详情可邮件咨询salescnbestec.com 
长河君 · 2026/10/15 3:59:46 · 阅读 1.2k HydroShear：解决剪切形变缺失，视触觉实现机器人零样本虚实迁移
当机器人学会「搓」一张凝胶膜把触觉策略零样本搬进现实;把粘弹性算到像素里SDF 剪切场让 GelSight Mini 成为 RL 的「真手指」把一根销钉塞进紧孔人几乎不靠看靠指腹那一点还粘着 / 已经在滑。机器人如果只给视触觉一张接触图——仿真里会做真机上常常不会。HydroSheararXiv:2603.00446密歇根 MMint Lab × Amazon AIR旨在解决的正是这个痛点GelSight Mini这块视触觉凝胶上真正能过Sim-to-Real的不是更像的图像是剪切场有没有被写对。一、现象图像够清楚手感仍对不上腿足的策略早已习惯纯仿真训练再零样本上身手不行卡在触觉。视触觉这条路线把接触几何写进图像渲染可以很像 GelSight——但力和切向剪切却常被简化成当前穿透 当前速度。结果是仿真和真机的GelSight Mini看起来都有一块压痕Mark 点怎么走却不是同一件事。第一性原理很短——闭环需要的是接触历史不是一张快照。凝胶被粘住时表面点跟着走超过摩擦极限才滑同一终点绕路和直走Mark 点位移可以完全不同。人手的梅克尔细胞偏形状滑觉小体偏剪切只用视触觉图像等于关掉后一半——触觉里那点润物细无声的侧向信息恰恰是判断打滑与否的先兆。二、原理把凝胶当成有记忆的接触介质HydroShear 自称非完整的流体弹性模型。物理直觉膨胀场来自法向压入剪切场来自切向平移和转动而且依赖压头相对凝胶的位姿历史。数学上胶面查询点对应GelSight Mini上的 Mark 点模型把一段 SE(3) 轨迹映射成二维位移矢量M_t M_t^d膨胀 M_t^s剪切带历史粘-滑转迁本质是迟滞系统——加载与卸载走两条不同曲线跟铁磁体的磁滞回线一个脾气。只记当前状态的模型注定失忆HydroShear用递归追踪补上这段记忆三件事一起做粘滑转换、路径依赖的力与剪切累积、完整 SE(3)含翻滚。用 SDF 跟踪压头表面点在弹性体内的三维位移——符号距离函数把几何距离化天然适合表达任意水密watertight形状并求最近点HydroShear让它不再只管碰没碰还管沿表面怎么走把几何追踪和动力学绑在一起。任意几何都能出物理力场且不绑死底层引擎便于 GPU 并行。作为对照FOTS 一类方法强在平面运动翻滚带来的剪切进不去罚函数快但把凝胶当成没有记忆的弹簧一压就完。三、方法先对齐这块 GelSight Mini再在仿真里练标定在桌上完成KUKA MED LBR 末端装 35 mm 球头对固定的GelSight Mini 依次做压、剪、扭、滚采集真实 Mark 点场再分别拟合膨胀刚度 λd、剪切刚度 λs、K 与摩擦系数 μ——各自独立成子问题逐个击破。这里正是GelSight Mini不可替代的地方它膜内的 Mark 点位移是看得见的剪切场才有可标定的真值。测试 40 组胀、剪、扭、滚各 10HydroShear 的逐 taxel RMSE 全面低于 TacSL / FOTS翻滚项余弦相似度0.904FOTS 为 0.561。训练在 Isaac Gym 里用 PPO。Teacher 先看特权状态接触力、物体位姿并做成先无接触惩罚、再加惩罚的课程——免得策略为了避罚而不敢碰或者碰得太狠撕坏凝胶。再按 AACD 蒸馏Student 只看左右视触觉剪切场、末端位姿和相对目标真机部署不再看外部相机。四、结果四项任务112 / 120观测插销码垛摆书抽屉TacSL 灰度图16/3016/306/303/30TacSL 剪切19/304/3023/3024/30FOTS 原实现1/305/3020/3015/30FOTS 重实现20/3024/3026/303/30HydroShear25/3029/3028/3030/30合计112/120 93%且是零样本——真机上没有任何微调。只用触觉图像训练的策略合计 41/120 34%其他剪切仿真方法平均在 58%–61%。四个场景故意不重复插销考手位姿不确定码垛考多物体接触摆书是侧向插入、指尖整块贴死边缘对位姿几乎失效拉抽屉考未知扰动下的最小夹紧与抗滑。视触觉图像在接触斑小的时候还过得去斑一大、一滑就只剩 6/30、3/30——剪切场补的正是这个断档。五、产品为什么必须是这块 GelSight MiniGelSight Mini把视触觉做成可买模块约 32×28×28 mm、40 g视场约 18.6×14.3 mm8MP、25 FPS、RGB 光度立体、朗伯硅胶USB 单线供电换凝胶徒手完成开箱约五分钟出图ROS / ROS 2 / PyTouch 现成Panda / Schunk / KUKA 等开源 CAD 适配器齐全。项目参数 / 特性对科研的价值分辨率0.0634 mm/px240×320切向位移场可精确追踪相机 / 帧率8MP / 25 FPS实时触觉闭环够用有效视场18.6(H) × 14.3(V) mm适配指尖、夹爪凝胶4.25 mm可无工具更换长时实验、快速迭代接口 / 供电USB单线供电即插即用软件生态ROS / ROS 2 / PyTouch / Web App与 Isaac Gym 管线衔接适配方案Panda / Schunk / KUKA 等 CAD机械臂集成零门槛参数综合自 GelSight Mini 官方产品手册与开源仓库 FAQ具体以官方最新规格书为准。落到 HydroShear 这个案例三个优势被放到最大看得细——0.0634 mm/px 的空间精度让 Mark 点位移场有足够信噪比去标定四个物理参数长得标准——即插即用 完整软件生态标定采集脚本可以直接写进 Isaac Gym 的数据管线可复现——开源 CAD 适配器覆盖主流机械臂别人的实验你几乎能照着复刻。从生物视角看这几乎是仿生的人指尖的慢适应 SA 纤维报压、快速适应 RA 纤维报动GelSight的高度图对应前者、Mark 点位移场对应后者合起来才是完整手感。当你需要在不干扰接触的前提下读出法向 切向的全场信息视触觉几乎是唯一选择——力/力矩传感器只能给一个合力光学触觉给的是全场分布这正是插拔、摆书、拉抽屉这类找缝、找位、找滑移任务上成功率润物细无声式提升的根本原因。论文把局限也写在原文里假定凝胶近似平面弯曲指面要另做、SDF 分辨率与速度对折、目前依赖可穿透接触的物理引擎Isaac Gym TacSL 的 Kelvin–Voigt。TIPS推荐最小组合GelSight Minitracking marker gel 任意适配夹爪的机械臂 Isaac Gym / Isaac Lab HydroShear 开源代码——先跑通标定采集拿到 λd、λs、K、μ再仿真训练最后零样本上真机。这条链路论文已验证一遍你要做的只是换任务和物体。结语视触觉已经能告诉机器人碰到了什么形状GelSight Mini上的剪切场才告诉它这东西还想往哪走。HydroShear把后半句写进了可以开源复现的仿真——触觉从来不是感知到了什么而是那点几乎不可见的形变如何悄悄改变下一步动作。欢迎关注“欣佰特科技”持续为大家带来“具身智能领域”前沿技术及应用详情可邮件咨询salescnbestec.com