本文围绕2024年发表于IEEE Robotics and Automation LettersRA-L的论文《Semantics-Aware Receding Horizon Planner for Object-Centric Active Mapping》展开技术拆解结合启元机器人的室内导航与场景建图需求分析该方案的技术逻辑、性能表现与落地路径。文中所有实验数据与参数均来自原论文对应图表与实验章节。一、论文概述基础信息论文全称Semantics-Aware Receding Horizon Planner for Object-Centric Active Mapping发表渠道IEEE Robotics and Automation LettersRA-L2024年4月研究团队香港大学计算机科学系、同济大学机械与能源工程学院核心方向主动建图、语义规划、移动机器人导航核心问题传统主动建图技术仅构建几何占空地图只区分“占用/自由/未知”不关注环境中的物体类别与语义信息。在巡检、物品搜索等任务中机器人无法优先对目标物体完成建图整体探索效率低语义价值弱。 同时传统后退视界规划RHP方法仅评估候选分支点不考虑整条路径的运动学约束与语义收益生成的路径要么转向频繁不适合真机运行要么对目标物体的覆盖不足。核心贡献论文提出一套完整的物体中心主动建图方案核心包含两部分多层体素建图策略将语义地图拆分为FOV层、局部层、全局层三级在保证建图完整性的同时大幅提升前沿检测与路径规划的计算效率。语义感知后退视界规划器SARHP在路径评估中同时引入几何成本、语义成本与运动学成本平衡整体建图效率与目标物体建图优先级生成的路径更贴合真机运动特性。图注图 1 物体中心主动建图与规划过程示意来源Lu et al., Semantics-Aware Receding Horizon Planner for Object-Centric Active Mapping, IEEE RA-L 2024图中直观呈现了方案的核心目标机器人在探索环境时区分目标物体、干扰物体与地面优先对目标物体完成建图同时构建完整的几何地图。启元技术关联点启元机器人部分以室内场景为核心应用场景当前建图与导航以几何信息为主语义能力较弱。该方案的多层建图优化思路、语义融合规划方法可直接用于优化启元的自主建图与语义导航功能同时可封装为标准能力模块开放到开发者生态降低场景化Skill的开发门槛。二、核心技术方法拆解2.1 物体中心的多层语义建图该模块解决的核心问题是语义地图信息维度多直接在全局地图做规划计算量大场景扩大后规划延迟显著上升。通过三级分层架构将不同计算任务放在对应层级处理兼顾精度与效率。1语义物体感知前端采用YOLOv8目标检测 Segment AnythingSAM实例分割从RGB图像中生成目标物体的语义掩码结合同步的深度图像通过相机内参将2D像素投影为3D语义点云再通过相机外参转换到世界坐标系。 每个3D点携带两类信息一是物体类别与置信度二是空间坐标。最终通过体素下采样后输入建图模块。2三层体素地图架构采用八叉树Octree结构存储语义体素地图每个体素包含占用概率、语义颜色、类别概率分布三类信息采用最大融合策略更新。地图分为三个层级各司其职FOV映射层仅保存当前时刻相机视野内的地图数据用于候选路径的视野收益评估数据量最小计算最快。局部映射层保存一段时间窗口内的局部地图数据用于前沿检测与更新数据量中等兼顾精度与速度。全局映射层保存全时段完整的环境地图用于假前沿过滤与最终地图输出数据量最大更新频率最低。图 2 语义规划与物体中心建图整体框架来源Lu et al., 2024框架分为前端物体中心建图与后端语义感知规划两部分前者输出多层语义地图后者输出最优探索路径形成感知 - 规划 - 执行的闭环。图 3 三层体素建图策略FOV 层、局部层、全局层来源Lu et al., 2024三层地图各司其职计算密集的规划与检测在小范围层级完成全局层仅做校验与存储是方案效率提升的核心架构设计。核心逻辑计算密集的前沿检测、路径评估都在小范围的局部层和FOV层完成仅最终结果用全局层校验。即使全局地图持续扩大规划阶段的计算量也不会同步增长从架构上解决了大场景建图的效率瓶颈。2.2 语义感知后退视界规划SARHP该模块解决的核心问题是传统探索规划只看几何信息增益不区分目标物体与无关物体也不考虑机器人运动的平顺性。SARHP通过多成本加权的路径评估实现“优先建目标物体同时保证整体建图效率路径符合运动约束”。1语义信息增益定义基于香农信息熵定义两类信息增益衡量某个观测位姿能减少的环境不确定性几何信息增益对应占空概率的熵减少量衡量几何建图的收益。语义信息增益对应物体类别概率的熵减少量衡量语义建图的收益重点关注目标物体TOs忽略干扰物体NOs。 两者通过权重加权得到总信息增益权重比值直接决定机器人的探索倾向。2语义前沿检测前沿指的是已知区域与未知区域的交界体素是机器人探索的方向锚点。在局部映射层检测所有候选前沿计算每个前沿各个朝向的总信息增益取最大值作为该前沿的收益结合机器人到前沿的距离成本计算前沿的综合效用用全局映射层过滤假前沿局部看起来是边界实际全局已探索输出最优前沿作为探索子目标。3SARHP路径规划与传统RHP只评估分支点不同SARHP直接评估满足运动学约束的完整候选路径流程如下候选路径生成采用栅格采样方法生成到子目标的多条无碰撞候选路径每条路径包含多个连续的路径点。视野成本计算累加路径上每个点的FOV内的几何与语义信息增益采用滑动窗口机制仅计算新增视野区域的收益避免重复计算提升评估效率。运动学成本计算评估路径的转向角度变化惩罚大角度频繁转向使路径更贴合轮式机器人的运动特性运行更平顺。综合成本与路径选择视野成本与运动学成本加权得到路径总成本选择成本最高的路径作为下一步执行路径。机器人执行路径的第一步后重新规划下一段形成后退视界的闭环。通过调整权重可灵活切换探索模式调高语义权重机器人优先遍历目标物体调高几何权重机器人优先快速覆盖未知区域调高运动学权重机器人优先走平顺的直线路径。图 4 SARHP 规划流水线(a) 无碰撞候选路径 (b) 路径点生成 (c) 单点 FOV 计算 (d) 路径视野体积来源Lu et al., 2024解读SARHP 直接评估完整候选路径而非单个分支点同时考虑整条路径的视野收益与运动学成本生成的路径更适合真机执行。三、实验结果与性能边界3.1 多层地图效率验证测试设置仿真办公室环境对比单层全局地图与三层地图的前沿检测耗时来源原论文Fig.5。实验结果多层地图前沿检测平均耗时0.013 ± 0.007 s单层地图前沿检测平均耗时0.470 ± 0.093 s效率提升约35倍且地图覆盖范围越大多层架构的优势越明显。结论三层地图架构从根本上解决了大场景下规划耗时随地图扩大线性增长的问题是端侧运行语义建图的关键效率优化手段。3.2 仿真建图性能对比测试设置两个不同布局的办公室仿真环境选择椅子、沙发、桌子作为目标物体对比三类基线方法NBVP传统最优视角规划器仅考虑几何信息RHP(运动学)仅考虑运动学成本的后退视界规划RHP(运动学几何)考虑运动学与几何成本的后退视界规划核心结论来源原论文Fig.6、表II地图覆盖效率SARHP的整体地图覆盖速度与RHP(运动学几何)接近显著优于传统NBVP不会因为加入语义成本拖慢整体建图进度。语义覆盖效率当地图覆盖率达到90%时SARHP的目标物体语义覆盖率显著高于所有基线方案证明语义成本确实引导机器人优先完成了目标物体的建图。消融验证仅运动学成本的方案表现最差加入几何成本后地图覆盖大幅提升再加入语义成本后语义覆盖进一步提升验证了三类成本的各自价值。图 5 仿真环境建图效果对比左侧为语义建图结果右侧为覆盖率曲线对比来源Lu et al., 2024曲线对比直观体现 SARHP 在保证整体地图覆盖速度的同时语义覆盖率显著高于传统方案验证了语义规划的有效性。3.3 真实场景验证测试平台定制轮式机器人搭载OS0-128激光雷达、RealSense D455深度相机端侧计算为Jetson Orin NX100TOPS Intel NUC i9-12900H。测试场景单房间场景3.8m×5.5m、多房间场景。实验结论来源原论文Fig.8单房间场景中机器人会优先探索包含目标物体的区域完成目标建图后再探索其他区域路径逻辑符合预期。多房间场景中结合RRT*全局规划机器人可在初始视野外的环境中自主搜索最终找到所有目标物体并完成语义建图。整套系统可在端侧设备实时运行验证了方案的工程可落地性。3.4 局限性与适用边界语义类别受限依赖预训练的检测分割模型对训练集外的开放集物体识别效果下降无法覆盖未知类别。静态环境假设实验均在静态室内场景完成动态行人、移动物体会影响建图与规划的稳定性。场景验证范围仅验证了室内轮式机器人场景人形机器人、户外场景的适配性未验证。四、对启元机器人开发实践的启发启元机器人开发者社区 · 一站式具身智能研发平台4.1 短期可落地优化点1建图规划效率优化借鉴三层地图架构优化启元现有SLAM建图的规划模块将前沿检测从全局地图剥离到局部时间窗口层针对T1机器人的大户型、商超场景降低大地图下的规划延迟提升建图流畅度。FOV层单独做路径收益评估减少重复计算释放端侧算力为后续加入语义模块预留空间。2轻量语义建图接入在现有几何建图基础上新增轻量语义层采用YOLOv8n MobileSAM的轻量化组合针对家庭常见的20-30类家具、家电、日常物品做语义分割生成基础语义地图。支持“去沙发旁边”“找到水杯”等基础语义导航指令提升T1与Q1的交互体验无需用户指定精确坐标。3导航路径平顺性优化在局部路径规划中加入运动学成本针对T1的轮式模式优化转向惩罚权重减少频繁原地转向降低运行噪音提升家庭场景的体验。针对Q1人形机器人可扩展为步幅、转向角度的运动学约束让行走路径更自然。4.2 中长期技术布局建议1主动语义探索框架搭建完整的SARHP风格主动建图系统支持目标指定的主动探索用户可通过语音指定目标物体如“检查一下门窗”“找一下遥控器”机器人自动规划探索路径优先遍历目标区域完成任务后反馈结果。适配老人陪护、家庭巡检、物品整理等场景强化启元机器人的主动服务能力区别于被动响应的传统机器人。2开发者生态能力封装将语义建图与主动规划能力封装为标准Skill组件开放到启元开发者社区提供可配置的权重参数接口开发者可根据场景家庭、仓库、展厅调整几何、语义、运动学的权重比例快速定制场景化探索任务。配套开发文档与示例工程降低开发者做语义导航类Skill的门槛丰富生态内容。3多模态语义地图拓展结合此前标识感知探索方案的能力拓展语义地图的信息维度从物体类别扩展到文字标识、人脸、场景状态等多模态语义信息构建更完整的家庭语义地图。支撑更复杂的服务任务比如“把快递放到门口的桌子上”“去玄关拿拖鞋”等涉及多物体关联的指令。五、总结这篇论文的核心价值是把“语义信息”从单纯的感知结果真正融入到了机器人探索规划的决策闭环中同时通过多层地图的架构创新解决了语义建图的效率瓶颈。整套方案可在端侧设备实时运行具备很强的工程落地性。对启元而言该方案是机器人从“几何导航”升级到“语义导航”的典型可行路径。短期可先从建图效率优化、轻量语义接入入手提升现有产品体验中长期可构建主动语义探索能力结合开发者生态快速拓展更多场景化应用构建差异化的产品竞争力。 
长河君 · 2026/10/17 14:36:04 · 阅读 1.2k 论文解读：语义感知后退视界规划器 面向物体中心的主动建图方案及工程参考
本文围绕2024年发表于IEEE Robotics and Automation LettersRA-L的论文《Semantics-Aware Receding Horizon Planner for Object-Centric Active Mapping》展开技术拆解结合启元机器人的室内导航与场景建图需求分析该方案的技术逻辑、性能表现与落地路径。文中所有实验数据与参数均来自原论文对应图表与实验章节。一、论文概述基础信息论文全称Semantics-Aware Receding Horizon Planner for Object-Centric Active Mapping发表渠道IEEE Robotics and Automation LettersRA-L2024年4月研究团队香港大学计算机科学系、同济大学机械与能源工程学院核心方向主动建图、语义规划、移动机器人导航核心问题传统主动建图技术仅构建几何占空地图只区分“占用/自由/未知”不关注环境中的物体类别与语义信息。在巡检、物品搜索等任务中机器人无法优先对目标物体完成建图整体探索效率低语义价值弱。 同时传统后退视界规划RHP方法仅评估候选分支点不考虑整条路径的运动学约束与语义收益生成的路径要么转向频繁不适合真机运行要么对目标物体的覆盖不足。核心贡献论文提出一套完整的物体中心主动建图方案核心包含两部分多层体素建图策略将语义地图拆分为FOV层、局部层、全局层三级在保证建图完整性的同时大幅提升前沿检测与路径规划的计算效率。语义感知后退视界规划器SARHP在路径评估中同时引入几何成本、语义成本与运动学成本平衡整体建图效率与目标物体建图优先级生成的路径更贴合真机运动特性。图注图 1 物体中心主动建图与规划过程示意来源Lu et al., Semantics-Aware Receding Horizon Planner for Object-Centric Active Mapping, IEEE RA-L 2024图中直观呈现了方案的核心目标机器人在探索环境时区分目标物体、干扰物体与地面优先对目标物体完成建图同时构建完整的几何地图。启元技术关联点启元机器人部分以室内场景为核心应用场景当前建图与导航以几何信息为主语义能力较弱。该方案的多层建图优化思路、语义融合规划方法可直接用于优化启元的自主建图与语义导航功能同时可封装为标准能力模块开放到开发者生态降低场景化Skill的开发门槛。二、核心技术方法拆解2.1 物体中心的多层语义建图该模块解决的核心问题是语义地图信息维度多直接在全局地图做规划计算量大场景扩大后规划延迟显著上升。通过三级分层架构将不同计算任务放在对应层级处理兼顾精度与效率。1语义物体感知前端采用YOLOv8目标检测 Segment AnythingSAM实例分割从RGB图像中生成目标物体的语义掩码结合同步的深度图像通过相机内参将2D像素投影为3D语义点云再通过相机外参转换到世界坐标系。 每个3D点携带两类信息一是物体类别与置信度二是空间坐标。最终通过体素下采样后输入建图模块。2三层体素地图架构采用八叉树Octree结构存储语义体素地图每个体素包含占用概率、语义颜色、类别概率分布三类信息采用最大融合策略更新。地图分为三个层级各司其职FOV映射层仅保存当前时刻相机视野内的地图数据用于候选路径的视野收益评估数据量最小计算最快。局部映射层保存一段时间窗口内的局部地图数据用于前沿检测与更新数据量中等兼顾精度与速度。全局映射层保存全时段完整的环境地图用于假前沿过滤与最终地图输出数据量最大更新频率最低。图 2 语义规划与物体中心建图整体框架来源Lu et al., 2024框架分为前端物体中心建图与后端语义感知规划两部分前者输出多层语义地图后者输出最优探索路径形成感知 - 规划 - 执行的闭环。图 3 三层体素建图策略FOV 层、局部层、全局层来源Lu et al., 2024三层地图各司其职计算密集的规划与检测在小范围层级完成全局层仅做校验与存储是方案效率提升的核心架构设计。核心逻辑计算密集的前沿检测、路径评估都在小范围的局部层和FOV层完成仅最终结果用全局层校验。即使全局地图持续扩大规划阶段的计算量也不会同步增长从架构上解决了大场景建图的效率瓶颈。2.2 语义感知后退视界规划SARHP该模块解决的核心问题是传统探索规划只看几何信息增益不区分目标物体与无关物体也不考虑机器人运动的平顺性。SARHP通过多成本加权的路径评估实现“优先建目标物体同时保证整体建图效率路径符合运动约束”。1语义信息增益定义基于香农信息熵定义两类信息增益衡量某个观测位姿能减少的环境不确定性几何信息增益对应占空概率的熵减少量衡量几何建图的收益。语义信息增益对应物体类别概率的熵减少量衡量语义建图的收益重点关注目标物体TOs忽略干扰物体NOs。 两者通过权重加权得到总信息增益权重比值直接决定机器人的探索倾向。2语义前沿检测前沿指的是已知区域与未知区域的交界体素是机器人探索的方向锚点。在局部映射层检测所有候选前沿计算每个前沿各个朝向的总信息增益取最大值作为该前沿的收益结合机器人到前沿的距离成本计算前沿的综合效用用全局映射层过滤假前沿局部看起来是边界实际全局已探索输出最优前沿作为探索子目标。3SARHP路径规划与传统RHP只评估分支点不同SARHP直接评估满足运动学约束的完整候选路径流程如下候选路径生成采用栅格采样方法生成到子目标的多条无碰撞候选路径每条路径包含多个连续的路径点。视野成本计算累加路径上每个点的FOV内的几何与语义信息增益采用滑动窗口机制仅计算新增视野区域的收益避免重复计算提升评估效率。运动学成本计算评估路径的转向角度变化惩罚大角度频繁转向使路径更贴合轮式机器人的运动特性运行更平顺。综合成本与路径选择视野成本与运动学成本加权得到路径总成本选择成本最高的路径作为下一步执行路径。机器人执行路径的第一步后重新规划下一段形成后退视界的闭环。通过调整权重可灵活切换探索模式调高语义权重机器人优先遍历目标物体调高几何权重机器人优先快速覆盖未知区域调高运动学权重机器人优先走平顺的直线路径。图 4 SARHP 规划流水线(a) 无碰撞候选路径 (b) 路径点生成 (c) 单点 FOV 计算 (d) 路径视野体积来源Lu et al., 2024解读SARHP 直接评估完整候选路径而非单个分支点同时考虑整条路径的视野收益与运动学成本生成的路径更适合真机执行。三、实验结果与性能边界3.1 多层地图效率验证测试设置仿真办公室环境对比单层全局地图与三层地图的前沿检测耗时来源原论文Fig.5。实验结果多层地图前沿检测平均耗时0.013 ± 0.007 s单层地图前沿检测平均耗时0.470 ± 0.093 s效率提升约35倍且地图覆盖范围越大多层架构的优势越明显。结论三层地图架构从根本上解决了大场景下规划耗时随地图扩大线性增长的问题是端侧运行语义建图的关键效率优化手段。3.2 仿真建图性能对比测试设置两个不同布局的办公室仿真环境选择椅子、沙发、桌子作为目标物体对比三类基线方法NBVP传统最优视角规划器仅考虑几何信息RHP(运动学)仅考虑运动学成本的后退视界规划RHP(运动学几何)考虑运动学与几何成本的后退视界规划核心结论来源原论文Fig.6、表II地图覆盖效率SARHP的整体地图覆盖速度与RHP(运动学几何)接近显著优于传统NBVP不会因为加入语义成本拖慢整体建图进度。语义覆盖效率当地图覆盖率达到90%时SARHP的目标物体语义覆盖率显著高于所有基线方案证明语义成本确实引导机器人优先完成了目标物体的建图。消融验证仅运动学成本的方案表现最差加入几何成本后地图覆盖大幅提升再加入语义成本后语义覆盖进一步提升验证了三类成本的各自价值。图 5 仿真环境建图效果对比左侧为语义建图结果右侧为覆盖率曲线对比来源Lu et al., 2024曲线对比直观体现 SARHP 在保证整体地图覆盖速度的同时语义覆盖率显著高于传统方案验证了语义规划的有效性。3.3 真实场景验证测试平台定制轮式机器人搭载OS0-128激光雷达、RealSense D455深度相机端侧计算为Jetson Orin NX100TOPS Intel NUC i9-12900H。测试场景单房间场景3.8m×5.5m、多房间场景。实验结论来源原论文Fig.8单房间场景中机器人会优先探索包含目标物体的区域完成目标建图后再探索其他区域路径逻辑符合预期。多房间场景中结合RRT*全局规划机器人可在初始视野外的环境中自主搜索最终找到所有目标物体并完成语义建图。整套系统可在端侧设备实时运行验证了方案的工程可落地性。3.4 局限性与适用边界语义类别受限依赖预训练的检测分割模型对训练集外的开放集物体识别效果下降无法覆盖未知类别。静态环境假设实验均在静态室内场景完成动态行人、移动物体会影响建图与规划的稳定性。场景验证范围仅验证了室内轮式机器人场景人形机器人、户外场景的适配性未验证。四、对启元机器人开发实践的启发启元机器人开发者社区 · 一站式具身智能研发平台4.1 短期可落地优化点1建图规划效率优化借鉴三层地图架构优化启元现有SLAM建图的规划模块将前沿检测从全局地图剥离到局部时间窗口层针对T1机器人的大户型、商超场景降低大地图下的规划延迟提升建图流畅度。FOV层单独做路径收益评估减少重复计算释放端侧算力为后续加入语义模块预留空间。2轻量语义建图接入在现有几何建图基础上新增轻量语义层采用YOLOv8n MobileSAM的轻量化组合针对家庭常见的20-30类家具、家电、日常物品做语义分割生成基础语义地图。支持“去沙发旁边”“找到水杯”等基础语义导航指令提升T1与Q1的交互体验无需用户指定精确坐标。3导航路径平顺性优化在局部路径规划中加入运动学成本针对T1的轮式模式优化转向惩罚权重减少频繁原地转向降低运行噪音提升家庭场景的体验。针对Q1人形机器人可扩展为步幅、转向角度的运动学约束让行走路径更自然。4.2 中长期技术布局建议1主动语义探索框架搭建完整的SARHP风格主动建图系统支持目标指定的主动探索用户可通过语音指定目标物体如“检查一下门窗”“找一下遥控器”机器人自动规划探索路径优先遍历目标区域完成任务后反馈结果。适配老人陪护、家庭巡检、物品整理等场景强化启元机器人的主动服务能力区别于被动响应的传统机器人。2开发者生态能力封装将语义建图与主动规划能力封装为标准Skill组件开放到启元开发者社区提供可配置的权重参数接口开发者可根据场景家庭、仓库、展厅调整几何、语义、运动学的权重比例快速定制场景化探索任务。配套开发文档与示例工程降低开发者做语义导航类Skill的门槛丰富生态内容。3多模态语义地图拓展结合此前标识感知探索方案的能力拓展语义地图的信息维度从物体类别扩展到文字标识、人脸、场景状态等多模态语义信息构建更完整的家庭语义地图。支撑更复杂的服务任务比如“把快递放到门口的桌子上”“去玄关拿拖鞋”等涉及多物体关联的指令。五、总结这篇论文的核心价值是把“语义信息”从单纯的感知结果真正融入到了机器人探索规划的决策闭环中同时通过多层地图的架构创新解决了语义建图的效率瓶颈。整套方案可在端侧设备实时运行具备很强的工程落地性。对启元而言该方案是机器人从“几何导航”升级到“语义导航”的典型可行路径。短期可先从建图效率优化、轻量语义接入入手提升现有产品体验中长期可构建主动语义探索能力结合开发者生态快速拓展更多场景化应用构建差异化的产品竞争力。