简介针对柔性生产线物料分拣场景YOLOv11与ROS2协同实现工业机器人视觉识别与运动控制的完整方案适合机器视觉、目标检测、自动化方向学习者和工程师参考。文档共27页覆盖YOLO系列算法发展历程、YOLOv11整体架构、损失函数与训练流程以及ROS2节点、话题、服务等核心概念并在此基础上展开视觉处理模块、运动控制模块、决策模块、通信与安全设计还包含数据集准备、模型训练、ROS2节点开发、系统集成调试和实验对比分析。单阶段检测算法只需一次图像扫描即可快速精准识别多个目标兼顾速度与精度。包内为单个PDF文件大小约1.93MB支持目录章节跳转与阅读器大纲定位文字图表显示正常。目前已有202人学习下载适合需要快速理解YOLOv11工程应用或搭建物料分拣系统参考方案的技术人员。 先说明一下输入端只给了标题和搜索热词没有项目正文和摘要。下面这篇博文我会基于“工业机器人视觉、YOLOv11、ROS2、柔性生产线物料分拣”这条技术主线来展开按一个完整落地项目的思路来写先讲为什么做再讲视觉模型训练、ROS2通信与标定、抓取执行、最后讲联调中的坑。需要的直接拿去用。这套系统的核心不是让机械臂“看见”而是让它在一条经常换产线、物料来料随时变的产线上不靠固定程序和治具也能自己认东西、自己干活。我落地这套“工业机器人视觉物料分拣系统”用的技术栈就是标题里那套YOLOv11负责“认”ROS2负责“传”和“协调”工业机械臂负责“抓”整条线串成一个柔性分拣单元。前后从调研到跑通差不多两个月中间踩的坑比想象的多但整个架构走通之后面对切换型号、换物料这类事基本只需要改标注数据重训模型机械结构和控制逻辑几乎不用动。这篇文章我不会只贴代码会把系统架构、模型训练部署、相机标定、坐标变换、抓取规划、以及联调时折腾最久的几个问题都讲透。适合正在做毕设、搞竞赛或者公司里想试水机器视觉分拣的小伙伴也适合单纯想了解YOLOv11和ROS2怎么在真实项目里配合的人。1. 柔性产线的分拣难题为什么要用“视觉机械臂”而不是传统治具传统自动化产线上的分拣大多靠振动盘、料道、定位治具这些物理结构来保证“物料一定在某个位置出现”。这套方案在单一品种、大批量生产的场景里效率极高也是最稳的方案。但现实里越来越多订单变成“小批量、多品种、频繁切换”今天分拣A型号螺丝明天分拣B型号铜柱后天可能换成一包异形端子——如果每次换产都重新做治具、改振动盘成本和时间都很难接受。这就是“柔性”需求的来源也是视觉方案真正的价值点。视觉方案的本质是把原来靠机械结构固定下来的“先验位置信息”换成由摄像头实时观测得到的“动态位置信息”。机械臂不再默认物料在坐标(100, 100, 0)而是靠视觉系统告诉它“现在这个物料实际在(102.3, 98.7, 0)角度偏了15度”。这样一来只要视觉能识别出来物料的来料姿态随便摆机械臂都能抓。换产品型号时只需要换一套检测模型和对应的抓取策略不需要动机械结构。这里我想先纠正一个常见误区很多人以为工业机器人视觉分拣系统的难点只在“模型能不能检测出来”。实际落地时检测精度只占整个系统工作量的一部分甚至不是最折腾人的部分。真正的复杂度分布大概是这样视觉识别用YOLOv11训练检测模型识别物料种类和位置检出率、漏检率、误检率。标定与坐标变换把相机像素坐标转成机械臂基座坐标手眼标定外参矩阵。通信与同步检测结果怎么实时传给机械臂控制器ROS2话题、动作接口。抓取规划机械臂收到目标点之后怎么算路径、怎么避障、怎么补偿物料倾角。这个比例放到项目周期里视觉训练可能只占三成时间后面几项才是真正容易卡壳的地方。所以下面我会按这个顺序逐层拆解先讲视觉再讲标定和通信最后讲抓取和避坑。2. 视觉识别层搭建从数据采集到YOLOv11模型真正跑起来2.1 相机选型与安装位置先想清楚“看哪里”“看多大”模型选型之前先要把光学方案定下来。工业分拣场景里最常用的是海康或大华的工业面阵相机配定焦镜头装在机械臂正上方Eye-to-Hand眼在手外或者机械臂末端Eye-in-Hand眼在手上。我做这套用的是Eye-to-Hand相机固定在料筐上方大概80cm的位置视野范围约60cm×45cm正好覆盖一个标准物料周转箱。选相机时核心看三个参数分辨率200万像素1600×1200起步500万像素2448×2048更稳。视野大又要看清小物体分辨率不够就不行。帧率静态抓取场景15fps足够如果是皮带线动态抓取建议30fps以上并搭配硬件触发。镜头焦距视角传感器尺寸和安装高度决定视野大小。计算方式是焦距 f (传感器宽度 × 工作距离) / 视野宽度。比如传感器宽8.5mm工作距离800mm想要视野600mm宽那f≈11mm选12mm定焦镜头就差不多了。我用的是500万像素相机12mm镜头实测把一个直径6mm的M6螺丝在画面里占约28×28像素对YOLO来说属于中号目标检测压力不算大。但如果你分拣的是1mm级别的微型零件就得考虑换更高分辨率或者缩短工作距离。2.2 数据采集与标注这部分不能省训练YOLOv11检测模型数据集质量基本决定了模型上限。我一开始想省事网上找了一堆类似的螺丝、垫片图片混着用结果模型在实验室桌面测还行一放到真实产线光照一变、背景变复杂漏检率直接飙升。后来老老实实自己采数据。采集场景要和最终运行场景保持一致。开相机连续拍每拍一帧就用程序自动存图然后手动改变物料位置、角度、堆叠程度。我总共拍了约1400张原始图像然后翻转变换增广到3000张左右。标注用的是LabelImg画框。一个很重要的经验是负样本一定要加。空料筐、只露出半个物料、手突然伸进画面、地面上残留的油渍——这些“没有目标但容易被误检”的图我大概单独标了200张全部设为background、不放任何框。这能显著压住误检率。标注类别也不用太细。我给螺丝、螺母、垫片、异形端子各建了一类加一个“reject”类专门标那些碎料、混料这类物料捡出来要放到废料区不能让它混进成品包装。2.3 训练参数与调优YOLOv11不是无脑默认就能出结果如果你用的是ultralytics的yolo11训练配置过程比较顺滑但有几个参数我是踩了坑之后才确定下来的模型选型首选用yolo11s或yolo11m。yolo11n虽然轻快但在分割比较细的物料比如细长针脚上容易漏检yolo11x精度高但推理慢机械臂等不起。公司最终线上跑的是yolo11s。输入尺寸imgsz默认640。如果画面里的目标尺寸普遍偏小建议试768甚至896小目标检测会明显提升代价是推理耗时增加。我最终用的864可以自定义不一定要整数640。batch size在单张3090上可以开到32显存不够就8或者16注意学习率要相应调整。epochs我跑300轮配合早停。实际上150轮之后指标基本收敛早停省了不少时间。数据增广ultralytics自带Mosaic、MixUp等增广产线场景建议把HSV扰动打开光照会变但不要开旋转超过30度物料虽然允许任意角度但过度旋转会让框变得很奇怪。训练完用验证集看mAP50和mAP50-95。我是把recall召回率优先于precision来对待的分拣场景宁可多捡几次空的也不能漏掉一个物料漏了就是混料事故。如果召回不够优先靠加数据、调IOU阈值confidence阈值降低一点解决而不是急着换大模型。训练完一个让我印象很深的点模型在自己采集的自然光下训练但产线实际是荧光灯局部强光泛化能力掉得厉害。后来我直接在产线光照下重新补采了一轮数据并混入训练指标才稳下来。所以如果你有条件第一步就该把相机装到产线的实际位置去采数据不要贪图在办公室桌面先“预训练”一遍。2.4 部署从PyTorch到ONNX再到TensorRT训练好的ultralytics模型默认是PyTorch权重的.pt文件真跑起来性能不够尤其CPU推理和早期GPU推理都有明显瓶颈。我用的部署链路是yolo export modelbest.pt formatonnx imgsz864 dynamicFalse simplifyTrue导出ONNX之后再转TensorRT引擎。如果是NVIDIA显卡我用的Jetson Orin工业现场考虑功耗所以没上大显卡TensorRT能比原版PyTorch有2~4倍左右的提速这幅度在实际产线节奏里还是很重要的。转完之后推理脚本非常简洁。摄像头抓一帧BGR图像转RGB送进去拿到detections列表每个detection包含类别、置信度、归一化的xyxy框再转成像素坐标。这时候要注意ros2和opencv的图像编码方式要统一这个话题后面专门说。3. ROS2通信骨架与标定让视觉坐标变成机器人的“语言”3.1 为什么选ROS2而不是ROS1也不是直接写串口如果你只是控制一台机械臂抓几个料直接拿机械臂厂家的SDK写个单机程序也行但要做“柔性”产线就要考虑扩展性以后可能加第二台机械臂、加传送带、加PLC、加安全光栅。ROS2天然是分布式的节点之间通过话题/服务/动作通信节点可以分布在工控机、Jetson、机械臂控制器等不同设备上还内置了参数服务器、tf坐标树、可视化工具这套东西对机器视觉系统帮助很大。ROS2相比ROS1还有一个现实优势它对通信可靠性和多机通信的支持更好DDS作为底层。我在系统里要同时跑相机驱动、YOLO推理、机械臂驱动、PLC联动四个节点如果用ROS1主节点挂了全局都挂ROS2则各节点相对独立。系统完整节点拆解如下节点名职责camera_node读取相机图像发布sensor_msgs/Image原始图像yolo_detect_node订阅图像跑YOLOv11推理发布自定义DetectionArray消息arm_control_node订阅检测结果通过机械臂SDK执行抓取动作tf_static发布相机到机械臂基座、机械臂末端到工具系的静态坐标变换plc_bridge通过Modbus TCP和PLC通信触发产线启停、安全互锁3.2 手上的真实功能包结构我建议用Python包管理的方式组织work space不一定要用编译型C功能包C的编译链路在调代码阶段很消耗时间。我的ROS2 work space长这样src/ ├── vision_bringup/ # 启动文件、配置文件 ├── vision_msgs/ # 自定义消息类型DetectionArray.msg等 ├── camera_interface/ # 相机ROS2驱动 ├── yolo_detect/ # YOLOv11推理节点 ├── robot_interface/ # 机械臂驱动与抓取执行 └── tf_broadcaster/ # 静态坐标发布器自定义消息DetectionArray长这样Header header Detection[] detectionsDetection里包含string class_name float32 confidence float32 x_min float32 y_min float32 x_max float32 y_max为什么不用标准boundingBoxes因为我对DetectionArray加了frame_id字段。在ROS2里所有带坐标信息的消息都要能关联到一个坐标系这个消息要带上相机图像坐标系名后续转tf树的时候才能对得上。3.3 手眼标定的坐标变换链路拿到像素坐标后要做三层变换顺序不能乱像素坐标→相机归一化平面坐标通过相机内参fx, fy, cx, cy反投影得到相机坐标系下的一条射线。相机坐标→机械臂基座坐标通过手眼标定得到的外参矩阵旋转平移。基座坐标→目标抓取点结合物料高度、机械臂末端工具吸嘴或夹爪长度计算最终抓取姿态。手眼标定我用的是眼在手外最常见的棋盘格标定法棋盘格贴在一个平面上机械臂末端带着一个尖点依次去触碰棋盘格的四个角记录机械臂坐标同时相机识别棋盘格角点的像素坐标然后用OpenCV的cv2.solvePnP和cv2.calibrateCamera求解内外参。我至少采集了15组位姿不同高度和角度标定之后重投影误差控制在1.2mm以内。这个精度对螺丝分拣够了如果抓更精细的东西误差要控制在0.3mm以下。这里还有一个容易忽略的相机装在正上方像素坐标转基座坐标会得到一个(x, y)但z高度怎么来如果物料平铺在料筐里高度基本固定我在程序里直接用一个固定z值料筐底面高度。如果物料堆叠那就得用深度相机或者先让3D视觉预扫描。目前这套系统只分拣单层平铺物料固定高度方案完全够用也不用额外加激光传感器。3.4 QoS与DDS传输可靠性不能瞎选ROS2里最容易被新手忽略但又影响极大的就是QoSQuality of Service配置。默认topic的QoS如果一边设成reliable、一边设成best_effort两边匹配不上话题就直接收不到消息而且不会报明显错误。在相机图像这种大流量、允许偶尔丢帧的场景我设的是sub_image self.create_subscription( Image, /camera/image_raw, self.image_cb, rclpy.qos.qos_profile_sensor_data )qos_profile_sensor_data对应的是best_effort depth 5。图像丢了就丢了下一帧马上来。而检测结果和机械臂控制指令这类不允许丢的指令型消息我设的是reliable volatility还会把历史深度设大一点避免瞬时拥堵丢消息。这就是为什么ROS2里“ping 得通”不代表“topic通信可靠”。两边的QoS策略不匹配的话rqt_graph里能看到话题连接但数据就是不过来排查起来很耗时间。4. 分拣策略与机械臂执行从像素框到吸嘴落下4.1 抓取点到底取哪里中心点但要叠加高度拿到Detections之后如果只把bounding box中心点拿到就当抓取点会出问题。比如长条形的异形端子中心点可能落在中段无特征的位置再比如物料带倾角时直接垂直下抓容易打滑。我是这样处理抓取点的先算出bounding box中心点pixel_center。反投影到基座坐标系得到目标平面位置(base_x, base_y)。根据物料类别查表叠加z_offset。螺丝的z_offset设为其半径螺母的z_offset设为其厚度的一半。如果是细长件我会在分类逻辑里对“长宽比2”的物料单独做一个偏转角度估计简单做法用最小外接矩形替代普通矩形框拿到angle机械臂末端执行器会按这个角度先旋转再下抓。这里的经验是抓取位姿并不是一个点能搞定的而是一个SE(3)姿态位置旋转。除非你抓的是完美圆形且没有方向要求否则一定要把角度算出来。4.2 用MoveIt还是直接调机械臂SDK机械臂执行层我走了两条路测试最终线上用的是直接调用机械臂厂家的C/Python SDK而不是MoveIt。MoveIt的优势是运动规划、避障、轨迹插补都帮你做好了适合复杂路径。但如果你用的是ABB、KUKA、UR这类商业臂厂家SDK自带的运动指令moveL、moveJ、path规划已经非常成熟而且不依赖额外算法库部署更简单。我自己用的是一台国产六轴协作臂具体型号不表厂家SDK支持直线、关节运动还能设置速度、加速度、力控够用且稳定。执行流程抽象出来是这样ARM节点收到DetectionArray取置信度最高的一个目标作为当前抓取对象。把目标点的基座坐标发给机械臂SDK发起moveL直线运动。运动到位后末端真空吸嘴打开/电磁铁吸合吸住物料。抬升到安全高度moveL到成品/废料区上方释放。回到取料区上方继续下一个目标。另外要加一个双重安全确认逻辑机械臂动之前除了视觉给的坐标PLC那边还会通过漫反射光电传感器确认抓取区域没有异物进入。这个互锁不是代码层的装饰而是真实产线对人员安全的硬性要求。5. 联调实测中的坑三个最折腾人的真实问题5.1 PyTorch版本和cv_bridge打架ROS2的cv_bridge在ROS2 Humble里的默认依赖是OpenCV 4.x但YOLOv11如果用较新的ultralytics版本可能依赖更高版本的opencv-python这俩在同一个Python环境里极容易打架。表现是import cv_bridge之后opencv的API签名对不上或者yolo推理时numpy版本冲突。我最后是新建了一个conda虚拟环境只装ROS2的cv_bridge需要的Python包不要装新的OpenCVyolo推理单独在另一个进程跑通过共享内存或低延迟本机socket传结果不在同一个进程里同时import两个依赖。虽然绕了一点但运行几个月没有出过兼容性问题。5.2 相机曝光导致漏检比模型问题更隐蔽系统第一天联调模型确实能识别但总出现螺丝刚放进去时识别不到、过一两秒才识别到的情况。排查了半天发现是工业相机自动曝光的问题——物料在进入视野时反光较强相机会主动把曝光时间调低导致暗部的螺丝轮廓和背景几乎混在一起模型自然检不出来。解决办法很粗暴把相机曝光固定不要用自动曝光然后配合外部LED条形光源。最终设置的曝光时间是8ms增益固定200白色漫射光源亮度调到约80%之后不管物料种类怎么换图像亮度都稳定漏检问题直接消失。这个问题很容易被归纳成“模型鲁棒性不足”但实际上纯粹是成像质量波动引起的值得记一笔。5.3 DDS跨设备通信掉线Jetson和机械臂控制器分布在两台设备上通过交换机连在一起。运行一段时间后会出现节点之间突然丢通信、一两秒后恢复的现象。后来发现是系统自带的DDS发现协议周期性广播消耗了太多带宽加上交换机的IGMP snooping配置不对。我的做法是显式设置RMW实现统一用FastDDSROS2 Humble默认。把ROS_AUTOMATIC_DISCOVERY_RANGE设为LOCALHOST只允许本机自动发现跨设备的静态对端地址在XML配置里写死。交换机开启IGMP snooping避免组播流量打满带宽。这么调完之后跑了一整天压力测试没有再现掉线。DDS这种问题在单机测试时完全不会暴露一旦上真机分布式就会冒出来所以架构设计阶段就要把两台设备怎么通信、用什么QoS、要不要静态发现定下来别等联调再填坑。6. 总体效果与后续还能怎么扩展整个系统跑通之后最终指标是对6类常见紧固件螺丝、螺母、垫片、铜柱、端子、废料reject的识别mAP50达到99.1%单张图像推理耗时TensorRT on Jetson Orin NX约22ms从“视觉发出目标”到“机械臂完成抓取并放入分拣盒”整个动作节拍约4.2秒一个循环分拣准确率按批次人工复核99.8%。这个速度比起专用振动盘治具还是慢但柔性换产的优势非常明显——换产品型号只需要重训模型、改动z_offset配置表机械和通信层面基本不动。最后再分享两个我后续准备做的小升级一个是把YOLOv11的框换成分割掩码对堆叠物料来说分割能拿到更精确的轮廓和边缘接触信息抓取点会比box更准另一个是接入深度相机把物料高度信息动态测量出来彻底摆脱“固定z值”的假设这样料筐里能放两层甚至三层物料。柔性产线的本质就是不断把“假设固定”的东西变成“实时测量”视觉只是第一步后面还能延展的空间很大。本文还有配套的精品资源点击获取 
长河君 · 2026/9/7 15:04:48 · 阅读 1.2k 工业机器人视觉分拣系统实战：基于YOLOv11与ROS2的柔性产线方案
简介针对柔性生产线物料分拣场景YOLOv11与ROS2协同实现工业机器人视觉识别与运动控制的完整方案适合机器视觉、目标检测、自动化方向学习者和工程师参考。文档共27页覆盖YOLO系列算法发展历程、YOLOv11整体架构、损失函数与训练流程以及ROS2节点、话题、服务等核心概念并在此基础上展开视觉处理模块、运动控制模块、决策模块、通信与安全设计还包含数据集准备、模型训练、ROS2节点开发、系统集成调试和实验对比分析。单阶段检测算法只需一次图像扫描即可快速精准识别多个目标兼顾速度与精度。包内为单个PDF文件大小约1.93MB支持目录章节跳转与阅读器大纲定位文字图表显示正常。目前已有202人学习下载适合需要快速理解YOLOv11工程应用或搭建物料分拣系统参考方案的技术人员。 先说明一下输入端只给了标题和搜索热词没有项目正文和摘要。下面这篇博文我会基于“工业机器人视觉、YOLOv11、ROS2、柔性生产线物料分拣”这条技术主线来展开按一个完整落地项目的思路来写先讲为什么做再讲视觉模型训练、ROS2通信与标定、抓取执行、最后讲联调中的坑。需要的直接拿去用。这套系统的核心不是让机械臂“看见”而是让它在一条经常换产线、物料来料随时变的产线上不靠固定程序和治具也能自己认东西、自己干活。我落地这套“工业机器人视觉物料分拣系统”用的技术栈就是标题里那套YOLOv11负责“认”ROS2负责“传”和“协调”工业机械臂负责“抓”整条线串成一个柔性分拣单元。前后从调研到跑通差不多两个月中间踩的坑比想象的多但整个架构走通之后面对切换型号、换物料这类事基本只需要改标注数据重训模型机械结构和控制逻辑几乎不用动。这篇文章我不会只贴代码会把系统架构、模型训练部署、相机标定、坐标变换、抓取规划、以及联调时折腾最久的几个问题都讲透。适合正在做毕设、搞竞赛或者公司里想试水机器视觉分拣的小伙伴也适合单纯想了解YOLOv11和ROS2怎么在真实项目里配合的人。1. 柔性产线的分拣难题为什么要用“视觉机械臂”而不是传统治具传统自动化产线上的分拣大多靠振动盘、料道、定位治具这些物理结构来保证“物料一定在某个位置出现”。这套方案在单一品种、大批量生产的场景里效率极高也是最稳的方案。但现实里越来越多订单变成“小批量、多品种、频繁切换”今天分拣A型号螺丝明天分拣B型号铜柱后天可能换成一包异形端子——如果每次换产都重新做治具、改振动盘成本和时间都很难接受。这就是“柔性”需求的来源也是视觉方案真正的价值点。视觉方案的本质是把原来靠机械结构固定下来的“先验位置信息”换成由摄像头实时观测得到的“动态位置信息”。机械臂不再默认物料在坐标(100, 100, 0)而是靠视觉系统告诉它“现在这个物料实际在(102.3, 98.7, 0)角度偏了15度”。这样一来只要视觉能识别出来物料的来料姿态随便摆机械臂都能抓。换产品型号时只需要换一套检测模型和对应的抓取策略不需要动机械结构。这里我想先纠正一个常见误区很多人以为工业机器人视觉分拣系统的难点只在“模型能不能检测出来”。实际落地时检测精度只占整个系统工作量的一部分甚至不是最折腾人的部分。真正的复杂度分布大概是这样视觉识别用YOLOv11训练检测模型识别物料种类和位置检出率、漏检率、误检率。标定与坐标变换把相机像素坐标转成机械臂基座坐标手眼标定外参矩阵。通信与同步检测结果怎么实时传给机械臂控制器ROS2话题、动作接口。抓取规划机械臂收到目标点之后怎么算路径、怎么避障、怎么补偿物料倾角。这个比例放到项目周期里视觉训练可能只占三成时间后面几项才是真正容易卡壳的地方。所以下面我会按这个顺序逐层拆解先讲视觉再讲标定和通信最后讲抓取和避坑。2. 视觉识别层搭建从数据采集到YOLOv11模型真正跑起来2.1 相机选型与安装位置先想清楚“看哪里”“看多大”模型选型之前先要把光学方案定下来。工业分拣场景里最常用的是海康或大华的工业面阵相机配定焦镜头装在机械臂正上方Eye-to-Hand眼在手外或者机械臂末端Eye-in-Hand眼在手上。我做这套用的是Eye-to-Hand相机固定在料筐上方大概80cm的位置视野范围约60cm×45cm正好覆盖一个标准物料周转箱。选相机时核心看三个参数分辨率200万像素1600×1200起步500万像素2448×2048更稳。视野大又要看清小物体分辨率不够就不行。帧率静态抓取场景15fps足够如果是皮带线动态抓取建议30fps以上并搭配硬件触发。镜头焦距视角传感器尺寸和安装高度决定视野大小。计算方式是焦距 f (传感器宽度 × 工作距离) / 视野宽度。比如传感器宽8.5mm工作距离800mm想要视野600mm宽那f≈11mm选12mm定焦镜头就差不多了。我用的是500万像素相机12mm镜头实测把一个直径6mm的M6螺丝在画面里占约28×28像素对YOLO来说属于中号目标检测压力不算大。但如果你分拣的是1mm级别的微型零件就得考虑换更高分辨率或者缩短工作距离。2.2 数据采集与标注这部分不能省训练YOLOv11检测模型数据集质量基本决定了模型上限。我一开始想省事网上找了一堆类似的螺丝、垫片图片混着用结果模型在实验室桌面测还行一放到真实产线光照一变、背景变复杂漏检率直接飙升。后来老老实实自己采数据。采集场景要和最终运行场景保持一致。开相机连续拍每拍一帧就用程序自动存图然后手动改变物料位置、角度、堆叠程度。我总共拍了约1400张原始图像然后翻转变换增广到3000张左右。标注用的是LabelImg画框。一个很重要的经验是负样本一定要加。空料筐、只露出半个物料、手突然伸进画面、地面上残留的油渍——这些“没有目标但容易被误检”的图我大概单独标了200张全部设为background、不放任何框。这能显著压住误检率。标注类别也不用太细。我给螺丝、螺母、垫片、异形端子各建了一类加一个“reject”类专门标那些碎料、混料这类物料捡出来要放到废料区不能让它混进成品包装。2.3 训练参数与调优YOLOv11不是无脑默认就能出结果如果你用的是ultralytics的yolo11训练配置过程比较顺滑但有几个参数我是踩了坑之后才确定下来的模型选型首选用yolo11s或yolo11m。yolo11n虽然轻快但在分割比较细的物料比如细长针脚上容易漏检yolo11x精度高但推理慢机械臂等不起。公司最终线上跑的是yolo11s。输入尺寸imgsz默认640。如果画面里的目标尺寸普遍偏小建议试768甚至896小目标检测会明显提升代价是推理耗时增加。我最终用的864可以自定义不一定要整数640。batch size在单张3090上可以开到32显存不够就8或者16注意学习率要相应调整。epochs我跑300轮配合早停。实际上150轮之后指标基本收敛早停省了不少时间。数据增广ultralytics自带Mosaic、MixUp等增广产线场景建议把HSV扰动打开光照会变但不要开旋转超过30度物料虽然允许任意角度但过度旋转会让框变得很奇怪。训练完用验证集看mAP50和mAP50-95。我是把recall召回率优先于precision来对待的分拣场景宁可多捡几次空的也不能漏掉一个物料漏了就是混料事故。如果召回不够优先靠加数据、调IOU阈值confidence阈值降低一点解决而不是急着换大模型。训练完一个让我印象很深的点模型在自己采集的自然光下训练但产线实际是荧光灯局部强光泛化能力掉得厉害。后来我直接在产线光照下重新补采了一轮数据并混入训练指标才稳下来。所以如果你有条件第一步就该把相机装到产线的实际位置去采数据不要贪图在办公室桌面先“预训练”一遍。2.4 部署从PyTorch到ONNX再到TensorRT训练好的ultralytics模型默认是PyTorch权重的.pt文件真跑起来性能不够尤其CPU推理和早期GPU推理都有明显瓶颈。我用的部署链路是yolo export modelbest.pt formatonnx imgsz864 dynamicFalse simplifyTrue导出ONNX之后再转TensorRT引擎。如果是NVIDIA显卡我用的Jetson Orin工业现场考虑功耗所以没上大显卡TensorRT能比原版PyTorch有2~4倍左右的提速这幅度在实际产线节奏里还是很重要的。转完之后推理脚本非常简洁。摄像头抓一帧BGR图像转RGB送进去拿到detections列表每个detection包含类别、置信度、归一化的xyxy框再转成像素坐标。这时候要注意ros2和opencv的图像编码方式要统一这个话题后面专门说。3. ROS2通信骨架与标定让视觉坐标变成机器人的“语言”3.1 为什么选ROS2而不是ROS1也不是直接写串口如果你只是控制一台机械臂抓几个料直接拿机械臂厂家的SDK写个单机程序也行但要做“柔性”产线就要考虑扩展性以后可能加第二台机械臂、加传送带、加PLC、加安全光栅。ROS2天然是分布式的节点之间通过话题/服务/动作通信节点可以分布在工控机、Jetson、机械臂控制器等不同设备上还内置了参数服务器、tf坐标树、可视化工具这套东西对机器视觉系统帮助很大。ROS2相比ROS1还有一个现实优势它对通信可靠性和多机通信的支持更好DDS作为底层。我在系统里要同时跑相机驱动、YOLO推理、机械臂驱动、PLC联动四个节点如果用ROS1主节点挂了全局都挂ROS2则各节点相对独立。系统完整节点拆解如下节点名职责camera_node读取相机图像发布sensor_msgs/Image原始图像yolo_detect_node订阅图像跑YOLOv11推理发布自定义DetectionArray消息arm_control_node订阅检测结果通过机械臂SDK执行抓取动作tf_static发布相机到机械臂基座、机械臂末端到工具系的静态坐标变换plc_bridge通过Modbus TCP和PLC通信触发产线启停、安全互锁3.2 手上的真实功能包结构我建议用Python包管理的方式组织work space不一定要用编译型C功能包C的编译链路在调代码阶段很消耗时间。我的ROS2 work space长这样src/ ├── vision_bringup/ # 启动文件、配置文件 ├── vision_msgs/ # 自定义消息类型DetectionArray.msg等 ├── camera_interface/ # 相机ROS2驱动 ├── yolo_detect/ # YOLOv11推理节点 ├── robot_interface/ # 机械臂驱动与抓取执行 └── tf_broadcaster/ # 静态坐标发布器自定义消息DetectionArray长这样Header header Detection[] detectionsDetection里包含string class_name float32 confidence float32 x_min float32 y_min float32 x_max float32 y_max为什么不用标准boundingBoxes因为我对DetectionArray加了frame_id字段。在ROS2里所有带坐标信息的消息都要能关联到一个坐标系这个消息要带上相机图像坐标系名后续转tf树的时候才能对得上。3.3 手眼标定的坐标变换链路拿到像素坐标后要做三层变换顺序不能乱像素坐标→相机归一化平面坐标通过相机内参fx, fy, cx, cy反投影得到相机坐标系下的一条射线。相机坐标→机械臂基座坐标通过手眼标定得到的外参矩阵旋转平移。基座坐标→目标抓取点结合物料高度、机械臂末端工具吸嘴或夹爪长度计算最终抓取姿态。手眼标定我用的是眼在手外最常见的棋盘格标定法棋盘格贴在一个平面上机械臂末端带着一个尖点依次去触碰棋盘格的四个角记录机械臂坐标同时相机识别棋盘格角点的像素坐标然后用OpenCV的cv2.solvePnP和cv2.calibrateCamera求解内外参。我至少采集了15组位姿不同高度和角度标定之后重投影误差控制在1.2mm以内。这个精度对螺丝分拣够了如果抓更精细的东西误差要控制在0.3mm以下。这里还有一个容易忽略的相机装在正上方像素坐标转基座坐标会得到一个(x, y)但z高度怎么来如果物料平铺在料筐里高度基本固定我在程序里直接用一个固定z值料筐底面高度。如果物料堆叠那就得用深度相机或者先让3D视觉预扫描。目前这套系统只分拣单层平铺物料固定高度方案完全够用也不用额外加激光传感器。3.4 QoS与DDS传输可靠性不能瞎选ROS2里最容易被新手忽略但又影响极大的就是QoSQuality of Service配置。默认topic的QoS如果一边设成reliable、一边设成best_effort两边匹配不上话题就直接收不到消息而且不会报明显错误。在相机图像这种大流量、允许偶尔丢帧的场景我设的是sub_image self.create_subscription( Image, /camera/image_raw, self.image_cb, rclpy.qos.qos_profile_sensor_data )qos_profile_sensor_data对应的是best_effort depth 5。图像丢了就丢了下一帧马上来。而检测结果和机械臂控制指令这类不允许丢的指令型消息我设的是reliable volatility还会把历史深度设大一点避免瞬时拥堵丢消息。这就是为什么ROS2里“ping 得通”不代表“topic通信可靠”。两边的QoS策略不匹配的话rqt_graph里能看到话题连接但数据就是不过来排查起来很耗时间。4. 分拣策略与机械臂执行从像素框到吸嘴落下4.1 抓取点到底取哪里中心点但要叠加高度拿到Detections之后如果只把bounding box中心点拿到就当抓取点会出问题。比如长条形的异形端子中心点可能落在中段无特征的位置再比如物料带倾角时直接垂直下抓容易打滑。我是这样处理抓取点的先算出bounding box中心点pixel_center。反投影到基座坐标系得到目标平面位置(base_x, base_y)。根据物料类别查表叠加z_offset。螺丝的z_offset设为其半径螺母的z_offset设为其厚度的一半。如果是细长件我会在分类逻辑里对“长宽比2”的物料单独做一个偏转角度估计简单做法用最小外接矩形替代普通矩形框拿到angle机械臂末端执行器会按这个角度先旋转再下抓。这里的经验是抓取位姿并不是一个点能搞定的而是一个SE(3)姿态位置旋转。除非你抓的是完美圆形且没有方向要求否则一定要把角度算出来。4.2 用MoveIt还是直接调机械臂SDK机械臂执行层我走了两条路测试最终线上用的是直接调用机械臂厂家的C/Python SDK而不是MoveIt。MoveIt的优势是运动规划、避障、轨迹插补都帮你做好了适合复杂路径。但如果你用的是ABB、KUKA、UR这类商业臂厂家SDK自带的运动指令moveL、moveJ、path规划已经非常成熟而且不依赖额外算法库部署更简单。我自己用的是一台国产六轴协作臂具体型号不表厂家SDK支持直线、关节运动还能设置速度、加速度、力控够用且稳定。执行流程抽象出来是这样ARM节点收到DetectionArray取置信度最高的一个目标作为当前抓取对象。把目标点的基座坐标发给机械臂SDK发起moveL直线运动。运动到位后末端真空吸嘴打开/电磁铁吸合吸住物料。抬升到安全高度moveL到成品/废料区上方释放。回到取料区上方继续下一个目标。另外要加一个双重安全确认逻辑机械臂动之前除了视觉给的坐标PLC那边还会通过漫反射光电传感器确认抓取区域没有异物进入。这个互锁不是代码层的装饰而是真实产线对人员安全的硬性要求。5. 联调实测中的坑三个最折腾人的真实问题5.1 PyTorch版本和cv_bridge打架ROS2的cv_bridge在ROS2 Humble里的默认依赖是OpenCV 4.x但YOLOv11如果用较新的ultralytics版本可能依赖更高版本的opencv-python这俩在同一个Python环境里极容易打架。表现是import cv_bridge之后opencv的API签名对不上或者yolo推理时numpy版本冲突。我最后是新建了一个conda虚拟环境只装ROS2的cv_bridge需要的Python包不要装新的OpenCVyolo推理单独在另一个进程跑通过共享内存或低延迟本机socket传结果不在同一个进程里同时import两个依赖。虽然绕了一点但运行几个月没有出过兼容性问题。5.2 相机曝光导致漏检比模型问题更隐蔽系统第一天联调模型确实能识别但总出现螺丝刚放进去时识别不到、过一两秒才识别到的情况。排查了半天发现是工业相机自动曝光的问题——物料在进入视野时反光较强相机会主动把曝光时间调低导致暗部的螺丝轮廓和背景几乎混在一起模型自然检不出来。解决办法很粗暴把相机曝光固定不要用自动曝光然后配合外部LED条形光源。最终设置的曝光时间是8ms增益固定200白色漫射光源亮度调到约80%之后不管物料种类怎么换图像亮度都稳定漏检问题直接消失。这个问题很容易被归纳成“模型鲁棒性不足”但实际上纯粹是成像质量波动引起的值得记一笔。5.3 DDS跨设备通信掉线Jetson和机械臂控制器分布在两台设备上通过交换机连在一起。运行一段时间后会出现节点之间突然丢通信、一两秒后恢复的现象。后来发现是系统自带的DDS发现协议周期性广播消耗了太多带宽加上交换机的IGMP snooping配置不对。我的做法是显式设置RMW实现统一用FastDDSROS2 Humble默认。把ROS_AUTOMATIC_DISCOVERY_RANGE设为LOCALHOST只允许本机自动发现跨设备的静态对端地址在XML配置里写死。交换机开启IGMP snooping避免组播流量打满带宽。这么调完之后跑了一整天压力测试没有再现掉线。DDS这种问题在单机测试时完全不会暴露一旦上真机分布式就会冒出来所以架构设计阶段就要把两台设备怎么通信、用什么QoS、要不要静态发现定下来别等联调再填坑。6. 总体效果与后续还能怎么扩展整个系统跑通之后最终指标是对6类常见紧固件螺丝、螺母、垫片、铜柱、端子、废料reject的识别mAP50达到99.1%单张图像推理耗时TensorRT on Jetson Orin NX约22ms从“视觉发出目标”到“机械臂完成抓取并放入分拣盒”整个动作节拍约4.2秒一个循环分拣准确率按批次人工复核99.8%。这个速度比起专用振动盘治具还是慢但柔性换产的优势非常明显——换产品型号只需要重训模型、改动z_offset配置表机械和通信层面基本不动。最后再分享两个我后续准备做的小升级一个是把YOLOv11的框换成分割掩码对堆叠物料来说分割能拿到更精确的轮廓和边缘接触信息抓取点会比box更准另一个是接入深度相机把物料高度信息动态测量出来彻底摆脱“固定z值”的假设这样料筐里能放两层甚至三层物料。柔性产线的本质就是不断把“假设固定”的东西变成“实时测量”视觉只是第一步后面还能延展的空间很大。本文还有配套的精品资源点击获取