【RK3572实战连载 03】RK3572-YOLOV8通用目标检测应用 前言边缘AI视觉项目最怕的不是精度不够而是跑不动反复调试拖累项目周期。因此眺望电子针对“不同检测目标与模型”出了一整套相关技术指南。教大家如何一条命令跑通摄像头输入→NPU推理→屏幕输出的完整链路拿到就能用、用了就能评。眺望电子基于RK3572核心板与YOLOv8通用目标检测模型给大家跑一遍做成一个可直接运行的例程。接上摄像头、插上屏幕、推一条命令就能看到NPU实时推理的效果。一、RK3572 NPU介绍RK3572是一款面向边缘计算与AIoT应用的低功耗高性能处理器集成两颗Cortex-A73大核与六颗Cortex-A53小核每核均配备NEON协处理器。NPU最高提供4 TOPS 算力支持 INT4 /INT8 /INT16 /FP4 /FP8 /FP16 /BF16 混合精度运算及W4A16非对称MAC操作在保证精度的同时大幅降低计算开销。该NPU兼容TensorFlow、Caffe、TensorFlow Lite、PyTorch、ONNX、Android NN、MXNet 等主流框架。工具链配套Rockchip自研RKNN3推理框架提供从模型转换、量化、优化到部署的完整工具链。其中RKNN3-Toolkit支持多精度量化、连板/仿真推理及性能内存评估RKNN3 API与rkllm3-server提供高效推理服务并支持OpenAI兼容接口可便捷部署CNN、LLM等主流模型显著提升NPU利用效率与开发便捷性。二、YOLOV8目标检测例程本章介绍基于RK3572 平台的 YOLOv8 通用目标检测模型运行及测试例程。目标检测是计算机视觉领域的重要基础技术其主要任务是在图像或视频画面中自动识别目标对象的位置并判断其所属类别。其被广泛应用于智慧安防、智能交通、工业检测、无人零售、机器人视觉等场景。YOLOv8You Only Look Once目标检测算法作为YOLO系列的最新迭代版本在继承高速度、高精度核心优势的基础上进一步引入了更高效的特征提取网络如C2f模块和更灵活的无锚框Anchor-Free检测头显著提升了小目标感知能力和复杂场景下的泛化性。该算法沿用单阶段端到端检测架构在一次前向推理中同时完成目标定位和类别预测有效降低了计算延迟为实时边缘应用提供了更优的精度-速度平衡。为更贴近真实边缘计算场景本测试套件将所有图像输入环节从静态图片读取切换为动态视频流采集从而更准确地反映实际部署环境中的资源消耗与响应特性。2.1 例程测试用户可在光盘资料中“Core-RK3572核心板光盘资料\ 4-软件资料\ 3-RK3572模型案例源码\ 2-源码资料\ rk3572_Cdemo\ rk3572_Cdemo.tar.gz” 下载模型。本次测试使用的摄像头型号为IMX415测试模型案例前将摄像头接入RK3572底板中丝印J10或J14的MIPI CSI接口中为能够成功预览摄像头推流识别效果请接入MIPI屏幕或HDMI接口。IMX415 摄像头MIPI CSI 接口2.2 推送应用进入应用目录中使用adb命令将YOLOV8模型应用推送到RK3572开发板中确保adb正常连接。taloweubuntu22:~$adb push rknn3_yolv8_detection_cam//rk3572_rknn3demotaloweubuntu22:~$ adb push rknn3_yolv5_detection_cam//rk3572_rknn3demo2.3 运行模型应用开发板进入/rk3572_ rknn3demo/rknn3_ yolov5_ detection_ cam目录中执行如下命令rootrk3572-buildroot:/rk3572_rknn3demo/rknn_yolov8_detection_cam# ./rknn_yolov8_demo ./model/yolov8n.rknn ./model/yolov8n.weight /dev/video22 1注意/dev/video22为接入的摄像头节点运行后HDMI显示屏或MIPI显示屏中会出现RK3572实时推理的画面如下运行程序后显示屏将实时显示摄像头画面并叠加YOLOv8检测结果每个检测到的目标均用彩色矩形框标出。框的左上角显示类别标签和置信度。三、技术实现与应用拓展这个例程的价值不在于“跑通了YOLOv8”而是在于把边缘视觉部署的完整链路做成了一个可复现的闭环。这个闭环就是一个可参照的部署模板。它可以替换成客户想要的模型、调整检测类别、适配的摄像头和屏幕把“从模型到产品”的路径缩短可以更快的促进项目落地。3.1技术应用4TOPS算力支撑实时推理工业级宽温保障稳定性用于工业视觉产线零件缺陷检测、工件计数MIPI-CSI摄像头直连低延迟本地处理用于智慧安防人车识别、周界入侵检测多精度量化平衡精度与速度用于智能交通车辆检测、违章抓拍低功耗适配移动巡检设备用于电力巡检设备异常识别、仪表读数小尺寸核心板适配嵌入式部署用于机器人视觉目标跟随、障碍物识别四、小编有话说感谢大家的信任与支持。这份指南来自眺望电子的技术手册之一《Pi-RK3572 RK3572NPU模型案例》适用于RK3572核心板。更多资料可在后台留言或者联系工程师获取。如果大家在实操过程中遇到问题也欢迎随时交流。下期预告下一篇我们将继续讲解Resnet50 物体分类模型应用敬请期待广州眺望电子科技有限公司成立于2013年是一家专注于嵌入式处理器模组研发与应用的国家高新技术企业与国内外一线处理器品牌如NXP、瑞芯微、全志、瑞萨、ST、龙芯中科等有广泛深度的合作。我们以专业的嵌入式软硬件底层技术和强大的服务支持能力加速客户嵌入式智能产品的落地提供长生命周期、高稳定可靠的嵌入式处理器模组产品或客制化产品供客户大批量应用于工业、交通、电力、医疗、机器人、工业物联网等众多领域。