1. 项目概述从“看全图”到“盯重点”的思维转变在计算机视觉的日常项目里目标检测是个高频需求。我们常常用YOLOv5这样的模型丢给它一张图它就能把图中所有的猫猫狗狗、车辆行人给框出来这属于全局检测。但实际工作中更常见的是另一种场景我只关心画面里某个特定区域的东西。比如监控摄像头画面很大但我只想知道十字路口那个红绿灯区域里有没有行人闯红灯又或者在工业质检中传送带图像背景复杂我只检测产品固定摆放区域内的瑕疵。这种“划定区域只检区内”的需求就是区域目标检测也叫感兴趣区域ROI检测。很多朋友在初次接触这个需求时会走弯路有人试图重新标注ROI内的数据去训练一个“专用”模型费时费力有人想在模型推理后用框的坐标去和ROI多边形做复杂的几何运算逻辑繁琐且效率不高。其实YOLOv5本身提供了非常优雅且高效的解决方案核心思路就一句话在数据预处理阶段将ROI区域“裁剪”或“掩码”出来只把这块区域送给模型去检测。这样做模型本身无需任何改动我们只是在喂给它数据之前动了一点“手脚”。这篇文章我就以最常见的矩形ROI和多边形ROI为例手把手带你走通整个流程。你会看到从ROI坐标定义到推理代码改造再到后处理优化每一步都有需要注意的细节和能提升效率的技巧。无论你是用YOLOv5做安防、交通、还是工业视觉项目这个技能都能让你事半功倍。2. 核心思路拆解为什么是“预处理”而非“后处理”在深入代码之前我们必须先统一思想为什么区域检测的最佳实践是在预处理阶段做文章而不是在模型输出之后再做筛选2.1 预处理方案的优势设想一下一张1920x1080的高清图你只关心右下角一个400x300的小区域。如果让YOLOv5去检测整张图它需要处理超过200万个像素点计算量大而且背景中的无关物体会产生大量无效计算甚至误检。然后你再从成百上千个检测框里用几何方法筛选出落在400x300区域内的那几个整个过程冗余且低效。预处理方案则截然不同。它的流程是定义ROI在图像上标定出你关心的区域一个矩形或多边形。提取ROI在推理前从原图中精确地“抠出”这个ROI区域的图像。坐标转换因为“抠图”会导致图像坐标系原点变化所以需要记录这个转换关系。模型推理只把这块小图400x300送入YOLOv5进行检测。坐标还原将模型在小图上预测出的边界框坐标根据步骤3记录的转换关系映射回原始大图的坐标系。这样做的好处显而易见计算量锐减模型只处理ROI区域速度大幅提升尤其对高分辨率视频流实时处理意义重大。精度提升模型不再受ROI外复杂背景的干扰专注于目标区域通常能减少误检False Positives。逻辑清晰整个流程模块化ROI定义、图像裁剪、坐标映射各司其职代码易于维护和调试。2.2 关键挑战与应对思路当然这个方案也有两个技术点需要妥善处理ROI内目标被切割的问题如果一个目标刚好一部分在ROI内一部分在ROI外直接裁剪会导致一个完整目标被切成两半模型可能无法正确识别。对于严格的应用如计数我们通常定义ROI时就要尽量避免切割关键目标或者在后处理时根据需求特别处理这类“跨界”目标。坐标映射的精度从ROI子图坐标还原回原图坐标必须是可逆的、无损的。这里涉及到简单的仿射变换核心是记住ROI在原图中的起始点对于矩形是左上角坐标(x_roi, y_roi)。理解了“为什么这么做”接下来我们就进入实战环节。我会分别用矩形和多边形ROI来演示这是两种最主流的形状。3. 实战准备环境与基础代码在开始改造之前确保你有一个能正常运行的YOLOv5环境。这里假设你使用的是PyTorch版本的YOLOv5。# 克隆YOLOv5官方仓库如果你还没有 git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt # 安装依赖我们以YOLOv5自带的detect.py推理脚本为基础进行修改。为了清晰我建议你创建一个新的文件比如detect_roi.py将detect.py的内容复制过来然后在此基础上修改。核心思路我们的主要修改将集中在数据加载和预处理部分以及结果后处理部分。模型加载、推理引擎部分完全不需要动。4. 方案一矩形ROI检测实现矩形ROI是最简单的情况用左上角(x1, y1)和右下角(x2, y2)两个点就能定义。很多监控场景的检测区域如一条车道、一个窗口都可以近似为矩形。4.1 ROI定义与图像裁剪首先我们需要定义ROI。你可以写死在代码里也可以通过配置文件读取更灵活的方式是画一个GUI工具来标定比如用OpenCV。这里为了演示我们直接硬编码。假设我们的原图是img.jpg我们只关心其中(200, 150)到(600, 450)这个矩形区域。import cv2 import torch import numpy as np # 1. 加载原始图像 orig_img cv2.imread(img.jpg) if orig_img is None: raise FileNotFoundError(图像文件未找到) orig_height, orig_width orig_img.shape[:2] # 2. 定义矩形ROI [x1, y1, x2, y2] roi_rect [200, 150, 600, 450] # 请根据你的图像实际大小调整 x1, y1, x2, y2 roi_rect # 3. 确保ROI在图像范围内 x1, y1 max(0, x1), max(0, y1) x2, y2 min(orig_width, x2), min(orig_height, y2) # 4. 裁剪ROI区域 roi_img orig_img[y1:y2, x1:x2] roi_height, roi_width roi_img.shape[:2] print(f原图尺寸{orig_width}x{orig_height}) print(fROI区域{roi_width}x{roi_height} 左上角原点在原图坐标({x1}, {y1}))注意OpenCV的图像坐标是(y, x)即行在前列在后。所以裁剪时是img[y1:y2, x1:x2]。这一点务必牢记否则会裁错区域或导致数组维度错误。4.2 适配YOLOv5推理流程YOLOv5的detect.py脚本使用了一个LoadImages或LoadStreams类来加载和预处理图像。我们需要把上面裁剪得到的roi_img按照YOLOv5要求的方式进行处理。关键点在于YOLOv5的预处理管道包括缩放、填充、归一化等期望输入是原始图像。现在我们的“原始图像”变成了roi_img。所以我们需要模拟一个从roi_img开始的流程。一个比较直接的方法是修改数据加载器但为了最小化改动我们可以在主循环中对每一帧都执行上述裁剪操作然后将roi_img送入YOLOv5的预处理函数。YOLOv5的预处理通常由letterbox函数完成。# 假设我们位于修改后的 detect_roi.py 的主推理循环中 from utils.augmentations import letterbox # ... 模型加载等初始化代码 ... # 对于每一帧图像 ‘orig_img‘ # 进行上述ROI裁剪得到 roi_img, x1, y1, roi_width, roi_height # YOLOv5风格的预处理缩放并填充到模型输入尺寸如640x640 img letterbox(roi_img, 640, stride32, autoTrue)[0] # 返回处理后的图像 # 后续的转换BGR-RGB, HWC-CHW, 归一化等... img img.transpose((2, 0, 1))[::-1] # HWC to CHW, BGR to RGB img np.ascontiguousarray(img) img torch.from_numpy(img).to(device) img img.half() if half else img.float() # 半精度或全精度 img / 255.0 # 归一化 0 - 255 to 0.0 - 1.0 if img.ndimension() 3: img img.unsqueeze(0) # 现在 ‘img‘ 就是可以直接送入模型 ‘model(img)‘ 的张量了4.3 检测框坐标还原模型在roi_img上做出了预测得到的边界框坐标(x_min, y_min, x_max, y_max)是基于roi_img这个子图的坐标系其原点(0,0)对应原图的(x1, y1)。因此还原公式非常简单原图_x_min roi_img_x_min x1 原图_y_min roi_img_y_min y1 原图_x_max roi_img_x_max x1 原图_y_max roi_img_y_max y1在YOLOv5中推理结果通常通过non_max_suppression函数处理后得到是一个列表列表中的每个元素是对一张图片的检测结果是一个形状为[n, 6]的张量其中n是目标数6列分别是[x1, y1, x2, y2, confidence, class]。我们需要在画框或输出结果前对这个张量里的坐标进行转换# 假设 ‘pred‘ 是模型对单张ROI图片的预测结果形状为 [n, 6] # x1, y1 是ROI在原图中的左上角坐标 if len(pred) 0: # 还原坐标 pred[:, [0, 2]] x1 # x_min 和 x_max 加上 x1 pred[:, [1, 3]] y1 # y_min 和 y_max 加上 y1 # 确保坐标不超过原图边界防止裁剪时ROI定义不精确导致的越界 pred[:, [0, 2]] pred[:, [0, 2]].clamp(min0, maxorig_width) pred[:, [1, 3]] pred[:, [1, 3]].clamp(min0, maxorig_height)现在pred中的坐标就是基于原始大图的了你可以直接用YOLOv5原有的绘图函数如Annotator类在原图orig_img上绘制检测框。4.4 矩形ROI方案小结与心得实操心得ROI定义要留余量如果你检测的目标在边界处定义ROI时稍微往外扩几个像素避免目标紧贴边缘导致特征不完整影响模型置信度。性能考量对于视频流矩形ROI的裁剪数组切片是非常快的操作几乎不增加额外开销。主要的性能提升来自于模型推理计算量的减少。可视化调试在开发阶段务必先将ROI矩形框在原图上画出来确认区域是否正确。可以用cv2.rectangle(orig_img, (x1, y1), (x2, y2), (0, 255, 0), 2)来绘制。矩形ROI简单高效但对于不规则区域如一个L形的路口、一个圆形的仪表盘就力不从心了。这时就需要多边形ROI。5. 方案二多边形ROI检测实现多边形ROI更灵活可以精确勾勒出任意形状的区域。实现思路和矩形类似但“裁剪”这一步变成了“掩码Mask”。5.1 多边形ROI与掩码生成我们使用一个由多个点构成的多边形来定义ROI。同样这些点坐标是相对于原图的。# 定义多边形ROI顶点格式为 [[x1, y1], [x2, y2], ..., [xn, yn]] # 这是一个梯形的例子模拟一个路口区域 polygon_pts np.array([[50, 400], [300, 200], [500, 200], [750, 400]], np.int32) # 注意点需要按顺序连接通常为顺时针或逆时针。 # 创建一个和原图同样大小的全黑掩码 mask np.zeros((orig_height, orig_width), dtypenp.uint8) # 在多边形区域内填充白色255 cv2.fillPoly(mask, [polygon_pts], color255) # 应用掩码将原图与掩码进行按位与操作ROI外区域变为黑色 masked_img cv2.bitwise_and(orig_img, orig_img, maskmask) # 此时 masked_img 中只有多边形内部区域保留原像素外部全是0黑。现在masked_img看起来像是原图上被一个黑色不规则形状遮罩盖住只留出了ROI区域。但直接把它送入YOLOv5会有问题黑色背景区域仍然占用了大量像素计算量没减少而且黑色背景可能被模型误认为是某种物体特征。5.2 获取多边形外接矩形与精确裁剪我们的目标仍然是只把ROI区域送给模型。所以需要找到多边形的最小外接矩形Bounding Box。用这个外接矩形去裁剪masked_img以及对应的掩码mask。但裁剪后ROI区域可能并不紧贴外接矩形的左上角我们需要知道这个偏移量。# 计算多边形的最小外接矩形 x, y, w, h cv2.boundingRect(polygon_pts) # (x,y)是外接矩形左上角w,h是宽高 roi_x, roi_y, roi_w, roi_h x, y, w, h # 裁剪出外接矩形区域 roi_masked_img masked_img[roi_y:roi_yroi_h, roi_x:roi_xroi_w] roi_mask mask[roi_y:roi_yroi_h, roi_x:roi_xroi_w] # 关键步骤创建一个纯黑的背景图大小就是外接矩形然后把ROI区域贴上去 # 这样能确保ROI区域外的像素是统一的黑色且ROI区域位于这张新图的正确位置。 roi_img_for_inference np.zeros((roi_h, roi_w, 3), dtypenp.uint8) roi_img_for_inference[roi_mask 255] roi_masked_img[roi_mask 255]现在roi_img_for_inference就是一张roi_w x roi_h大小的图多边形ROI区域内的像素是原图内容区域外是纯黑。这个“纯黑背景”比之前masked_img中杂乱的原图背景要干净得多。5.3 推理与坐标还原多边形版将roi_img_for_inference送入YOLOv5进行预处理和推理流程和矩形ROI完全一样。坐标还原的公式也和矩形ROI一致因为外接矩形的左上角(roi_x, roi_y)就相当于之前矩形的(x1, y1)。# 模型在 roi_img_for_inference 上预测得到 pred_roi if len(pred_roi) 0: pred_roi[:, [0, 2]] roi_x pred_roi[:, [1, 3]] roi_y # 同样进行边界clamp但是这里有一个至关重要的后续步骤我们只应该保留那些中心点落在原始多边形ROI内的检测框。因为外接矩形是包含多边形区域的在外接矩形内但多边形外的角落模型可能会对黑色背景产生一些无意义的低置信度检测尽管概率小但需排除。from shapely.geometry import Point, Polygon # 创建多边形对象 roi_polygon Polygon(polygon_pts) # 遍历还原坐标后的预测框 pred valid_detections [] for det in pred: x1, y1, x2, y2, conf, cls det # 计算检测框的中心点 center_x (x1 x2) / 2.0 center_y (y1 y2) / 2.0 center_point Point(center_x, center_y) # 判断中心点是否在多边形内 if roi_polygon.contains(center_point): valid_detections.append(det) # ‘valid_detections‘ 才是最终在多边形ROI内的检测结果注意这里使用了shapely库进行几何运算非常方便。你需要先安装它pip install shapely。如果不想引入新依赖也可以使用OpenCV的pointPolygonTest函数但shapely的API更简洁。5.4 多边形ROI方案小结与心得实操心得掩码处理是关键cv2.bitwise_and和后续创建纯黑背景图这两步确保了送入模型的是“干净”的ROI图像最大程度减少了背景干扰。外接矩形是桥梁通过外接矩形我们将不规则ROI的检测问题转化为了一个我们已经解决的矩形ROI检测问题复用性高。中心点过滤不可省这是多边形ROI检测准确性的保证。只靠外接矩形还原坐标会引入多边形外区域的误检。性能权衡多边形ROI比矩形ROI多了掩码计算、外接矩形提取和中心点判断等步骤计算开销稍大。但对于复杂形状的精确检测这点开销是值得的。6. 集成到YOLOv5 Detect脚本的完整示例为了让思路更连贯我提供一个将矩形ROI集成到修改版detect.py中的核心代码片段。假设我们处理的是单张图片。import cv2 import torch import numpy as np from pathlib import Path from models.common import DetectMultiBackend from utils.general import non_max_suppression, scale_boxes from utils.augmentations import letterbox # --- 配置参数 --- weights yolov5s.pt # 模型权重 source test.jpg # 输入图片 roi_rect [200, 150, 600, 450] # [x1, y1, x2, y2] conf_thres 0.25 iou_thres 0.45 # --- 1. 加载模型 --- device torch.device(cuda if torch.cuda.is_available() else cpu) model DetectMultiBackend(weights, devicedevice, dnnFalse, dataNone, fp16False) model.eval() # --- 2. 加载并处理原始图像 --- orig_img cv2.imread(source) if orig_img is None: raise FileNotFoundError(f图像 {source} 未找到) orig_height, orig_width orig_img.shape[:2] # --- 3. 矩形ROI裁剪 --- x1, y1, x2, y2 roi_rect x1, y1 max(0, x1), max(0, y1) x2, y2 min(orig_width, x2), min(orig_height, y2) roi_img orig_img[y1:y2, x1:x2] # --- 4. YOLOv5预处理 (对ROI图像) --- img letterbox(roi_img, 640, stride32, autoTrue)[0] img img.transpose((2, 0, 1))[::-1] # HWC to CHW, BGR to RGB img np.ascontiguousarray(img) img torch.from_numpy(img).to(device) img img.half() if model.fp16 else img.float() img / 255.0 if img.ndimension() 3: img img.unsqueeze(0) # --- 5. 模型推理 --- pred model(img, augmentFalse, visualizeFalse) pred non_max_suppression(pred, conf_thres, iou_thres, classesNone, agnosticFalse, max_det1000) # --- 6. 坐标还原与结果处理 --- detections [] for i, det in enumerate(pred): # 每张图片的检测结果 if len(det): # 将框的坐标从ROI图像尺度还原到原始图像尺度 # 注意letterbox可能对ROI图像进行了填充和缩放需要先还原到ROI图像原始尺寸 det[:, :4] scale_boxes(img.shape[2:], det[:, :4], roi_img.shape).round() # 再将坐标平移到原图坐标系 det[:, [0, 2]] x1 det[:, [1, 3]] y1 # 边界保护 det[:, [0, 2]] det[:, [0, 2]].clamp(min0, maxorig_width) det[:, [1, 3]] det[:, [1, 3]].clamp(min0, maxorig_height) detections.append(det) # --- 7. 可视化 --- if detections: for det in detections[0]: # 这里只处理第一张图的结果 x1, y1, x2, y2, conf, cls det label f{model.names[int(cls)]} {conf:.2f} # 在原图上画检测框 cv2.rectangle(orig_img, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2) cv2.putText(orig_img, label, (int(x1), int(y1)-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,255,0), 2) # 画出ROI区域边界绿色矩形 cv2.rectangle(orig_img, (x1, y1), (x2, y2), (0, 0, 255), 2) cv2.imwrite(result.jpg, orig_img) print(检测完成结果已保存至 result.jpg)这段代码展示了核心流程。对于多边形ROI你需要将第3步和第6步的坐标还原部分替换成前面章节介绍的多边形掩码和外接矩形方法并在第6步后加入中心点过滤。7. 常见问题与排查技巧实录在实际部署区域检测时你肯定会遇到一些坑。这里我记录了几个最常见的问题和解决方法。7.1 问题一检测框在还原后位置偏移或错乱现象在ROI子图上检测正确的框还原到原图后要么没对齐要么大小不对。排查步骤检查坐标系统一性确保你记录的原图ROI原点(x1, y1)是整数并且与裁剪时使用的切片坐标完全一致。OpenCV的切片是[y:yh, x:xw]原点(x,y)对应列和行。验证letterbox缩放YOLOv5的letterbox函数会在保持长宽比的情况下将图像缩放到模型输入尺寸如640并在上下或左右填充灰边。scale_boxes函数就是用来将模型输出的、基于填充后图像的坐标反算回原始输入图像这里是roi_img的坐标。务必在第一次坐标变换从模型输出到ROI子图时使用scale_boxes然后再做第二次平移加x1, y1。我上面提供的示例代码就遵循了这个顺序。打印中间变量在关键步骤后打印出ROI子图的尺寸、模型输入张量的尺寸、预测框的原始坐标、经过scale_boxes后的坐标、以及最终还原后的坐标。通过对比这些数据很容易定位是哪个转换环节出了问题。7.2 问题二ROI区域边缘的目标检测不到或置信度低现象目标明明有一部分在ROI内但模型要么检不出要么给的置信度很低。原因与解决原因目标被ROI边界切割特征不完整。YOLOv5等检测器对完整目标的特征更敏感。解决扩大ROI在定义ROI时根据目标平均尺寸适当向外扩展一定的像素如10-20像素给模型一个缓冲区域。调整NMS参数如果切割不严重模型可能仍会输出一个置信度较低的框。可以适当降低conf_thres置信度阈值并在后处理中对于中心点在ROI内但框体部分超出ROI的目标予以保留。业务逻辑处理对于计数等严格应用可以定义规则如“框体与ROI的交并比IoU大于某个阈值如0.5才计数”。7.3 问题三处理视频流时性能提升不显著现象对视频做ROI检测帧率FPS没有预期中提升那么多。排查与优化性能瓶颈分析使用Python的cProfile或简单的time.time()测量每一帧各个步骤的耗时图像解码/读取、ROI裁剪、预处理、模型推理、后处理。你会发现对于高分辨率视频图像解码可能才是最大的开销尤其是用cv2.VideoCapture读取摄像头或视频文件时。优化建议硬件解码如果可能利用GPU或专用硬件进行视频解码。降低读取分辨率如果ROI只占画面一小部分可以考虑先用较低分辨率读取整帧定位ROI区域后再切换到高分辨率区域进行裁剪检测这需要相机支持或复杂的流程通常不如直接全分辨率裁剪简单。裁剪前置如果是从摄像头获取数据看看驱动或SDK是否支持直接输出某个区域的子图即ROI这能在数据源头就减少数据量是最有效的优化。推理引擎优化确保使用了TensorRT、OpenVINO等推理加速并且半精度FP16或整型INT8量化是开启的。ROI减少了输入尺寸量化收益会更明显。7.4 问题四多边形ROI中心点过滤计算慢现象使用shapely的contains方法逐框判断中心点当检测框数量很多时n 100循环判断可能成为瓶颈。优化方案向量化计算shapely库本身对单个对象的操作很快但循环调用contains是瓶颈。可以将所有检测框的中心点打包成一个numpy数组然后利用shapely.vectorized.contains如果版本支持或matplotlib.path.Path的contains_points方法进行批量判断速度能提升一个数量级。# 使用 matplotlib.path.Path 进行批量点判断 (备选方案) from matplotlib.path import Path # 创建Path对象 roi_path Path(polygon_pts) # 准备所有中心点 center_points np.column_stack((pred[:, 0:2] pred[:, 2:4]) / 2) # shape: (n, 2) # 批量判断 inside_flags roi_path.contains_points(center_points) valid_detections pred[inside_flags]区域目标检测是YOLOv5工程化应用中一个非常实用的技巧。它背后的思想——将计算资源聚焦在关键区域——在资源受限的边缘设备和需要高并发的服务器端都极具价值。掌握矩形和多边形这两种ROI的处理方法你就能应对绝大多数定制化检测场景。记住核心流程定义ROI、提取区域、推理、坐标还原。多动手调试关注坐标转换的细节你就能轻松实现从“看全图”到“盯重点”的升级。 
长河君 · 2026/8/15 4:22:30 · 阅读 1.2k YOLOv5区域目标检测实战：矩形与多边形ROI预处理优化方案
1. 项目概述从“看全图”到“盯重点”的思维转变在计算机视觉的日常项目里目标检测是个高频需求。我们常常用YOLOv5这样的模型丢给它一张图它就能把图中所有的猫猫狗狗、车辆行人给框出来这属于全局检测。但实际工作中更常见的是另一种场景我只关心画面里某个特定区域的东西。比如监控摄像头画面很大但我只想知道十字路口那个红绿灯区域里有没有行人闯红灯又或者在工业质检中传送带图像背景复杂我只检测产品固定摆放区域内的瑕疵。这种“划定区域只检区内”的需求就是区域目标检测也叫感兴趣区域ROI检测。很多朋友在初次接触这个需求时会走弯路有人试图重新标注ROI内的数据去训练一个“专用”模型费时费力有人想在模型推理后用框的坐标去和ROI多边形做复杂的几何运算逻辑繁琐且效率不高。其实YOLOv5本身提供了非常优雅且高效的解决方案核心思路就一句话在数据预处理阶段将ROI区域“裁剪”或“掩码”出来只把这块区域送给模型去检测。这样做模型本身无需任何改动我们只是在喂给它数据之前动了一点“手脚”。这篇文章我就以最常见的矩形ROI和多边形ROI为例手把手带你走通整个流程。你会看到从ROI坐标定义到推理代码改造再到后处理优化每一步都有需要注意的细节和能提升效率的技巧。无论你是用YOLOv5做安防、交通、还是工业视觉项目这个技能都能让你事半功倍。2. 核心思路拆解为什么是“预处理”而非“后处理”在深入代码之前我们必须先统一思想为什么区域检测的最佳实践是在预处理阶段做文章而不是在模型输出之后再做筛选2.1 预处理方案的优势设想一下一张1920x1080的高清图你只关心右下角一个400x300的小区域。如果让YOLOv5去检测整张图它需要处理超过200万个像素点计算量大而且背景中的无关物体会产生大量无效计算甚至误检。然后你再从成百上千个检测框里用几何方法筛选出落在400x300区域内的那几个整个过程冗余且低效。预处理方案则截然不同。它的流程是定义ROI在图像上标定出你关心的区域一个矩形或多边形。提取ROI在推理前从原图中精确地“抠出”这个ROI区域的图像。坐标转换因为“抠图”会导致图像坐标系原点变化所以需要记录这个转换关系。模型推理只把这块小图400x300送入YOLOv5进行检测。坐标还原将模型在小图上预测出的边界框坐标根据步骤3记录的转换关系映射回原始大图的坐标系。这样做的好处显而易见计算量锐减模型只处理ROI区域速度大幅提升尤其对高分辨率视频流实时处理意义重大。精度提升模型不再受ROI外复杂背景的干扰专注于目标区域通常能减少误检False Positives。逻辑清晰整个流程模块化ROI定义、图像裁剪、坐标映射各司其职代码易于维护和调试。2.2 关键挑战与应对思路当然这个方案也有两个技术点需要妥善处理ROI内目标被切割的问题如果一个目标刚好一部分在ROI内一部分在ROI外直接裁剪会导致一个完整目标被切成两半模型可能无法正确识别。对于严格的应用如计数我们通常定义ROI时就要尽量避免切割关键目标或者在后处理时根据需求特别处理这类“跨界”目标。坐标映射的精度从ROI子图坐标还原回原图坐标必须是可逆的、无损的。这里涉及到简单的仿射变换核心是记住ROI在原图中的起始点对于矩形是左上角坐标(x_roi, y_roi)。理解了“为什么这么做”接下来我们就进入实战环节。我会分别用矩形和多边形ROI来演示这是两种最主流的形状。3. 实战准备环境与基础代码在开始改造之前确保你有一个能正常运行的YOLOv5环境。这里假设你使用的是PyTorch版本的YOLOv5。# 克隆YOLOv5官方仓库如果你还没有 git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt # 安装依赖我们以YOLOv5自带的detect.py推理脚本为基础进行修改。为了清晰我建议你创建一个新的文件比如detect_roi.py将detect.py的内容复制过来然后在此基础上修改。核心思路我们的主要修改将集中在数据加载和预处理部分以及结果后处理部分。模型加载、推理引擎部分完全不需要动。4. 方案一矩形ROI检测实现矩形ROI是最简单的情况用左上角(x1, y1)和右下角(x2, y2)两个点就能定义。很多监控场景的检测区域如一条车道、一个窗口都可以近似为矩形。4.1 ROI定义与图像裁剪首先我们需要定义ROI。你可以写死在代码里也可以通过配置文件读取更灵活的方式是画一个GUI工具来标定比如用OpenCV。这里为了演示我们直接硬编码。假设我们的原图是img.jpg我们只关心其中(200, 150)到(600, 450)这个矩形区域。import cv2 import torch import numpy as np # 1. 加载原始图像 orig_img cv2.imread(img.jpg) if orig_img is None: raise FileNotFoundError(图像文件未找到) orig_height, orig_width orig_img.shape[:2] # 2. 定义矩形ROI [x1, y1, x2, y2] roi_rect [200, 150, 600, 450] # 请根据你的图像实际大小调整 x1, y1, x2, y2 roi_rect # 3. 确保ROI在图像范围内 x1, y1 max(0, x1), max(0, y1) x2, y2 min(orig_width, x2), min(orig_height, y2) # 4. 裁剪ROI区域 roi_img orig_img[y1:y2, x1:x2] roi_height, roi_width roi_img.shape[:2] print(f原图尺寸{orig_width}x{orig_height}) print(fROI区域{roi_width}x{roi_height} 左上角原点在原图坐标({x1}, {y1}))注意OpenCV的图像坐标是(y, x)即行在前列在后。所以裁剪时是img[y1:y2, x1:x2]。这一点务必牢记否则会裁错区域或导致数组维度错误。4.2 适配YOLOv5推理流程YOLOv5的detect.py脚本使用了一个LoadImages或LoadStreams类来加载和预处理图像。我们需要把上面裁剪得到的roi_img按照YOLOv5要求的方式进行处理。关键点在于YOLOv5的预处理管道包括缩放、填充、归一化等期望输入是原始图像。现在我们的“原始图像”变成了roi_img。所以我们需要模拟一个从roi_img开始的流程。一个比较直接的方法是修改数据加载器但为了最小化改动我们可以在主循环中对每一帧都执行上述裁剪操作然后将roi_img送入YOLOv5的预处理函数。YOLOv5的预处理通常由letterbox函数完成。# 假设我们位于修改后的 detect_roi.py 的主推理循环中 from utils.augmentations import letterbox # ... 模型加载等初始化代码 ... # 对于每一帧图像 ‘orig_img‘ # 进行上述ROI裁剪得到 roi_img, x1, y1, roi_width, roi_height # YOLOv5风格的预处理缩放并填充到模型输入尺寸如640x640 img letterbox(roi_img, 640, stride32, autoTrue)[0] # 返回处理后的图像 # 后续的转换BGR-RGB, HWC-CHW, 归一化等... img img.transpose((2, 0, 1))[::-1] # HWC to CHW, BGR to RGB img np.ascontiguousarray(img) img torch.from_numpy(img).to(device) img img.half() if half else img.float() # 半精度或全精度 img / 255.0 # 归一化 0 - 255 to 0.0 - 1.0 if img.ndimension() 3: img img.unsqueeze(0) # 现在 ‘img‘ 就是可以直接送入模型 ‘model(img)‘ 的张量了4.3 检测框坐标还原模型在roi_img上做出了预测得到的边界框坐标(x_min, y_min, x_max, y_max)是基于roi_img这个子图的坐标系其原点(0,0)对应原图的(x1, y1)。因此还原公式非常简单原图_x_min roi_img_x_min x1 原图_y_min roi_img_y_min y1 原图_x_max roi_img_x_max x1 原图_y_max roi_img_y_max y1在YOLOv5中推理结果通常通过non_max_suppression函数处理后得到是一个列表列表中的每个元素是对一张图片的检测结果是一个形状为[n, 6]的张量其中n是目标数6列分别是[x1, y1, x2, y2, confidence, class]。我们需要在画框或输出结果前对这个张量里的坐标进行转换# 假设 ‘pred‘ 是模型对单张ROI图片的预测结果形状为 [n, 6] # x1, y1 是ROI在原图中的左上角坐标 if len(pred) 0: # 还原坐标 pred[:, [0, 2]] x1 # x_min 和 x_max 加上 x1 pred[:, [1, 3]] y1 # y_min 和 y_max 加上 y1 # 确保坐标不超过原图边界防止裁剪时ROI定义不精确导致的越界 pred[:, [0, 2]] pred[:, [0, 2]].clamp(min0, maxorig_width) pred[:, [1, 3]] pred[:, [1, 3]].clamp(min0, maxorig_height)现在pred中的坐标就是基于原始大图的了你可以直接用YOLOv5原有的绘图函数如Annotator类在原图orig_img上绘制检测框。4.4 矩形ROI方案小结与心得实操心得ROI定义要留余量如果你检测的目标在边界处定义ROI时稍微往外扩几个像素避免目标紧贴边缘导致特征不完整影响模型置信度。性能考量对于视频流矩形ROI的裁剪数组切片是非常快的操作几乎不增加额外开销。主要的性能提升来自于模型推理计算量的减少。可视化调试在开发阶段务必先将ROI矩形框在原图上画出来确认区域是否正确。可以用cv2.rectangle(orig_img, (x1, y1), (x2, y2), (0, 255, 0), 2)来绘制。矩形ROI简单高效但对于不规则区域如一个L形的路口、一个圆形的仪表盘就力不从心了。这时就需要多边形ROI。5. 方案二多边形ROI检测实现多边形ROI更灵活可以精确勾勒出任意形状的区域。实现思路和矩形类似但“裁剪”这一步变成了“掩码Mask”。5.1 多边形ROI与掩码生成我们使用一个由多个点构成的多边形来定义ROI。同样这些点坐标是相对于原图的。# 定义多边形ROI顶点格式为 [[x1, y1], [x2, y2], ..., [xn, yn]] # 这是一个梯形的例子模拟一个路口区域 polygon_pts np.array([[50, 400], [300, 200], [500, 200], [750, 400]], np.int32) # 注意点需要按顺序连接通常为顺时针或逆时针。 # 创建一个和原图同样大小的全黑掩码 mask np.zeros((orig_height, orig_width), dtypenp.uint8) # 在多边形区域内填充白色255 cv2.fillPoly(mask, [polygon_pts], color255) # 应用掩码将原图与掩码进行按位与操作ROI外区域变为黑色 masked_img cv2.bitwise_and(orig_img, orig_img, maskmask) # 此时 masked_img 中只有多边形内部区域保留原像素外部全是0黑。现在masked_img看起来像是原图上被一个黑色不规则形状遮罩盖住只留出了ROI区域。但直接把它送入YOLOv5会有问题黑色背景区域仍然占用了大量像素计算量没减少而且黑色背景可能被模型误认为是某种物体特征。5.2 获取多边形外接矩形与精确裁剪我们的目标仍然是只把ROI区域送给模型。所以需要找到多边形的最小外接矩形Bounding Box。用这个外接矩形去裁剪masked_img以及对应的掩码mask。但裁剪后ROI区域可能并不紧贴外接矩形的左上角我们需要知道这个偏移量。# 计算多边形的最小外接矩形 x, y, w, h cv2.boundingRect(polygon_pts) # (x,y)是外接矩形左上角w,h是宽高 roi_x, roi_y, roi_w, roi_h x, y, w, h # 裁剪出外接矩形区域 roi_masked_img masked_img[roi_y:roi_yroi_h, roi_x:roi_xroi_w] roi_mask mask[roi_y:roi_yroi_h, roi_x:roi_xroi_w] # 关键步骤创建一个纯黑的背景图大小就是外接矩形然后把ROI区域贴上去 # 这样能确保ROI区域外的像素是统一的黑色且ROI区域位于这张新图的正确位置。 roi_img_for_inference np.zeros((roi_h, roi_w, 3), dtypenp.uint8) roi_img_for_inference[roi_mask 255] roi_masked_img[roi_mask 255]现在roi_img_for_inference就是一张roi_w x roi_h大小的图多边形ROI区域内的像素是原图内容区域外是纯黑。这个“纯黑背景”比之前masked_img中杂乱的原图背景要干净得多。5.3 推理与坐标还原多边形版将roi_img_for_inference送入YOLOv5进行预处理和推理流程和矩形ROI完全一样。坐标还原的公式也和矩形ROI一致因为外接矩形的左上角(roi_x, roi_y)就相当于之前矩形的(x1, y1)。# 模型在 roi_img_for_inference 上预测得到 pred_roi if len(pred_roi) 0: pred_roi[:, [0, 2]] roi_x pred_roi[:, [1, 3]] roi_y # 同样进行边界clamp但是这里有一个至关重要的后续步骤我们只应该保留那些中心点落在原始多边形ROI内的检测框。因为外接矩形是包含多边形区域的在外接矩形内但多边形外的角落模型可能会对黑色背景产生一些无意义的低置信度检测尽管概率小但需排除。from shapely.geometry import Point, Polygon # 创建多边形对象 roi_polygon Polygon(polygon_pts) # 遍历还原坐标后的预测框 pred valid_detections [] for det in pred: x1, y1, x2, y2, conf, cls det # 计算检测框的中心点 center_x (x1 x2) / 2.0 center_y (y1 y2) / 2.0 center_point Point(center_x, center_y) # 判断中心点是否在多边形内 if roi_polygon.contains(center_point): valid_detections.append(det) # ‘valid_detections‘ 才是最终在多边形ROI内的检测结果注意这里使用了shapely库进行几何运算非常方便。你需要先安装它pip install shapely。如果不想引入新依赖也可以使用OpenCV的pointPolygonTest函数但shapely的API更简洁。5.4 多边形ROI方案小结与心得实操心得掩码处理是关键cv2.bitwise_and和后续创建纯黑背景图这两步确保了送入模型的是“干净”的ROI图像最大程度减少了背景干扰。外接矩形是桥梁通过外接矩形我们将不规则ROI的检测问题转化为了一个我们已经解决的矩形ROI检测问题复用性高。中心点过滤不可省这是多边形ROI检测准确性的保证。只靠外接矩形还原坐标会引入多边形外区域的误检。性能权衡多边形ROI比矩形ROI多了掩码计算、外接矩形提取和中心点判断等步骤计算开销稍大。但对于复杂形状的精确检测这点开销是值得的。6. 集成到YOLOv5 Detect脚本的完整示例为了让思路更连贯我提供一个将矩形ROI集成到修改版detect.py中的核心代码片段。假设我们处理的是单张图片。import cv2 import torch import numpy as np from pathlib import Path from models.common import DetectMultiBackend from utils.general import non_max_suppression, scale_boxes from utils.augmentations import letterbox # --- 配置参数 --- weights yolov5s.pt # 模型权重 source test.jpg # 输入图片 roi_rect [200, 150, 600, 450] # [x1, y1, x2, y2] conf_thres 0.25 iou_thres 0.45 # --- 1. 加载模型 --- device torch.device(cuda if torch.cuda.is_available() else cpu) model DetectMultiBackend(weights, devicedevice, dnnFalse, dataNone, fp16False) model.eval() # --- 2. 加载并处理原始图像 --- orig_img cv2.imread(source) if orig_img is None: raise FileNotFoundError(f图像 {source} 未找到) orig_height, orig_width orig_img.shape[:2] # --- 3. 矩形ROI裁剪 --- x1, y1, x2, y2 roi_rect x1, y1 max(0, x1), max(0, y1) x2, y2 min(orig_width, x2), min(orig_height, y2) roi_img orig_img[y1:y2, x1:x2] # --- 4. YOLOv5预处理 (对ROI图像) --- img letterbox(roi_img, 640, stride32, autoTrue)[0] img img.transpose((2, 0, 1))[::-1] # HWC to CHW, BGR to RGB img np.ascontiguousarray(img) img torch.from_numpy(img).to(device) img img.half() if model.fp16 else img.float() img / 255.0 if img.ndimension() 3: img img.unsqueeze(0) # --- 5. 模型推理 --- pred model(img, augmentFalse, visualizeFalse) pred non_max_suppression(pred, conf_thres, iou_thres, classesNone, agnosticFalse, max_det1000) # --- 6. 坐标还原与结果处理 --- detections [] for i, det in enumerate(pred): # 每张图片的检测结果 if len(det): # 将框的坐标从ROI图像尺度还原到原始图像尺度 # 注意letterbox可能对ROI图像进行了填充和缩放需要先还原到ROI图像原始尺寸 det[:, :4] scale_boxes(img.shape[2:], det[:, :4], roi_img.shape).round() # 再将坐标平移到原图坐标系 det[:, [0, 2]] x1 det[:, [1, 3]] y1 # 边界保护 det[:, [0, 2]] det[:, [0, 2]].clamp(min0, maxorig_width) det[:, [1, 3]] det[:, [1, 3]].clamp(min0, maxorig_height) detections.append(det) # --- 7. 可视化 --- if detections: for det in detections[0]: # 这里只处理第一张图的结果 x1, y1, x2, y2, conf, cls det label f{model.names[int(cls)]} {conf:.2f} # 在原图上画检测框 cv2.rectangle(orig_img, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2) cv2.putText(orig_img, label, (int(x1), int(y1)-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,255,0), 2) # 画出ROI区域边界绿色矩形 cv2.rectangle(orig_img, (x1, y1), (x2, y2), (0, 0, 255), 2) cv2.imwrite(result.jpg, orig_img) print(检测完成结果已保存至 result.jpg)这段代码展示了核心流程。对于多边形ROI你需要将第3步和第6步的坐标还原部分替换成前面章节介绍的多边形掩码和外接矩形方法并在第6步后加入中心点过滤。7. 常见问题与排查技巧实录在实际部署区域检测时你肯定会遇到一些坑。这里我记录了几个最常见的问题和解决方法。7.1 问题一检测框在还原后位置偏移或错乱现象在ROI子图上检测正确的框还原到原图后要么没对齐要么大小不对。排查步骤检查坐标系统一性确保你记录的原图ROI原点(x1, y1)是整数并且与裁剪时使用的切片坐标完全一致。OpenCV的切片是[y:yh, x:xw]原点(x,y)对应列和行。验证letterbox缩放YOLOv5的letterbox函数会在保持长宽比的情况下将图像缩放到模型输入尺寸如640并在上下或左右填充灰边。scale_boxes函数就是用来将模型输出的、基于填充后图像的坐标反算回原始输入图像这里是roi_img的坐标。务必在第一次坐标变换从模型输出到ROI子图时使用scale_boxes然后再做第二次平移加x1, y1。我上面提供的示例代码就遵循了这个顺序。打印中间变量在关键步骤后打印出ROI子图的尺寸、模型输入张量的尺寸、预测框的原始坐标、经过scale_boxes后的坐标、以及最终还原后的坐标。通过对比这些数据很容易定位是哪个转换环节出了问题。7.2 问题二ROI区域边缘的目标检测不到或置信度低现象目标明明有一部分在ROI内但模型要么检不出要么给的置信度很低。原因与解决原因目标被ROI边界切割特征不完整。YOLOv5等检测器对完整目标的特征更敏感。解决扩大ROI在定义ROI时根据目标平均尺寸适当向外扩展一定的像素如10-20像素给模型一个缓冲区域。调整NMS参数如果切割不严重模型可能仍会输出一个置信度较低的框。可以适当降低conf_thres置信度阈值并在后处理中对于中心点在ROI内但框体部分超出ROI的目标予以保留。业务逻辑处理对于计数等严格应用可以定义规则如“框体与ROI的交并比IoU大于某个阈值如0.5才计数”。7.3 问题三处理视频流时性能提升不显著现象对视频做ROI检测帧率FPS没有预期中提升那么多。排查与优化性能瓶颈分析使用Python的cProfile或简单的time.time()测量每一帧各个步骤的耗时图像解码/读取、ROI裁剪、预处理、模型推理、后处理。你会发现对于高分辨率视频图像解码可能才是最大的开销尤其是用cv2.VideoCapture读取摄像头或视频文件时。优化建议硬件解码如果可能利用GPU或专用硬件进行视频解码。降低读取分辨率如果ROI只占画面一小部分可以考虑先用较低分辨率读取整帧定位ROI区域后再切换到高分辨率区域进行裁剪检测这需要相机支持或复杂的流程通常不如直接全分辨率裁剪简单。裁剪前置如果是从摄像头获取数据看看驱动或SDK是否支持直接输出某个区域的子图即ROI这能在数据源头就减少数据量是最有效的优化。推理引擎优化确保使用了TensorRT、OpenVINO等推理加速并且半精度FP16或整型INT8量化是开启的。ROI减少了输入尺寸量化收益会更明显。7.4 问题四多边形ROI中心点过滤计算慢现象使用shapely的contains方法逐框判断中心点当检测框数量很多时n 100循环判断可能成为瓶颈。优化方案向量化计算shapely库本身对单个对象的操作很快但循环调用contains是瓶颈。可以将所有检测框的中心点打包成一个numpy数组然后利用shapely.vectorized.contains如果版本支持或matplotlib.path.Path的contains_points方法进行批量判断速度能提升一个数量级。# 使用 matplotlib.path.Path 进行批量点判断 (备选方案) from matplotlib.path import Path # 创建Path对象 roi_path Path(polygon_pts) # 准备所有中心点 center_points np.column_stack((pred[:, 0:2] pred[:, 2:4]) / 2) # shape: (n, 2) # 批量判断 inside_flags roi_path.contains_points(center_points) valid_detections pred[inside_flags]区域目标检测是YOLOv5工程化应用中一个非常实用的技巧。它背后的思想——将计算资源聚焦在关键区域——在资源受限的边缘设备和需要高并发的服务器端都极具价值。掌握矩形和多边形这两种ROI的处理方法你就能应对绝大多数定制化检测场景。记住核心流程定义ROI、提取区域、推理、坐标还原。多动手调试关注坐标转换的细节你就能轻松实现从“看全图”到“盯重点”的升级。