1. 从一张航拍图说起道路坑洞检测为什么成了低空视觉的硬骨头第一次接触道路坑洞检测这个方向是在一个市政巡检的项目里。当时甲方给的需求很朴素用无人机沿着主干道飞一圈把路面上的坑洞、裂缝、沉陷都标出来最好还能给出位置和面积。听起来不难但真正上手之后才发现这件事的难度远超预期。坑洞在航拍图里往往只占几十个像素背景是灰黑色的沥青对比度极低光照一变、阴影一压肉眼都得盯着看半天更别说让模型稳定识别了。这就是典型的低空目标检测场景而且叠加了小目标和道路缺陷两个难点。它和常规的车辆检测、行人检测完全不是一个量级的问题。车辆检测里目标动辄上百像素特征丰富模型很容易学到轮廓和纹理而道路坑洞尤其是早期的小坑、细裂缝在图像里就是一小团模糊的暗斑稍不留神就被当成路面纹理噪声过滤掉了。所以当我看到无人机道路坑洞识别检测数据集这个方向时第一反应是这东西的价值不在于数据集本身有多大而在于它把交通市政巡检这个真实需求和无人机视觉感知这条技术路线接上了。它服务的是高速公路、城市道路的日常养护是那种早发现早修补、避免小坑变大洞的刚需场景。适合谁来参考做智慧交通的算法工程师、搞市政巡检的无人机应用团队、研究小目标检测的科研人员以及想入门低空视觉目标检测的学生都能从这个方向里找到自己的切入点。接下来我不打算泛泛而谈数据集很重要这种废话而是把这类数据集从采集、标注、增强到训练、部署的完整链路拆开讲重点说清楚那些只有真正做过的人才会踩的坑。2. 道路坑洞数据集到底长什么样类别、标注与采集逻辑2.1 坑洞、裂缝、沉陷类别体系怎么定才不返工很多人拿到一个检测任务第一件事就是打开标注工具开始框结果标到一半发现类别定义模糊坑洞和沉陷分不清裂缝和接缝混在一起最后整个数据集废掉重来。道路缺陷的类别体系必须在采集之前就定死。从市政养护的实际业务出发道路缺陷通常可以拆成这么几类类别典型形态检测难点养护优先级坑洞圆形或不规则凹陷边缘破损小目标、阴影干扰高横向裂缝垂直于行车方向的线状裂缝细长、易断中纵向裂缝平行于行车方向的线状裂缝与车道线混淆中网状裂缝龟裂、块状破碎边界模糊高沉陷大面积下凹变形与正常起伏难区分高修补痕迹已修补的沥青块易误报为缺陷低这里有个经验类别不是越多越好。如果你只是做坑洞识别那就老老实实只标坑洞把裂缝、沉陷都归到其他或者干脆不标。类别一多标注一致性立刻下降不同标注员对这算不算沉陷的判断能差出天际最后模型学到的是一堆矛盾的标签。我个人的建议是第一版数据集先做二分类或者三分类把坑洞这个核心目标做扎实等模型稳定了再考虑扩展类别。市政巡检里最紧急的就是坑洞因为它直接影响行车安全裂缝可以慢慢修坑洞不补第二天就可能爆胎。2.2 无人机航拍采集高度、角度、光照的三个变量数据集的质量七成取决于采集。无人机采集道路缺陷有三个变量必须控制好否则标注和训练都会遭殃。飞行高度直接决定目标像素大小。飞得太高坑洞只有几个像素标注框都画不准飞得太低单张图覆盖面积小采集效率低而且容易触发无人机的避障。实测下来针对坑洞检测相对地面高度控制在15到30米比较合适这个区间里一个直径30厘米的坑洞大约能占到20到50像素既不至于太小又能保证一定的覆盖宽度。拍摄角度建议以正下视为主倾斜角度不超过30度。正下视的好处是几何畸变小坑洞的形状和面积估算更准但纯正下视会丢失路面的立体感坑洞的深度信息看不出来。所以实际采集时我会用正下视加少量倾斜视角混合倾斜视角主要用来辅助判断坑洞的边界。光照条件是最容易被忽略的。正午强光下路面反光严重坑洞和周围沥青的对比度反而下降清晨和傍晚的斜射光会拉出长阴影阴影容易被误标成坑洞。我的做法是采集时尽量覆盖多种光照晴天正午、阴天、清晨、傍晚各采一批让模型见过各种光照下的坑洞形态。这样训出来的模型换个时间段飞也不会崩。提示采集时一定要同步记录每张图的飞行高度、GPS坐标和拍摄时间。这些元数据在后期做地理定位和缺陷去重时是刚需事后补是补不回来的。2.3 标注规范框到哪、算不算、怎么处理遮挡标注环节是数据集质量的分水岭。道路坑洞的标注有几个细节必须写进规范文档否则不同人标出来的框能差出一倍。第一边界框的松紧。坑洞边缘往往是渐变的从完好的沥青到破碎的坑壁没有清晰界线。规范里要明确框住坑洞最外圈的破损边缘不要把周围完好的沥青框进去也不要只框最暗的核心区域。这个标准要配示例图让所有标注员对齐。第二最小标注尺寸。低于多少像素的坑洞就不标了这个阈值要结合你的检测目标来定。如果模型最终要检测直径20厘米以上的坑洞那对应到图像里小于10像素的目标就可以忽略否则会引入大量噪声标签拉低模型精度。第三遮挡和截断的处理。坑洞被车辆、阴影、水渍遮挡时怎么办我的做法是遮挡面积超过50%的不标低于50%的按可见部分标注并打上部分遮挡标签。截断在图像边缘的坑洞如果可见部分足够判断是坑洞就标否则丢弃。第四负样本的采集。这一点极其重要但经常被跳过。路面上的井盖、修补块、油渍、落叶堆都长得像坑洞。如果不专门采集这些假坑洞作为负样本模型上线后误报率会高得离谱。我一般会让负样本占到总数据量的20%到30%。3. 小目标检测的破局思路从数据增强到模型结构3.1 为什么通用检测模型在坑洞上会失灵拿一个在COCO上训得很好的YOLO模型直接去测道路坑洞结果通常惨不忍睹。原因不复杂COCO里的目标平均尺寸大、特征丰富模型的主干网络经过多次下采样后大目标的特征还保留得不错但小目标经过五六次下采样几十个像素的坑洞在特征图上就剩两三个像素了信息几乎丢光。这就是小目标检测的核心矛盾下采样带来语义信息同时丢失空间细节。坑洞这种目标既需要细节来判断这里有个凹陷又需要一定的语义来区分这是坑洞不是井盖。通用模型在这个平衡上是偏向大目标的。另一个问题是正负样本极度不平衡。一张航拍图里可能就一两个坑洞其余全是正常路面。如果按常规的锚框匹配策略正样本少得可怜模型很快学会全部预测为背景这个偷懒策略损失看着在降实际啥也没学到。3.2 数据层面的增强小目标复制粘贴与马赛克在动模型结构之前先把数据层面的功夫做足性价比最高。小目标复制粘贴是我最常用的手段。具体做法是从标注好的图里把坑洞区域裁剪出来随机粘贴到其他正常路面图像上同时更新标注框。这样能在不增加采集成本的前提下成倍增加小目标样本数量。注意粘贴时要处理边缘融合直接硬贴会留下明显的矩形边界模型会学到这个伪特征。简单的高斯模糊羽化或者泊松融合就能缓解。马赛克增强Mosaic把四张图拼成一张天然增加了小目标的出现密度同时让模型见到更多背景组合。这个在YOLO系列里已经是标配但对坑洞检测尤其有效因为拼接后一张图里可能出现四五个坑洞正样本密度上来了。随机缩放和裁剪要慎用。坑洞本身就是小目标你再缩小它就没了。我的做法是缩放范围控制在0.8到1.2倍之间裁剪时保证不把已标注的坑洞裁掉一半以上。# 小目标复制粘贴的简化逻辑示意 import random import cv2 import numpy as np def copy_paste_augment(src_img, src_boxes, dst_img, dst_boxes, max_paste3): 从源图裁剪坑洞粘贴到目标图 result_img dst_img.copy() result_boxes list(dst_boxes) paste_count 0 for box in src_boxes: if paste_count max_paste: break x1, y1, x2, y2 box patch src_img[y1:y2, x1:x2] # 随机选择粘贴位置 h, w patch.shape[:2] new_x random.randint(0, dst_img.shape[1] - w) new_y random.randint(0, dst_img.shape[0] - h) # 羽化边缘避免硬边界 patch cv2.GaussianBlur(patch, (5, 5), 0) result_img[new_y:new_yh, new_x:new_xw] patch result_boxes.append([new_x, new_y, new_xw, new_yh]) paste_count 1 return result_img, result_boxes这段代码只是示意实际用的时候要处理重叠检测、边界越界、颜色一致性等问题。但核心思路就是用合成的方式把小目标的密度提上去。3.3 模型侧的关键改动高分辨率特征图与注意力数据增强做完模型侧还得配合。针对坑洞这类小目标有几个改动是经过验证有效的。提高输入分辨率是最直接的一招。把输入从640×640提到1280×1280小目标在特征图上的像素数直接翻倍。代价是显存和推理时间上去了但如果你的部署平台算力够这是最省心的方案。实测下来分辨率翻倍对小目标召回率的提升能有十几个百分点。保留高分辨率特征图。标准YOLO的检测头接在P3、P4、P5三层P3是下采样8倍的特征图。对于特别小的坑洞可以考虑再加一个P2层下采样4倍专门负责最小的目标。代价是计算量增加而且P2层的语义信息弱容易误报需要配合更强的上下文信息。注意力机制在小目标上效果明显。像CBAM、SE这类通道注意力能让模型更关注那些包含小目标的区域。我试过在主干网络后面加一个轻量的注意力模块坑洞的召回率有稳定提升而且参数量增加很少。损失函数的调整也不能忽视。小目标的正样本少可以用Focal Loss来缓解正负样本不平衡或者调整正样本匹配的阈值让更多的小目标锚框被匹配为正样本。YOLOv8之后用的TaskAlignedAssigner在这方面已经比早期的IoU匹配好很多但针对极端小目标还是可以手动放宽匹配条件。4. 从标注文件到可训练数据集格式转换与质量校验4.1 主流标注格式的取舍COCO、YOLO、VOC怎么选数据集标注完格式选不对后面训练脚本改到崩溃。道路坑洞检测常用的就三种格式各有各的适用场景。YOLO格式最简洁每张图对应一个txt文件每行是类别 x_center y_center width height坐标都归一化到0到1。优点是读取快、解析简单训练脚本几乎不用改。缺点是丢失了图像尺寸信息虽然可以从图片读而且不适合表达复杂标注比如分割掩码。COCO格式是单个JSON文件管所有标注信息全支持分割、关键点、多类别评估工具也成熟。缺点是文件大解析慢改起来容易出错。如果你要做的不只是检测还要做实例分割把坑洞的精确轮廓抠出来那COCO是首选。VOC格式是每张图一个XML结构清晰但冗余现在用得越来越少。我的建议训练用YOLO格式评估和交付用COCO格式。训练时YOLO格式加载快省时间评估时转成COCO用pycocotools算mAP标准且可比。转换脚本写一次就能复用。# YOLO转COCO的核心逻辑 import json import os from PIL import Image def yolo_to_coco(img_dir, label_dir, class_names, output_json): coco { images: [], annotations: [], categories: [] } for i, name in enumerate(class_names): coco[categories].append({id: i1, name: name}) ann_id 1 for img_id, img_name in enumerate(os.listdir(img_dir)): img_path os.path.join(img_dir, img_name) w, h Image.open(img_path).size coco[images].append({ id: img_id, file_name: img_name, width: w, height: h }) label_path os.path.join(label_dir, img_name.replace(.jpg, .txt)) if not os.path.exists(label_path): continue with open(label_path) as f: for line in f: cls, xc, yc, bw, bh map(float, line.split()) x1 (xc - bw/2) * w y1 (yc - bh/2) * h coco[annotations].append({ id: ann_id, image_id: img_id, category_id: int(cls)1, bbox: [x1, y1, bw*w, bh*h], area: bw*w*bh*h, iscrowd: 0 }) ann_id 1 with open(output_json, w) as f: json.dump(coco, f)4.2 数据集划分别让同一段路同时出现在训练和验证集这是道路缺陷数据集最容易犯的错。很多人划分数据集就是随机按8:1:1切结果同一段路、同一个坑洞的不同角度照片一部分进了训练集一部分进了验证集。模型在验证集上表现很好一上路就露馅因为它其实见过这些坑洞。正确的做法是按路段划分。把采集区域按地理坐标切成若干段整段整段地分给训练、验证、测试集。这样验证集里的坑洞模型在训练时完全没见过评估结果才真实。如果采集时没记录GPS退而求其次按采集批次划分。同一批次同一次飞行、同一时间段的图整体分到同一个集合也能在一定程度上避免数据泄漏。划分比例上道路缺陷数据集我一般用7:1.5:1.5验证和测试各留15%。因为缺陷样本本身就不多测试集太小的话评估结果波动大。4.3 标注质量校验三个必须自动化检查的项人工标注一定会出错靠肉眼复查效率太低。有三个检查必须写成脚本自动跑。越界检查标注框的坐标是否超出图像边界。归一化坐标应该在0到1之间出现负数或大于1的要么是标注错误要么是转换bug。零面积检查宽或高为0的框直接删掉这种框训练时会引发除零错误。类别分布统计每个类别的样本数、每张图的平均目标数。如果某个类别只有个位数样本说明采集或标注有问题得补数据。如果某张图有几十个目标可能是标注员误操作得人工复核。# 标注质量快速校验 import os def validate_labels(label_dir, img_dir): issues [] for label_file in os.listdir(label_dir): img_file label_file.replace(.txt, .jpg) img_path os.path.join(img_dir, img_file) if not os.path.exists(img_path): issues.append(f图片缺失: {img_file}) continue with open(os.path.join(label_dir, label_file)) as f: for i, line in enumerate(f): parts line.strip().split() if len(parts) ! 5: issues.append(f{label_file} 第{i1}行格式错误) continue cls, xc, yc, bw, bh map(float, parts) if not all(0 v 1 for v in [xc, yc, bw, bh]): issues.append(f{label_file} 第{i1}行坐标越界) if bw 0 or bh 0: issues.append(f{label_file} 第{i1}行零面积) return issues跑一遍这个脚本能筛掉八成的低级错误。剩下的边界模糊、类别误标才需要人工抽查。5. 训练策略与调参让模型真正学会找坑洞5.1 预训练权重的选择与微调策略道路坑洞数据集通常不会特别大几千到几万张图是常态。从零训练不现实必须用预训练权重。但用哪个预训练权重有讲究。用COCO预训练的权重是最常见的选择因为COCO里也有大量小目标和道路场景。但要注意COCO的类别和道路缺陷差异很大直接微调时主干网络的学习率要设小一点比如基础学习率的0.1倍让预训练学到的通用特征不被破坏检测头的学习率可以正常设。如果手头有类似的遥感或航拍数据集预训练权重那更好因为视角和场景更接近。没有的话COCO权重完全够用。微调策略上我一般分两阶段第一阶段冻结主干只训检测头让检测头先适应新类别第二阶段解冻全部用小学习率整体微调。这样比一上来就全量微调稳定得多尤其是小数据集。5.2 学习率、批大小与迭代次数的实操取值这几个超参没有万能值但道路坑洞检测有一些经验区间。学习率用SGD的话初始学习率0.01是常见起点配合余弦退火或者阶梯下降。用Adam的话1e-3到1e-4之间。小数据集上学习率要更小否则容易过拟合。批大小受显存限制能大就大。批大小太小比如2、4BatchNorm的统计量不准训练不稳定。如果显存不够可以用梯度累积模拟大批大小。迭代次数看损失曲线和验证集mAP。一般训到验证集mAP连续十几个epoch不涨就可以停了。道路坑洞数据集小通常几百个epoch就收敛别盲目训几千轮纯属浪费。数据增强的强度训练前期可以用强增强马赛克、复制粘贴、颜色抖动全开后期关掉一部分强增强让模型在接近真实分布的数据上收尾。这个增强退火策略对小目标检测挺有效。5.3 评估指标怎么看mAP之外还要盯紧召回率mAP是通用指标但道路坑洞检测不能只看mAP。因为漏检一个坑洞的代价远大于误报一个。漏检意味着这个坑洞不会被修补可能引发事故误报只是让巡检人员多看一眼。所以召回率Recall要单独盯。我一般会看不同置信度阈值下的召回率曲线选一个召回率足够高、同时误报还能接受的阈值作为部署阈值。宁可多报几个也别漏掉真坑洞。另外按目标尺寸分层的评估也很重要。把坑洞按像素面积分成小、中、大三档分别看每档的AP。如果小目标的AP明显低于中大目标说明模型对小目标还是不够敏感得回去加强数据增强或者调模型结构。指标关注点目标值参考mAP0.5整体检测能力越高越好0.6以上可用Recall漏检控制部署阈值下0.85以上小目标AP小坑洞检测与中目标差距不超过15%误报率巡检效率每公里误报少于2个6. 部署到无人机端的现实约束算力、延迟与工程取舍6.1 边缘设备选型算力、功耗、重量的三角平衡模型训好了最终要落到无人机上。无人机端部署和服务器端完全是两回事算力、功耗、重量三个约束互相打架。常见的边缘计算平台从轻到重大概这么几档树莓派级别的算力太弱跑不动实时检测Jetson Nano、Jetson Orin Nano这类嵌入式GPU是主流选择功耗几瓦到十几瓦重量几十克能跑轻量化的YOLO再往上Jetson Orin NX、AGX算力强但功耗和重量都上去了小型无人机带不动。选型逻辑很简单先看无人机能载多重、能给多少电再倒推算力需求。如果无人机载重只有几百克那只能选Orin Nano这个级别模型必须做轻量化。如果载重宽裕可以上更强的平台模型精度也能保住。6.2 模型轻量化剪枝、量化、蒸馏哪个更划算边缘设备算力有限模型必须瘦身。三条路剪枝、量化、知识蒸馏。量化是性价比最高的。把FP32的权重和激活量化成INT8模型体积缩小到四分之一推理速度提升两三倍精度损失通常只有一两个百分点。TensorRT对YOLO系列的INT8量化支持很成熟基本是部署标配。唯一要注意的是量化校准集要用真实道路图像别拿COCO的图凑数否则量化后的精度掉得厉害。剪枝能进一步压缩模型但操作复杂剪完还得微调恢复精度工程上比较费劲。除非量化后还是跑不动否则我不太推荐一上来就剪枝。知识蒸馏是用大模型教小模型能提升小模型的精度。但蒸馏需要同时跑大模型和小模型训练成本高而且效果不稳定。适合有充足训练资源、追求极致精度的场景。我的常规组合是先量化不够再考虑剪枝蒸馏作为精度补救手段。6.3 推理延迟与飞行速度的匹配无人机在飞检测必须实时。如果推理一帧要500毫秒无人机早飞出去好几米了检测结果对不上位置。这里要算一笔账假设无人机飞行速度10米每秒相机帧率30帧每秒那每帧之间无人机移动约0.33米。如果推理延迟是100毫秒对应无人机移动1米这个误差在市政巡检里可以接受。如果延迟500毫秒误差5米定位就不准了。所以推理延迟要控制在100到200毫秒以内。INT8量化后的轻量YOLO在Jetson Orin Nano上跑640×640输入大概能做到这个水平。如果模型更大或者输入分辨率更高就得降帧率或者降分辨率用精度换实时性。注意实际部署时推理和飞行控制最好分线程。推理线程慢一点没关系别阻塞飞控线程否则无人机姿态控制会出问题。7. 那些只有踩过才知道的坑数据与训练的经验教训7.1 阴影、水渍、修补块三类高频误报的治理模型上线后误报最多的三类东西阴影、水渍、修补块。阴影在斜射光下和坑洞的暗斑几乎一模一样。治理办法是在训练数据里大量加入带阴影的负样本让模型学会区分阴影是连成片的、边缘柔和和坑洞是局部的、边缘破碎。另外采集时尽量避开强阴影时段从源头减少。水渍在雨后路面上很常见反光的水膜看起来也像坑洞。这个比较难办因为水渍和坑洞在灰度上确实接近。我的做法是加入偏振镜采集一部分数据偏振能压掉水面反光让水渍和坑洞的差异显现出来。同时训练时加入水渍负样本。修补块是已经修过的路面颜色比周围深形状也接近坑洞。这个靠负样本就能解决采集时专门拍一批修补路面标成负样本。7.2 数据集的地理偏差换个城市就失灵怎么办一个很现实的问题在A城市采集训练的数据集拿到B城市用精度掉一大截。原因是路面材质、气候、光照、甚至沥青颜色都不一样。解决办法有两个方向。一是多城市采集数据集覆盖不同地区模型泛化能力自然强。二是域自适应用少量目标城市的数据做微调或者用风格迁移把源域图像转成目标域风格。前者成本高但效果好后者成本低但需要技术积累。如果预算有限我建议至少覆盖两种差异较大的路面类型比如北方干燥路面和南方湿润路面让模型见过世面。7.3 标注一致性多人协作时如何不跑偏多人标注最大的敌人是一致性。同样一个坑洞张三框大一点李四框小一点王五觉得这不算坑洞直接不标。最后数据集里全是矛盾。我的做法是先做标注培训再做一致性测试。培训时给每个标注员发一份带示例图的规范文档讲清楚边界怎么定、什么算什么不算。然后拿20张图让所有人独立标一遍算一下标注框的IoU如果平均IoU低于0.7说明大家对标准的理解还不一致得重新对齐。对齐之后再正式开工并且定期抽查发现偏差及时纠正。这个流程看起来麻烦但比标完几万张图再返工划算得多。8. 这套数据集还能怎么用从检测到养护决策的延伸道路坑洞数据集的价值不止于训一个检测模型。它往下游延伸能接上很多有意思的应用。缺陷面积估算与养护优先级排序。检测出坑洞的位置和大小后可以按面积和位置比如是否在车道中央、是否在弯道给缺陷排优先级生成养护工单。这个从检测到决策的链路才是市政部门真正想要的。时序对比与病害演化分析。同一路段定期飞对比不同时间的检测结果能看出哪些坑洞在扩大、哪些修补后复发了。这对评估养护效果、预测病害发展很有价值。多模态融合。可见光图像之外加上红外热成像能看出路面下的空洞和水分对早期沉陷的识别比可见光更敏感。这个方向目前还在探索但潜力很大。和三维重建结合。用倾斜摄影做路面的三维模型坑洞的深度信息就能算出来比二维图像的面积估算更准。这个对工程量核算很有意义。说到底数据集只是起点。真正决定这套东西能不能落地的是它能不能嵌进市政养护的实际流程里变成巡检人员愿意用、用得顺手的工具。技术再漂亮落不了地都是白搭。我在实际项目里最大的体会是别一上来就追求大而全的数据集先把一个城市、一种路面、一类缺陷做扎实跑通从采集到部署的完整闭环再考虑扩展。很多团队死在贪多求全上数据集标了几十万张模型训了几十版最后连一个能稳定上线的版本都没有。小步快跑快速验证才是这个方向的正道。 
长河君 · 2026/10/14 13:57:31 · 阅读 1.2k 无人机道路坑洞检测：小目标数据集构建与边缘部署实战
1. 从一张航拍图说起道路坑洞检测为什么成了低空视觉的硬骨头第一次接触道路坑洞检测这个方向是在一个市政巡检的项目里。当时甲方给的需求很朴素用无人机沿着主干道飞一圈把路面上的坑洞、裂缝、沉陷都标出来最好还能给出位置和面积。听起来不难但真正上手之后才发现这件事的难度远超预期。坑洞在航拍图里往往只占几十个像素背景是灰黑色的沥青对比度极低光照一变、阴影一压肉眼都得盯着看半天更别说让模型稳定识别了。这就是典型的低空目标检测场景而且叠加了小目标和道路缺陷两个难点。它和常规的车辆检测、行人检测完全不是一个量级的问题。车辆检测里目标动辄上百像素特征丰富模型很容易学到轮廓和纹理而道路坑洞尤其是早期的小坑、细裂缝在图像里就是一小团模糊的暗斑稍不留神就被当成路面纹理噪声过滤掉了。所以当我看到无人机道路坑洞识别检测数据集这个方向时第一反应是这东西的价值不在于数据集本身有多大而在于它把交通市政巡检这个真实需求和无人机视觉感知这条技术路线接上了。它服务的是高速公路、城市道路的日常养护是那种早发现早修补、避免小坑变大洞的刚需场景。适合谁来参考做智慧交通的算法工程师、搞市政巡检的无人机应用团队、研究小目标检测的科研人员以及想入门低空视觉目标检测的学生都能从这个方向里找到自己的切入点。接下来我不打算泛泛而谈数据集很重要这种废话而是把这类数据集从采集、标注、增强到训练、部署的完整链路拆开讲重点说清楚那些只有真正做过的人才会踩的坑。2. 道路坑洞数据集到底长什么样类别、标注与采集逻辑2.1 坑洞、裂缝、沉陷类别体系怎么定才不返工很多人拿到一个检测任务第一件事就是打开标注工具开始框结果标到一半发现类别定义模糊坑洞和沉陷分不清裂缝和接缝混在一起最后整个数据集废掉重来。道路缺陷的类别体系必须在采集之前就定死。从市政养护的实际业务出发道路缺陷通常可以拆成这么几类类别典型形态检测难点养护优先级坑洞圆形或不规则凹陷边缘破损小目标、阴影干扰高横向裂缝垂直于行车方向的线状裂缝细长、易断中纵向裂缝平行于行车方向的线状裂缝与车道线混淆中网状裂缝龟裂、块状破碎边界模糊高沉陷大面积下凹变形与正常起伏难区分高修补痕迹已修补的沥青块易误报为缺陷低这里有个经验类别不是越多越好。如果你只是做坑洞识别那就老老实实只标坑洞把裂缝、沉陷都归到其他或者干脆不标。类别一多标注一致性立刻下降不同标注员对这算不算沉陷的判断能差出天际最后模型学到的是一堆矛盾的标签。我个人的建议是第一版数据集先做二分类或者三分类把坑洞这个核心目标做扎实等模型稳定了再考虑扩展类别。市政巡检里最紧急的就是坑洞因为它直接影响行车安全裂缝可以慢慢修坑洞不补第二天就可能爆胎。2.2 无人机航拍采集高度、角度、光照的三个变量数据集的质量七成取决于采集。无人机采集道路缺陷有三个变量必须控制好否则标注和训练都会遭殃。飞行高度直接决定目标像素大小。飞得太高坑洞只有几个像素标注框都画不准飞得太低单张图覆盖面积小采集效率低而且容易触发无人机的避障。实测下来针对坑洞检测相对地面高度控制在15到30米比较合适这个区间里一个直径30厘米的坑洞大约能占到20到50像素既不至于太小又能保证一定的覆盖宽度。拍摄角度建议以正下视为主倾斜角度不超过30度。正下视的好处是几何畸变小坑洞的形状和面积估算更准但纯正下视会丢失路面的立体感坑洞的深度信息看不出来。所以实际采集时我会用正下视加少量倾斜视角混合倾斜视角主要用来辅助判断坑洞的边界。光照条件是最容易被忽略的。正午强光下路面反光严重坑洞和周围沥青的对比度反而下降清晨和傍晚的斜射光会拉出长阴影阴影容易被误标成坑洞。我的做法是采集时尽量覆盖多种光照晴天正午、阴天、清晨、傍晚各采一批让模型见过各种光照下的坑洞形态。这样训出来的模型换个时间段飞也不会崩。提示采集时一定要同步记录每张图的飞行高度、GPS坐标和拍摄时间。这些元数据在后期做地理定位和缺陷去重时是刚需事后补是补不回来的。2.3 标注规范框到哪、算不算、怎么处理遮挡标注环节是数据集质量的分水岭。道路坑洞的标注有几个细节必须写进规范文档否则不同人标出来的框能差出一倍。第一边界框的松紧。坑洞边缘往往是渐变的从完好的沥青到破碎的坑壁没有清晰界线。规范里要明确框住坑洞最外圈的破损边缘不要把周围完好的沥青框进去也不要只框最暗的核心区域。这个标准要配示例图让所有标注员对齐。第二最小标注尺寸。低于多少像素的坑洞就不标了这个阈值要结合你的检测目标来定。如果模型最终要检测直径20厘米以上的坑洞那对应到图像里小于10像素的目标就可以忽略否则会引入大量噪声标签拉低模型精度。第三遮挡和截断的处理。坑洞被车辆、阴影、水渍遮挡时怎么办我的做法是遮挡面积超过50%的不标低于50%的按可见部分标注并打上部分遮挡标签。截断在图像边缘的坑洞如果可见部分足够判断是坑洞就标否则丢弃。第四负样本的采集。这一点极其重要但经常被跳过。路面上的井盖、修补块、油渍、落叶堆都长得像坑洞。如果不专门采集这些假坑洞作为负样本模型上线后误报率会高得离谱。我一般会让负样本占到总数据量的20%到30%。3. 小目标检测的破局思路从数据增强到模型结构3.1 为什么通用检测模型在坑洞上会失灵拿一个在COCO上训得很好的YOLO模型直接去测道路坑洞结果通常惨不忍睹。原因不复杂COCO里的目标平均尺寸大、特征丰富模型的主干网络经过多次下采样后大目标的特征还保留得不错但小目标经过五六次下采样几十个像素的坑洞在特征图上就剩两三个像素了信息几乎丢光。这就是小目标检测的核心矛盾下采样带来语义信息同时丢失空间细节。坑洞这种目标既需要细节来判断这里有个凹陷又需要一定的语义来区分这是坑洞不是井盖。通用模型在这个平衡上是偏向大目标的。另一个问题是正负样本极度不平衡。一张航拍图里可能就一两个坑洞其余全是正常路面。如果按常规的锚框匹配策略正样本少得可怜模型很快学会全部预测为背景这个偷懒策略损失看着在降实际啥也没学到。3.2 数据层面的增强小目标复制粘贴与马赛克在动模型结构之前先把数据层面的功夫做足性价比最高。小目标复制粘贴是我最常用的手段。具体做法是从标注好的图里把坑洞区域裁剪出来随机粘贴到其他正常路面图像上同时更新标注框。这样能在不增加采集成本的前提下成倍增加小目标样本数量。注意粘贴时要处理边缘融合直接硬贴会留下明显的矩形边界模型会学到这个伪特征。简单的高斯模糊羽化或者泊松融合就能缓解。马赛克增强Mosaic把四张图拼成一张天然增加了小目标的出现密度同时让模型见到更多背景组合。这个在YOLO系列里已经是标配但对坑洞检测尤其有效因为拼接后一张图里可能出现四五个坑洞正样本密度上来了。随机缩放和裁剪要慎用。坑洞本身就是小目标你再缩小它就没了。我的做法是缩放范围控制在0.8到1.2倍之间裁剪时保证不把已标注的坑洞裁掉一半以上。# 小目标复制粘贴的简化逻辑示意 import random import cv2 import numpy as np def copy_paste_augment(src_img, src_boxes, dst_img, dst_boxes, max_paste3): 从源图裁剪坑洞粘贴到目标图 result_img dst_img.copy() result_boxes list(dst_boxes) paste_count 0 for box in src_boxes: if paste_count max_paste: break x1, y1, x2, y2 box patch src_img[y1:y2, x1:x2] # 随机选择粘贴位置 h, w patch.shape[:2] new_x random.randint(0, dst_img.shape[1] - w) new_y random.randint(0, dst_img.shape[0] - h) # 羽化边缘避免硬边界 patch cv2.GaussianBlur(patch, (5, 5), 0) result_img[new_y:new_yh, new_x:new_xw] patch result_boxes.append([new_x, new_y, new_xw, new_yh]) paste_count 1 return result_img, result_boxes这段代码只是示意实际用的时候要处理重叠检测、边界越界、颜色一致性等问题。但核心思路就是用合成的方式把小目标的密度提上去。3.3 模型侧的关键改动高分辨率特征图与注意力数据增强做完模型侧还得配合。针对坑洞这类小目标有几个改动是经过验证有效的。提高输入分辨率是最直接的一招。把输入从640×640提到1280×1280小目标在特征图上的像素数直接翻倍。代价是显存和推理时间上去了但如果你的部署平台算力够这是最省心的方案。实测下来分辨率翻倍对小目标召回率的提升能有十几个百分点。保留高分辨率特征图。标准YOLO的检测头接在P3、P4、P5三层P3是下采样8倍的特征图。对于特别小的坑洞可以考虑再加一个P2层下采样4倍专门负责最小的目标。代价是计算量增加而且P2层的语义信息弱容易误报需要配合更强的上下文信息。注意力机制在小目标上效果明显。像CBAM、SE这类通道注意力能让模型更关注那些包含小目标的区域。我试过在主干网络后面加一个轻量的注意力模块坑洞的召回率有稳定提升而且参数量增加很少。损失函数的调整也不能忽视。小目标的正样本少可以用Focal Loss来缓解正负样本不平衡或者调整正样本匹配的阈值让更多的小目标锚框被匹配为正样本。YOLOv8之后用的TaskAlignedAssigner在这方面已经比早期的IoU匹配好很多但针对极端小目标还是可以手动放宽匹配条件。4. 从标注文件到可训练数据集格式转换与质量校验4.1 主流标注格式的取舍COCO、YOLO、VOC怎么选数据集标注完格式选不对后面训练脚本改到崩溃。道路坑洞检测常用的就三种格式各有各的适用场景。YOLO格式最简洁每张图对应一个txt文件每行是类别 x_center y_center width height坐标都归一化到0到1。优点是读取快、解析简单训练脚本几乎不用改。缺点是丢失了图像尺寸信息虽然可以从图片读而且不适合表达复杂标注比如分割掩码。COCO格式是单个JSON文件管所有标注信息全支持分割、关键点、多类别评估工具也成熟。缺点是文件大解析慢改起来容易出错。如果你要做的不只是检测还要做实例分割把坑洞的精确轮廓抠出来那COCO是首选。VOC格式是每张图一个XML结构清晰但冗余现在用得越来越少。我的建议训练用YOLO格式评估和交付用COCO格式。训练时YOLO格式加载快省时间评估时转成COCO用pycocotools算mAP标准且可比。转换脚本写一次就能复用。# YOLO转COCO的核心逻辑 import json import os from PIL import Image def yolo_to_coco(img_dir, label_dir, class_names, output_json): coco { images: [], annotations: [], categories: [] } for i, name in enumerate(class_names): coco[categories].append({id: i1, name: name}) ann_id 1 for img_id, img_name in enumerate(os.listdir(img_dir)): img_path os.path.join(img_dir, img_name) w, h Image.open(img_path).size coco[images].append({ id: img_id, file_name: img_name, width: w, height: h }) label_path os.path.join(label_dir, img_name.replace(.jpg, .txt)) if not os.path.exists(label_path): continue with open(label_path) as f: for line in f: cls, xc, yc, bw, bh map(float, line.split()) x1 (xc - bw/2) * w y1 (yc - bh/2) * h coco[annotations].append({ id: ann_id, image_id: img_id, category_id: int(cls)1, bbox: [x1, y1, bw*w, bh*h], area: bw*w*bh*h, iscrowd: 0 }) ann_id 1 with open(output_json, w) as f: json.dump(coco, f)4.2 数据集划分别让同一段路同时出现在训练和验证集这是道路缺陷数据集最容易犯的错。很多人划分数据集就是随机按8:1:1切结果同一段路、同一个坑洞的不同角度照片一部分进了训练集一部分进了验证集。模型在验证集上表现很好一上路就露馅因为它其实见过这些坑洞。正确的做法是按路段划分。把采集区域按地理坐标切成若干段整段整段地分给训练、验证、测试集。这样验证集里的坑洞模型在训练时完全没见过评估结果才真实。如果采集时没记录GPS退而求其次按采集批次划分。同一批次同一次飞行、同一时间段的图整体分到同一个集合也能在一定程度上避免数据泄漏。划分比例上道路缺陷数据集我一般用7:1.5:1.5验证和测试各留15%。因为缺陷样本本身就不多测试集太小的话评估结果波动大。4.3 标注质量校验三个必须自动化检查的项人工标注一定会出错靠肉眼复查效率太低。有三个检查必须写成脚本自动跑。越界检查标注框的坐标是否超出图像边界。归一化坐标应该在0到1之间出现负数或大于1的要么是标注错误要么是转换bug。零面积检查宽或高为0的框直接删掉这种框训练时会引发除零错误。类别分布统计每个类别的样本数、每张图的平均目标数。如果某个类别只有个位数样本说明采集或标注有问题得补数据。如果某张图有几十个目标可能是标注员误操作得人工复核。# 标注质量快速校验 import os def validate_labels(label_dir, img_dir): issues [] for label_file in os.listdir(label_dir): img_file label_file.replace(.txt, .jpg) img_path os.path.join(img_dir, img_file) if not os.path.exists(img_path): issues.append(f图片缺失: {img_file}) continue with open(os.path.join(label_dir, label_file)) as f: for i, line in enumerate(f): parts line.strip().split() if len(parts) ! 5: issues.append(f{label_file} 第{i1}行格式错误) continue cls, xc, yc, bw, bh map(float, parts) if not all(0 v 1 for v in [xc, yc, bw, bh]): issues.append(f{label_file} 第{i1}行坐标越界) if bw 0 or bh 0: issues.append(f{label_file} 第{i1}行零面积) return issues跑一遍这个脚本能筛掉八成的低级错误。剩下的边界模糊、类别误标才需要人工抽查。5. 训练策略与调参让模型真正学会找坑洞5.1 预训练权重的选择与微调策略道路坑洞数据集通常不会特别大几千到几万张图是常态。从零训练不现实必须用预训练权重。但用哪个预训练权重有讲究。用COCO预训练的权重是最常见的选择因为COCO里也有大量小目标和道路场景。但要注意COCO的类别和道路缺陷差异很大直接微调时主干网络的学习率要设小一点比如基础学习率的0.1倍让预训练学到的通用特征不被破坏检测头的学习率可以正常设。如果手头有类似的遥感或航拍数据集预训练权重那更好因为视角和场景更接近。没有的话COCO权重完全够用。微调策略上我一般分两阶段第一阶段冻结主干只训检测头让检测头先适应新类别第二阶段解冻全部用小学习率整体微调。这样比一上来就全量微调稳定得多尤其是小数据集。5.2 学习率、批大小与迭代次数的实操取值这几个超参没有万能值但道路坑洞检测有一些经验区间。学习率用SGD的话初始学习率0.01是常见起点配合余弦退火或者阶梯下降。用Adam的话1e-3到1e-4之间。小数据集上学习率要更小否则容易过拟合。批大小受显存限制能大就大。批大小太小比如2、4BatchNorm的统计量不准训练不稳定。如果显存不够可以用梯度累积模拟大批大小。迭代次数看损失曲线和验证集mAP。一般训到验证集mAP连续十几个epoch不涨就可以停了。道路坑洞数据集小通常几百个epoch就收敛别盲目训几千轮纯属浪费。数据增强的强度训练前期可以用强增强马赛克、复制粘贴、颜色抖动全开后期关掉一部分强增强让模型在接近真实分布的数据上收尾。这个增强退火策略对小目标检测挺有效。5.3 评估指标怎么看mAP之外还要盯紧召回率mAP是通用指标但道路坑洞检测不能只看mAP。因为漏检一个坑洞的代价远大于误报一个。漏检意味着这个坑洞不会被修补可能引发事故误报只是让巡检人员多看一眼。所以召回率Recall要单独盯。我一般会看不同置信度阈值下的召回率曲线选一个召回率足够高、同时误报还能接受的阈值作为部署阈值。宁可多报几个也别漏掉真坑洞。另外按目标尺寸分层的评估也很重要。把坑洞按像素面积分成小、中、大三档分别看每档的AP。如果小目标的AP明显低于中大目标说明模型对小目标还是不够敏感得回去加强数据增强或者调模型结构。指标关注点目标值参考mAP0.5整体检测能力越高越好0.6以上可用Recall漏检控制部署阈值下0.85以上小目标AP小坑洞检测与中目标差距不超过15%误报率巡检效率每公里误报少于2个6. 部署到无人机端的现实约束算力、延迟与工程取舍6.1 边缘设备选型算力、功耗、重量的三角平衡模型训好了最终要落到无人机上。无人机端部署和服务器端完全是两回事算力、功耗、重量三个约束互相打架。常见的边缘计算平台从轻到重大概这么几档树莓派级别的算力太弱跑不动实时检测Jetson Nano、Jetson Orin Nano这类嵌入式GPU是主流选择功耗几瓦到十几瓦重量几十克能跑轻量化的YOLO再往上Jetson Orin NX、AGX算力强但功耗和重量都上去了小型无人机带不动。选型逻辑很简单先看无人机能载多重、能给多少电再倒推算力需求。如果无人机载重只有几百克那只能选Orin Nano这个级别模型必须做轻量化。如果载重宽裕可以上更强的平台模型精度也能保住。6.2 模型轻量化剪枝、量化、蒸馏哪个更划算边缘设备算力有限模型必须瘦身。三条路剪枝、量化、知识蒸馏。量化是性价比最高的。把FP32的权重和激活量化成INT8模型体积缩小到四分之一推理速度提升两三倍精度损失通常只有一两个百分点。TensorRT对YOLO系列的INT8量化支持很成熟基本是部署标配。唯一要注意的是量化校准集要用真实道路图像别拿COCO的图凑数否则量化后的精度掉得厉害。剪枝能进一步压缩模型但操作复杂剪完还得微调恢复精度工程上比较费劲。除非量化后还是跑不动否则我不太推荐一上来就剪枝。知识蒸馏是用大模型教小模型能提升小模型的精度。但蒸馏需要同时跑大模型和小模型训练成本高而且效果不稳定。适合有充足训练资源、追求极致精度的场景。我的常规组合是先量化不够再考虑剪枝蒸馏作为精度补救手段。6.3 推理延迟与飞行速度的匹配无人机在飞检测必须实时。如果推理一帧要500毫秒无人机早飞出去好几米了检测结果对不上位置。这里要算一笔账假设无人机飞行速度10米每秒相机帧率30帧每秒那每帧之间无人机移动约0.33米。如果推理延迟是100毫秒对应无人机移动1米这个误差在市政巡检里可以接受。如果延迟500毫秒误差5米定位就不准了。所以推理延迟要控制在100到200毫秒以内。INT8量化后的轻量YOLO在Jetson Orin Nano上跑640×640输入大概能做到这个水平。如果模型更大或者输入分辨率更高就得降帧率或者降分辨率用精度换实时性。注意实际部署时推理和飞行控制最好分线程。推理线程慢一点没关系别阻塞飞控线程否则无人机姿态控制会出问题。7. 那些只有踩过才知道的坑数据与训练的经验教训7.1 阴影、水渍、修补块三类高频误报的治理模型上线后误报最多的三类东西阴影、水渍、修补块。阴影在斜射光下和坑洞的暗斑几乎一模一样。治理办法是在训练数据里大量加入带阴影的负样本让模型学会区分阴影是连成片的、边缘柔和和坑洞是局部的、边缘破碎。另外采集时尽量避开强阴影时段从源头减少。水渍在雨后路面上很常见反光的水膜看起来也像坑洞。这个比较难办因为水渍和坑洞在灰度上确实接近。我的做法是加入偏振镜采集一部分数据偏振能压掉水面反光让水渍和坑洞的差异显现出来。同时训练时加入水渍负样本。修补块是已经修过的路面颜色比周围深形状也接近坑洞。这个靠负样本就能解决采集时专门拍一批修补路面标成负样本。7.2 数据集的地理偏差换个城市就失灵怎么办一个很现实的问题在A城市采集训练的数据集拿到B城市用精度掉一大截。原因是路面材质、气候、光照、甚至沥青颜色都不一样。解决办法有两个方向。一是多城市采集数据集覆盖不同地区模型泛化能力自然强。二是域自适应用少量目标城市的数据做微调或者用风格迁移把源域图像转成目标域风格。前者成本高但效果好后者成本低但需要技术积累。如果预算有限我建议至少覆盖两种差异较大的路面类型比如北方干燥路面和南方湿润路面让模型见过世面。7.3 标注一致性多人协作时如何不跑偏多人标注最大的敌人是一致性。同样一个坑洞张三框大一点李四框小一点王五觉得这不算坑洞直接不标。最后数据集里全是矛盾。我的做法是先做标注培训再做一致性测试。培训时给每个标注员发一份带示例图的规范文档讲清楚边界怎么定、什么算什么不算。然后拿20张图让所有人独立标一遍算一下标注框的IoU如果平均IoU低于0.7说明大家对标准的理解还不一致得重新对齐。对齐之后再正式开工并且定期抽查发现偏差及时纠正。这个流程看起来麻烦但比标完几万张图再返工划算得多。8. 这套数据集还能怎么用从检测到养护决策的延伸道路坑洞数据集的价值不止于训一个检测模型。它往下游延伸能接上很多有意思的应用。缺陷面积估算与养护优先级排序。检测出坑洞的位置和大小后可以按面积和位置比如是否在车道中央、是否在弯道给缺陷排优先级生成养护工单。这个从检测到决策的链路才是市政部门真正想要的。时序对比与病害演化分析。同一路段定期飞对比不同时间的检测结果能看出哪些坑洞在扩大、哪些修补后复发了。这对评估养护效果、预测病害发展很有价值。多模态融合。可见光图像之外加上红外热成像能看出路面下的空洞和水分对早期沉陷的识别比可见光更敏感。这个方向目前还在探索但潜力很大。和三维重建结合。用倾斜摄影做路面的三维模型坑洞的深度信息就能算出来比二维图像的面积估算更准。这个对工程量核算很有意义。说到底数据集只是起点。真正决定这套东西能不能落地的是它能不能嵌进市政养护的实际流程里变成巡检人员愿意用、用得顺手的工具。技术再漂亮落不了地都是白搭。我在实际项目里最大的体会是别一上来就追求大而全的数据集先把一个城市、一种路面、一类缺陷做扎实跑通从采集到部署的完整闭环再考虑扩展。很多团队死在贪多求全上数据集标了几十万张模型训了几十版最后连一个能稳定上线的版本都没有。小步快跑快速验证才是这个方向的正道。