简介面向太阳能电池板缺陷检测的专用图像数据集适合从事光伏组件质量检测、计算机视觉缺陷识别的研究者与工程师。资源整理自44个太阳能模块的EL图像包含2624个300×300像素的8位灰度样本覆盖正常与多种内在、外在缺陷可用于图像分类、目标检测、图像分割等模型的训练与验证。压缩包共2000个文件以PNG图像为主附带labels.csv标注文件、README说明、概览图及预处理脚本整体约89.65MB目录结构便于按样本与标注直接使用。已有392人学习借助该数据可快速开展太阳能电池板缺陷检测算法的开发与评估提升模型对真实工况的泛化能力。1. 太阳能电池板缺陷检测数据集让模型认出毫米级隐裂地基到底怎么打一块光伏组件看起来完好但EL照片里一条细如发丝的暗线可能已经宣告这块板子几年后热斑失效。太阳能电池板缺陷检测数据集就是专门为这类视觉识别任务准备的数据地基——它决定了你的模型是能上产线还是只能待在论文里。产线质检、屋顶和电站巡检、组件出厂抽检这三类场景都依赖它但每个场景对数据的要求完全不同。这篇文章面向要做缺陷检测落地的工程人员从公开数据、自建采集到训练参数把数据集这条链路一次讲透。2. 先想清楚要检测什么EL、可见光与公开数据集的三选一2.1 EL与可见光的物理边界什么缺陷能在什么图里现形太阳能电池板的缺陷检测第一道分岔是成像方式。EL电致发光成像的原理是给组件外加正向电流电池片自己发光缺陷区域的载流子复合异常发光强度变弱在灰度图里呈现为暗线、暗块。这是产线质检的标配因为隐裂、断栅、黑斑这类内部缺陷在阳光下用肉眼和普通工业相机根本看不见。而可见光成像只能看到破碎的玻璃、明显的划痕、脏污以及借助红外看到的热斑。数据采集之前先确认部署位置你的检测是在组件出厂前还是电站运行后。很多公开数据集之所以“不好用”就是因为拍摄环境和最后部署的环境不一致。如果你做的是组件出厂质检那EL方向基本没得选因为客户关注的就是隐裂和断栅这种内部缺陷。如果做的是运维巡检无人机挂载可见光相机加红外相机反而比EL设备更现实——你不可能在电站里给每一块板搭暗室通电。这个物理边界先定清楚后面所有的数据集规划才不会跑偏。2.2 公开数据集能当基线很难当全部如果检索太阳能电池板缺陷检测数据集你会看到几个学术圈常被引用的基准比如ELPV它是按单晶/多晶、缺陷类型做了划分的EL图像集适合做基线验证。这类公开数据有几个通病数量不大、场景单一、同一块板子的多个子图重复度高、类别之间数量差距悬殊。所以我把公开数据只当作两件事的起点一是确认模型结构能不能收敛二是验证对比度增强、切图、归一化这套预处理流程是否合理。再补一句这里经常混进视野的长尾现象和轴承缺陷检测、避雷器缺陷数据集一样太阳能电池板缺陷检测数据集天然是“正常样本极多、单类缺陷样本极少”的结构。比如断栅可能只有个位数样本隐裂却占了一半。你在网上能找到的数据集再多落到自己实际产线上最终还是得自建。不要迷信公开数据集能直接拿来训练出一个能上生产环境的模型。选型原则应该是公开数据做预训练和算法验证自建数据负责贴近现场。数据来源能检出的缺陷采集成本标注难度适合场景EL产线拍摄隐裂、断栅、碎片、黑斑高相机与暗室中组件出厂质检可见光/无人机拍摄破碎、脏污、明显划痕低低电站运维巡检公开数据集ELPV等学术基线验证零零算法验证与预训练2.3 按缺陷类型和组织方式倒推数据结构敲定成像方式后下一步是确定要检测的缺陷类型。我一般会直接列一张缺陷清单写明每种缺陷在什么成像条件下可见、最小可标注尺寸是多少。隐裂在EL下是一条暗线长度可能达到几厘米宽度却只有两到三个像素断栅则是平行的整条暗带对应细栅线断裂。这两者在图上很容易被标注人员混淆规范稍不统一标注质量就会出现系统性漂移。结构上每个缺陷类别至少需要200到300个实例才能支撑YOLO这类模型训练。少于这个量就得靠数据增强或切图放大坐标系来补。组织方式上建议把EL原图按“组件ID”归档文件名统一带上板卡编号和拍摄参数这一步直接决定了后面能不能做好子集划分避免第5章的数据泄露问题。3. 从拍摄到能训练采集、标注与格式转换的完整链路3.1 EL采集暗室、电流与曝光三个硬条件如果你决定自建生产级EL数据集采集环境比相机本身更重要。常见做法是暗室环境组件接入正向恒流源电流按组件厂家规格书上的设定值来给一块组件通常需要持续通电数秒到数十秒。相机要选在EL波段灵敏度足够的工业级相机曝光时间从几秒到几十秒不等必须用三角架或固定支架手轻轻一抖图像就花了。采集时把每块板的ID、电流值、曝光时间记录到文件名或元数据里这一步决定了后续能否按“组件”划分子集而不是按“图像”随机划分。另一个容易被忽略的点是电致发光亮度会随温度漂移。组件刚通电和通电两分钟后的发光强度不一样缺陷区域的对比度也会跟着变。如果同一个数据集里混了不同温度下的图像模型会学到亮度差异而不是缺陷本身。有条件的话统一通电时长后再拍摄没条件就在预处理阶段做归一化。3.2 标注规范只标要报警的缺陷不标一切异常标注是全流程最耗时的环节也是最容易出现系统性错误的环节。我的经验是先写一页标注规范用文字加参考图定义每一类的边界哪些细线算隐裂、断栅要连续缺失多长、碎片边缘算不算污染、热斑要多大才标。规范不写清楚两个人的标注IoU会悬殊到让你怀疑人生。工具上用CVAT或LabelImg都可以团队协作建议用CVAT它支持多人任务分派和标注结果复核。标注规范里最重要的是一句话只标你部署时要报警的缺陷不要标一切视觉异常。EL图里有很多伪影、灰尘点、电极条阴影它们看起来像缺陷但现场不关心。把这些标进去等于主动往数据里掺噪声模型学到的全是背景纹理而不是缺陷特征。宁可少标不可乱标。3.3 把VOC标注转成YOLO格式转换脚本与四个边界坑标注工具默认导出的是Pascal VOC格式XML而YOLO系列训练需要的是每张图对应一个txt文件每行是“类别ID 中心x 中心y 宽 高”坐标都要按图片宽高归一化。下面这个转换脚本把整个XML目录扫描一遍输出与图片同名的txt文件。import os import xml.etree.ElementTree as ET from tqdm import tqdm def voc_to_yolo(xml_path, out_dir, class_names): tree ET.parse(xml_path) root tree.getroot() size root.find(size) if size is None: return w int(size.find(width).text) h int(size.find(height).text) lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_names: continue cls_id class_names.index(name) box obj.find(bndbox) x1 float(box.find(xmin).text) y1 float(box.find(ymin).text) x2 float(box.find(xmax).text) y2 float(box.find(ymax).text) # 边界裁剪:避免标注框越界导致训练时坐标异常 x1, y1 max(0, x1), max(0, y1) x2, y2 min(w, x2), min(h, y2) # 过滤掉宽度或高度小于2像素的无效框 if x2 - x1 2 or y2 - y1 2: continue cx (x1 x2) / 2 / w cy (y1 y2) / 2 / h bw (x2 - x1) / w bh (y2 - y1) / h lines.append(f{cls_id} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) out_path os.path.join(out_dir, os.path.splitext(os.path.basename(xml_path))[0] .txt) with open(out_path, w) as f: f.write(\n.join(lines)) if __name__ __main__: class_names [crack, finger_interruption, fragment, hot_spot] xml_root ./annotations out_root ./labels os.makedirs(out_root, exist_okTrue) for xml_file in tqdm(os.listdir(xml_root)): if xml_file.endswith(.xml): voc_to_yolo(os.path.join(xml_root, xml_file), out_root, class_names)逻辑说明脚本从XML的size节点读取原图宽高逐个遍历object节点过滤掉不在类别字典里的名称再把绝对坐标转成归一化坐标最后写入同名txt。这里四个边界坑要特别留意第一标注框越界部分标注工具允许标注框拖出图片边缘第二宽高小于2个像素的框直接丢弃这类框大概率是误标第三XML里存的是真实类别名而不是编号必须用name映射ID第四归一化坐标至少保留6位小数否则小目标框的精度会损失。3.4 切图与划分子集不要随机切会泄底EL原图往往分辨率很高直接把整张图缩到640再喂进模型隐裂可能只剩两三个像素细节全丢。常见做法是切成512或640的tile让模型在tile上做检测。但切图时的划分策略直接影响评估真实性。我一般按“组件ID”划分子集同一块组件的所有tile只进一个集合训练、验证、测试互不重叠。否则同一块板上的相似缺陷区域会同时出现在训练集和验证集验证mAP虚高测试表现一塌糊涂这种验证集污染在目标检测数据集的切图场景里非常容易发生。具体操作是先把原图按组件ID分组再对组件分组做7:2:1的随机划分最后对每个组件内的原图做滑窗切tile。这样划分出来的验证集和测试集才是真正没见过的新组件。第5章里会有对应的排查经验。4. 用YOLOv8把缺陷检测跑通数据配置、训练参数与小目标处理4.1 按yolov8训练自己的数据集流程改三处配置数据准备到这个阶段目录结构应该长这样images/train、images/val、labels/train、labels/val。YOLOv8加载数据的方式和yolov8训练自己的数据集的标准流程完全一致只需改data.yaml里三处配置path指向数据根目录train/val写相对子目录名nc和names严格按缺陷类别清单写。下面是一个可以直接用的yamlpath: /data/solar_panel_defect train: images/train val: images/val nc: 4 names: [crack, finger_interruption, fragment, hot_spot]训练时用ultralytics库命令行走标准入口pip install ultralytics yolo detect train datasolar_defect.yaml modelyolov8m.pt epochs150 imgsz640 batch16 device0参数说明imgsz先按640跑通全流程后续再根据缺陷尺寸决定要不要加大epochs在数据量不大时150轮基本能把训练集学透配早停看val loss即可batch大小受显存限制先按默认跑。这里最容易翻车的是mosaic增强EL图背景本来干净mosaic把四张图拼在一起会制造不存在的拼接边缘模型会学出一些假特征。我在EL数据上习惯在最后二三十轮关闭mosaic或者干脆全程关掉。提示Windows上训练如果遇到worker数过高导致的内存报错把nproc_workers调成4或8Linux按核心数的一半设置一般不会出问题。4.2 小目标与细长缺陷切图推理比换backbone更有效太阳能电池板的隐裂是细长目标宽度经常只有三五个像素直接对整张原图缩放训练模型很难学到这种高频纹理特征。常见做法是训练阶段用滑窗切tile推理阶段也用同样的tile切法重叠率设25%到50%再做NMS合并。这是用显存换精度也能让模型在更大分辨率下看到缺陷细节。tile尺寸尽量和训练分辨率一致避免训练和推理出现尺度错配。推理时的合并逻辑我习惯写成下面这样避免跨tile的长裂纹被拆成两半然后漏检import cv2 def tile_inference(model, image, tile_size640, stride480): h, w image.shape[:2] boxes, scores, classes [], [], [] # 滑窗遍历原图坐标回填到原图坐标系 for y in range(0, h - tile_size 1, stride): for x in range(0, w - tile_size 1, stride): tile image[y:y tile_size, x:x tile_size] results model(tile, verboseFalse)[0] for det in results.boxes.data.tolist(): x1, y1, x2, y2, conf, cls det if conf 0.1: continue boxes.append([max(0, x1 x), max(0, y1 y), min(w, x2 x), min(h, y2 y)]) scores.append(conf) classes.append(int(cls)) if not boxes: return [] # 跨tile合并重叠框 indices cv2.dnn.NMSBoxes( [[int(b[0]), int(b[1]), int(b[2] - b[0]), int(b[3] - b[1])] for b in boxes], scores, score_threshold0.1, nms_threshold0.45) if len(indices) 0: return [] return [boxes[i] for i in indices.flatten()], \ [scores[i] for i in indices.flatten()], \ [classes[i] for i in indices.flatten()]逻辑说明滑窗生成tile将模型输出的局部坐标加回偏移量映射到原图坐标系最后统一做NMS合并。参数上stride取tile_size的75%时漏检很少代价是推理时间翻倍如果产线节拍紧可以把stride提到tile_size的87.5%只保留25%重叠。如果原图本身小于tile_size这个循环不会执行需要先把图resize到tile尺寸或直接整图推理。这里再补一个从公开数据迁移到自建数据时的常犯错误不要看到网上某个数据集的精度高就直接照搬它的模型结构先让同一套pipeline在自己数据集上跑通再谈调参。结构差异带来的收益远不如数据一致性来得明显。5. 避坑清单类别失衡、EL伪影与验证集污染的4条血泪经验5.1 隐裂类永远漏检正常样本太多把阈值带偏了现象训练了一百多轮断栅和碎片的AP都涨到0.8以上隐裂的AP还挂在0.2附近调高置信度阈值漏检反而更多。原因太阳能电池板缺陷检测数据集天然类别失衡。正常样本可能占八成以上隐裂虽然在EL图上最显眼但实际像素占比极低。模型默认按各类别均匀对待很容易牺牲样本量少的类别去保多数类目标检测数据集里这种长尾分布其实是常态。解决先用类别频率计算权重或直接用YOLOv8的class_weight参数设置。更稳妥的做法是平衡采样把少数类样本通过复制和增强补到接近多数类单独生成一份训练集目录原始标注目录保留不动避免为了调实验反复动原数据。对断栅这类极少类把大图里相关区域单独切出来扩样效果比直接在整图上过拟合好得多。5.2 EL边缘暗区被当成缺陷验证集虚高现场一用就翻车现象验证集mAP能到0.85现场跑起来却对组件边缘大量误报几乎每个边缘区域都输出一个虚假缺陷框。原因EL图的亮度在边缘和靠近电极条的区域明显偏低模型学到的是“暗就等于缺陷”。更麻烦的是标注人员容易把边缘暗区顺手标成缺陷验证集和训练集来自同一批暗区评估结果自然虚高现场一换新图就露馅。解决采集阶段记录每块板的拍摄参数预处理统一做亮度归一化。我比较推荐对EL图做CLAHE对比度受限自适应直方图均衡化它能拉开近邻暗区与背景的对比度同时避免随机噪声被放大。要强调一点预处理代码必须训练和推理共用同一份最怕训练时做了CLAHE、部署推理时忘了做模型在产线上必然翻车。5.3 断栅和隐裂的标签越标越乱标准漂移比漏标更致命现象两个标注员对同一批图的标签重叠度不足0.5模型训练时同一个位置一会儿是隐裂一会儿是断栅loss一直震荡。原因这两类缺陷在EL图里视觉接近隐裂是任意走向的暗纹断栅是沿栅线的纵向暗带。如果没有统一的长度、宽度、走向判定标准标注就是靠感觉多人协作时标准漂移会越滚越大。解决标注规范里必须写明隐裂主线长宽比大于3比1且走向不与栅线平行断栅要求连续缺失段超过相邻栅线间距的两倍。另外每个标注员完成一批后抽样做二次复核计算IoU并回放不一致的区域这个环节看起来耽误时间但绝对值因为标签质量直接决定模型上限。5.4 验证集mAP高得像开卷考试切图时的数据泄露现象验证mAP高到怀疑人生把训练好的模型拿到一批全新组件图上一测掉了一截甚至掉一半。原因切图时没有按组件维度去重同一块电池板的相邻tile同时进了训练集和验证集。模型等于提前见过“答案”验证集分数没有任何参考意义。解决划分子集时先按文件名前缀或元数据里的组件ID分组用组划分替代按图像随机划分。框架自带的随机划分默认不适合这种情况要自己按组件分组再做train/val/test比例可以用7比2比1。测试集建议直接抽取从未参加过训练、拍摄批次也不同的整块组件保证评估结果能反映真实泛化能力。6. 进阶验证与部署技巧用PR曲线尾部和低置信度阈值说服甲方6.1 PR曲线的尾部缺陷检测真正要盯的指标用mAP评价缺陷检测模型其实不够尤其在你对漏检的容忍度极低时。缺陷检测的真实代价是漏掉一块隐裂板而不是多杀一块良品板。所以我拿到一个新训练完的模型第一件事不是看mAP而是画PR曲线盯低置信度区间的召回率尾部把置信度阈值放到0.1时模型能不能把绝大多数真实缺陷捞回来。如果尾部掉得厉害说明模型对低置信度下的目标区分度不够光是调整阈值解决不了得回头查数据平衡和标注质量。置信度阈值也要按现场代价校准。很多工程师习惯把输出直接对齐0.5这在缺陷检测里不成立。你可以把阈值放到0.2或0.3代价是误报多一些、人工复核多一些但漏检率明显下降。先算清漏一块板的损失再决定阈值方向。阈值本身应该用验证集来选别用测试集否则又把阈值过拟合到测试集上了。6.2 部署前的最后一步预处理一致性与边缘端优化部署时的模型优化我常用的手法是训练后剪枝导出TensorRT的engine文件在Jetson这类边缘设备上跑512输入尺寸的切图流水线TensorRT量化后单帧延迟能压到几十毫秒量级。比换轻量backbone更值钱的是先把预处理一致性锁死训练时做了什么归一化、CLAHE、tile切分部署代码里就原样再做一遍。代码写进同一个配置类或配置文件里保证两边读的是同一份参数。我自己最早在这个数据集上吃过亏误以为换一个更大的模型就能解决小目标检测结果翻来覆去调结构真实表现纹丝不动。后来老老实实把标注规范、切图策略、平衡采样、阈值校准这些底座磨了一遍模型才真正扛住产线节拍。这套流程理顺之后换产线、换组件类型、换可见光或EL场景你会发现它其实就是一套通用的数据集打法希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/25 13:06:51 · 阅读 1.2k 太阳能电池板缺陷检测数据集构建：从EL成像到YOLOv8训练全流程
简介面向太阳能电池板缺陷检测的专用图像数据集适合从事光伏组件质量检测、计算机视觉缺陷识别的研究者与工程师。资源整理自44个太阳能模块的EL图像包含2624个300×300像素的8位灰度样本覆盖正常与多种内在、外在缺陷可用于图像分类、目标检测、图像分割等模型的训练与验证。压缩包共2000个文件以PNG图像为主附带labels.csv标注文件、README说明、概览图及预处理脚本整体约89.65MB目录结构便于按样本与标注直接使用。已有392人学习借助该数据可快速开展太阳能电池板缺陷检测算法的开发与评估提升模型对真实工况的泛化能力。1. 太阳能电池板缺陷检测数据集让模型认出毫米级隐裂地基到底怎么打一块光伏组件看起来完好但EL照片里一条细如发丝的暗线可能已经宣告这块板子几年后热斑失效。太阳能电池板缺陷检测数据集就是专门为这类视觉识别任务准备的数据地基——它决定了你的模型是能上产线还是只能待在论文里。产线质检、屋顶和电站巡检、组件出厂抽检这三类场景都依赖它但每个场景对数据的要求完全不同。这篇文章面向要做缺陷检测落地的工程人员从公开数据、自建采集到训练参数把数据集这条链路一次讲透。2. 先想清楚要检测什么EL、可见光与公开数据集的三选一2.1 EL与可见光的物理边界什么缺陷能在什么图里现形太阳能电池板的缺陷检测第一道分岔是成像方式。EL电致发光成像的原理是给组件外加正向电流电池片自己发光缺陷区域的载流子复合异常发光强度变弱在灰度图里呈现为暗线、暗块。这是产线质检的标配因为隐裂、断栅、黑斑这类内部缺陷在阳光下用肉眼和普通工业相机根本看不见。而可见光成像只能看到破碎的玻璃、明显的划痕、脏污以及借助红外看到的热斑。数据采集之前先确认部署位置你的检测是在组件出厂前还是电站运行后。很多公开数据集之所以“不好用”就是因为拍摄环境和最后部署的环境不一致。如果你做的是组件出厂质检那EL方向基本没得选因为客户关注的就是隐裂和断栅这种内部缺陷。如果做的是运维巡检无人机挂载可见光相机加红外相机反而比EL设备更现实——你不可能在电站里给每一块板搭暗室通电。这个物理边界先定清楚后面所有的数据集规划才不会跑偏。2.2 公开数据集能当基线很难当全部如果检索太阳能电池板缺陷检测数据集你会看到几个学术圈常被引用的基准比如ELPV它是按单晶/多晶、缺陷类型做了划分的EL图像集适合做基线验证。这类公开数据有几个通病数量不大、场景单一、同一块板子的多个子图重复度高、类别之间数量差距悬殊。所以我把公开数据只当作两件事的起点一是确认模型结构能不能收敛二是验证对比度增强、切图、归一化这套预处理流程是否合理。再补一句这里经常混进视野的长尾现象和轴承缺陷检测、避雷器缺陷数据集一样太阳能电池板缺陷检测数据集天然是“正常样本极多、单类缺陷样本极少”的结构。比如断栅可能只有个位数样本隐裂却占了一半。你在网上能找到的数据集再多落到自己实际产线上最终还是得自建。不要迷信公开数据集能直接拿来训练出一个能上生产环境的模型。选型原则应该是公开数据做预训练和算法验证自建数据负责贴近现场。数据来源能检出的缺陷采集成本标注难度适合场景EL产线拍摄隐裂、断栅、碎片、黑斑高相机与暗室中组件出厂质检可见光/无人机拍摄破碎、脏污、明显划痕低低电站运维巡检公开数据集ELPV等学术基线验证零零算法验证与预训练2.3 按缺陷类型和组织方式倒推数据结构敲定成像方式后下一步是确定要检测的缺陷类型。我一般会直接列一张缺陷清单写明每种缺陷在什么成像条件下可见、最小可标注尺寸是多少。隐裂在EL下是一条暗线长度可能达到几厘米宽度却只有两到三个像素断栅则是平行的整条暗带对应细栅线断裂。这两者在图上很容易被标注人员混淆规范稍不统一标注质量就会出现系统性漂移。结构上每个缺陷类别至少需要200到300个实例才能支撑YOLO这类模型训练。少于这个量就得靠数据增强或切图放大坐标系来补。组织方式上建议把EL原图按“组件ID”归档文件名统一带上板卡编号和拍摄参数这一步直接决定了后面能不能做好子集划分避免第5章的数据泄露问题。3. 从拍摄到能训练采集、标注与格式转换的完整链路3.1 EL采集暗室、电流与曝光三个硬条件如果你决定自建生产级EL数据集采集环境比相机本身更重要。常见做法是暗室环境组件接入正向恒流源电流按组件厂家规格书上的设定值来给一块组件通常需要持续通电数秒到数十秒。相机要选在EL波段灵敏度足够的工业级相机曝光时间从几秒到几十秒不等必须用三角架或固定支架手轻轻一抖图像就花了。采集时把每块板的ID、电流值、曝光时间记录到文件名或元数据里这一步决定了后续能否按“组件”划分子集而不是按“图像”随机划分。另一个容易被忽略的点是电致发光亮度会随温度漂移。组件刚通电和通电两分钟后的发光强度不一样缺陷区域的对比度也会跟着变。如果同一个数据集里混了不同温度下的图像模型会学到亮度差异而不是缺陷本身。有条件的话统一通电时长后再拍摄没条件就在预处理阶段做归一化。3.2 标注规范只标要报警的缺陷不标一切异常标注是全流程最耗时的环节也是最容易出现系统性错误的环节。我的经验是先写一页标注规范用文字加参考图定义每一类的边界哪些细线算隐裂、断栅要连续缺失多长、碎片边缘算不算污染、热斑要多大才标。规范不写清楚两个人的标注IoU会悬殊到让你怀疑人生。工具上用CVAT或LabelImg都可以团队协作建议用CVAT它支持多人任务分派和标注结果复核。标注规范里最重要的是一句话只标你部署时要报警的缺陷不要标一切视觉异常。EL图里有很多伪影、灰尘点、电极条阴影它们看起来像缺陷但现场不关心。把这些标进去等于主动往数据里掺噪声模型学到的全是背景纹理而不是缺陷特征。宁可少标不可乱标。3.3 把VOC标注转成YOLO格式转换脚本与四个边界坑标注工具默认导出的是Pascal VOC格式XML而YOLO系列训练需要的是每张图对应一个txt文件每行是“类别ID 中心x 中心y 宽 高”坐标都要按图片宽高归一化。下面这个转换脚本把整个XML目录扫描一遍输出与图片同名的txt文件。import os import xml.etree.ElementTree as ET from tqdm import tqdm def voc_to_yolo(xml_path, out_dir, class_names): tree ET.parse(xml_path) root tree.getroot() size root.find(size) if size is None: return w int(size.find(width).text) h int(size.find(height).text) lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_names: continue cls_id class_names.index(name) box obj.find(bndbox) x1 float(box.find(xmin).text) y1 float(box.find(ymin).text) x2 float(box.find(xmax).text) y2 float(box.find(ymax).text) # 边界裁剪:避免标注框越界导致训练时坐标异常 x1, y1 max(0, x1), max(0, y1) x2, y2 min(w, x2), min(h, y2) # 过滤掉宽度或高度小于2像素的无效框 if x2 - x1 2 or y2 - y1 2: continue cx (x1 x2) / 2 / w cy (y1 y2) / 2 / h bw (x2 - x1) / w bh (y2 - y1) / h lines.append(f{cls_id} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) out_path os.path.join(out_dir, os.path.splitext(os.path.basename(xml_path))[0] .txt) with open(out_path, w) as f: f.write(\n.join(lines)) if __name__ __main__: class_names [crack, finger_interruption, fragment, hot_spot] xml_root ./annotations out_root ./labels os.makedirs(out_root, exist_okTrue) for xml_file in tqdm(os.listdir(xml_root)): if xml_file.endswith(.xml): voc_to_yolo(os.path.join(xml_root, xml_file), out_root, class_names)逻辑说明脚本从XML的size节点读取原图宽高逐个遍历object节点过滤掉不在类别字典里的名称再把绝对坐标转成归一化坐标最后写入同名txt。这里四个边界坑要特别留意第一标注框越界部分标注工具允许标注框拖出图片边缘第二宽高小于2个像素的框直接丢弃这类框大概率是误标第三XML里存的是真实类别名而不是编号必须用name映射ID第四归一化坐标至少保留6位小数否则小目标框的精度会损失。3.4 切图与划分子集不要随机切会泄底EL原图往往分辨率很高直接把整张图缩到640再喂进模型隐裂可能只剩两三个像素细节全丢。常见做法是切成512或640的tile让模型在tile上做检测。但切图时的划分策略直接影响评估真实性。我一般按“组件ID”划分子集同一块组件的所有tile只进一个集合训练、验证、测试互不重叠。否则同一块板上的相似缺陷区域会同时出现在训练集和验证集验证mAP虚高测试表现一塌糊涂这种验证集污染在目标检测数据集的切图场景里非常容易发生。具体操作是先把原图按组件ID分组再对组件分组做7:2:1的随机划分最后对每个组件内的原图做滑窗切tile。这样划分出来的验证集和测试集才是真正没见过的新组件。第5章里会有对应的排查经验。4. 用YOLOv8把缺陷检测跑通数据配置、训练参数与小目标处理4.1 按yolov8训练自己的数据集流程改三处配置数据准备到这个阶段目录结构应该长这样images/train、images/val、labels/train、labels/val。YOLOv8加载数据的方式和yolov8训练自己的数据集的标准流程完全一致只需改data.yaml里三处配置path指向数据根目录train/val写相对子目录名nc和names严格按缺陷类别清单写。下面是一个可以直接用的yamlpath: /data/solar_panel_defect train: images/train val: images/val nc: 4 names: [crack, finger_interruption, fragment, hot_spot]训练时用ultralytics库命令行走标准入口pip install ultralytics yolo detect train datasolar_defect.yaml modelyolov8m.pt epochs150 imgsz640 batch16 device0参数说明imgsz先按640跑通全流程后续再根据缺陷尺寸决定要不要加大epochs在数据量不大时150轮基本能把训练集学透配早停看val loss即可batch大小受显存限制先按默认跑。这里最容易翻车的是mosaic增强EL图背景本来干净mosaic把四张图拼在一起会制造不存在的拼接边缘模型会学出一些假特征。我在EL数据上习惯在最后二三十轮关闭mosaic或者干脆全程关掉。提示Windows上训练如果遇到worker数过高导致的内存报错把nproc_workers调成4或8Linux按核心数的一半设置一般不会出问题。4.2 小目标与细长缺陷切图推理比换backbone更有效太阳能电池板的隐裂是细长目标宽度经常只有三五个像素直接对整张原图缩放训练模型很难学到这种高频纹理特征。常见做法是训练阶段用滑窗切tile推理阶段也用同样的tile切法重叠率设25%到50%再做NMS合并。这是用显存换精度也能让模型在更大分辨率下看到缺陷细节。tile尺寸尽量和训练分辨率一致避免训练和推理出现尺度错配。推理时的合并逻辑我习惯写成下面这样避免跨tile的长裂纹被拆成两半然后漏检import cv2 def tile_inference(model, image, tile_size640, stride480): h, w image.shape[:2] boxes, scores, classes [], [], [] # 滑窗遍历原图坐标回填到原图坐标系 for y in range(0, h - tile_size 1, stride): for x in range(0, w - tile_size 1, stride): tile image[y:y tile_size, x:x tile_size] results model(tile, verboseFalse)[0] for det in results.boxes.data.tolist(): x1, y1, x2, y2, conf, cls det if conf 0.1: continue boxes.append([max(0, x1 x), max(0, y1 y), min(w, x2 x), min(h, y2 y)]) scores.append(conf) classes.append(int(cls)) if not boxes: return [] # 跨tile合并重叠框 indices cv2.dnn.NMSBoxes( [[int(b[0]), int(b[1]), int(b[2] - b[0]), int(b[3] - b[1])] for b in boxes], scores, score_threshold0.1, nms_threshold0.45) if len(indices) 0: return [] return [boxes[i] for i in indices.flatten()], \ [scores[i] for i in indices.flatten()], \ [classes[i] for i in indices.flatten()]逻辑说明滑窗生成tile将模型输出的局部坐标加回偏移量映射到原图坐标系最后统一做NMS合并。参数上stride取tile_size的75%时漏检很少代价是推理时间翻倍如果产线节拍紧可以把stride提到tile_size的87.5%只保留25%重叠。如果原图本身小于tile_size这个循环不会执行需要先把图resize到tile尺寸或直接整图推理。这里再补一个从公开数据迁移到自建数据时的常犯错误不要看到网上某个数据集的精度高就直接照搬它的模型结构先让同一套pipeline在自己数据集上跑通再谈调参。结构差异带来的收益远不如数据一致性来得明显。5. 避坑清单类别失衡、EL伪影与验证集污染的4条血泪经验5.1 隐裂类永远漏检正常样本太多把阈值带偏了现象训练了一百多轮断栅和碎片的AP都涨到0.8以上隐裂的AP还挂在0.2附近调高置信度阈值漏检反而更多。原因太阳能电池板缺陷检测数据集天然类别失衡。正常样本可能占八成以上隐裂虽然在EL图上最显眼但实际像素占比极低。模型默认按各类别均匀对待很容易牺牲样本量少的类别去保多数类目标检测数据集里这种长尾分布其实是常态。解决先用类别频率计算权重或直接用YOLOv8的class_weight参数设置。更稳妥的做法是平衡采样把少数类样本通过复制和增强补到接近多数类单独生成一份训练集目录原始标注目录保留不动避免为了调实验反复动原数据。对断栅这类极少类把大图里相关区域单独切出来扩样效果比直接在整图上过拟合好得多。5.2 EL边缘暗区被当成缺陷验证集虚高现场一用就翻车现象验证集mAP能到0.85现场跑起来却对组件边缘大量误报几乎每个边缘区域都输出一个虚假缺陷框。原因EL图的亮度在边缘和靠近电极条的区域明显偏低模型学到的是“暗就等于缺陷”。更麻烦的是标注人员容易把边缘暗区顺手标成缺陷验证集和训练集来自同一批暗区评估结果自然虚高现场一换新图就露馅。解决采集阶段记录每块板的拍摄参数预处理统一做亮度归一化。我比较推荐对EL图做CLAHE对比度受限自适应直方图均衡化它能拉开近邻暗区与背景的对比度同时避免随机噪声被放大。要强调一点预处理代码必须训练和推理共用同一份最怕训练时做了CLAHE、部署推理时忘了做模型在产线上必然翻车。5.3 断栅和隐裂的标签越标越乱标准漂移比漏标更致命现象两个标注员对同一批图的标签重叠度不足0.5模型训练时同一个位置一会儿是隐裂一会儿是断栅loss一直震荡。原因这两类缺陷在EL图里视觉接近隐裂是任意走向的暗纹断栅是沿栅线的纵向暗带。如果没有统一的长度、宽度、走向判定标准标注就是靠感觉多人协作时标准漂移会越滚越大。解决标注规范里必须写明隐裂主线长宽比大于3比1且走向不与栅线平行断栅要求连续缺失段超过相邻栅线间距的两倍。另外每个标注员完成一批后抽样做二次复核计算IoU并回放不一致的区域这个环节看起来耽误时间但绝对值因为标签质量直接决定模型上限。5.4 验证集mAP高得像开卷考试切图时的数据泄露现象验证mAP高到怀疑人生把训练好的模型拿到一批全新组件图上一测掉了一截甚至掉一半。原因切图时没有按组件维度去重同一块电池板的相邻tile同时进了训练集和验证集。模型等于提前见过“答案”验证集分数没有任何参考意义。解决划分子集时先按文件名前缀或元数据里的组件ID分组用组划分替代按图像随机划分。框架自带的随机划分默认不适合这种情况要自己按组件分组再做train/val/test比例可以用7比2比1。测试集建议直接抽取从未参加过训练、拍摄批次也不同的整块组件保证评估结果能反映真实泛化能力。6. 进阶验证与部署技巧用PR曲线尾部和低置信度阈值说服甲方6.1 PR曲线的尾部缺陷检测真正要盯的指标用mAP评价缺陷检测模型其实不够尤其在你对漏检的容忍度极低时。缺陷检测的真实代价是漏掉一块隐裂板而不是多杀一块良品板。所以我拿到一个新训练完的模型第一件事不是看mAP而是画PR曲线盯低置信度区间的召回率尾部把置信度阈值放到0.1时模型能不能把绝大多数真实缺陷捞回来。如果尾部掉得厉害说明模型对低置信度下的目标区分度不够光是调整阈值解决不了得回头查数据平衡和标注质量。置信度阈值也要按现场代价校准。很多工程师习惯把输出直接对齐0.5这在缺陷检测里不成立。你可以把阈值放到0.2或0.3代价是误报多一些、人工复核多一些但漏检率明显下降。先算清漏一块板的损失再决定阈值方向。阈值本身应该用验证集来选别用测试集否则又把阈值过拟合到测试集上了。6.2 部署前的最后一步预处理一致性与边缘端优化部署时的模型优化我常用的手法是训练后剪枝导出TensorRT的engine文件在Jetson这类边缘设备上跑512输入尺寸的切图流水线TensorRT量化后单帧延迟能压到几十毫秒量级。比换轻量backbone更值钱的是先把预处理一致性锁死训练时做了什么归一化、CLAHE、tile切分部署代码里就原样再做一遍。代码写进同一个配置类或配置文件里保证两边读的是同一份参数。我自己最早在这个数据集上吃过亏误以为换一个更大的模型就能解决小目标检测结果翻来覆去调结构真实表现纹丝不动。后来老老实实把标注规范、切图策略、平衡采样、阈值校准这些底座磨了一遍模型才真正扛住产线节拍。这套流程理顺之后换产线、换组件类型、换可见光或EL场景你会发现它其实就是一套通用的数据集打法希望帮到你。本文还有配套的精品资源点击获取