就在去年下半年我被一桩事反复折磨产线上那块高密度PCBA板0402规格的电阻电容密密麻麻排了大半张板子AOI设备天天误报人工目检那边又跟不上节奏。每天盯屏的质检员换了三轮漏检率还是压不下去。那段时间我几乎把传统图像处理的路子翻了个底朝天——阈值分割、模板匹配、形态学滤波一轮轮试下来要么对光照太敏感要么对来料的位置偏差毫无招架之力。后来逼到墙角开始用YOLO做电子元件缺失与错装检测才算是把这块硬骨头啃下来了。这篇东西不是理论宣讲就是把我从数据采集、标注、训练、调优到产线试运行的完整过程摊开来写。如果你也在搞电子制造业的视觉检测尤其是遇到高密度板上小元件漏检这种棘手需求这篇文章里的思路、参数和踩坑记录应该能帮你少走不少弯路。我会尽量把关键选择背后的原因也讲清楚——为什么这么设置、为什么放弃那条路、为什么最终留下了这个方案。1. 整体方案设计为什么选YOLO做主检测框架先交代一下项目背景。模拟项目X是某电子制造企业的一条SMT产线后端外观检测工位检测对象是完成贴片回流焊后的PCBA板核心缺陷是元件缺失漏贴和错装极性反、规格错。板子的特点是高密度常见的是0402封装最小的到0201一块板上单片MCU周边的阻容元件能到两百多个。在产线节拍30秒/块的约束下检测窗口给得非常紧。在敲定YOLO之前我认真比较过几类方案。传统AOI的算法底子大多是图像差分加模板比对这类方法依赖精准的定位——把元件区域抠出来再和标准图做像素级对比。问题在于高密度板在回流焊后会有轻微的热变形板卡来料的位置公差、印刷偏移、焊点反光都会让模板匹配的鲁棒性急剧下降。实测下来传统方案的误报率能做到2%-3%都很勉强更不要说把漏检率压到千分之一以下。另一类方案是两阶段检测器比如Faster R-CNN这类算法精度高但在嵌入式工控机上跑单帧推理时间很难压进200毫秒以内30秒一块板的节拍下要覆盖十几个视野位置算力根本兜不住。YOLO胜在“单阶段”这个设计哲学——直接在特征图上回归出目标类别和位置不需要RPN那类候选区域提取流程推理速度快是天然的。而且经过几个版本的迭代YOLO在小目标检测上的短板也补上了不少比如后续版本里加入了更细粒度的特征融合结构对密集小目标的分辨能力明显提升。在电子元件检测这种场景下目标小但特征清晰元件轮廓、引脚、极性标识YOLO这种“全局看一眼就出结果”的思路反而更贴合实际——它不需要对每个元件做精确的像素级分割只需要给出“这里有没有东西、是什么东西、位置对不对”就够了。除了算法本身的合理性部署成本也是选型的重要考量。YOLO的生态太成熟了导出ONNX、TensorRT甚至直接在OpenVINO上加速都有大量踩过坑的案例可以参考模型量化、剪枝、TensorRT加速这些链路都是现成的不会在工程化阶段被某个冷门框架卡住。项目周期紧张的时候社区积累比算法先进性更值钱。1.1 高密度板上小元件漏检的根因分析把问题解剖清楚比急着调模型参数重要得多。我在项目启动前做了一轮根因梳理结论挺有意思——漏检的根源不只是“目标太小”而是好几个因素叠加的结果。第一是物理尺寸与成像分辨率的矛盾。0402封装的元件本体只有1.0mm×0.5mm如果视野内要覆盖整块板比如300mm×250mm单个元件的像素宽度可能只有十几个像素。在这个尺度下元件和锡膏、焊盘、丝印的灰阶差异被严重压缩特征几乎被噪声淹没。这就是为什么后面我坚持用“移动视野分区拍摄”加“切片推理”的思路而不是一次性拍整板直接送检测。第二是密度带来的上下文干扰。高密度板上元件间距只有0.2mm-0.3mm缺陷元件周围全是正常元件漏贴的位置看起来就是“一小块空地”。但问题是这个空地和元件间的正常间隙在灰度特征上高度相似。模型很容易被周围密集的特征干扰把该报的漏贴位置忽略掉。这本质上是个“局部上下文分辨率”的问题——模型能不能在紧密排布的特征中识别出“异常空白”。第三是样本分布的不平衡。产线上好品是绝大多数真正的不良品漏贴、极性反是极小概率事件。直接拿产线照片训练模型看到的几乎全是正常情况对缺陷的敏感性会被稀释掉。这个在后面数据策略里我花了很大力气做正负样本平衡和缺陷样本增广。1.2 检测目标与精度指标的拆解项目启动会和工艺部门对齐指标时对方给了一组硬数据漏检率缺失/错装未被检出率要求低于0.1%误检率好板被误判为不良要求低于1%单板检测总耗时不超过12秒含运动控制与多视野拍摄。这里面的逻辑很现实——漏检率关系着客户投诉和售后质量误检率关系着产线返工成本和AOI的“停机—复判”效率。指标拆解下来核心矛盾其实是“漏检率”和“误检率”的取舍。检测行业的朋友都清楚这两个指标天然此消彼长把置信度阈值压低漏检率降下来了误检率必然飙升阈值调高误检好看了漏检又压不住。产线上真正可用的点是在两者之间找一个经济上可接受的工作点。我的经验是模型训练阶段的mAP只是参考真正要盯的是在固定阈值下的漏检率和误检率而且要用“缺陷样本的召回率”作为最核心的训练指标——毕竟漏检一个流到客户手里比误检一百个带来的损失大得多。2. 数据采集与标注工业质检项目的“魔鬼细节”如果说算法框架决定了检测能力的上限那数据就决定了这个上限到底能兑现多少。电子制造场景下数据的采集、清洗和标注远比公共数据集要复杂得多。我在这块投入的时间占了整个项目的一半以上回头看在值得。2.1 产线数据采集的覆盖策略采集环节第一步是搭图像采集环境。我们用的是500万像素的工业面阵相机加远心镜头配合条形光源和同轴光源的组合照明。为什么用远心镜头主要是为了矫正透视误差——普通镜头在视野边缘会有畸变元件尺寸的理论直径和实测直径对不上检测空间位置的响应会失真。远心镜头的特点是“平行光路”在一定景深范围内放大倍率恒定对高密度平整的PCBA板简直绝配。光源方案我选了明暗场结合的组合。条形光源在低角度打光突出焊点的轮廓和元件的边缘纹理同轴光源高角度补光保证元件表面丝印阻值代码、极性标识清晰可辨。这个组合跑下来0402元件的引脚和本体边界在图像里都能稳定分出来。不过要提醒一句光源角度差一点图像特征差很多。我们最开始用45度环形光源打出来的元件边缘全是光晕标注和训练的效果都受影响后来改成双光源分区照明才解决问题。采集策略上切忌只拍“好看”的板。我按这几个维度做覆盖不同批次来料的板卡颜色、丝印颜色差异绿油板、喷锡板、镀金板不同光照条件下亮度波动、反光、阴影区域不同位姿偏差板卡在治具中的旋转、平移、微倾斜缺陷类型覆盖真实漏贴、错装包含极性反、规格错装、以及为了训练增广而人为制作的模拟缺陷这里强烈建议搞一批人为“植入”的缺陷样本。具体操作就是找一块好板用小镊子把特定位置的元件轻轻挑掉或者把某个电阻换成规格不一样的其他料再重新过炉——不是真过炉就放回产线拍摄工位拍一轮照片。这一步能快速把缺失类和错装类的样本量拉起来因为等自然不良品出现效率太低了。2.2 标注规范与质量控制小目标的精细边界标注环节是我最想强调的部分。很多人以为标注就是画框但小目标检测的标注规范直接决定模型收敛质量。我们的标注平台用的是开源的LabelImg格式转成YOLO的txt格式。但真正重要的不是工具而是规则。元件级标注要严格遵守“贴合边界”的原则。对0402电容标注框必须紧贴元件本体亮色陶瓷部分不能把两端的焊盘也包进去。原因很简单模型学习的是“元件本体”和“焊盘背景”之间的边界区分如果框把焊盘也算作“正样本”内部就混合了两种完全不同的外观模式模型会学得很困惑。引脚和焊盘的边界模糊区域宁可框小一两个像素不要框大。我建了一套双重标注加仲裁的机制每张图至少经过两个人标注不一致的地方由我带的小组复核仲裁。表面上看费了人天实际上避免了训练时标签噪声过高导致模型在密集区域产生大量误检——这种错误一旦在模型里“固化”后面清洗数据的成本比标注时多花的时间高一个数量级。类别体系也是这个阶段的重点工作。我做的是三级分类正常元件、缺失、错装。其中错装里面再细化出“极性反”和“规格错”。在类别设计上有个原则能分细就分细类别语义越清晰模型学到的特征越可解释。后面做误检分析时这种细致的类别划分能直接定位到是哪一类缺陷在哪个位置漏了。2.3 数据集的划分与增强策略数据总量上我最终攒了大概6万张切块图像其中看板类正常为主4.2万张缺陷类1.8万张。这里要特别说明如果整板图像直接输入模型算力吃不消而且小目标在缩放后信息损失严重。所以我采用“滑窗切图”方案先把整板图像按固定步长切成512×512的图块缺陷块和正常块混合再统一缩放到640×640输入网络。这个操作等于在小目标没进入网络之前先物理上把它们的像素尺寸放大了一倍多。分割切块有一个细节重叠步长。我用了64像素的overlap是为了避免缺陷恰好落在切图边界被截断——这个位置如果被硬生生截成两半标注框就废了模型也学不到完整的缺陷特征。增强策略这块我做了大量的“工业风”数据增强。常规的翻转、旋转、缩放不用说关键是加了光照扰动和噪声。电子元件的反光特性决定了光照变化是主要干扰项之一所以我用亮度、对比度、色温的随机变化来模拟不同光源状态。高斯噪声的注入模拟相机传感器在低曝光条件下的噪点。mosaic增强也用了但用的是改进版把四张图拼接时强制加入黑色边框和灰色空隙避免拼接处出现“伪元件”特征——这个细节实测下来对减少误检帮助明显。但有个增强手段我要强烈提醒别乱用随机裁剪的尺度变化。对0402这种极小目标如果把目标缩放到20×20像素以下信息量已经完全不足以支撑可靠检测了强行增强只会让模型学到一堆噪声。增强的目的是让模型泛化不是让模型学会记忆噪声模式。3. 模型训练与关键参数调优实录数据准备妥当后进入训练环节。这部分我把每一步的核心参数、为什么这样设置、踩过的坑以及最终的调优路径都摊开来写。3.1 模型选型与网络结构的取舍我先在YOLO系列内部做了个对比测试。候选模型包括轻量版的n版本、s版本和m版本分别在不同batch size下测了单帧推理速度和mAP。明显的结果是m版本在密集小目标上的精度优势非常显著推理耗时约120ms/张TensorRT FP16优化后完全满足产线节拍。最终选定了m版本作为主模型N版本保留做备用用于紧急情况下的算力兜底。这里有个经验工业质检场景模型大小千万不要盲目压。很多人担心算力瓶颈一上来就选轻量版本结果小目标漏检一塌糊涂后面返工折腾的时间远超省下的那点推理时间。在算力允许范围内尽量上更大的模型然后用TensorRT或者ONNX Runtime做推理优化才是正途。训练分辨率上我用了640×640作为输入。有朋友建议直接上1024甚至1280理论上分辨率越高小目标越清晰。但实测下来高分辨率在小目标上的收益存在天花板超过某个点之后计算量暴涨而精度提升微弱。640×640配合切块方案0402元件在输入图中的典型尺寸已经达到40×50像素左右处于YOLO小目标检测的舒适区间。3.2 训练超参的配置与调优逻辑训练配置我给出完整参数# 核心训练参数 img_size: 640 batch_size: 32 epochs: 300 optimizer: SGD (momentum0.937, weight_decay0.0005) lr0: 0.01 lrf: 0.01 warmup_epochs: 3 mosaic: 0.5 (动态衰减)说说每个参数背后的逻辑。优化器用SGD而不用Adam是工业目标检测任务的老经验。SGD配合学习率衰减策略收敛过程更平滑不容易在局部最优附近震荡。Adam虽然前期收敛快但在小目标和密集场景下后期容易在小损失区域反复横跳泛化性能反而不如SGD。这个我自己做过对照实验mAP差了将近2个点。学习率策略用的是warmup cosine decay组合。头3个epoch用低学习率让模型先适应数据分布然后升到初始学习率再余弦衰减到最终值。这套组合拳的好处是早期防止梯度爆炸中后期逐步收敛到更优解。mosaic增强我给的是0.5的启用率并且会在训练中后期动态衰减到0。原因是mosaic在训练前期能显著增加样本多样性但到了后期模型已经把正常特征学得差不多了这时合成图像的“拼接感”反而会引导模型去学一些不存在的伪特征。衰减到0能保证最后阶段的训练样本全部来自真实图像分布对收敛到稳定状态更有利。3.3 类别不均衡问题的对策Focal Loss改造电子制造场景里正常元件和缺陷元件的比例极其悬殊。我统计过原始数据集正常元件框和缺陷框的比例接近200:1。直接用标准交叉熵损失训练模型会把“大部分框都是正常类”当成捷径缺陷类的梯度被淹没最后的结果就是缺陷召回率惨不忍睹——这正是项目一开始漏检率压不下来的原因之一。我的方案是把分类损失改成Focal Loss。这个损失函数的核心思想是抑制易分类样本的损失贡献让模型把注意力放在难分类的少数类样本上。参数gamma设为2.0alpha设为0.75。经过Focal Loss改造后缺陷类的召回率从不到60%直接拉到了85%以上。Focal Loss有个副作用需要留意误检率会跟着上升因为模型对“疑似缺陷”的响应变得敏感了。所以我在Focal Loss前面加了个权重缓冲当某次迭代中缺陷类的召回率超过设定阈值时逐渐把gamma拉回1.0相当于让模型从“过度激进”回到“理性平衡”。这个动态调整机制跑下来最终在缺陷召回率92%的情况下误检率压到了1.2%以内。3.4 一次过拟合事故的处理记录训练到第150轮左右我发现验证集mAP开始停滞但训练集loss还在下降——典型过拟合信号。一开始以为是模型容量太大或者数据量不够后来查到真正的根因是余弦衰减的学习率在后期没降到底模型在高维特征空间里把训练集的噪声也记进去了。处理办法直接把学习率下限再降一个数量级同时把weight decay从0.0005提到0.001加了标签平滑label smoothing0.05抑制过度自信的预测。改完再训练验证集mAP从85.1%升到87.6%缺陷召回率也明显回升。这次事故给我的教训是训练曲线不能只看平均数要把每个类别的AP曲线分开盯哪一类下滑就回溯是哪边出了问题。4. 推理优化与产线部署实用经验训练只是前半场真正决定项目成败的是推理优化和部署环节。这部分我把模型导出、推理框架选择、阈值校准和产线联调的经验都梳理一遍。4.1 模型导出与推理框架比选训练好的PyTorch模型不能直接上产线我走的是“PyTorch → ONNX → TensorRT FP16”的链路。第一步导出ONNX关键点是固定输入尺寸。YOLO默认支持任意尺寸输入但动态shape在部署时会让TensorRT的优化空间大幅缩水。我把输入固定为640×640batch固定为1这样TensorRT能进行更激进的内核融合优化。导出时还要注意输出层的锚框处理。YOLO模型的输出是三个尺度的特征图80×8040×4020×20每个位置预测多个锚框。ONNX导出时保持原样输出交给后面的后处理脚本统一做解码和NMS。如果提前把解码逻辑写进网络虽然部署简单但灵活性差后面调置信度阈值会很痛苦。第二步TensorRT转换FP16精度模式下单帧推理耗时从120ms进一步压到75ms精度损失控制在0.3%以内。这里有个经验FP16对反光强烈的焊点区域会略有精度损失如果你对检测精度极其敏感可以考虑INT8加校准集但校准集选不好反而可能让精度崩掉所以最后我选了FP16作为更稳妥的选项。4.2 后处理策略置信度阈值与NMS参数设计后处理是工业检测的隐藏关卡。YOLO原始输出的raw box非常多一个512×512的切块可能产生几千个候选框必须通过置信度阈值过滤和NMS非极大值抑制去重。置信度阈值的确定不是拍脑袋我是用验证集做的“阈值-召回率-误检率”曲线分析。具体方法在固定IoU阈值下遍历置信度从0.1到0.9画出召回率和误检率随置信度变化的曲线找两条曲线的经济均衡点。我最终把置信度阈值定在0.45此时缺陷召回率92%误检率1.1%。NMS的IoU阈值要注意高密度场景的特殊性。公共数据集上常用的0.5-0.6在元件挨着元件的高密度板上会出问题——两个相邻的0402电容边框高度重叠NMS会把其中一个当成另一个的重复检测直接抑制掉造成漏检。我把NMS的IoU阈值调整到0.4让模型对“确实靠得很近但语义不同的目标”保留更多弹性。这个参数改动测试下来把相邻元件漏检率降低了一个数量级。4.3 精度验证与产线试运行模型在离线测试集上达标只能算第一步。我采用了“离线验证→小批量试运行→全量灰度切换”三步走策略。离线验证阶段我把历史积累的2000张带标注图像其中人工复判确认过的缺陷样本有350张过了一遍模型统计每个类别的精确率、召回率、F1值。特别是把之前AOI设备误报的样本单独拉出来跑了一轮确认模型不会沿袭传统AOI的误报模式。小批量试运行阶段我在产线上并行了两周——检测设备不直接参与拦截只做旁路记录把预测结果和人工复判结果逐条比对。这一阶段最重要的产出是“误报样本池”模型报了缺陷但人工复判为好品的样本以及人工复判为缺陷但模型漏报的样本。误报样本池是后续模型迭代和阈值校准的核心依据每一周我都会拉一次数据重新分析。全量切换后检测系统正式拦截缺陷板。上线第一周漏检率从AOI时代的0.8%直接降到0.05%误检率从3.2%降到1.1%单板检测用时含运动控制稳定在9秒上下超过了工艺部门给的12秒指标。5. 常见问题与排查技巧实录项目过程中积累了不少问题排查经验整理成速查表供参考。问题现象可能原因排查方向与解决建议小目标漏检率高输入分辨率不足检查切图步长和输入尺寸尝试重叠切图策略训练loss下降但召回率停滞类别不均衡改用Focal Loss或对缺陷类做上采样高密度区域误检泛滥NMS的IoU阈值过高调低IoU阈值到0.4左右给近距离目标留出空间新批次板卡误检暴增光照条件变化补充新批次图像的采集与增量训练模型对丝印字符误检丝印区域特征与元件表面混淆在标注中增加“非元件区域”负样本或引入背景类推理耗时超标模型过大或后处理重复计算尝试TensorRT FP16优化NMS前候选框数量排查经验里最想强调的一点问题定位一定要用“数据回放”的思维。每当产线反馈某类缺陷漏检不要急着改参数先把模型在漏检图像上的中间输出特征图热力图、TOP-K候选框导出来用可视化的方式看看模型“到底有没有看到这个缺陷”“看到后为什么没报”。这一步能快速区分是特征学习问题、阈值问题还是后处理抑制问题避免在错误的方向上反复折腾。另外一个排查技巧建立“缺陷样本回放库”。每次产线发现漏检立刻保存原始图像和人工复判结果标记为“补采集样本”隔一段时间做一轮增量训练。这个方法让模型在实际生产中持续进化而不是上线后性能逐步退化。6. 关于未来扩展和工程化的一些经验沉淀上线稳定运行三个月后总有朋友问这个项目还能往哪走。我的实际体会是工业视觉检测项目真正的价值不是一次性的模型上线而是把“数据→训练→验证→部署→反馈”这套闭环跑顺了。目前我在探索的方向是把同一套基础模型迁移到相邻场景——比如错装检测之外再做焊点质量分级的尝试。迁移的经验是不要直接在预训练权重上微调下一个场景而是先在新的数据分布上做少量epoch的自适应训练确认特征表示已经适配新域再逐步放开训练。这个过程如果跳太快新场景的数据量不足时模型会灾难性遗忘旧知识在电子制造这种多品类切换频繁的产线上特别致命。还有个小技巧分享给大家产线部署端一定要留一个“模型热更新”的接口。我们最初用的是离线部署每次更新模型都要停机半小时后来改成双模型热切换——加载新模型到内存切换请求只影响几十毫秒产线完全无感。这个改动对后续持续优化模型体验极佳。从方案选型到数据准备从训练调优到部署落地再到上线后的迭代优化这个项目走下来我的核心感受是电子元件检测的核心不在某个单点算法有多强而在于把采集、标注、训练、验证、部署、反馈这条链路整体捏合在一起让它能持续运转、持续进化。对小目标漏检这个永恒主题YOLO给出了一个足够好的工程起点而后续能走多远取决于工程细节的打磨深度。 
长河君 · 2026/10/9 20:34:04 · 阅读 1.2k 基于YOLO的PCBA高密度板电子元件缺失与错装检测实战
就在去年下半年我被一桩事反复折磨产线上那块高密度PCBA板0402规格的电阻电容密密麻麻排了大半张板子AOI设备天天误报人工目检那边又跟不上节奏。每天盯屏的质检员换了三轮漏检率还是压不下去。那段时间我几乎把传统图像处理的路子翻了个底朝天——阈值分割、模板匹配、形态学滤波一轮轮试下来要么对光照太敏感要么对来料的位置偏差毫无招架之力。后来逼到墙角开始用YOLO做电子元件缺失与错装检测才算是把这块硬骨头啃下来了。这篇东西不是理论宣讲就是把我从数据采集、标注、训练、调优到产线试运行的完整过程摊开来写。如果你也在搞电子制造业的视觉检测尤其是遇到高密度板上小元件漏检这种棘手需求这篇文章里的思路、参数和踩坑记录应该能帮你少走不少弯路。我会尽量把关键选择背后的原因也讲清楚——为什么这么设置、为什么放弃那条路、为什么最终留下了这个方案。1. 整体方案设计为什么选YOLO做主检测框架先交代一下项目背景。模拟项目X是某电子制造企业的一条SMT产线后端外观检测工位检测对象是完成贴片回流焊后的PCBA板核心缺陷是元件缺失漏贴和错装极性反、规格错。板子的特点是高密度常见的是0402封装最小的到0201一块板上单片MCU周边的阻容元件能到两百多个。在产线节拍30秒/块的约束下检测窗口给得非常紧。在敲定YOLO之前我认真比较过几类方案。传统AOI的算法底子大多是图像差分加模板比对这类方法依赖精准的定位——把元件区域抠出来再和标准图做像素级对比。问题在于高密度板在回流焊后会有轻微的热变形板卡来料的位置公差、印刷偏移、焊点反光都会让模板匹配的鲁棒性急剧下降。实测下来传统方案的误报率能做到2%-3%都很勉强更不要说把漏检率压到千分之一以下。另一类方案是两阶段检测器比如Faster R-CNN这类算法精度高但在嵌入式工控机上跑单帧推理时间很难压进200毫秒以内30秒一块板的节拍下要覆盖十几个视野位置算力根本兜不住。YOLO胜在“单阶段”这个设计哲学——直接在特征图上回归出目标类别和位置不需要RPN那类候选区域提取流程推理速度快是天然的。而且经过几个版本的迭代YOLO在小目标检测上的短板也补上了不少比如后续版本里加入了更细粒度的特征融合结构对密集小目标的分辨能力明显提升。在电子元件检测这种场景下目标小但特征清晰元件轮廓、引脚、极性标识YOLO这种“全局看一眼就出结果”的思路反而更贴合实际——它不需要对每个元件做精确的像素级分割只需要给出“这里有没有东西、是什么东西、位置对不对”就够了。除了算法本身的合理性部署成本也是选型的重要考量。YOLO的生态太成熟了导出ONNX、TensorRT甚至直接在OpenVINO上加速都有大量踩过坑的案例可以参考模型量化、剪枝、TensorRT加速这些链路都是现成的不会在工程化阶段被某个冷门框架卡住。项目周期紧张的时候社区积累比算法先进性更值钱。1.1 高密度板上小元件漏检的根因分析把问题解剖清楚比急着调模型参数重要得多。我在项目启动前做了一轮根因梳理结论挺有意思——漏检的根源不只是“目标太小”而是好几个因素叠加的结果。第一是物理尺寸与成像分辨率的矛盾。0402封装的元件本体只有1.0mm×0.5mm如果视野内要覆盖整块板比如300mm×250mm单个元件的像素宽度可能只有十几个像素。在这个尺度下元件和锡膏、焊盘、丝印的灰阶差异被严重压缩特征几乎被噪声淹没。这就是为什么后面我坚持用“移动视野分区拍摄”加“切片推理”的思路而不是一次性拍整板直接送检测。第二是密度带来的上下文干扰。高密度板上元件间距只有0.2mm-0.3mm缺陷元件周围全是正常元件漏贴的位置看起来就是“一小块空地”。但问题是这个空地和元件间的正常间隙在灰度特征上高度相似。模型很容易被周围密集的特征干扰把该报的漏贴位置忽略掉。这本质上是个“局部上下文分辨率”的问题——模型能不能在紧密排布的特征中识别出“异常空白”。第三是样本分布的不平衡。产线上好品是绝大多数真正的不良品漏贴、极性反是极小概率事件。直接拿产线照片训练模型看到的几乎全是正常情况对缺陷的敏感性会被稀释掉。这个在后面数据策略里我花了很大力气做正负样本平衡和缺陷样本增广。1.2 检测目标与精度指标的拆解项目启动会和工艺部门对齐指标时对方给了一组硬数据漏检率缺失/错装未被检出率要求低于0.1%误检率好板被误判为不良要求低于1%单板检测总耗时不超过12秒含运动控制与多视野拍摄。这里面的逻辑很现实——漏检率关系着客户投诉和售后质量误检率关系着产线返工成本和AOI的“停机—复判”效率。指标拆解下来核心矛盾其实是“漏检率”和“误检率”的取舍。检测行业的朋友都清楚这两个指标天然此消彼长把置信度阈值压低漏检率降下来了误检率必然飙升阈值调高误检好看了漏检又压不住。产线上真正可用的点是在两者之间找一个经济上可接受的工作点。我的经验是模型训练阶段的mAP只是参考真正要盯的是在固定阈值下的漏检率和误检率而且要用“缺陷样本的召回率”作为最核心的训练指标——毕竟漏检一个流到客户手里比误检一百个带来的损失大得多。2. 数据采集与标注工业质检项目的“魔鬼细节”如果说算法框架决定了检测能力的上限那数据就决定了这个上限到底能兑现多少。电子制造场景下数据的采集、清洗和标注远比公共数据集要复杂得多。我在这块投入的时间占了整个项目的一半以上回头看在值得。2.1 产线数据采集的覆盖策略采集环节第一步是搭图像采集环境。我们用的是500万像素的工业面阵相机加远心镜头配合条形光源和同轴光源的组合照明。为什么用远心镜头主要是为了矫正透视误差——普通镜头在视野边缘会有畸变元件尺寸的理论直径和实测直径对不上检测空间位置的响应会失真。远心镜头的特点是“平行光路”在一定景深范围内放大倍率恒定对高密度平整的PCBA板简直绝配。光源方案我选了明暗场结合的组合。条形光源在低角度打光突出焊点的轮廓和元件的边缘纹理同轴光源高角度补光保证元件表面丝印阻值代码、极性标识清晰可辨。这个组合跑下来0402元件的引脚和本体边界在图像里都能稳定分出来。不过要提醒一句光源角度差一点图像特征差很多。我们最开始用45度环形光源打出来的元件边缘全是光晕标注和训练的效果都受影响后来改成双光源分区照明才解决问题。采集策略上切忌只拍“好看”的板。我按这几个维度做覆盖不同批次来料的板卡颜色、丝印颜色差异绿油板、喷锡板、镀金板不同光照条件下亮度波动、反光、阴影区域不同位姿偏差板卡在治具中的旋转、平移、微倾斜缺陷类型覆盖真实漏贴、错装包含极性反、规格错装、以及为了训练增广而人为制作的模拟缺陷这里强烈建议搞一批人为“植入”的缺陷样本。具体操作就是找一块好板用小镊子把特定位置的元件轻轻挑掉或者把某个电阻换成规格不一样的其他料再重新过炉——不是真过炉就放回产线拍摄工位拍一轮照片。这一步能快速把缺失类和错装类的样本量拉起来因为等自然不良品出现效率太低了。2.2 标注规范与质量控制小目标的精细边界标注环节是我最想强调的部分。很多人以为标注就是画框但小目标检测的标注规范直接决定模型收敛质量。我们的标注平台用的是开源的LabelImg格式转成YOLO的txt格式。但真正重要的不是工具而是规则。元件级标注要严格遵守“贴合边界”的原则。对0402电容标注框必须紧贴元件本体亮色陶瓷部分不能把两端的焊盘也包进去。原因很简单模型学习的是“元件本体”和“焊盘背景”之间的边界区分如果框把焊盘也算作“正样本”内部就混合了两种完全不同的外观模式模型会学得很困惑。引脚和焊盘的边界模糊区域宁可框小一两个像素不要框大。我建了一套双重标注加仲裁的机制每张图至少经过两个人标注不一致的地方由我带的小组复核仲裁。表面上看费了人天实际上避免了训练时标签噪声过高导致模型在密集区域产生大量误检——这种错误一旦在模型里“固化”后面清洗数据的成本比标注时多花的时间高一个数量级。类别体系也是这个阶段的重点工作。我做的是三级分类正常元件、缺失、错装。其中错装里面再细化出“极性反”和“规格错”。在类别设计上有个原则能分细就分细类别语义越清晰模型学到的特征越可解释。后面做误检分析时这种细致的类别划分能直接定位到是哪一类缺陷在哪个位置漏了。2.3 数据集的划分与增强策略数据总量上我最终攒了大概6万张切块图像其中看板类正常为主4.2万张缺陷类1.8万张。这里要特别说明如果整板图像直接输入模型算力吃不消而且小目标在缩放后信息损失严重。所以我采用“滑窗切图”方案先把整板图像按固定步长切成512×512的图块缺陷块和正常块混合再统一缩放到640×640输入网络。这个操作等于在小目标没进入网络之前先物理上把它们的像素尺寸放大了一倍多。分割切块有一个细节重叠步长。我用了64像素的overlap是为了避免缺陷恰好落在切图边界被截断——这个位置如果被硬生生截成两半标注框就废了模型也学不到完整的缺陷特征。增强策略这块我做了大量的“工业风”数据增强。常规的翻转、旋转、缩放不用说关键是加了光照扰动和噪声。电子元件的反光特性决定了光照变化是主要干扰项之一所以我用亮度、对比度、色温的随机变化来模拟不同光源状态。高斯噪声的注入模拟相机传感器在低曝光条件下的噪点。mosaic增强也用了但用的是改进版把四张图拼接时强制加入黑色边框和灰色空隙避免拼接处出现“伪元件”特征——这个细节实测下来对减少误检帮助明显。但有个增强手段我要强烈提醒别乱用随机裁剪的尺度变化。对0402这种极小目标如果把目标缩放到20×20像素以下信息量已经完全不足以支撑可靠检测了强行增强只会让模型学到一堆噪声。增强的目的是让模型泛化不是让模型学会记忆噪声模式。3. 模型训练与关键参数调优实录数据准备妥当后进入训练环节。这部分我把每一步的核心参数、为什么这样设置、踩过的坑以及最终的调优路径都摊开来写。3.1 模型选型与网络结构的取舍我先在YOLO系列内部做了个对比测试。候选模型包括轻量版的n版本、s版本和m版本分别在不同batch size下测了单帧推理速度和mAP。明显的结果是m版本在密集小目标上的精度优势非常显著推理耗时约120ms/张TensorRT FP16优化后完全满足产线节拍。最终选定了m版本作为主模型N版本保留做备用用于紧急情况下的算力兜底。这里有个经验工业质检场景模型大小千万不要盲目压。很多人担心算力瓶颈一上来就选轻量版本结果小目标漏检一塌糊涂后面返工折腾的时间远超省下的那点推理时间。在算力允许范围内尽量上更大的模型然后用TensorRT或者ONNX Runtime做推理优化才是正途。训练分辨率上我用了640×640作为输入。有朋友建议直接上1024甚至1280理论上分辨率越高小目标越清晰。但实测下来高分辨率在小目标上的收益存在天花板超过某个点之后计算量暴涨而精度提升微弱。640×640配合切块方案0402元件在输入图中的典型尺寸已经达到40×50像素左右处于YOLO小目标检测的舒适区间。3.2 训练超参的配置与调优逻辑训练配置我给出完整参数# 核心训练参数 img_size: 640 batch_size: 32 epochs: 300 optimizer: SGD (momentum0.937, weight_decay0.0005) lr0: 0.01 lrf: 0.01 warmup_epochs: 3 mosaic: 0.5 (动态衰减)说说每个参数背后的逻辑。优化器用SGD而不用Adam是工业目标检测任务的老经验。SGD配合学习率衰减策略收敛过程更平滑不容易在局部最优附近震荡。Adam虽然前期收敛快但在小目标和密集场景下后期容易在小损失区域反复横跳泛化性能反而不如SGD。这个我自己做过对照实验mAP差了将近2个点。学习率策略用的是warmup cosine decay组合。头3个epoch用低学习率让模型先适应数据分布然后升到初始学习率再余弦衰减到最终值。这套组合拳的好处是早期防止梯度爆炸中后期逐步收敛到更优解。mosaic增强我给的是0.5的启用率并且会在训练中后期动态衰减到0。原因是mosaic在训练前期能显著增加样本多样性但到了后期模型已经把正常特征学得差不多了这时合成图像的“拼接感”反而会引导模型去学一些不存在的伪特征。衰减到0能保证最后阶段的训练样本全部来自真实图像分布对收敛到稳定状态更有利。3.3 类别不均衡问题的对策Focal Loss改造电子制造场景里正常元件和缺陷元件的比例极其悬殊。我统计过原始数据集正常元件框和缺陷框的比例接近200:1。直接用标准交叉熵损失训练模型会把“大部分框都是正常类”当成捷径缺陷类的梯度被淹没最后的结果就是缺陷召回率惨不忍睹——这正是项目一开始漏检率压不下来的原因之一。我的方案是把分类损失改成Focal Loss。这个损失函数的核心思想是抑制易分类样本的损失贡献让模型把注意力放在难分类的少数类样本上。参数gamma设为2.0alpha设为0.75。经过Focal Loss改造后缺陷类的召回率从不到60%直接拉到了85%以上。Focal Loss有个副作用需要留意误检率会跟着上升因为模型对“疑似缺陷”的响应变得敏感了。所以我在Focal Loss前面加了个权重缓冲当某次迭代中缺陷类的召回率超过设定阈值时逐渐把gamma拉回1.0相当于让模型从“过度激进”回到“理性平衡”。这个动态调整机制跑下来最终在缺陷召回率92%的情况下误检率压到了1.2%以内。3.4 一次过拟合事故的处理记录训练到第150轮左右我发现验证集mAP开始停滞但训练集loss还在下降——典型过拟合信号。一开始以为是模型容量太大或者数据量不够后来查到真正的根因是余弦衰减的学习率在后期没降到底模型在高维特征空间里把训练集的噪声也记进去了。处理办法直接把学习率下限再降一个数量级同时把weight decay从0.0005提到0.001加了标签平滑label smoothing0.05抑制过度自信的预测。改完再训练验证集mAP从85.1%升到87.6%缺陷召回率也明显回升。这次事故给我的教训是训练曲线不能只看平均数要把每个类别的AP曲线分开盯哪一类下滑就回溯是哪边出了问题。4. 推理优化与产线部署实用经验训练只是前半场真正决定项目成败的是推理优化和部署环节。这部分我把模型导出、推理框架选择、阈值校准和产线联调的经验都梳理一遍。4.1 模型导出与推理框架比选训练好的PyTorch模型不能直接上产线我走的是“PyTorch → ONNX → TensorRT FP16”的链路。第一步导出ONNX关键点是固定输入尺寸。YOLO默认支持任意尺寸输入但动态shape在部署时会让TensorRT的优化空间大幅缩水。我把输入固定为640×640batch固定为1这样TensorRT能进行更激进的内核融合优化。导出时还要注意输出层的锚框处理。YOLO模型的输出是三个尺度的特征图80×8040×4020×20每个位置预测多个锚框。ONNX导出时保持原样输出交给后面的后处理脚本统一做解码和NMS。如果提前把解码逻辑写进网络虽然部署简单但灵活性差后面调置信度阈值会很痛苦。第二步TensorRT转换FP16精度模式下单帧推理耗时从120ms进一步压到75ms精度损失控制在0.3%以内。这里有个经验FP16对反光强烈的焊点区域会略有精度损失如果你对检测精度极其敏感可以考虑INT8加校准集但校准集选不好反而可能让精度崩掉所以最后我选了FP16作为更稳妥的选项。4.2 后处理策略置信度阈值与NMS参数设计后处理是工业检测的隐藏关卡。YOLO原始输出的raw box非常多一个512×512的切块可能产生几千个候选框必须通过置信度阈值过滤和NMS非极大值抑制去重。置信度阈值的确定不是拍脑袋我是用验证集做的“阈值-召回率-误检率”曲线分析。具体方法在固定IoU阈值下遍历置信度从0.1到0.9画出召回率和误检率随置信度变化的曲线找两条曲线的经济均衡点。我最终把置信度阈值定在0.45此时缺陷召回率92%误检率1.1%。NMS的IoU阈值要注意高密度场景的特殊性。公共数据集上常用的0.5-0.6在元件挨着元件的高密度板上会出问题——两个相邻的0402电容边框高度重叠NMS会把其中一个当成另一个的重复检测直接抑制掉造成漏检。我把NMS的IoU阈值调整到0.4让模型对“确实靠得很近但语义不同的目标”保留更多弹性。这个参数改动测试下来把相邻元件漏检率降低了一个数量级。4.3 精度验证与产线试运行模型在离线测试集上达标只能算第一步。我采用了“离线验证→小批量试运行→全量灰度切换”三步走策略。离线验证阶段我把历史积累的2000张带标注图像其中人工复判确认过的缺陷样本有350张过了一遍模型统计每个类别的精确率、召回率、F1值。特别是把之前AOI设备误报的样本单独拉出来跑了一轮确认模型不会沿袭传统AOI的误报模式。小批量试运行阶段我在产线上并行了两周——检测设备不直接参与拦截只做旁路记录把预测结果和人工复判结果逐条比对。这一阶段最重要的产出是“误报样本池”模型报了缺陷但人工复判为好品的样本以及人工复判为缺陷但模型漏报的样本。误报样本池是后续模型迭代和阈值校准的核心依据每一周我都会拉一次数据重新分析。全量切换后检测系统正式拦截缺陷板。上线第一周漏检率从AOI时代的0.8%直接降到0.05%误检率从3.2%降到1.1%单板检测用时含运动控制稳定在9秒上下超过了工艺部门给的12秒指标。5. 常见问题与排查技巧实录项目过程中积累了不少问题排查经验整理成速查表供参考。问题现象可能原因排查方向与解决建议小目标漏检率高输入分辨率不足检查切图步长和输入尺寸尝试重叠切图策略训练loss下降但召回率停滞类别不均衡改用Focal Loss或对缺陷类做上采样高密度区域误检泛滥NMS的IoU阈值过高调低IoU阈值到0.4左右给近距离目标留出空间新批次板卡误检暴增光照条件变化补充新批次图像的采集与增量训练模型对丝印字符误检丝印区域特征与元件表面混淆在标注中增加“非元件区域”负样本或引入背景类推理耗时超标模型过大或后处理重复计算尝试TensorRT FP16优化NMS前候选框数量排查经验里最想强调的一点问题定位一定要用“数据回放”的思维。每当产线反馈某类缺陷漏检不要急着改参数先把模型在漏检图像上的中间输出特征图热力图、TOP-K候选框导出来用可视化的方式看看模型“到底有没有看到这个缺陷”“看到后为什么没报”。这一步能快速区分是特征学习问题、阈值问题还是后处理抑制问题避免在错误的方向上反复折腾。另外一个排查技巧建立“缺陷样本回放库”。每次产线发现漏检立刻保存原始图像和人工复判结果标记为“补采集样本”隔一段时间做一轮增量训练。这个方法让模型在实际生产中持续进化而不是上线后性能逐步退化。6. 关于未来扩展和工程化的一些经验沉淀上线稳定运行三个月后总有朋友问这个项目还能往哪走。我的实际体会是工业视觉检测项目真正的价值不是一次性的模型上线而是把“数据→训练→验证→部署→反馈”这套闭环跑顺了。目前我在探索的方向是把同一套基础模型迁移到相邻场景——比如错装检测之外再做焊点质量分级的尝试。迁移的经验是不要直接在预训练权重上微调下一个场景而是先在新的数据分布上做少量epoch的自适应训练确认特征表示已经适配新域再逐步放开训练。这个过程如果跳太快新场景的数据量不足时模型会灾难性遗忘旧知识在电子制造这种多品类切换频繁的产线上特别致命。还有个小技巧分享给大家产线部署端一定要留一个“模型热更新”的接口。我们最初用的是离线部署每次更新模型都要停机半小时后来改成双模型热切换——加载新模型到内存切换请求只影响几十毫秒产线完全无感。这个改动对后续持续优化模型体验极佳。从方案选型到数据准备从训练调优到部署落地再到上线后的迭代优化这个项目走下来我的核心感受是电子元件检测的核心不在某个单点算法有多强而在于把采集、标注、训练、验证、部署、反馈这条链路整体捏合在一起让它能持续运转、持续进化。对小目标漏检这个永恒主题YOLO给出了一个足够好的工程起点而后续能走多远取决于工程细节的打磨深度。