这两年我一直在折腾车牌识别相关的项目从最初的柴油车、蓝牌老燃油车到后来的新能源绿牌踩过的坑确实不少。这个项目的标题叫作基于OpenCV的深度学习新能源车牌识别系统看名字就知道它不是简单的单点识别而是同时要搞定车牌的OCR字符识别、车辆颜色特征提取和车型识别最终还要落在自建的图像数据集上。今天就把这套系统的设计思路、核心实现和我在实操中遇到的坑一次性说清楚。先聊聊这套系统到底能做什么。它本质上是一个软硬一体的视觉识别方案输入可以是停车场出入口的摄像头画面、路侧抓拍的图片也可以是你自己批量测试用的静态图片输出则是三个最核心的结构化信息新能源车牌号码、车身颜色、车型类别。这三个信息组合在一起就能支撑很多实际业务——比如说小区停车场针对新能源车和燃油车的区分计费、特定车型的权限管理、车辆颜色维度的检索与追踪等等。适合谁来参考如果你是做安防监控、智慧停车、车辆管理系统的开发者或者你在学校实验室刚好要做类似的车牌识别课题这篇文章的内容应该能直接帮你省掉不少弯路。1. 整体架构设计为什么是OpenCV加深度学习的混合方案很多人一提到车牌识别第一反应就是直接用深度学习不就行了。确实如果用纯深度学习做端到端的检测加识别比如直接用现成的目标检测模型做端到端车牌号码输出也不是不行但我在实际项目里尝试下来发现在一些细分场景下效果并不理想而且对数据和算力的要求更高。这套系统之所以选择OpenCV和深度学习的混合方案核心逻辑只有一个让OpenCV做它擅长的事让深度学习做它擅长的事分工明确各施所长。OpenCV擅长什么擅长图像预处理、几何变换、颜色空间转换和传统特征提取。在车牌定位这个环节传统CV方案有天然的优势——它不依赖大量标注数据特征清晰、计算轻量、推理速度快。哪怕是在树莓派、Jetson Nano这类边缘设备上用OpenCV做车牌区域的粗定位帧率也能轻松跑上30帧以上。深度学习擅长什么擅长字符识别和泛化能力强的分类任务。车牌上那些字符汉字、字母、数字因为字体、清晰度、光照变化实在太大用传统模板匹配或者特征分类器的方式来做准确率会明显受限。而用卷积神经网络配合序列建模比如CNNLSTMCTC或者直接的字符分类网络鲁棒性会好得多。整体架构我大概分成了四个层次层次模块技术方案数据层图像采集与数据集管理摄像头抓拍、网络爬取合成、标注工具预处理层图像增强与定位OpenCV灰度化、二值化、边缘检测、形态学过滤识别层车牌OCR、颜色识别、车型识别深度学习分类网络与CRNN序列识别应用层业务逻辑与接口结果结构化输出数据库回写事件联动实际开发的过程中我建议你也按照这个分层思路走。一来每个模块可以独立测试哪个环节不准就调哪个环节排查问题效率高二来未来如果你想换新的算法模型只需要替换识别层前期的数据清洗和定位逻辑可以完全复用。2. 新能源车牌数据集的建设模型的上限从数据采集与标注开始做深度学习项目最忌讳的就是数据没准备好就直接开训。尤其是车牌识别这样的垂直场景公开数据集大多以蓝牌燃油车为主新能源车牌的数据非常稀缺。所以图像数据集这个环节是这个项目的工作量重头但也恰恰是最能拉开差距的地方。2.1 新能源车牌的结构特征先搞清楚你面对的是什么新能源车牌和传统蓝牌有着明显的结构性差异如果不先把这个差异吃透后面所有工作都会出问题。国内新能源车牌最常见的两种样式是小型新能源车渐变绿色背景、黑字总共8位字符排列方式是省份简称1位汉字 发牌机关代号1位字母 序号6位字母数字混合。比如粤AD12345这样的结构。大型新能源车黄绿双拼背景、黑字总位数同样是8位。和蓝牌的7位字符结构省份简称2位序号5位相比新能源车牌最直接的变化是多了一位字符。这一点会在字符分割的时候直接坑到人后面我会专门讲。另外还有几个细节值得注意新能源车牌中的字母DF等有特殊含义比如D代表纯电动字符中数字和字母混排没有明显的分界线车牌的渐变绿背景对颜色识别和灰度化处理都提出了和蓝牌不一样的挑战。2.2 数据采集策略三个来源交叉补充我的数据来源主要分三类每类都有自己的作用第一类现场抓拍数据。这批数据是真实场景的数据包含各种角度、光照、天气、遮挡情况是最宝贵的一手资料。我当时用某停车场出入口的摄像头连续抓了一周把不同时间段的画面都留了下来。数据不用多但一定要杂——逆光、夜间、雨天这些难例场景都要覆盖到。第二类互联网公开数据与合成数据。可以写爬虫去一些公开的车辆图片网站拉取也可以用程序批量生成带各种字体、颜色的模拟车牌图片。合成数据是拿来补数量的因为真实抓拍数据往往难以在短时间内积累到足够的规模。第三类手工修正与扩增。对采集到的图片做透视矫正、裁剪配准、数据增强比如随机旋转、亮度扰动、高斯噪声、对比度调整。这里有个原则我想特别强调数据增强的幅度要克制不要直接把车牌增强到面目全非否则模型学到的可能是噪声而不是特征。2.3 标注规范直接决定训练效率标注这一个环节我做过的项目多了深知这一步省不得。建议使用LabelImg这类工具框出车牌区域的时候注意边界框要贴合字符边缘不要留太多背景。如果是做字符级识别模型还需要对每个字符单独标注类别框。这里给出我用的标注规范表字段说明示例图片名抓拍时间设备编号cam01_20250315_153022.jpg车牌区域坐标左上角x,y和右下角x,y(112, 248, 448, 314)车牌号码纯文本标签粤AD12345车身颜色类别标签白、黑、银、红、蓝、绿、灰、黄、棕车型类别类别标签轿车、SUV、MPV、面包车、货车、客车标注的时候宁可多标一组难例也不要为了图省事只挑清晰图片。数据集分布一旦偏了模型的泛化能力就是空中楼阁。3. 基于OpenCV的车牌区域定位传统视觉的杀手锏车牌区域定位是整个系统的第一步也是最能体现OpenCV功底的地方。如果这块区域定位不准后面OCR识别就算网络再强大也是在一堆没用的信息里瞎猜。3.1 预处理流程从原图到候选区域我实际跑的流程是这样的第一步图像缩放与灰度化。摄像头出来的原始图像往往是1920x1080甚至更高直接全图处理计算量太大。统一缩放到宽约800像素左右既保留车牌关键细节又大幅降低后续处理耗时。灰度化这一步能消除颜色干扰后续很多算子跑在单通道上更快更稳定。第二步高斯模糊去噪。用5x5的高斯核做一次平滑把图像上的随机噪点抹平避免在边缘检测阶段出现大量伪边缘。第三步边缘检测。我用的是Canny算子因为它在梯度变化明显的区域能给出单像素宽度的连续边缘。阈值上下限我一般设为100和200具体数值可以根据光照情况微调。第四步形态学操作闭合边缘。这一招非常关键。Canny检测出来的边缘往往是断断续续的车牌边框和字符之间经常有裂缝。我会先用一个矩形结构元做闭运算先膨胀后腐蚀把相近的边缘片段连通成块。结构元尺寸我常用的是(17, 3)这个长条形能顺着车牌的横向矩形结构把断裂的边缘缝合起来。3.2 候选区域筛选几何特征一眼定乾坤做完形态学操作后调用cv2.findContours()提取所有连通域的外轮廓然后逐个做几何过滤。车牌区域之所以好筛是因为它的宽高比特征极其明显——标准车牌是440mm×140mm的比例大约3.14:1。我的过滤条件有四个宽高比在2.5到4.5之间轮廓面积不小于某个阈值比如全图面积的1%外接矩形的宽度在50像素以上轮廓内部的边缘密度足够高说明有字符纹理这四个条件串行过滤下来绝大部分误检区域比如车灯、保险杠纹理、路牌背景都会被干掉。3.3 一个关键的坑新能源渐变绿对灰度图像的影响这里必须重点说一个我在实践里印象极深的教训新能源车牌的渐变绿色背景在某些光照条件下会和字符之间的灰度差缩小到非常可怕的程度。传统蓝牌车牌的字符是白色和蓝色背景在灰度图上的差异很大所以边缘检测很容易把字符边缘勾勒清楚。而新能源车牌字符是黑色背景是浅绿渐变到深绿转成灰度图后部分字符的边缘对比度会变得很低导致Canny算子直接把这些字符边缘漏掉。解决办法是在灰度图上做边缘检测的同时再叠加一路基于HSV颜色空间的定位结果。也就是利用绿色在HSV颜色空间中色调范围相对集中的特点用cv2.inRange()把绿色区域单独抠出来再和边缘检测的结果做加权融合这样定位召回率能做到非常稳定。这段融合处理的伪代码思路是# HSV提取绿色区域 hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) mask_green cv2.inRange(hsv, (35, 43, 46), (90, 255, 255)) # 闭运算修补残缺 mask_green cv2.morphologyEx(mask_green, cv2.MORPH_CLOSE, kernel) # 与边缘图加权合并后统一找轮廓 combined cv2.addWeighted(edge_map, 0.6, mask_green, 0.4, 0)在这个环节上做没过几天就会知道多一条融合路径就是多一些稳定生产环境的底气。4. 倾斜矫正与字符分割从矩形区域到干净字符序列车牌区域定位出来之后接下来面临的往往是两个极其影响识别率的问题倾斜和字符切分。这两步如果处理不好再强的OCR模型也白搭。4.1 透视矫正用最小外接矩形的角度把车牌扶正因为摄像头安装角度和车身姿态的关系抓拍到的车牌几乎不可能是规规矩矩的正矩形多多少少会有透视形变。如果直接把这种扭曲的图扔给OCR字符的横向排布是弯的识别准确率会直线下降。我的处理思路是找到车牌外轮廓的最小外接矩形cv2.minAreaRect()拿到中心点、宽高、旋转角度。判断宽和高的长短边如果角度偏移接近90度就先转正。用仿射变换矩阵cv2.getRotationMatrix2D()cv2.warpAffine()把车牌区域旋转到水平。再做一次透视变换把四个角点映射到标准的矩形坐标空间消除近大远小的透视畸变。透视矫正这个步骤在字符分割上带来的整体收益高到离谱正常情况下矫正后的字符分割准确率能提升接近10个百分点。4.2 字符分割新能源车牌的6位尾号不好切字符分割是整个项目里我做过的看起来简单、实际上麻烦的环节之一。常规的分割方法是二值化 - 垂直投影 - 找字符连通域。所谓垂直投影就是把二值图按列统计黑色像素或白色像素的数量画出投影直方图字符和字符之间会出现明显的波谷波谷就是切分点。但是新能源车牌有几个特殊的地方总共8位字符比蓝牌多一位。很多老代码和开源方案是按蓝牌7位或老式6位车牌设计的切分逻辑硬套上去必出问题。字符存在粘连。如果你用的是二值化有些情况下相邻字符比如1和2、B和8在低分辨率下会粘在一起垂直投影的波谷不明显。渐变绿底在二值化时导致噪点。阈值选不好背景会被分成乱七八糟的黑白块。我最终的解决方案是两段式策略第一步先粗切。根据前2位字符省份汉字和字母宽度通常偏窄、后6位字符宽度相对均匀的先验知识把车牌分成左侧2位和右侧6位两段分别做投影避免整体投影互相干扰。第二步细切时引入面积与宽度约束。切出的每一个连通域其宽度、高度、面积要在合理范围内比如字符宽度大概在区域宽度的8%~14%之间。如果某个连通域宽度明显偏大大于正常宽度1.6倍就判定为粘连字符在这个连通域内再做一次垂直投影二次分割。这样切下来的字符序列干净程度能支撑后续OCR模型达到比较理想的识别水平。4.3 OCR字符识别CNNLSTMCTC与纯CNN分类的取舍字符切好之后就是字符识别环节。我在这个项目里实际比较了两种方案。方案A每个字符单独过CNN分类器。切出来的每个字符图片缩放到统一尺寸比如32x64送入一个轻量卷积网络几层卷积全连接输出类别就是0-9数字 24个字母避开I、O 31个省份汉字的组合总共大概65个类别。这个方案实现简单、训练速度快在字符切得干净的前提下准确率能到99%以上。方案B整行字符用CRNN序列识别。把整个车牌字符序列不切单字直接整行送入一个CNN提取特征、LSTM建模序列、CTC解码的网络。这个方案的优势是不需要精确的字符切分能抵抗轻度粘连和歪斜端到端出结果更像一个完整的OCR引擎。我最终的结论是如果项目工作在边缘设备上优先用方案A如果服务器端算力充足且要求尽可能高的鲁棒性优先用方案B。两个方案我都实现了这里给个对比供参考对比项方案A字符级CNN方案BCRNN序列识别字符切分依赖强烈依赖低依赖单张推理耗时极低中等模型大小几MB十几MB车牌结构变化适应需改类别更灵活我自己在边缘设备上最终部署的是方案A因为推理那点延迟差在停车场的实际场景里并不敏感但切分的稳定性对我现网环境更可控。5. 车辆特征识别颜色识别与车型分类的落地细节车牌只是车辆身份的一个维度标题里还要求了车辆特征颜色和车型识别这两项在真实业务里同样重要。比如停车场系统要在无牌车车牌污损、遮挡、无牌场景下做辅助比对这时候车身颜色和车型就是最重要的线索。5.1 车身颜色识别从HSV直方图到深度学习分类车身颜色识别在深度学习之前经典做法是提取HSV颜色空间直方图然后用一个简单的分类器比如K近邻或者决策树判断主色。HSV颜色空间对颜色识别的天然优势是色调、饱和度、亮度分离。HSV中H通道对光照的鲁棒性远远好于RGB。比如同样是红色车身在强光和弱光下RGB值差异很大但H值基本稳定。我用过两种方案简单说下区别传统方案HSV统计主色。统计整个车辆区域主要色块的H值分布直方图找到占比最大的色系区间。这个方案实现极快但容易受车顶反光、贴膜、拉花等因素干扰颜色判断有时不够稳。深度学习方案颜色分类网络。收集一批车身颜色标注数据用ResNet之类的小网络直接做多分类白、黑、银、灰、红、蓝、绿、黄、棕、紫等。只要数据足够分类准确率一般能在95%以上。实际项目中我更推荐在车体掩膜区域内做颜色分类。什么意思就是先用目标检测模型粗定位车辆区域再结合边缘和背景差分把车身主体抠出来只对抠出来的部分做颜色判断。这样能排除掉车窗、地面反光、背景广告牌的干扰。这一步做与不做颜色识别准确率能差不少。这里有一点很值得提车灯在夜间会发光如果车灯区域被包进颜色直方图里浅色车身的车在夜间特别容易被误判为白色其实是车灯区域拉高了亮度。所以在做颜色识别前最好把车灯区域一般是车头左右下角两个对称区域从直方图中排除。5.2 车型识别类别体系设计比模型结构更影响效果车型识别方面很多人一上来就想着用目标检测模型做精细的品牌车型识别比如识别出某品牌某型号但实际落地时发现数据收集量要求太大、类目爆炸模型根本训不动。我的建议是先做车体结构类别轿车、SUV、MPV、面包车、货车、客车再做可选的品牌粗分类。因为前一类在业务上已经能覆盖绝大多需求比如管理大车禁入车库、区分私家车辆数据也好收集得多。模型结构上我用的是轻量化分类网络MobileNetV3输入尺寸224x224类别数6到8类在单卡训练集大概两万张图片的情况下半小时就能跑到95%的验证集准确率。这类小模型的好处是部署到树莓派上也能做到实时推理完全不拖后腿。5.3 三种识别能力的融合时序先定位再分别识别在实际系统里车牌识别、颜色识别、车型识别不是并行的三个独立任务而是有一个自然的时序关系先用车辆检测模型定位车辆位置在车辆框内做车牌定位和车牌OCR识别在车辆框内扣除车牌区域后做颜色识别在车辆框的全局信息基础上做车型分类。这样最大的好处是同一帧图像上同时拿到了三层信息且每层信息互为校验。比如车牌识别出来是绿牌新能源颜色如果识别出来是绿色车型如果识别出来是货车的置信度很低各信息之间互相印证整体可信度就高很多。6. 实测踩坑那些在文档里找不到的疑难杂症与排障技巧这个章节我写出来是从几十个调试夜晚里攒出来的一手经验。每个坑都真实让我掉进去过希望你能直接绕开。6.1 车牌定位的漏检候选区域被形态学参数憋死了现象某些图片上车牌区域死活找不到外轮廓候选区域为0。排查过程一开始我怀疑是Canny阈值的问题把阈值放低到50发现还是不行。后来单独输出中间图像发现形态学闭运算的结构元尺寸太大把车牌区域和周围车身结构直接融成了一整块轮廓检测时只剩一个巨大的车身外轮廓但这个轮廓的宽高比又不符合车牌特征于是被过滤掉了。解决改成多尺度形态学。先用小结构元比如11x3做闭运算再看结果决定是否需要更大尺寸做二次闭运算。这个技巧对多分辨率摄像头输入的兼容性提升是立竿见影的。6.2 字符分割的粘连低分辨率是最大元凶现象摄像头距离远、车牌在画面中占比小时字符严重粘连切分后字符数量总是不对。排查过程看垂直投影直方图发现字符和字符之间的波谷完全消失了整行字的投影连成了一片。原因是低分辨率下字符边缘的灰度被平滑临近字符的黑色像素连成了桥。解决两步走。第一步提高二值化阈值选择的像素级自适应性——我用的是自适应阈值cv2.adaptiveThreshold替代全局阈值对光照不均和低分辨率有明显改善。第二步针对依然粘连的字符用水滴算法watershed做二次分割。这个算法虽然慢一点但对付桥接型粘连是我用过最稳的方案。6.3 车型识别在夜间几乎失灵要不要做一个夜间专用模型现象白天的车型分类准确率95%以上晚上一上夜班就掉到80%以下。排查过程夜间图像的信噪比极低车辆轮廓细节丢失严重分类网络学到的日间纹理特征在夜间完全发挥不出来。解决我把夜间图像单独归为一个数据集在预训练权重基础上用一个很小的学习率做了二次微调。微调后准确率回升到了91%左右。原因很简单夜间图像和日间图像的分布差异实在太大共用一套模型必然顾此失彼。如果你业务场景中夜间占比高强烈建议单独做一版夜间模型离线切换或按时间自动切换。6.4 推理速度瓶颈OpenCV DNN还是TensorRT现象在Jetson Nano上跑整套系统识别一张图要800毫秒根本达不到实时要求。排查过程性能分析发现时间主要花在深度学习模型的推理上OpenCV定位部分只占不到60毫秒。解决做了三件事。第一把输入图片尺寸从1920x1080降到1280x720识别层的输入分辨率也从384x128降到256x96准确率只掉了0.5%左右推理时间砍掉接近一半。第二把模型从浮点32转成半精度或INT8量化。第三将深度学习推理后端从CPU切换到了CUDA/GPU。最终端到端延迟降到了150毫秒以内完全满足停车场出口的通行节奏。6.5 一个隐藏的细节新能源车牌的省份简称字符集字符识别的时候有一个很隐蔽的坑不同省份的简称汉字长得极其相似比如鄂和粤、 渝和沪尤其拍摄模糊时分类网络很容易混淆。这在通用车牌OCR任务里可能是小事但如果你要做的区域是面向全国的这部分混淆率会直接拉低整体准确率。我在训练字符分类网络时给每个省份简称汉字单独建类别并且特意补充了低分辨率和模糊车牌样本用困难样本挖掘训练时把预测置信度低于0.6的样本重新加权强化训练最终把省份简称的识别准确率提了上来。6.6 颜色识别被贴膜骗了现象一辆白色的车贴了磨砂哑光车衣颜色识别结果成了银色。排查过程数据分布问题。训练集里银色金属漆样本量远大于哑光白贴膜车样本量模型在亮度和饱和度偏低时倾向于输出更常见的银色类别。解决增加了贴膜车辆样本尤其是哑光白、哑光黑的训练数据同时在推理阶段做了一个小约束如果网络输出银色和白色的概率都在40%以上结合车架区域的高光分布做二次判定最终这两个易混淆类别上准确率提升了6个百分点。7. 项目扩展思路从识别到系统的最后一公里这套系统识别能力做出来之后前端如果只有一个Demo界面那还不够。我强烈建议在此基础上把业务链路拉通。比如对接一个停车管理平台的数据库车辆进来时自动写入车牌、颜色、车型三元组出场时再用一遍识别结果做比对。这套架构对物业管理、访客预约、重点车辆布控都有直接的价值。另外我还有一个建议就是给系统加一个人工复核兜底环节。任何识别系统都不可能做到100%准确但停车场景里确认错误会产生直接的经济纠纷。我的做法是识别置信度高于某阈值的记录直接放行低于阈值的记录自动推到人工审核队列由管理员在后台二次确认。这样既能保证自动化率又能守住错误兜底的底线。还有一点值得说的是——把识别结果和抓拍原图一起存储。遇到投诉纠纷时翻出当时的原图一查所有问题立刻清清楚楚。这个经验我从项目第一天就在用到现在都觉得很管用。最后分享一个小技巧也是我实际项目里反复用的整套系统的日志输出一定要把每一帧的中间过程图原图、HSV掩膜、定位结果、裁剪车牌、字符切分图都留下。一开始你可能觉得费存储但等到调试跨天光线问题、对比新旧模型效果差异的时候这些中间图就是排查问题的金矿比任何指标都好用。调试识别系统不只是看最终准确率那个数字能看清每一层处理环节发生了什么才是真正的功力所在。 
长河君 · 2026/10/22 9:09:54 · 阅读 1.2k 基于OpenCV与深度学习的新能源车牌识别系统设计与实战
这两年我一直在折腾车牌识别相关的项目从最初的柴油车、蓝牌老燃油车到后来的新能源绿牌踩过的坑确实不少。这个项目的标题叫作基于OpenCV的深度学习新能源车牌识别系统看名字就知道它不是简单的单点识别而是同时要搞定车牌的OCR字符识别、车辆颜色特征提取和车型识别最终还要落在自建的图像数据集上。今天就把这套系统的设计思路、核心实现和我在实操中遇到的坑一次性说清楚。先聊聊这套系统到底能做什么。它本质上是一个软硬一体的视觉识别方案输入可以是停车场出入口的摄像头画面、路侧抓拍的图片也可以是你自己批量测试用的静态图片输出则是三个最核心的结构化信息新能源车牌号码、车身颜色、车型类别。这三个信息组合在一起就能支撑很多实际业务——比如说小区停车场针对新能源车和燃油车的区分计费、特定车型的权限管理、车辆颜色维度的检索与追踪等等。适合谁来参考如果你是做安防监控、智慧停车、车辆管理系统的开发者或者你在学校实验室刚好要做类似的车牌识别课题这篇文章的内容应该能直接帮你省掉不少弯路。1. 整体架构设计为什么是OpenCV加深度学习的混合方案很多人一提到车牌识别第一反应就是直接用深度学习不就行了。确实如果用纯深度学习做端到端的检测加识别比如直接用现成的目标检测模型做端到端车牌号码输出也不是不行但我在实际项目里尝试下来发现在一些细分场景下效果并不理想而且对数据和算力的要求更高。这套系统之所以选择OpenCV和深度学习的混合方案核心逻辑只有一个让OpenCV做它擅长的事让深度学习做它擅长的事分工明确各施所长。OpenCV擅长什么擅长图像预处理、几何变换、颜色空间转换和传统特征提取。在车牌定位这个环节传统CV方案有天然的优势——它不依赖大量标注数据特征清晰、计算轻量、推理速度快。哪怕是在树莓派、Jetson Nano这类边缘设备上用OpenCV做车牌区域的粗定位帧率也能轻松跑上30帧以上。深度学习擅长什么擅长字符识别和泛化能力强的分类任务。车牌上那些字符汉字、字母、数字因为字体、清晰度、光照变化实在太大用传统模板匹配或者特征分类器的方式来做准确率会明显受限。而用卷积神经网络配合序列建模比如CNNLSTMCTC或者直接的字符分类网络鲁棒性会好得多。整体架构我大概分成了四个层次层次模块技术方案数据层图像采集与数据集管理摄像头抓拍、网络爬取合成、标注工具预处理层图像增强与定位OpenCV灰度化、二值化、边缘检测、形态学过滤识别层车牌OCR、颜色识别、车型识别深度学习分类网络与CRNN序列识别应用层业务逻辑与接口结果结构化输出数据库回写事件联动实际开发的过程中我建议你也按照这个分层思路走。一来每个模块可以独立测试哪个环节不准就调哪个环节排查问题效率高二来未来如果你想换新的算法模型只需要替换识别层前期的数据清洗和定位逻辑可以完全复用。2. 新能源车牌数据集的建设模型的上限从数据采集与标注开始做深度学习项目最忌讳的就是数据没准备好就直接开训。尤其是车牌识别这样的垂直场景公开数据集大多以蓝牌燃油车为主新能源车牌的数据非常稀缺。所以图像数据集这个环节是这个项目的工作量重头但也恰恰是最能拉开差距的地方。2.1 新能源车牌的结构特征先搞清楚你面对的是什么新能源车牌和传统蓝牌有着明显的结构性差异如果不先把这个差异吃透后面所有工作都会出问题。国内新能源车牌最常见的两种样式是小型新能源车渐变绿色背景、黑字总共8位字符排列方式是省份简称1位汉字 发牌机关代号1位字母 序号6位字母数字混合。比如粤AD12345这样的结构。大型新能源车黄绿双拼背景、黑字总位数同样是8位。和蓝牌的7位字符结构省份简称2位序号5位相比新能源车牌最直接的变化是多了一位字符。这一点会在字符分割的时候直接坑到人后面我会专门讲。另外还有几个细节值得注意新能源车牌中的字母DF等有特殊含义比如D代表纯电动字符中数字和字母混排没有明显的分界线车牌的渐变绿背景对颜色识别和灰度化处理都提出了和蓝牌不一样的挑战。2.2 数据采集策略三个来源交叉补充我的数据来源主要分三类每类都有自己的作用第一类现场抓拍数据。这批数据是真实场景的数据包含各种角度、光照、天气、遮挡情况是最宝贵的一手资料。我当时用某停车场出入口的摄像头连续抓了一周把不同时间段的画面都留了下来。数据不用多但一定要杂——逆光、夜间、雨天这些难例场景都要覆盖到。第二类互联网公开数据与合成数据。可以写爬虫去一些公开的车辆图片网站拉取也可以用程序批量生成带各种字体、颜色的模拟车牌图片。合成数据是拿来补数量的因为真实抓拍数据往往难以在短时间内积累到足够的规模。第三类手工修正与扩增。对采集到的图片做透视矫正、裁剪配准、数据增强比如随机旋转、亮度扰动、高斯噪声、对比度调整。这里有个原则我想特别强调数据增强的幅度要克制不要直接把车牌增强到面目全非否则模型学到的可能是噪声而不是特征。2.3 标注规范直接决定训练效率标注这一个环节我做过的项目多了深知这一步省不得。建议使用LabelImg这类工具框出车牌区域的时候注意边界框要贴合字符边缘不要留太多背景。如果是做字符级识别模型还需要对每个字符单独标注类别框。这里给出我用的标注规范表字段说明示例图片名抓拍时间设备编号cam01_20250315_153022.jpg车牌区域坐标左上角x,y和右下角x,y(112, 248, 448, 314)车牌号码纯文本标签粤AD12345车身颜色类别标签白、黑、银、红、蓝、绿、灰、黄、棕车型类别类别标签轿车、SUV、MPV、面包车、货车、客车标注的时候宁可多标一组难例也不要为了图省事只挑清晰图片。数据集分布一旦偏了模型的泛化能力就是空中楼阁。3. 基于OpenCV的车牌区域定位传统视觉的杀手锏车牌区域定位是整个系统的第一步也是最能体现OpenCV功底的地方。如果这块区域定位不准后面OCR识别就算网络再强大也是在一堆没用的信息里瞎猜。3.1 预处理流程从原图到候选区域我实际跑的流程是这样的第一步图像缩放与灰度化。摄像头出来的原始图像往往是1920x1080甚至更高直接全图处理计算量太大。统一缩放到宽约800像素左右既保留车牌关键细节又大幅降低后续处理耗时。灰度化这一步能消除颜色干扰后续很多算子跑在单通道上更快更稳定。第二步高斯模糊去噪。用5x5的高斯核做一次平滑把图像上的随机噪点抹平避免在边缘检测阶段出现大量伪边缘。第三步边缘检测。我用的是Canny算子因为它在梯度变化明显的区域能给出单像素宽度的连续边缘。阈值上下限我一般设为100和200具体数值可以根据光照情况微调。第四步形态学操作闭合边缘。这一招非常关键。Canny检测出来的边缘往往是断断续续的车牌边框和字符之间经常有裂缝。我会先用一个矩形结构元做闭运算先膨胀后腐蚀把相近的边缘片段连通成块。结构元尺寸我常用的是(17, 3)这个长条形能顺着车牌的横向矩形结构把断裂的边缘缝合起来。3.2 候选区域筛选几何特征一眼定乾坤做完形态学操作后调用cv2.findContours()提取所有连通域的外轮廓然后逐个做几何过滤。车牌区域之所以好筛是因为它的宽高比特征极其明显——标准车牌是440mm×140mm的比例大约3.14:1。我的过滤条件有四个宽高比在2.5到4.5之间轮廓面积不小于某个阈值比如全图面积的1%外接矩形的宽度在50像素以上轮廓内部的边缘密度足够高说明有字符纹理这四个条件串行过滤下来绝大部分误检区域比如车灯、保险杠纹理、路牌背景都会被干掉。3.3 一个关键的坑新能源渐变绿对灰度图像的影响这里必须重点说一个我在实践里印象极深的教训新能源车牌的渐变绿色背景在某些光照条件下会和字符之间的灰度差缩小到非常可怕的程度。传统蓝牌车牌的字符是白色和蓝色背景在灰度图上的差异很大所以边缘检测很容易把字符边缘勾勒清楚。而新能源车牌字符是黑色背景是浅绿渐变到深绿转成灰度图后部分字符的边缘对比度会变得很低导致Canny算子直接把这些字符边缘漏掉。解决办法是在灰度图上做边缘检测的同时再叠加一路基于HSV颜色空间的定位结果。也就是利用绿色在HSV颜色空间中色调范围相对集中的特点用cv2.inRange()把绿色区域单独抠出来再和边缘检测的结果做加权融合这样定位召回率能做到非常稳定。这段融合处理的伪代码思路是# HSV提取绿色区域 hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) mask_green cv2.inRange(hsv, (35, 43, 46), (90, 255, 255)) # 闭运算修补残缺 mask_green cv2.morphologyEx(mask_green, cv2.MORPH_CLOSE, kernel) # 与边缘图加权合并后统一找轮廓 combined cv2.addWeighted(edge_map, 0.6, mask_green, 0.4, 0)在这个环节上做没过几天就会知道多一条融合路径就是多一些稳定生产环境的底气。4. 倾斜矫正与字符分割从矩形区域到干净字符序列车牌区域定位出来之后接下来面临的往往是两个极其影响识别率的问题倾斜和字符切分。这两步如果处理不好再强的OCR模型也白搭。4.1 透视矫正用最小外接矩形的角度把车牌扶正因为摄像头安装角度和车身姿态的关系抓拍到的车牌几乎不可能是规规矩矩的正矩形多多少少会有透视形变。如果直接把这种扭曲的图扔给OCR字符的横向排布是弯的识别准确率会直线下降。我的处理思路是找到车牌外轮廓的最小外接矩形cv2.minAreaRect()拿到中心点、宽高、旋转角度。判断宽和高的长短边如果角度偏移接近90度就先转正。用仿射变换矩阵cv2.getRotationMatrix2D()cv2.warpAffine()把车牌区域旋转到水平。再做一次透视变换把四个角点映射到标准的矩形坐标空间消除近大远小的透视畸变。透视矫正这个步骤在字符分割上带来的整体收益高到离谱正常情况下矫正后的字符分割准确率能提升接近10个百分点。4.2 字符分割新能源车牌的6位尾号不好切字符分割是整个项目里我做过的看起来简单、实际上麻烦的环节之一。常规的分割方法是二值化 - 垂直投影 - 找字符连通域。所谓垂直投影就是把二值图按列统计黑色像素或白色像素的数量画出投影直方图字符和字符之间会出现明显的波谷波谷就是切分点。但是新能源车牌有几个特殊的地方总共8位字符比蓝牌多一位。很多老代码和开源方案是按蓝牌7位或老式6位车牌设计的切分逻辑硬套上去必出问题。字符存在粘连。如果你用的是二值化有些情况下相邻字符比如1和2、B和8在低分辨率下会粘在一起垂直投影的波谷不明显。渐变绿底在二值化时导致噪点。阈值选不好背景会被分成乱七八糟的黑白块。我最终的解决方案是两段式策略第一步先粗切。根据前2位字符省份汉字和字母宽度通常偏窄、后6位字符宽度相对均匀的先验知识把车牌分成左侧2位和右侧6位两段分别做投影避免整体投影互相干扰。第二步细切时引入面积与宽度约束。切出的每一个连通域其宽度、高度、面积要在合理范围内比如字符宽度大概在区域宽度的8%~14%之间。如果某个连通域宽度明显偏大大于正常宽度1.6倍就判定为粘连字符在这个连通域内再做一次垂直投影二次分割。这样切下来的字符序列干净程度能支撑后续OCR模型达到比较理想的识别水平。4.3 OCR字符识别CNNLSTMCTC与纯CNN分类的取舍字符切好之后就是字符识别环节。我在这个项目里实际比较了两种方案。方案A每个字符单独过CNN分类器。切出来的每个字符图片缩放到统一尺寸比如32x64送入一个轻量卷积网络几层卷积全连接输出类别就是0-9数字 24个字母避开I、O 31个省份汉字的组合总共大概65个类别。这个方案实现简单、训练速度快在字符切得干净的前提下准确率能到99%以上。方案B整行字符用CRNN序列识别。把整个车牌字符序列不切单字直接整行送入一个CNN提取特征、LSTM建模序列、CTC解码的网络。这个方案的优势是不需要精确的字符切分能抵抗轻度粘连和歪斜端到端出结果更像一个完整的OCR引擎。我最终的结论是如果项目工作在边缘设备上优先用方案A如果服务器端算力充足且要求尽可能高的鲁棒性优先用方案B。两个方案我都实现了这里给个对比供参考对比项方案A字符级CNN方案BCRNN序列识别字符切分依赖强烈依赖低依赖单张推理耗时极低中等模型大小几MB十几MB车牌结构变化适应需改类别更灵活我自己在边缘设备上最终部署的是方案A因为推理那点延迟差在停车场的实际场景里并不敏感但切分的稳定性对我现网环境更可控。5. 车辆特征识别颜色识别与车型分类的落地细节车牌只是车辆身份的一个维度标题里还要求了车辆特征颜色和车型识别这两项在真实业务里同样重要。比如停车场系统要在无牌车车牌污损、遮挡、无牌场景下做辅助比对这时候车身颜色和车型就是最重要的线索。5.1 车身颜色识别从HSV直方图到深度学习分类车身颜色识别在深度学习之前经典做法是提取HSV颜色空间直方图然后用一个简单的分类器比如K近邻或者决策树判断主色。HSV颜色空间对颜色识别的天然优势是色调、饱和度、亮度分离。HSV中H通道对光照的鲁棒性远远好于RGB。比如同样是红色车身在强光和弱光下RGB值差异很大但H值基本稳定。我用过两种方案简单说下区别传统方案HSV统计主色。统计整个车辆区域主要色块的H值分布直方图找到占比最大的色系区间。这个方案实现极快但容易受车顶反光、贴膜、拉花等因素干扰颜色判断有时不够稳。深度学习方案颜色分类网络。收集一批车身颜色标注数据用ResNet之类的小网络直接做多分类白、黑、银、灰、红、蓝、绿、黄、棕、紫等。只要数据足够分类准确率一般能在95%以上。实际项目中我更推荐在车体掩膜区域内做颜色分类。什么意思就是先用目标检测模型粗定位车辆区域再结合边缘和背景差分把车身主体抠出来只对抠出来的部分做颜色判断。这样能排除掉车窗、地面反光、背景广告牌的干扰。这一步做与不做颜色识别准确率能差不少。这里有一点很值得提车灯在夜间会发光如果车灯区域被包进颜色直方图里浅色车身的车在夜间特别容易被误判为白色其实是车灯区域拉高了亮度。所以在做颜色识别前最好把车灯区域一般是车头左右下角两个对称区域从直方图中排除。5.2 车型识别类别体系设计比模型结构更影响效果车型识别方面很多人一上来就想着用目标检测模型做精细的品牌车型识别比如识别出某品牌某型号但实际落地时发现数据收集量要求太大、类目爆炸模型根本训不动。我的建议是先做车体结构类别轿车、SUV、MPV、面包车、货车、客车再做可选的品牌粗分类。因为前一类在业务上已经能覆盖绝大多需求比如管理大车禁入车库、区分私家车辆数据也好收集得多。模型结构上我用的是轻量化分类网络MobileNetV3输入尺寸224x224类别数6到8类在单卡训练集大概两万张图片的情况下半小时就能跑到95%的验证集准确率。这类小模型的好处是部署到树莓派上也能做到实时推理完全不拖后腿。5.3 三种识别能力的融合时序先定位再分别识别在实际系统里车牌识别、颜色识别、车型识别不是并行的三个独立任务而是有一个自然的时序关系先用车辆检测模型定位车辆位置在车辆框内做车牌定位和车牌OCR识别在车辆框内扣除车牌区域后做颜色识别在车辆框的全局信息基础上做车型分类。这样最大的好处是同一帧图像上同时拿到了三层信息且每层信息互为校验。比如车牌识别出来是绿牌新能源颜色如果识别出来是绿色车型如果识别出来是货车的置信度很低各信息之间互相印证整体可信度就高很多。6. 实测踩坑那些在文档里找不到的疑难杂症与排障技巧这个章节我写出来是从几十个调试夜晚里攒出来的一手经验。每个坑都真实让我掉进去过希望你能直接绕开。6.1 车牌定位的漏检候选区域被形态学参数憋死了现象某些图片上车牌区域死活找不到外轮廓候选区域为0。排查过程一开始我怀疑是Canny阈值的问题把阈值放低到50发现还是不行。后来单独输出中间图像发现形态学闭运算的结构元尺寸太大把车牌区域和周围车身结构直接融成了一整块轮廓检测时只剩一个巨大的车身外轮廓但这个轮廓的宽高比又不符合车牌特征于是被过滤掉了。解决改成多尺度形态学。先用小结构元比如11x3做闭运算再看结果决定是否需要更大尺寸做二次闭运算。这个技巧对多分辨率摄像头输入的兼容性提升是立竿见影的。6.2 字符分割的粘连低分辨率是最大元凶现象摄像头距离远、车牌在画面中占比小时字符严重粘连切分后字符数量总是不对。排查过程看垂直投影直方图发现字符和字符之间的波谷完全消失了整行字的投影连成了一片。原因是低分辨率下字符边缘的灰度被平滑临近字符的黑色像素连成了桥。解决两步走。第一步提高二值化阈值选择的像素级自适应性——我用的是自适应阈值cv2.adaptiveThreshold替代全局阈值对光照不均和低分辨率有明显改善。第二步针对依然粘连的字符用水滴算法watershed做二次分割。这个算法虽然慢一点但对付桥接型粘连是我用过最稳的方案。6.3 车型识别在夜间几乎失灵要不要做一个夜间专用模型现象白天的车型分类准确率95%以上晚上一上夜班就掉到80%以下。排查过程夜间图像的信噪比极低车辆轮廓细节丢失严重分类网络学到的日间纹理特征在夜间完全发挥不出来。解决我把夜间图像单独归为一个数据集在预训练权重基础上用一个很小的学习率做了二次微调。微调后准确率回升到了91%左右。原因很简单夜间图像和日间图像的分布差异实在太大共用一套模型必然顾此失彼。如果你业务场景中夜间占比高强烈建议单独做一版夜间模型离线切换或按时间自动切换。6.4 推理速度瓶颈OpenCV DNN还是TensorRT现象在Jetson Nano上跑整套系统识别一张图要800毫秒根本达不到实时要求。排查过程性能分析发现时间主要花在深度学习模型的推理上OpenCV定位部分只占不到60毫秒。解决做了三件事。第一把输入图片尺寸从1920x1080降到1280x720识别层的输入分辨率也从384x128降到256x96准确率只掉了0.5%左右推理时间砍掉接近一半。第二把模型从浮点32转成半精度或INT8量化。第三将深度学习推理后端从CPU切换到了CUDA/GPU。最终端到端延迟降到了150毫秒以内完全满足停车场出口的通行节奏。6.5 一个隐藏的细节新能源车牌的省份简称字符集字符识别的时候有一个很隐蔽的坑不同省份的简称汉字长得极其相似比如鄂和粤、 渝和沪尤其拍摄模糊时分类网络很容易混淆。这在通用车牌OCR任务里可能是小事但如果你要做的区域是面向全国的这部分混淆率会直接拉低整体准确率。我在训练字符分类网络时给每个省份简称汉字单独建类别并且特意补充了低分辨率和模糊车牌样本用困难样本挖掘训练时把预测置信度低于0.6的样本重新加权强化训练最终把省份简称的识别准确率提了上来。6.6 颜色识别被贴膜骗了现象一辆白色的车贴了磨砂哑光车衣颜色识别结果成了银色。排查过程数据分布问题。训练集里银色金属漆样本量远大于哑光白贴膜车样本量模型在亮度和饱和度偏低时倾向于输出更常见的银色类别。解决增加了贴膜车辆样本尤其是哑光白、哑光黑的训练数据同时在推理阶段做了一个小约束如果网络输出银色和白色的概率都在40%以上结合车架区域的高光分布做二次判定最终这两个易混淆类别上准确率提升了6个百分点。7. 项目扩展思路从识别到系统的最后一公里这套系统识别能力做出来之后前端如果只有一个Demo界面那还不够。我强烈建议在此基础上把业务链路拉通。比如对接一个停车管理平台的数据库车辆进来时自动写入车牌、颜色、车型三元组出场时再用一遍识别结果做比对。这套架构对物业管理、访客预约、重点车辆布控都有直接的价值。另外我还有一个建议就是给系统加一个人工复核兜底环节。任何识别系统都不可能做到100%准确但停车场景里确认错误会产生直接的经济纠纷。我的做法是识别置信度高于某阈值的记录直接放行低于阈值的记录自动推到人工审核队列由管理员在后台二次确认。这样既能保证自动化率又能守住错误兜底的底线。还有一点值得说的是——把识别结果和抓拍原图一起存储。遇到投诉纠纷时翻出当时的原图一查所有问题立刻清清楚楚。这个经验我从项目第一天就在用到现在都觉得很管用。最后分享一个小技巧也是我实际项目里反复用的整套系统的日志输出一定要把每一帧的中间过程图原图、HSV掩膜、定位结果、裁剪车牌、字符切分图都留下。一开始你可能觉得费存储但等到调试跨天光线问题、对比新旧模型效果差异的时候这些中间图就是排查问题的金矿比任何指标都好用。调试识别系统不只是看最终准确率那个数字能看清每一层处理环节发生了什么才是真正的功力所在。