简介基于OpenCV的数字识别基础示例包目标读者是刚接触计算机视觉、想用C实现OCR的开发者。它解决的是数字识别从图像输入到结果输出的完整流程问题先对图片做灰度化、二值化和滤波再通过模板匹配或Tesseract OCR完成字符归类。整个压缩包共13个文件包括10张jpg测试图片、2张png样例图与1个cpp源码文件解压后仅21KB属于体积小、便于直接翻阅的入门工程。配合源码中的截图和待识别图片使用者可以清楚看到预处理前后、匹配前后的图像变化作者在Linux下测试并考虑了跨平台移植减少环境适配上的重复排错。已有357人学习下载过这一示例包适合作为印刷体数字识别、简单验证码字符拆分的起点也为后续接触更复杂的物体检测与深度学习字符识别打下基础。1. 用OpenCV做电脑端数字识别不调API也能跑通的三条路如果你手头有一批票据、仪表盘照片、答题卡或者物料编号图想用OpenCV把上面的数字自动读出来先别急着上深度学习。OpenCV传统的图像处理链路——预处理、轮廓定位、模板匹配或特征分类——在数字识别这个场景里依然是最稳的起步方案尤其在电脑端跑静态图片或者本地视频流时不需要GPU、不需要标注上千张图几百行代码就能出一个可用的识别结果。这篇笔记就围绕“opencv识别基础电脑版数字”讲清楚每一步怎么做、参数怎么调、哪些地方最容易翻车以及什么时候该往深度学习切。适合刚接触OpenCV的开发者也适合被“识别不准”折磨过的熟手用来排查自己的处理链路。2. 图片预处理数字能不能识别准七成在进匹配之前2.1 灰度化与二值化阈值选不对后面全白做数字识别第一步几乎都是先转灰度再做二值化。这一步的决策直接影响后面轮廓检测的成败。常见做法是用cv2.cvtColor把BGR转成灰度图再用cv2.threshold做二值化或者用cv2.adaptiveThreshold做局部自适应二值化。import cv2 import numpy as np img cv2.imread(meter.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 全局阈值适合光照均匀、背景干净的图 ret, binary cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY_INV) # 自适应阈值适合光照不均匀或背景有阴影的图 adaptive_binary cv2.adaptiveThreshold( gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 11, 2 )这里我一般会先用全局阈值试跑一遍如果效果差再切自适应。THRESH_BINARY_INV是把数字变成白色、背景变黑色因为后面对轮廓检测和模板匹配来说白色前景是默认预期。自适应阈值的blockSize一般取奇数11或15比较常用C值取2到3之间。注意一点blockSize越小对局部光照变化越敏感但也越容易把噪声带进来。参数说明全局阈值127是一个偏保守的初始值如果数字的灰度值整体偏低或者偏高127会直接砍掉数字的笔画。先在没有数字的区域观察背景灰度值再决定阈值方向比盲目调数字靠谱。2.2 形态学操作把断裂和粘连控制在动手前二值化之后数字图上通常有两个典型问题一是笔画内部有小孔洞二是两个相邻数字之间有轻微的粘连或毛刺。分别对应cv2.morphologyEx开运算和闭运算。kernel_open cv2.getStructuringElement(cv2.MORPH_RECT, (2, 2)) kernel_close cv2.getStructuringElement(cv2.MORPH_RECT, (4, 4)) # 开运算先腐蚀后膨胀去掉小白点噪声 opened cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel_open) # 闭运算先膨胀后腐蚀填补数字笔画内的小空洞 closed cv2.morphologyEx(opened, cv2.MORPH_CLOSE, kernel_close)这里的关键是kernel尺寸。开运算的kernel太大会把细的数字笔画比如1、7直接消掉闭运算的kernel太大会把本来没粘连的数字连成一个块。我一般从(2, 2)和(3, 3)起步逐次放大看效果。形态学操作是预处理里最容易“眼不见为净”的一步——你在屏幕上看着没问题但轮廓检测结果可能已经变了形。建议每调一次kernel都把轮廓检测结果打印出来对比而不是只看二值化后的图。2.3 噪声处理策略哪种噪声用哪种方法数字识别场景里的噪声一般分三类椒盐噪声、背景纹理、边缘干扰。很多初学者一来就上高斯模糊但对数字图像来说模糊有时会直接抹掉细笔画。我的做法是椒盐噪声用cv2.medianBlur配合中值滤波背景纹理靠二值化阈值调整边缘干扰靠ROI裁剪。# 中值滤波适合去除椒盐噪声 denoised cv2.medianBlur(gray, 3) # 或者用高斯模糊适合去除细纹理噪声 gaussian cv2.GaussianBlur(gray, (3, 3), 0)medianBlur的核大小只能取奇数3×3对数字图像已经足够GaussianBlur的sigma设0会让OpenCV根据核大小自动计算一般不需要手调。如果你的数字图像本身比较干净这两步都可以跳过——多一步处理就多一层信息丢失的风险。3. 数字定位与切割从整张图到单个数字3.1 轮廓检测与外接矩形minAreaRect还是boundingRect预处理完成后下一步是从二值图里找到每个数字的位置。核心是cv2.findContours然后对每个轮廓取外接矩形。这里有个选择cv2.boundingRect返回轴对齐矩形cv2.minAreaRect返回带旋转角度的最小外接矩形。# 只取最外层轮廓避免嵌套干扰 contours, hierarchy cv2.findContours( closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE ) boxes [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) if w 10 or h 10: # 过滤掉太小的噪声轮廓 continue boxes.append((x, y, w, h))对电脑端拍摄的、基本摆正的数字图boundingRect就够用如果图片有明显的透视倾斜需要minAreaRect拿到旋转角度再做cv2.getRotationMatrix2D反向校正这个在后面进阶章展开。RETR_EXTERNAL只取最外层轮廓是为了避免数字内部孔洞比如8、9、0产生的内层轮廓干扰。CHAIN_APPROX_SIMPLE能压缩轮廓点数减少内存占用对切割结果没有影响。3.2 切割精度的四个参数宽高比、面积、位置、间距拿到轮廓外接矩形后不能直接把所有矩形都当成数字。实际场景里常常混入水印、刻度线、logo之类的干扰需要按四个维度筛选宽高比数字一般落在0.3到0.8之间1和某些字体可能会到0.2左右面积轮廓面积与矩形面积的比值数字笔画填充率一般在0.2以上位置如果知道数字在图像的固定区域可以直接ROI裁剪后再做轮廓检测间距同一组数字之间的水平间距相对均匀间距突然翻倍说明中间可能有非数字干扰valid_boxes [] for x, y, w, h in boxes: aspect w / h if not (0.2 aspect 0.9): continue fill_ratio cv2.contourArea(cnt) / (w * h) if fill_ratio 0.2: continue valid_boxes.append((x, y, w, h)) # 按从左到右排序 valid_boxes.sort(keylambda b: b[0])fill_ratio是一个很实用的筛选指标——数字的笔画面积占外接矩形的比例对印刷体数字来说很少低于0.2。遇到过“S”“Z”这类形状或者反光导致的笔画缺失阈值可以降到0.15。3.3 排序规则为什么必须按从左到右、从上到下切findContours返回的轮廓顺序是不确定的不能假设它天然按阅读顺序排列。数字识别如果不管顺序识别出来是一组乱序的单个数字后面拼字符串时会出错。尤其是表格、票据、多行数字混排的场景必须显式排序。# 多行数字先按行分组组内再按x排序 valid_boxes.sort(keylambda b: (b[1] // 50, b[0]))这里b[1] // 50的意思是以50像素为一个行分组容忍度。同一行的数字它们的y坐标差异不会超过这个值。如果数字行有倾斜这个50要根据实际字符高度调整一般取字符高度的1/3到1/2。排序这个操作看似简单但它决定了之后所有识别结果拼接的顺序也是最容易忽略的一步。我在实际项目里见过有人把数字全识别对了结果拼接出来完全不对最后发现只是排序漏了。4. 匹配与识别模板匹配、特征向量与KNN三条路怎么选4.1 模板匹配十个数字一套流程注意归一化方式预处理和切割到位后最简单的识别方式就是模板匹配。准备一组标准数字模板0到9共10张把切割出来的每个数字图和所有模板算相似度取最高分的类别作为识别结果。def match_digit(roi, templates): best_match -1 best_score -1 for digit, template in templates.items(): # 统一缩放到同样大小 resized_roi cv2.resize(roi, template.shape[::-1]) result cv2.matchTemplate(resized_roi, template, cv2.TM_CCOEFF_NORMED) _, max_val, _, _ cv2.minMaxLoc(result) if max_val best_score: best_score max_val best_match digit return best_match, best_scoreTM_CCOEFF_NORMED是归一化相关系数对光照变化相对不敏感输出范围在-1到1之间。初学者经常用TM_SQDIFF这个值越小越相似方向跟其他匹配模式相反容易在代码里搞混。模板匹配的问题在于对字体敏感——模板用的是印刷体识别对象是手写体时效果会很差。模板不一定要自己画。从现有图片里裁出几个已知数字平均一下生成模板比手工画的通用性更好。我一般会给每个数字准备两个模板常规字体一个粗体一个匹配时取最高分。4.2 特征提取加距离分类器轮廓矩与特征向量模板匹配对字体变化扛不住但自己训练CNN成本又高折中的方案是提取数字图像的特征向量用简单的距离分类器或KNN做分类。OpenCV里常用的特征是轮廓矩的归一化组合或者HOG特征。def extract_features(roi): # 统一尺寸减少缩放带来的特征变化 resized cv2.resize(roi, (32, 32)) # 归一化到0-1之间 resized resized.astype(np.float32) / 255.0 # 直接用像素值展平作为特征简单可行 features resized.flatten() return features def classify_knn(features, training_data, labels, k3): knn cv2.ml.KNearest_create() knn.train(training_data, cv2.ml.ROW_SAMPLE, labels) ret, result, neighbours, dist knn.findNearest(features, k) return int(result[0][0])这里用像素展平作为特征看起来很简单但对二值化稳定、切割准确的数字图来说足够用。特征向量维度是32×321024维训练数据少比如每个数字50个样本时也不会过拟合。如果你想稍微提升鲁棒性可以把特征换成HOG描述子但注意HOG参数多了之后调参成本会明显上升。KNearest_create是OpenCV 3.x之后的标准写法旧的cv2.KNearest()在OpenCV 4.x里已经改掉了。训练数据要求是浮点型二维数组标签是一维整数数组。类型不对时OpenCV会直接报错或者静默训练失败这是很多初学者翻车的地方。4.3 手写数字集训练KNN从零造训练集到OpenCV内置数据集OpenCV内置了手写数字数据集在cv2.ml的样例代码里常出现拿来验证KNN流程非常方便。但实际项目里的数字风格跟内置数据集差距可能很大我建议先跑内置数据确认流程通再用自己采集的样本替换训练集。# OpenCV内置手写数字数据集MNIST子集 from cv2 import ml # 假设你已经准备了自己的训练数据 def build_training_data(samples, labels): # samples: list of 32x32 二值化图片 # labels: list of 对应数字 train_data [] train_labels [] for sample, label in zip(samples, labels): features extract_features(sample) train_data.append(features) train_labels.append(label) train_data np.array(train_data, dtypenp.float32) train_labels np.array(train_labels, dtypenp.int32).reshape(-1, 1) return train_data, train_labels knn ml.KNearest_create() knn.setDefaultK(3) knn.train(train_data, ml.ROW_SAMPLE, train_labels)setDefaultK(3)设的是投票的邻居数量k值太小容易受噪声样本影响太大则会把边界附近的类别拉平。数字识别场景里3到5一般是安全区间。训练集里每个数字的样本尽量覆盖不同粗细、不同大小、不同偏移不要只在干净样本上训练。从自己的数据造训练集的办法先用模板匹配跑一批图把匹配分数高的结果自动采集成训练样本再人工抽查排除错标。这样能快速攒出几百个有效样本比自己手动标注快得多。5. 避坑与常见问题排查新手最常翻车的四个场景5.1 同一张图换个像素尺寸就识别失败现象同一张原始图片直接从文件读能识别改成长边resize到800像素后就大面积识别错误。原因resize改变了数字的笔画粗细和宽高比模板匹配对尺度变化很敏感。预处理时若先resize再做二值化阈值效果也会跟着变。解决固定处理流程顺序——先灰度化再二值化最后切割再对每个数字ROI单独resize到统一尺寸比如32×32。不要在一开始就resize整张图。如果必须缩图把二值化阈值改成自适应阈值降低对光照和笔画粗细的依赖。5.2 粘连数字被连成一个大轮廓现象票据上的数字“45”粘在一起轮廓检测只框出一个大框切割出来是一个整体匹配结果完全不对。原因二值化后两个数字的笔画之间有一个桥接的像素带形态学闭运算如果kernel偏大会把这个桥接带加宽。解决这一步要靠形态学“拆”。用开运算配合一个横向kernel把桥接带断开但要注意纵向笔画也会受影响# 横向开运算打断水平方向的粘连 kernel_h cv2.getStructuringElement(cv2.MORPH_RECT, (3, 1)) split_binary cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel_h)如果水平粘连依然严重检查原始图像分辨率是不是太低。分辨率不足时两个数字之间的空隙本身就不到一个像素任何形态学操作都救不回来。5.3 光照不均导致二值化局部失效现象图片左侧数字清晰可辨右侧数字笔画发虚全局阈值下右侧全变成背景。原因光照在图片上不均匀全局阈值只对亮度接近的区域有效。解决切自适应阈值并把blockSize调小到9左右C值保持在2。如果自适应之后噪声变多先用中值滤波再二值化。还有一招——先做cv2.divide配合大核模糊做光照归一化比反复调阈值更稳# 光照归一化原图除以大核模糊图消除亮度梯度 blur cv2.GaussianBlur(gray, (31, 31), 0) normalized cv2.divide(gray, blur, scale255)divide的方式是对每个像素做除法亮度梯度被整体拉平。核大小取31到51之间太小会把数字本身也当作背景抹掉。5.4 匹配模式选错导致分数越高越不像现象用模板匹配时发现识别结果老是不对打印分数一看相似度高达0.9以上的却是错误数字。原因用了TM_SQDIFF或TM_SQDIFF_NORMED这个模式是差值数值越小越相似但不少人直接用max_val当相似度导致选到最不相似的模板。解决统一用TM_CCOEFF_NORMED它输出越大越相似语义直观。如果必须用TM_SQDIFF取min_val而不是max_val。建议在代码里固定注释# TM_SQDIFF取minTM_CCOEFF取max。5.5 识别单个数字都对拼起来却不对现象每个数字的识别准确率接近100%但输出字符串总是缺位或多位。原因切割阶段把某些噪声矩形当成数字保留或把真正的数字过滤掉了。识别环节没问题问题在候选框筛选。解决把所有候选框boxes连同坐标一起打印出来跟原图对比。我一般会在调试模式里把每个框画在图上输出确认框的数量跟肉眼看到的数字数量一致后再跑识别。这一步排查完90%的“拼接不对”问题都出在框的数量不对。6. 进阶透视校正识别流水号把准确率从90%提到97%最后一个技巧针对真实场景里最常见的“倾斜”问题。电脑摄像头的视角很难保证正对单据拍出来的数字多少带一点透视形变数字倾斜到一定程度后轮廓外接矩形就不再是数字的真实包围盒直接用boundingRect会把斜着的“7”的左上和右下多余背景包进来影响后续识别。我的做法是先对整张图做透视校正再做数字切割。用cv2.findContours找到图像中的单据外轮廓取最大的四边形轮廓用approxPolyDP把它逼近成4个角点然后用cv2.getPerspectiveTransform做透视变换。def four_point_transform(image, pts): # pts: 四个角点顺序为左上、右上、右下、左下 rect np.zeros((4, 2), dtypefloat32) # 这里要自己实现点的排序逻辑 # 用四个点的xy和x-y组合识别出每个角的位置 rect[0] pts[np.argmin(pts.sum(axis1))] # 左上xy最小 rect[2] pts[np.argmax(pts.sum(axis1))] # 右下xy最大 rect[1] pts[np.argmin(np.diff(pts, axis1))] # 右上x-y最小 rect[3] pts[np.argmax(np.diff(pts, axis1))] # 左下x-y最大 (tl, tr, br, bl) rect width_top np.linalg.norm(br - bl) width_bottom np.linalg.norm(tr - tl) max_width max(int(width_top), int(width_bottom)) height_left np.linalg.norm(tr - br) height_right np.linalg.norm(tl - bl) max_height max(int(height_left), int(height_right)) dst np.array([ [0, 0], [max_width - 1, 0], [max_width - 1, max_height - 1], [0, max_height - 1] ], dtypefloat32) M cv2.getPerspectiveTransform(rect, dst) warped cv2.warpPerspective(image, M, (max_width, max_height)) return warped这个方法的准确率提升非常明显前提是原图中要有一个可检测的四边形参照物单据边缘、卡片角点、刻度盘外框都可以。如果找不到四边形参照退而求其次的方法是给外接矩形加旋转校正先用minAreaRect拿到旋转角再用仿射变换把数字扶正。def deskew_char(roi): coords cv2.findNonZero(roi) angle cv2.minAreaRect(coords)[-1] if angle -45: angle -(90 angle) else: angle -angle h, w roi.shape[:2] M cv2.getRotationMatrix2D((w / 2, h / 2), angle, 1.0) rotated cv2.warpAffine(roi, M, (w, h), flagscv2.INTER_CUBIC, borderModecv2.BORDER_REPLICATE) return rotated注意minAreaRect返回的角度范围是-90度到0度且对细长物体来说角度定义容易踩坑——数字“1”和“7”的角度计算经常差90度要加判断逻辑。调完角度后把旋转之后的ROI再做一次boundingRect裁掉露出的黑边再送进识别模块。最后一个习惯每次调完预处理参数都强制把二值图、轮廓框、切割结果这三层图输出到同一目录下做对比而不是只看最终识别率。识别率是一个会骗人的汇总指标单步输出能帮你锁定问题到底出在阈值、切割还是匹配。希望这篇笔记能帮你少走几步弯路把数字识别这个基础模块稳稳跑通。本文还有配套的精品资源点击获取 
长河君 · 2026/10/16 9:55:13 · 阅读 1.2k OpenCV数字识别实战：不调API用传统图像处理跑通识别链路
简介基于OpenCV的数字识别基础示例包目标读者是刚接触计算机视觉、想用C实现OCR的开发者。它解决的是数字识别从图像输入到结果输出的完整流程问题先对图片做灰度化、二值化和滤波再通过模板匹配或Tesseract OCR完成字符归类。整个压缩包共13个文件包括10张jpg测试图片、2张png样例图与1个cpp源码文件解压后仅21KB属于体积小、便于直接翻阅的入门工程。配合源码中的截图和待识别图片使用者可以清楚看到预处理前后、匹配前后的图像变化作者在Linux下测试并考虑了跨平台移植减少环境适配上的重复排错。已有357人学习下载过这一示例包适合作为印刷体数字识别、简单验证码字符拆分的起点也为后续接触更复杂的物体检测与深度学习字符识别打下基础。1. 用OpenCV做电脑端数字识别不调API也能跑通的三条路如果你手头有一批票据、仪表盘照片、答题卡或者物料编号图想用OpenCV把上面的数字自动读出来先别急着上深度学习。OpenCV传统的图像处理链路——预处理、轮廓定位、模板匹配或特征分类——在数字识别这个场景里依然是最稳的起步方案尤其在电脑端跑静态图片或者本地视频流时不需要GPU、不需要标注上千张图几百行代码就能出一个可用的识别结果。这篇笔记就围绕“opencv识别基础电脑版数字”讲清楚每一步怎么做、参数怎么调、哪些地方最容易翻车以及什么时候该往深度学习切。适合刚接触OpenCV的开发者也适合被“识别不准”折磨过的熟手用来排查自己的处理链路。2. 图片预处理数字能不能识别准七成在进匹配之前2.1 灰度化与二值化阈值选不对后面全白做数字识别第一步几乎都是先转灰度再做二值化。这一步的决策直接影响后面轮廓检测的成败。常见做法是用cv2.cvtColor把BGR转成灰度图再用cv2.threshold做二值化或者用cv2.adaptiveThreshold做局部自适应二值化。import cv2 import numpy as np img cv2.imread(meter.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 全局阈值适合光照均匀、背景干净的图 ret, binary cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY_INV) # 自适应阈值适合光照不均匀或背景有阴影的图 adaptive_binary cv2.adaptiveThreshold( gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 11, 2 )这里我一般会先用全局阈值试跑一遍如果效果差再切自适应。THRESH_BINARY_INV是把数字变成白色、背景变黑色因为后面对轮廓检测和模板匹配来说白色前景是默认预期。自适应阈值的blockSize一般取奇数11或15比较常用C值取2到3之间。注意一点blockSize越小对局部光照变化越敏感但也越容易把噪声带进来。参数说明全局阈值127是一个偏保守的初始值如果数字的灰度值整体偏低或者偏高127会直接砍掉数字的笔画。先在没有数字的区域观察背景灰度值再决定阈值方向比盲目调数字靠谱。2.2 形态学操作把断裂和粘连控制在动手前二值化之后数字图上通常有两个典型问题一是笔画内部有小孔洞二是两个相邻数字之间有轻微的粘连或毛刺。分别对应cv2.morphologyEx开运算和闭运算。kernel_open cv2.getStructuringElement(cv2.MORPH_RECT, (2, 2)) kernel_close cv2.getStructuringElement(cv2.MORPH_RECT, (4, 4)) # 开运算先腐蚀后膨胀去掉小白点噪声 opened cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel_open) # 闭运算先膨胀后腐蚀填补数字笔画内的小空洞 closed cv2.morphologyEx(opened, cv2.MORPH_CLOSE, kernel_close)这里的关键是kernel尺寸。开运算的kernel太大会把细的数字笔画比如1、7直接消掉闭运算的kernel太大会把本来没粘连的数字连成一个块。我一般从(2, 2)和(3, 3)起步逐次放大看效果。形态学操作是预处理里最容易“眼不见为净”的一步——你在屏幕上看着没问题但轮廓检测结果可能已经变了形。建议每调一次kernel都把轮廓检测结果打印出来对比而不是只看二值化后的图。2.3 噪声处理策略哪种噪声用哪种方法数字识别场景里的噪声一般分三类椒盐噪声、背景纹理、边缘干扰。很多初学者一来就上高斯模糊但对数字图像来说模糊有时会直接抹掉细笔画。我的做法是椒盐噪声用cv2.medianBlur配合中值滤波背景纹理靠二值化阈值调整边缘干扰靠ROI裁剪。# 中值滤波适合去除椒盐噪声 denoised cv2.medianBlur(gray, 3) # 或者用高斯模糊适合去除细纹理噪声 gaussian cv2.GaussianBlur(gray, (3, 3), 0)medianBlur的核大小只能取奇数3×3对数字图像已经足够GaussianBlur的sigma设0会让OpenCV根据核大小自动计算一般不需要手调。如果你的数字图像本身比较干净这两步都可以跳过——多一步处理就多一层信息丢失的风险。3. 数字定位与切割从整张图到单个数字3.1 轮廓检测与外接矩形minAreaRect还是boundingRect预处理完成后下一步是从二值图里找到每个数字的位置。核心是cv2.findContours然后对每个轮廓取外接矩形。这里有个选择cv2.boundingRect返回轴对齐矩形cv2.minAreaRect返回带旋转角度的最小外接矩形。# 只取最外层轮廓避免嵌套干扰 contours, hierarchy cv2.findContours( closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE ) boxes [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) if w 10 or h 10: # 过滤掉太小的噪声轮廓 continue boxes.append((x, y, w, h))对电脑端拍摄的、基本摆正的数字图boundingRect就够用如果图片有明显的透视倾斜需要minAreaRect拿到旋转角度再做cv2.getRotationMatrix2D反向校正这个在后面进阶章展开。RETR_EXTERNAL只取最外层轮廓是为了避免数字内部孔洞比如8、9、0产生的内层轮廓干扰。CHAIN_APPROX_SIMPLE能压缩轮廓点数减少内存占用对切割结果没有影响。3.2 切割精度的四个参数宽高比、面积、位置、间距拿到轮廓外接矩形后不能直接把所有矩形都当成数字。实际场景里常常混入水印、刻度线、logo之类的干扰需要按四个维度筛选宽高比数字一般落在0.3到0.8之间1和某些字体可能会到0.2左右面积轮廓面积与矩形面积的比值数字笔画填充率一般在0.2以上位置如果知道数字在图像的固定区域可以直接ROI裁剪后再做轮廓检测间距同一组数字之间的水平间距相对均匀间距突然翻倍说明中间可能有非数字干扰valid_boxes [] for x, y, w, h in boxes: aspect w / h if not (0.2 aspect 0.9): continue fill_ratio cv2.contourArea(cnt) / (w * h) if fill_ratio 0.2: continue valid_boxes.append((x, y, w, h)) # 按从左到右排序 valid_boxes.sort(keylambda b: b[0])fill_ratio是一个很实用的筛选指标——数字的笔画面积占外接矩形的比例对印刷体数字来说很少低于0.2。遇到过“S”“Z”这类形状或者反光导致的笔画缺失阈值可以降到0.15。3.3 排序规则为什么必须按从左到右、从上到下切findContours返回的轮廓顺序是不确定的不能假设它天然按阅读顺序排列。数字识别如果不管顺序识别出来是一组乱序的单个数字后面拼字符串时会出错。尤其是表格、票据、多行数字混排的场景必须显式排序。# 多行数字先按行分组组内再按x排序 valid_boxes.sort(keylambda b: (b[1] // 50, b[0]))这里b[1] // 50的意思是以50像素为一个行分组容忍度。同一行的数字它们的y坐标差异不会超过这个值。如果数字行有倾斜这个50要根据实际字符高度调整一般取字符高度的1/3到1/2。排序这个操作看似简单但它决定了之后所有识别结果拼接的顺序也是最容易忽略的一步。我在实际项目里见过有人把数字全识别对了结果拼接出来完全不对最后发现只是排序漏了。4. 匹配与识别模板匹配、特征向量与KNN三条路怎么选4.1 模板匹配十个数字一套流程注意归一化方式预处理和切割到位后最简单的识别方式就是模板匹配。准备一组标准数字模板0到9共10张把切割出来的每个数字图和所有模板算相似度取最高分的类别作为识别结果。def match_digit(roi, templates): best_match -1 best_score -1 for digit, template in templates.items(): # 统一缩放到同样大小 resized_roi cv2.resize(roi, template.shape[::-1]) result cv2.matchTemplate(resized_roi, template, cv2.TM_CCOEFF_NORMED) _, max_val, _, _ cv2.minMaxLoc(result) if max_val best_score: best_score max_val best_match digit return best_match, best_scoreTM_CCOEFF_NORMED是归一化相关系数对光照变化相对不敏感输出范围在-1到1之间。初学者经常用TM_SQDIFF这个值越小越相似方向跟其他匹配模式相反容易在代码里搞混。模板匹配的问题在于对字体敏感——模板用的是印刷体识别对象是手写体时效果会很差。模板不一定要自己画。从现有图片里裁出几个已知数字平均一下生成模板比手工画的通用性更好。我一般会给每个数字准备两个模板常规字体一个粗体一个匹配时取最高分。4.2 特征提取加距离分类器轮廓矩与特征向量模板匹配对字体变化扛不住但自己训练CNN成本又高折中的方案是提取数字图像的特征向量用简单的距离分类器或KNN做分类。OpenCV里常用的特征是轮廓矩的归一化组合或者HOG特征。def extract_features(roi): # 统一尺寸减少缩放带来的特征变化 resized cv2.resize(roi, (32, 32)) # 归一化到0-1之间 resized resized.astype(np.float32) / 255.0 # 直接用像素值展平作为特征简单可行 features resized.flatten() return features def classify_knn(features, training_data, labels, k3): knn cv2.ml.KNearest_create() knn.train(training_data, cv2.ml.ROW_SAMPLE, labels) ret, result, neighbours, dist knn.findNearest(features, k) return int(result[0][0])这里用像素展平作为特征看起来很简单但对二值化稳定、切割准确的数字图来说足够用。特征向量维度是32×321024维训练数据少比如每个数字50个样本时也不会过拟合。如果你想稍微提升鲁棒性可以把特征换成HOG描述子但注意HOG参数多了之后调参成本会明显上升。KNearest_create是OpenCV 3.x之后的标准写法旧的cv2.KNearest()在OpenCV 4.x里已经改掉了。训练数据要求是浮点型二维数组标签是一维整数数组。类型不对时OpenCV会直接报错或者静默训练失败这是很多初学者翻车的地方。4.3 手写数字集训练KNN从零造训练集到OpenCV内置数据集OpenCV内置了手写数字数据集在cv2.ml的样例代码里常出现拿来验证KNN流程非常方便。但实际项目里的数字风格跟内置数据集差距可能很大我建议先跑内置数据确认流程通再用自己采集的样本替换训练集。# OpenCV内置手写数字数据集MNIST子集 from cv2 import ml # 假设你已经准备了自己的训练数据 def build_training_data(samples, labels): # samples: list of 32x32 二值化图片 # labels: list of 对应数字 train_data [] train_labels [] for sample, label in zip(samples, labels): features extract_features(sample) train_data.append(features) train_labels.append(label) train_data np.array(train_data, dtypenp.float32) train_labels np.array(train_labels, dtypenp.int32).reshape(-1, 1) return train_data, train_labels knn ml.KNearest_create() knn.setDefaultK(3) knn.train(train_data, ml.ROW_SAMPLE, train_labels)setDefaultK(3)设的是投票的邻居数量k值太小容易受噪声样本影响太大则会把边界附近的类别拉平。数字识别场景里3到5一般是安全区间。训练集里每个数字的样本尽量覆盖不同粗细、不同大小、不同偏移不要只在干净样本上训练。从自己的数据造训练集的办法先用模板匹配跑一批图把匹配分数高的结果自动采集成训练样本再人工抽查排除错标。这样能快速攒出几百个有效样本比自己手动标注快得多。5. 避坑与常见问题排查新手最常翻车的四个场景5.1 同一张图换个像素尺寸就识别失败现象同一张原始图片直接从文件读能识别改成长边resize到800像素后就大面积识别错误。原因resize改变了数字的笔画粗细和宽高比模板匹配对尺度变化很敏感。预处理时若先resize再做二值化阈值效果也会跟着变。解决固定处理流程顺序——先灰度化再二值化最后切割再对每个数字ROI单独resize到统一尺寸比如32×32。不要在一开始就resize整张图。如果必须缩图把二值化阈值改成自适应阈值降低对光照和笔画粗细的依赖。5.2 粘连数字被连成一个大轮廓现象票据上的数字“45”粘在一起轮廓检测只框出一个大框切割出来是一个整体匹配结果完全不对。原因二值化后两个数字的笔画之间有一个桥接的像素带形态学闭运算如果kernel偏大会把这个桥接带加宽。解决这一步要靠形态学“拆”。用开运算配合一个横向kernel把桥接带断开但要注意纵向笔画也会受影响# 横向开运算打断水平方向的粘连 kernel_h cv2.getStructuringElement(cv2.MORPH_RECT, (3, 1)) split_binary cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel_h)如果水平粘连依然严重检查原始图像分辨率是不是太低。分辨率不足时两个数字之间的空隙本身就不到一个像素任何形态学操作都救不回来。5.3 光照不均导致二值化局部失效现象图片左侧数字清晰可辨右侧数字笔画发虚全局阈值下右侧全变成背景。原因光照在图片上不均匀全局阈值只对亮度接近的区域有效。解决切自适应阈值并把blockSize调小到9左右C值保持在2。如果自适应之后噪声变多先用中值滤波再二值化。还有一招——先做cv2.divide配合大核模糊做光照归一化比反复调阈值更稳# 光照归一化原图除以大核模糊图消除亮度梯度 blur cv2.GaussianBlur(gray, (31, 31), 0) normalized cv2.divide(gray, blur, scale255)divide的方式是对每个像素做除法亮度梯度被整体拉平。核大小取31到51之间太小会把数字本身也当作背景抹掉。5.4 匹配模式选错导致分数越高越不像现象用模板匹配时发现识别结果老是不对打印分数一看相似度高达0.9以上的却是错误数字。原因用了TM_SQDIFF或TM_SQDIFF_NORMED这个模式是差值数值越小越相似但不少人直接用max_val当相似度导致选到最不相似的模板。解决统一用TM_CCOEFF_NORMED它输出越大越相似语义直观。如果必须用TM_SQDIFF取min_val而不是max_val。建议在代码里固定注释# TM_SQDIFF取minTM_CCOEFF取max。5.5 识别单个数字都对拼起来却不对现象每个数字的识别准确率接近100%但输出字符串总是缺位或多位。原因切割阶段把某些噪声矩形当成数字保留或把真正的数字过滤掉了。识别环节没问题问题在候选框筛选。解决把所有候选框boxes连同坐标一起打印出来跟原图对比。我一般会在调试模式里把每个框画在图上输出确认框的数量跟肉眼看到的数字数量一致后再跑识别。这一步排查完90%的“拼接不对”问题都出在框的数量不对。6. 进阶透视校正识别流水号把准确率从90%提到97%最后一个技巧针对真实场景里最常见的“倾斜”问题。电脑摄像头的视角很难保证正对单据拍出来的数字多少带一点透视形变数字倾斜到一定程度后轮廓外接矩形就不再是数字的真实包围盒直接用boundingRect会把斜着的“7”的左上和右下多余背景包进来影响后续识别。我的做法是先对整张图做透视校正再做数字切割。用cv2.findContours找到图像中的单据外轮廓取最大的四边形轮廓用approxPolyDP把它逼近成4个角点然后用cv2.getPerspectiveTransform做透视变换。def four_point_transform(image, pts): # pts: 四个角点顺序为左上、右上、右下、左下 rect np.zeros((4, 2), dtypefloat32) # 这里要自己实现点的排序逻辑 # 用四个点的xy和x-y组合识别出每个角的位置 rect[0] pts[np.argmin(pts.sum(axis1))] # 左上xy最小 rect[2] pts[np.argmax(pts.sum(axis1))] # 右下xy最大 rect[1] pts[np.argmin(np.diff(pts, axis1))] # 右上x-y最小 rect[3] pts[np.argmax(np.diff(pts, axis1))] # 左下x-y最大 (tl, tr, br, bl) rect width_top np.linalg.norm(br - bl) width_bottom np.linalg.norm(tr - tl) max_width max(int(width_top), int(width_bottom)) height_left np.linalg.norm(tr - br) height_right np.linalg.norm(tl - bl) max_height max(int(height_left), int(height_right)) dst np.array([ [0, 0], [max_width - 1, 0], [max_width - 1, max_height - 1], [0, max_height - 1] ], dtypefloat32) M cv2.getPerspectiveTransform(rect, dst) warped cv2.warpPerspective(image, M, (max_width, max_height)) return warped这个方法的准确率提升非常明显前提是原图中要有一个可检测的四边形参照物单据边缘、卡片角点、刻度盘外框都可以。如果找不到四边形参照退而求其次的方法是给外接矩形加旋转校正先用minAreaRect拿到旋转角再用仿射变换把数字扶正。def deskew_char(roi): coords cv2.findNonZero(roi) angle cv2.minAreaRect(coords)[-1] if angle -45: angle -(90 angle) else: angle -angle h, w roi.shape[:2] M cv2.getRotationMatrix2D((w / 2, h / 2), angle, 1.0) rotated cv2.warpAffine(roi, M, (w, h), flagscv2.INTER_CUBIC, borderModecv2.BORDER_REPLICATE) return rotated注意minAreaRect返回的角度范围是-90度到0度且对细长物体来说角度定义容易踩坑——数字“1”和“7”的角度计算经常差90度要加判断逻辑。调完角度后把旋转之后的ROI再做一次boundingRect裁掉露出的黑边再送进识别模块。最后一个习惯每次调完预处理参数都强制把二值图、轮廓框、切割结果这三层图输出到同一目录下做对比而不是只看最终识别率。识别率是一个会骗人的汇总指标单步输出能帮你锁定问题到底出在阈值、切割还是匹配。希望这篇笔记能帮你少走几步弯路把数字识别这个基础模块稳稳跑通。本文还有配套的精品资源点击获取