药品名称识别这个题目乍一看像是单纯的OCR项目实际做下来才发现它是“图像处理 文字识别 文本匹配”三个方向的交叉点。我在毕业设计阶段完整走了一遍这套流程从采集药品包装图片到跑通文字检测再到把混乱的OCR结果“清洗”成规范的药品通用名中间踩了不少坑也积累了一些可以直接拿去的经验。这篇博文就围绕“基于模板的药品名称识别系统”展开把题目拆解、技术选型、代码实现、参数调优和常见问题全部讲清楚给正在做类似选题的同学一个参考。先说清楚这个系统到底在解决什么问题给一张药品包装盒的图片系统要自动定位到药品名称所在区域识别出文字再从一段可能混着厂牌、规格、批准文号、广告语的文字里把“药品通用名”单独拎出来。比如图片上有“感冒灵颗粒”“修正药业”“9袋”等内容系统最终应该输出“感冒灵颗粒”。之所以强调“基于模板”是因为纯OCR很难直接得到干净的药名必须依靠药品名词库、命名规则、常见后缀特征来“套模板”后过滤和校正这也是这个项目的核心难点和亮点所在。这个项目的定位很适合本科毕业设计难度中等偏上但技术栈清晰、可展示性强而且能够讲出完整的“问题—方案—验证”闭环。需要的东西也比较纯粹Python图像处理基础、一个OCR引擎、一份药品名称数据集、以及足够的耐心调规则。下面我把整个项目的设计思路、核心模块、实操流程和排坑经验按顺序拆开讲。1. 项目整体设计与技术选型思路1.1 需求拆解毕业设计到底要解决什么问题很多同学拿到“XXX识别系统”这类题目时第一反应是“先用深度学习跑个模型再说”这是常见的误区。毕业设计不是算法大赛更重要的是把问题定义清楚、把工程链路打通、把效果用数据证明。药品名称识别这个题目表面上看是“识别文字”实际上包含三个层层递进的子问题。第一个子问题是“药名在哪里”。药品包装盒上信息密度很高生产厂家、商品名、通用名、规格、批号、条形码、广告语全堆在有限区域内。如果对整个包装盒做OCR会识别出一大堆无关文本后续匹配的噪声会非常大。所以必须先用目标检测或人工规则定位的方式找到药名区域。第二个子问题是“文字是什么”。包装盒材质反光、字体艺术化、背景图案复杂、小字号印刷模糊都会让OCR效果大打折扣。这个问题可以通过图像预处理尽量缓解但要接受“OCR不可能100%正确”的现实。第三个子问题是“识别结果怎么变成规范药名”。这是整个系统最有价值的部分。OCR输出的原文可能是“感冒灵颗粒”、“感冒灵颡粒”或者混入了“感冒灵颗粒 9袋 OTC”之类的噪声。要得到干净的药品名称必须靠后处理匹配也就是“模板”发挥作用的地方。我在设计阶段把这三个问题分别对应到了三个模块药名区域定位、OCR文字识别、模板匹配后处理。每个模块都可以独立测试和调优最后串成一条完整流水线。这样的设计也方便在答辩时拆开讲每个环节都有可展示的中间结果和评价指标。1.2 为什么选Python做为主力开发语言选Python几乎是这个题目唯一理性的选择。原因不在于Python本身有多强而在于这个项目涉及的每个环节Python社区都有非常成熟的开源方案而且串接成本极低。图像预处理部分可以直接用OpenCV读取图片、转灰度、二值化、去噪、边缘检测都是一行一行写清楚的OCR部分有两个主流方案可选一个是Tesseract配套pytesseract轻量、部署方便另一个是PaddleOCR精度更高、对中文支持更好但依赖稍重后处理匹配部分用正则、字符串相似度算法、字典匹配这些都是Python标准库加一个第三方库就能解决的。另外一个实际因素是毕业设计一般时间紧、单人开发Python能把从算法到界面到测试报告的整条链路全部覆盖。比如最后做可视化演示用Flask搭个网页上传图片几十行代码就能完成如果用别的主流语言做同样的事情工作量至少翻一倍。我在实际选型时OCR引擎最终定了PaddleOCR原因是测试下来对中文药品包装上的识别效果明显好于Tesseract。Tesseract对印刷体英文和结构规整的中文效果尚可但遇到艺术字体、繁体字、模糊小字就很容易崩。PaddleOCR在检测和识别两个环节都用了深度学习模型对复杂背景的鲁棒性好很多而且提供了简单到几乎无门槛的Python接口。1.3 “基于模板”到底指什么这是整个项目名字里最关键的限定词也是评审老师最容易追问的地方。“模板”这个词在本项目里包含三层含义理解透这三层项目的创新点就有得说了。第一层是“命名规则模板”。药品通用名的命名有其内在规律绝大多数中成药名是“品牌修饰词 药品核心词 剂型后缀”结构。比如“感冒灵颗粒”、“蒲地蓝消炎口服液”、“布洛芬缓释胶囊”最后的“颗粒”、“口服液”、“缓释胶囊”就是典型的剂型后缀。这个规律意味着我们可以不需要全量药品数据库只要维护一份“剂型后缀表”和一份“高频核心词表”就能把绝大多数药名从一堆OCR噪声中筛选出来。第二层是“药品名词典模板”。更严谨的做法是收集一份覆盖常见药品的名称列表比如中成药、化学药、处方药、OTC药的通用名整理成JSON或TXT字典。识别时用字典做精确匹配和模糊匹配。这个词库不需要做到几十万条抽查常用的前3000条药名已经能覆盖药店货架上绝大部分常见药品。第三层是“字符形态模板”。这一层主要用在OCR结果校正阶段。比如药品名常见的干扰是“颡粒”这种形近字误识别我们需要建立一个常见错字对应表把“颡”校正为“颗”把“胶嚷”校正为“胶囊”把“片剂”中的“剂”识别成“刺”时也能纠回来。这三层模板共同构成了系统的后处理核心。项目里说“基于模板”本质上就是承认了OCR不是万能的在识别能力有限的现实条件下引入医药领域的先验知识来约束和校正结果。这也是工程实践里非常真实的做法比纯粹依赖模型硬识别的思路更有说服力。1.4 整体架构与流程梳理系统整体是一个典型的流水线架构上游输出喂给下游处理。大致流程是这样的图片输入后先做预处理包括缩放、灰度化、去噪、对比度增强然后进入药名区域定位模块这一步可以用两种方式实现一种是训练一个目标检测模型另一种是基于启发式规则做版面分析定位后截取ROI区域送入OCR引擎OCR输出原始文本后进入模板匹配模块先做文本清洗和纠错再与词库匹配最后结合剂型后缀规则抽取出规范药名。这个架构设计有一个好处每一步都是独立的可以单独debug。OCR结果差不代表整个项目要推翻重来可能只需要调预处理参数匹配率低也不一定需要换更好的OCR模型可能只是词库覆盖不足。把问题拆解到单一模块排查成本低很多。我在实现时额外加了一个环节在OCR之前做一次“药名候选区域粗筛”。具体做法是利用图像轮廓分析找出包含较多竖直或水平文字边缘的区域再结合版面位置先验药名一般出现在包装正面中上部把候选区域裁剪出来。这个粗筛虽然不完美但能显著降低OCR跑全图的噪声量。2. 核心模块拆解与实现要点2.1 图像预处理让OCR的第一步更稳图像预处理做得是否到位决定了OCR的上限。我看过很多同学在这个环节偷懒直接把原图丢给OCR引擎结果识别率低得离谱还以为是模型不行。我的做法是三步走。第一步是统一尺寸把最长边缩放到不超过2000像素既能加快处理速度又避免超大图在小分辨率模型上丢失细节。第二步是转灰度并做自适应二值化OpenCV的adaptiveThreshold比全局阈值好用得多因为药品包装盒的光照不均匀很常见局部明暗差异大全局阈值很容易把浅色文字吞掉。第三步是去噪用高斯滤波和中值滤波交替处理去除细小噪点但注意滤波核不能太大否则文字边缘会被磨糊。还有一个容易被忽略的预处理项是“对比度增强”。药品包装盒常覆盖塑料膜拍出来的照片会有反光反光区域的内容几乎无法被识别。我用的是CLAHE算法也就是限制对比度自适应直方图均衡化能有效改善反光导致的局部过曝。实测下来这个预处理对最终识别准确率的提升大约有10到15个百分点性价比非常高。预处理并不是做得越多越好。我调试过程中发现过度二值化会把包装盒上浅色底纹一起变成黑块干扰后续文本检测。所以我的建议是预处理模块多保留中间结果每步都输出保存一张图片调参时对照查看判断哪一步出了问题。2.2 文字检测与OCR识别OCR引擎的选择和调用方式直接影响项目效果。我优先推荐PaddleOCR理由前面提过中文场景下优势明显。在实现上需要注意PaddleOCR有两种用法一种是直接调用官方提供的预训练模型做端到端识别另一种是用它的det和rec分离接口做细粒度控制。我项目里用的就是分离接口因为方便在识别前把ROI区域手工传进去而不是让检测模型全图找字。PaddleOCR的输出格式是“坐标框 文本 置信度”的列表。对于每个文本检测框它给出了左上角和右下角的坐标这非常有用因为我们可以根据坐标做空间过滤。比如药名的水平位置通常和“规格”、“包装数量”这类信息相邻如果我们先通过模板匹配找到“0.25g”或“9袋”这类字样就可以反推出药名区域的参考位置范围。调用接口的延迟也是要考虑的问题。CPU环境下跑PaddleOCR单张图片大约需要2到4秒如果图片尺寸很大还会更慢。如果后续要做实时演示或批量测试建议启用GPU推理或者用PaddleOCR提供的mkldnn加速选项。我在演示环境里测试的是CPU版为了让现场反应更快在预处理阶段把图片尺寸限制到了1200像素压缩了不少推理时间。Tesseract也不是完全不能用。如果课题限定环境比较苛刻或者不想引入过重的深度学习依赖Tesseract仍然是一个可接受的备选方案。但要注意Tesseract对中文的支持要额外下载语言包识别效果和PaddleOCR的差距明显尤其在包装盒这种密集文本场景下。我个人建议能用PaddleOCR就优先它项目质量会有一个直观的档次提升。2.3 模板库构建药品名称的“特征词典”怎么建模板库的构建工作量和质量直接决定了系统能覆盖多少药名。我最初的做法是手工整理一个Excel表把常见药品按“药品名、剂型、使用说明”归类然后导入到JSON文件里。这个过程很枯燥但非常必要因为没有词库的模板匹配等于无源之水。我的词库结构设计如下顶层是一个JSON对象包含“药物名称列表”和“剂型后缀表”。药物名称列表存的是规范通用名比如“布洛芬缓释胶囊”、“感冒灵颗粒”、“连花清瘟胶囊”剂型后缀表存的是“片、胶囊、颗粒、口服液、软膏、注射液、喷雾剂、滴眼液、糖浆”等常见后缀。注意这里存的是后缀而不是任意出现的位置因为“阿司匹林肠溶片”里的“肠溶片”是剂型的细化描述如果不细化匹配“片”这个单字会带来大量误配。除了静态词库模板库里还应该放置“规则模板”。规则模板用正则表达式表示典型的有匹配“中文数字单位”的规格描述匹配“商标名通用名”的复合药名。比如“999感冒灵颗粒”如果只匹配药名词库是匹配不到的因为“999”是商品名修饰词但用规则模板“商品名前缀词库药名”就能正确抽取。模板库还要持续迭代。我在项目初期只收集了大约800个药品名实测准确率大概在70%左右。后来通过从测试集的错误案例中反向补充把覆盖率提升到了约90%。这个过程不复杂但每加一批新词都要重新跑一遍全量测试集观察是否引入误匹配所以建议给模板库加一个“更新日期”字段方便回溯版本。2.4 名称后处理与匹配算法模板匹配的核心逻辑不复杂但细节很多。我设计的后处理流程分五步先对OCR原始文本做字符清洗去除标点、空格、无效符号再做形近字纠错把“颡”换成“颗”、“襄”换成“囊”、“胶嚷”换成“胶囊”接着做词库精确匹配看OCR文本是否直接命中词典中的药名如果没命中再拆分成“候选词片段”做子串匹配最后结合剂型后缀规则做难例判定。精确匹配是最理想的情况但现实中OCR结果常常会多出或缺少几个字符。比如原图是“感冒灵颗粒”OCR输出“感冒灵颗料”这时候精确匹配就会失败。在子串匹配阶段我用了编辑距离算法来自动寻找最相似词。具体做法是把词典中每个药名与OCR结果计算Levenshtein距离取最小距离且距离阈值在2以内的词作为候选结果。这一步的复杂度解决得很好因为词典规模只有几千条单次匹配耗时毫秒级。还有一个关键点是“多候选得分排序”。有时OCR结果可能匹配到多个候选词比如“感冒灵颗粒”和“感冒灵胶囊”都可能被推出来这时需要结合位置信息再做一层过滤药名区域里出现了“9袋”或“12袋”字样通常更可能是颗粒剂出现“24粒”则更可能是胶囊剂。把包装上的规格信息和候选词做一个交叉验证能有效提升排序准确率。我在实际测试中发现这个交叉验证规则对于包装盒场景尤其管用因为规格表述通常会紧挨着药名。能把这种领域内的“小窍门”体现在系统设计里答辩时是很大的加分项因为它表明你不是只会调包而是真正思考了业务场景。3. 实操过程与核心环节实现3.1 开发环境与项目目录结构先列出我实际使用的开发环境方便大家复现Python 3.9OpenCV 4.5PaddleOCR 2.6pytesseract 0.3备用Flask 2.0JSON和re均为标准库。操作系统用Windows和Ubuntu都试过代码基本兼容只需要注意路径分隔符的问题。项目目录按模块划分medicine_ocr/ ├── app.py # Flask主程序提供HTTP接口 ├── config.py # 全局配置项 ├── models/ │ └── ocr_engine.py # OCR引擎封装 ├── template/ │ ├── drug_dict.json # 药品名词典 │ └── suffix_rule.json # 剂型后缀规则 ├── processing/ │ ├── preprocess.py # 图像预处理模块 │ ├── locate.py # 药名区域定位模块 │ └── matcher.py # 模板匹配后处理模块 ├── tests/ │ ├── test_samples/ # 测试图片集 │ └── run_test.py # 批量测试脚本 └── output/ # 中间结果输出目录这个目录结构是我参考一个做工业质检的项目搭的好处是模块边界清晰OCR引擎被封装成一个类不直接暴露给上层预处理和后处理都是纯函数方便单独写单元测试。如果你有自己的习惯结构可以调整但建议至少要保证“算法模块、数据模块、接口模块”三层分离后面扩展功能会省很多力气。3.2 核心代码实现以下是我在项目里实际使用的核心代码按模块精简后贴出来。先看OCR引擎封装import paddleocr import numpy as np class OcrEngine: def __init__(self, use_gpuFalse, langch): self.ocr paddleocr.PaddleOCR( use_angle_clsTrue, langlang, use_gpuuse_gpu, show_logFalse ) def recognize_region(self, img_crop): result self.ocr.ocr(img_crop, clsTrue) texts [] boxes [] scores [] if not result or not result[0]: return texts, boxes, scores for line in result[0]: box, text_info, _ line text text_info[0] score text_info[1] texts.append(text) boxes.append(box) scores.append(score) return texts, boxes, scores这里有一个值得注意的细节PaddleOCR在最新版本中返回值结构有变化有的版本返回的是嵌套列表有的版本直接是列表。建议在封装层做一次兼容处理用try-except解析不同的返回结构免得升级引擎时把上层代码全带崩。图像预处理代码import cv2 def preprocess_image(img, target_max1200): h, w img.shape[:2] scale target_max / max(h, w) if scale 1.0: img cv2.resize(img, (int(w * scale), int(h * scale))) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) gray clahe.apply(gray) denoised cv2.fastNlMeansDenoising(gray, h10) return denoisedfastNlMeansDenoising是目前我用下来对文字图片去噪效果最稳的算法比高斯和中值都好用代价是速度慢。如果你对速度有要求可以把h参数调小一些或者换成双边滤波。模板匹配后处理的核心代码import json import re from difflib import SequenceMatcher class DrugNameMatcher: def __init__(self, dict_path, suffix_path): with open(dict_path, r, encodingutf-8) as f: self.drug_list json.load(f)[drug_list] with open(suffix_path, r, encodingutf-8) as f: self.suffix_rules json.load(f)[suffix_list] def clean_text(self, raw_text): text raw_text.strip() text re.sub(r[\s\xa0], , text) text text.replace(|, ).replace(, ).replace(:, ) return text def match(self, ocr_text): text self.clean_text(ocr_text) hit self._exact_match(text) if hit: return hit, 1.0 candidate self._fuzzy_match(text) if candidate: return candidate[0], candidate[1] return self._rule_extract(text) def _exact_match(self, text): if text in self.drug_list: return text for name in self.drug_list: if text.endswith(name) or name.endswith(text): return name return None def _fuzzy_match(self, text): best_score 0 best_name None for name in self.drug_list: score SequenceMatcher(None, text, name).ratio() if score best_score: best_score score best_name name if best_score 0.72: return best_name, best_score return None def _rule_extract(self, text): for suffix in self.suffix_rules: idx text.rfind(suffix) if idx 0: return text[:idx len(suffix)], 0.8 return None, 0.0这里说明几个参数我很在意的点。_exact_match里的“name.endswith(text)”是为了解决OCR结果比词库药名多出前缀或后缀的情况比如原图是“复方感冒灵颗粒”词库里有“感冒灵颗粒”就允许用截断的方式命中。_fuzzy_match里的阈值0.72我调了很久调太高会漏判调太低会错判0.72在中文短文本上是一个比较平衡的阈值你可以根据自己的数据集微调。3.3 数据集准备与标注数据集的来源和质量对这个项目的影响比想象中大。我最初天真地以为下载几百张网上的药品图片就够用结果测试时被现实教育了。网上图片大多是商品渲染图背景干净、角度正和手机拍摄的实际包装盒差别巨大。后来我把数据来源调整为两部分一部分是网上爬取的各类药品广告图另一部分是自己用手机在不同光照、不同角度下实拍的药盒最终凑了大约500张测试图。标注方面我采用了一种轻量级方式每张图片对应一个同名txt文档第一行写正确的药品名称第二行写OCR容易出现干扰的文本。比如“感冒灵颗粒”对应txt里可能写“感冒灵颗粒 修正 9袋 0.2g”这样训练和测试时可以直接对比。这类标注不需要精细到画框省了大量时间但要注意保证“正确药名”是唯一标准答案。数据集一定要划分训练集和测试集。因为这不是训练深度学习模型而是调试规则和词库所以我采用的方式是用300张图片做开发集反复调试预处理和模板规则剩下200张图片从头到尾不碰只做最终验收。这个做法保证了最终效果不是“背过答案”的结果答辩时也更有说服力。3.4 效果评估与调优记录效果评估要有量化指标。我设计的评价体系有三个维度药名定位成功率和OCR结果准确率是前端指标模板匹配的最终准确率是系统级指标。系统级指标的计算方法很简单最终输出的药名与标准答案完全一致算正确否则算错误。第一轮测试跑下来系统级准确率只有58%这个数字当时让我有点沮丧。逐条看错误案例后发现最大的问题出在区域定位环节很多图把“生产日期”区域当作药名区域提取了出来自然识别不到药名。后来我在定位模块里增加了一个置信度判别先看区域中是否包含词库内的高频医药词比如“规格”、“批准文号”、“用法用量”如果包含这些词就降低该区域的候选权重。这个规则很粗暴但它奏效直接把准确率拉到了81%。第二轮调整针对的是OCR误识别。观察发现PaddleOCR对“胶囊”的“囊”字识别失败频率较高经常输出“胶嚷”或“胶强”。我首先在清洗阶段加入了形近字纠错映射表。这个表是一个字典把高频错字映射到正确字然后做全量替换。调完之后准确率又涨到了88%。第三轮调的是模糊匹配阈值。我比较了0.70、0.72、0.75三档发现0.70时错配较多0.75时漏配明显0.72是甜点位置。最终系统级准确率稳定在89%左右剩下的错误大多是极端光照或者药名本身就是生僻词的情况。这个效果对于毕业设计来说已经很能打了关键是你得把调整过程明确记录下来答辩时这本身就是一组有力数据。4. 常见问题与排查技巧实录4.1 典型问题与解决对照表做项目过程中遇到过很多问题有些非常典型几乎每个做OCR相关课题的同学都会踩到。我把它们整理成一个对照表方便你排查时快速对号入座。常见问题可能原因解决思路OCR识别结果全是乱码图片尺寸过小或模糊放大图片、增强对比度必要时直接对ROI区域单独处理识别结果准确但匹配失败词库缺少该药品名扩充词典并加一条规则模板覆盖匹配到错误的药名模糊匹配阈值过低调高阈值或引入规格信息做交叉验证药名区域定位偏移版面分析与实际不符调整定位规则增加强规则如检测“批准文号”文字处理速度过慢图片尺寸过大、使用大核滤波限制最长边、改用轻量去噪算法、启用GPU推理程序报错无法导入PaddleOCR版本冲突或缺少依赖单独建虚拟环境按官方文档重新安装对应版本同一张图多次识别结果不一致未固定随机种子或推理并发问题单线程串行推理确保输入一致性这张表是我在实际debug过程中逐步整理的每解决一个问题就补一行。毕业设计做到后面项目代码不用看直接看这张表就知道哪些模块还有隐患。4.2 关于样本量不足的应对很多同学会遇到数据集不够的问题尤其药品图片不太好获取。我的经验是不要执着于数量先把典型场景覆盖全。500张图片、覆盖20种常见药品配合精心设计的后处理规则效果可能比2000张同质化图片都好。一个小技巧是“人工合成干扰样本”。我写了一个数据增强脚本对每张原图随机添加光照变化、模糊、旋转、椒盐噪声等干扰生成新的测试样本。虽然合成样本和真实照片有分布差异但它能帮你快速发现规则的缺陷比如某个错字纠错规则是否会在特定光照条件下失效。另外药品名词库不要只靠手工整理可以去开源社区找已整理好的词表或者从药品说明书网站抓取目录。注意版权和合规问题仅做学习研究用问题不大。词库的质量决定了系统的上限这是整个项目里最值得花时间投入的部分。4.3 毕业设计展示与答辩经验这个题目很适合结果可视化展示请不要只给一个命令行黑框。我的展示方案是用Flask做了一个极简页面上传一张包装盒图片后端调用完整流水线前端显示原图、识别中间步骤截图、最终输出药名和处理耗时。整个页面没有复杂样式但每一步都有图像或数据输出现场演示效果很直观。答辩时准备几个“隐藏坑”的故事非常加分。比如我会现场演示一张有反光的药盒图片第一次跑出一个错误的OCR结果然后切换到启用CLAHE增强的版本再跑一次得到正确结果。这个过程能让评审老师直观感受到图像预处理的价值。讲得切忌太抽象一定要拿一个真实的错误案例和一个修复后的成功案例对比。技术之外另外一个容易被忽视的方面是“充分解释为什么选择模板方案”。评审老师最常问的问题就是“既然有深度学习模型为什么还要用规则模板”我的回答角度是药店场景下药品名高度受控、词库可维护、规则可解释而纯端到端模型需要大量标注数据且不可解释实际落地时模板方案在成本和可控性上更优。这套逻辑想清楚之后整个项目的立论就稳了。最后再分享一个我自己的体会做这类识别系统不要幻想“一个模型解决所有问题”工程上绝大部分提升来自对bad case的迭代分析。每跑完一轮测试拿错误案例列表挨个看判断是预处理问题、OCR问题还是匹配问题然后只改一个变量再跑。这个过程看起来原始但效率极高。你如果能把这一套迭代方法论写进项目报告那这份毕业设计的价值就不仅仅是一个算法Demo了而是一次完整的工程实践训练。之后想扩展的话还可以把固定词库换成定时更新的数据库或者加入对药品外包装条形码的辅助识别方向很多都是顺着这套框架自然长出来的。 
长河君 · 2026/10/16 3:37:39 · 阅读 1.2k 药品名称识别系统：OCR与模板匹配的工程实践
药品名称识别这个题目乍一看像是单纯的OCR项目实际做下来才发现它是“图像处理 文字识别 文本匹配”三个方向的交叉点。我在毕业设计阶段完整走了一遍这套流程从采集药品包装图片到跑通文字检测再到把混乱的OCR结果“清洗”成规范的药品通用名中间踩了不少坑也积累了一些可以直接拿去的经验。这篇博文就围绕“基于模板的药品名称识别系统”展开把题目拆解、技术选型、代码实现、参数调优和常见问题全部讲清楚给正在做类似选题的同学一个参考。先说清楚这个系统到底在解决什么问题给一张药品包装盒的图片系统要自动定位到药品名称所在区域识别出文字再从一段可能混着厂牌、规格、批准文号、广告语的文字里把“药品通用名”单独拎出来。比如图片上有“感冒灵颗粒”“修正药业”“9袋”等内容系统最终应该输出“感冒灵颗粒”。之所以强调“基于模板”是因为纯OCR很难直接得到干净的药名必须依靠药品名词库、命名规则、常见后缀特征来“套模板”后过滤和校正这也是这个项目的核心难点和亮点所在。这个项目的定位很适合本科毕业设计难度中等偏上但技术栈清晰、可展示性强而且能够讲出完整的“问题—方案—验证”闭环。需要的东西也比较纯粹Python图像处理基础、一个OCR引擎、一份药品名称数据集、以及足够的耐心调规则。下面我把整个项目的设计思路、核心模块、实操流程和排坑经验按顺序拆开讲。1. 项目整体设计与技术选型思路1.1 需求拆解毕业设计到底要解决什么问题很多同学拿到“XXX识别系统”这类题目时第一反应是“先用深度学习跑个模型再说”这是常见的误区。毕业设计不是算法大赛更重要的是把问题定义清楚、把工程链路打通、把效果用数据证明。药品名称识别这个题目表面上看是“识别文字”实际上包含三个层层递进的子问题。第一个子问题是“药名在哪里”。药品包装盒上信息密度很高生产厂家、商品名、通用名、规格、批号、条形码、广告语全堆在有限区域内。如果对整个包装盒做OCR会识别出一大堆无关文本后续匹配的噪声会非常大。所以必须先用目标检测或人工规则定位的方式找到药名区域。第二个子问题是“文字是什么”。包装盒材质反光、字体艺术化、背景图案复杂、小字号印刷模糊都会让OCR效果大打折扣。这个问题可以通过图像预处理尽量缓解但要接受“OCR不可能100%正确”的现实。第三个子问题是“识别结果怎么变成规范药名”。这是整个系统最有价值的部分。OCR输出的原文可能是“感冒灵颗粒”、“感冒灵颡粒”或者混入了“感冒灵颗粒 9袋 OTC”之类的噪声。要得到干净的药品名称必须靠后处理匹配也就是“模板”发挥作用的地方。我在设计阶段把这三个问题分别对应到了三个模块药名区域定位、OCR文字识别、模板匹配后处理。每个模块都可以独立测试和调优最后串成一条完整流水线。这样的设计也方便在答辩时拆开讲每个环节都有可展示的中间结果和评价指标。1.2 为什么选Python做为主力开发语言选Python几乎是这个题目唯一理性的选择。原因不在于Python本身有多强而在于这个项目涉及的每个环节Python社区都有非常成熟的开源方案而且串接成本极低。图像预处理部分可以直接用OpenCV读取图片、转灰度、二值化、去噪、边缘检测都是一行一行写清楚的OCR部分有两个主流方案可选一个是Tesseract配套pytesseract轻量、部署方便另一个是PaddleOCR精度更高、对中文支持更好但依赖稍重后处理匹配部分用正则、字符串相似度算法、字典匹配这些都是Python标准库加一个第三方库就能解决的。另外一个实际因素是毕业设计一般时间紧、单人开发Python能把从算法到界面到测试报告的整条链路全部覆盖。比如最后做可视化演示用Flask搭个网页上传图片几十行代码就能完成如果用别的主流语言做同样的事情工作量至少翻一倍。我在实际选型时OCR引擎最终定了PaddleOCR原因是测试下来对中文药品包装上的识别效果明显好于Tesseract。Tesseract对印刷体英文和结构规整的中文效果尚可但遇到艺术字体、繁体字、模糊小字就很容易崩。PaddleOCR在检测和识别两个环节都用了深度学习模型对复杂背景的鲁棒性好很多而且提供了简单到几乎无门槛的Python接口。1.3 “基于模板”到底指什么这是整个项目名字里最关键的限定词也是评审老师最容易追问的地方。“模板”这个词在本项目里包含三层含义理解透这三层项目的创新点就有得说了。第一层是“命名规则模板”。药品通用名的命名有其内在规律绝大多数中成药名是“品牌修饰词 药品核心词 剂型后缀”结构。比如“感冒灵颗粒”、“蒲地蓝消炎口服液”、“布洛芬缓释胶囊”最后的“颗粒”、“口服液”、“缓释胶囊”就是典型的剂型后缀。这个规律意味着我们可以不需要全量药品数据库只要维护一份“剂型后缀表”和一份“高频核心词表”就能把绝大多数药名从一堆OCR噪声中筛选出来。第二层是“药品名词典模板”。更严谨的做法是收集一份覆盖常见药品的名称列表比如中成药、化学药、处方药、OTC药的通用名整理成JSON或TXT字典。识别时用字典做精确匹配和模糊匹配。这个词库不需要做到几十万条抽查常用的前3000条药名已经能覆盖药店货架上绝大部分常见药品。第三层是“字符形态模板”。这一层主要用在OCR结果校正阶段。比如药品名常见的干扰是“颡粒”这种形近字误识别我们需要建立一个常见错字对应表把“颡”校正为“颗”把“胶嚷”校正为“胶囊”把“片剂”中的“剂”识别成“刺”时也能纠回来。这三层模板共同构成了系统的后处理核心。项目里说“基于模板”本质上就是承认了OCR不是万能的在识别能力有限的现实条件下引入医药领域的先验知识来约束和校正结果。这也是工程实践里非常真实的做法比纯粹依赖模型硬识别的思路更有说服力。1.4 整体架构与流程梳理系统整体是一个典型的流水线架构上游输出喂给下游处理。大致流程是这样的图片输入后先做预处理包括缩放、灰度化、去噪、对比度增强然后进入药名区域定位模块这一步可以用两种方式实现一种是训练一个目标检测模型另一种是基于启发式规则做版面分析定位后截取ROI区域送入OCR引擎OCR输出原始文本后进入模板匹配模块先做文本清洗和纠错再与词库匹配最后结合剂型后缀规则抽取出规范药名。这个架构设计有一个好处每一步都是独立的可以单独debug。OCR结果差不代表整个项目要推翻重来可能只需要调预处理参数匹配率低也不一定需要换更好的OCR模型可能只是词库覆盖不足。把问题拆解到单一模块排查成本低很多。我在实现时额外加了一个环节在OCR之前做一次“药名候选区域粗筛”。具体做法是利用图像轮廓分析找出包含较多竖直或水平文字边缘的区域再结合版面位置先验药名一般出现在包装正面中上部把候选区域裁剪出来。这个粗筛虽然不完美但能显著降低OCR跑全图的噪声量。2. 核心模块拆解与实现要点2.1 图像预处理让OCR的第一步更稳图像预处理做得是否到位决定了OCR的上限。我看过很多同学在这个环节偷懒直接把原图丢给OCR引擎结果识别率低得离谱还以为是模型不行。我的做法是三步走。第一步是统一尺寸把最长边缩放到不超过2000像素既能加快处理速度又避免超大图在小分辨率模型上丢失细节。第二步是转灰度并做自适应二值化OpenCV的adaptiveThreshold比全局阈值好用得多因为药品包装盒的光照不均匀很常见局部明暗差异大全局阈值很容易把浅色文字吞掉。第三步是去噪用高斯滤波和中值滤波交替处理去除细小噪点但注意滤波核不能太大否则文字边缘会被磨糊。还有一个容易被忽略的预处理项是“对比度增强”。药品包装盒常覆盖塑料膜拍出来的照片会有反光反光区域的内容几乎无法被识别。我用的是CLAHE算法也就是限制对比度自适应直方图均衡化能有效改善反光导致的局部过曝。实测下来这个预处理对最终识别准确率的提升大约有10到15个百分点性价比非常高。预处理并不是做得越多越好。我调试过程中发现过度二值化会把包装盒上浅色底纹一起变成黑块干扰后续文本检测。所以我的建议是预处理模块多保留中间结果每步都输出保存一张图片调参时对照查看判断哪一步出了问题。2.2 文字检测与OCR识别OCR引擎的选择和调用方式直接影响项目效果。我优先推荐PaddleOCR理由前面提过中文场景下优势明显。在实现上需要注意PaddleOCR有两种用法一种是直接调用官方提供的预训练模型做端到端识别另一种是用它的det和rec分离接口做细粒度控制。我项目里用的就是分离接口因为方便在识别前把ROI区域手工传进去而不是让检测模型全图找字。PaddleOCR的输出格式是“坐标框 文本 置信度”的列表。对于每个文本检测框它给出了左上角和右下角的坐标这非常有用因为我们可以根据坐标做空间过滤。比如药名的水平位置通常和“规格”、“包装数量”这类信息相邻如果我们先通过模板匹配找到“0.25g”或“9袋”这类字样就可以反推出药名区域的参考位置范围。调用接口的延迟也是要考虑的问题。CPU环境下跑PaddleOCR单张图片大约需要2到4秒如果图片尺寸很大还会更慢。如果后续要做实时演示或批量测试建议启用GPU推理或者用PaddleOCR提供的mkldnn加速选项。我在演示环境里测试的是CPU版为了让现场反应更快在预处理阶段把图片尺寸限制到了1200像素压缩了不少推理时间。Tesseract也不是完全不能用。如果课题限定环境比较苛刻或者不想引入过重的深度学习依赖Tesseract仍然是一个可接受的备选方案。但要注意Tesseract对中文的支持要额外下载语言包识别效果和PaddleOCR的差距明显尤其在包装盒这种密集文本场景下。我个人建议能用PaddleOCR就优先它项目质量会有一个直观的档次提升。2.3 模板库构建药品名称的“特征词典”怎么建模板库的构建工作量和质量直接决定了系统能覆盖多少药名。我最初的做法是手工整理一个Excel表把常见药品按“药品名、剂型、使用说明”归类然后导入到JSON文件里。这个过程很枯燥但非常必要因为没有词库的模板匹配等于无源之水。我的词库结构设计如下顶层是一个JSON对象包含“药物名称列表”和“剂型后缀表”。药物名称列表存的是规范通用名比如“布洛芬缓释胶囊”、“感冒灵颗粒”、“连花清瘟胶囊”剂型后缀表存的是“片、胶囊、颗粒、口服液、软膏、注射液、喷雾剂、滴眼液、糖浆”等常见后缀。注意这里存的是后缀而不是任意出现的位置因为“阿司匹林肠溶片”里的“肠溶片”是剂型的细化描述如果不细化匹配“片”这个单字会带来大量误配。除了静态词库模板库里还应该放置“规则模板”。规则模板用正则表达式表示典型的有匹配“中文数字单位”的规格描述匹配“商标名通用名”的复合药名。比如“999感冒灵颗粒”如果只匹配药名词库是匹配不到的因为“999”是商品名修饰词但用规则模板“商品名前缀词库药名”就能正确抽取。模板库还要持续迭代。我在项目初期只收集了大约800个药品名实测准确率大概在70%左右。后来通过从测试集的错误案例中反向补充把覆盖率提升到了约90%。这个过程不复杂但每加一批新词都要重新跑一遍全量测试集观察是否引入误匹配所以建议给模板库加一个“更新日期”字段方便回溯版本。2.4 名称后处理与匹配算法模板匹配的核心逻辑不复杂但细节很多。我设计的后处理流程分五步先对OCR原始文本做字符清洗去除标点、空格、无效符号再做形近字纠错把“颡”换成“颗”、“襄”换成“囊”、“胶嚷”换成“胶囊”接着做词库精确匹配看OCR文本是否直接命中词典中的药名如果没命中再拆分成“候选词片段”做子串匹配最后结合剂型后缀规则做难例判定。精确匹配是最理想的情况但现实中OCR结果常常会多出或缺少几个字符。比如原图是“感冒灵颗粒”OCR输出“感冒灵颗料”这时候精确匹配就会失败。在子串匹配阶段我用了编辑距离算法来自动寻找最相似词。具体做法是把词典中每个药名与OCR结果计算Levenshtein距离取最小距离且距离阈值在2以内的词作为候选结果。这一步的复杂度解决得很好因为词典规模只有几千条单次匹配耗时毫秒级。还有一个关键点是“多候选得分排序”。有时OCR结果可能匹配到多个候选词比如“感冒灵颗粒”和“感冒灵胶囊”都可能被推出来这时需要结合位置信息再做一层过滤药名区域里出现了“9袋”或“12袋”字样通常更可能是颗粒剂出现“24粒”则更可能是胶囊剂。把包装上的规格信息和候选词做一个交叉验证能有效提升排序准确率。我在实际测试中发现这个交叉验证规则对于包装盒场景尤其管用因为规格表述通常会紧挨着药名。能把这种领域内的“小窍门”体现在系统设计里答辩时是很大的加分项因为它表明你不是只会调包而是真正思考了业务场景。3. 实操过程与核心环节实现3.1 开发环境与项目目录结构先列出我实际使用的开发环境方便大家复现Python 3.9OpenCV 4.5PaddleOCR 2.6pytesseract 0.3备用Flask 2.0JSON和re均为标准库。操作系统用Windows和Ubuntu都试过代码基本兼容只需要注意路径分隔符的问题。项目目录按模块划分medicine_ocr/ ├── app.py # Flask主程序提供HTTP接口 ├── config.py # 全局配置项 ├── models/ │ └── ocr_engine.py # OCR引擎封装 ├── template/ │ ├── drug_dict.json # 药品名词典 │ └── suffix_rule.json # 剂型后缀规则 ├── processing/ │ ├── preprocess.py # 图像预处理模块 │ ├── locate.py # 药名区域定位模块 │ └── matcher.py # 模板匹配后处理模块 ├── tests/ │ ├── test_samples/ # 测试图片集 │ └── run_test.py # 批量测试脚本 └── output/ # 中间结果输出目录这个目录结构是我参考一个做工业质检的项目搭的好处是模块边界清晰OCR引擎被封装成一个类不直接暴露给上层预处理和后处理都是纯函数方便单独写单元测试。如果你有自己的习惯结构可以调整但建议至少要保证“算法模块、数据模块、接口模块”三层分离后面扩展功能会省很多力气。3.2 核心代码实现以下是我在项目里实际使用的核心代码按模块精简后贴出来。先看OCR引擎封装import paddleocr import numpy as np class OcrEngine: def __init__(self, use_gpuFalse, langch): self.ocr paddleocr.PaddleOCR( use_angle_clsTrue, langlang, use_gpuuse_gpu, show_logFalse ) def recognize_region(self, img_crop): result self.ocr.ocr(img_crop, clsTrue) texts [] boxes [] scores [] if not result or not result[0]: return texts, boxes, scores for line in result[0]: box, text_info, _ line text text_info[0] score text_info[1] texts.append(text) boxes.append(box) scores.append(score) return texts, boxes, scores这里有一个值得注意的细节PaddleOCR在最新版本中返回值结构有变化有的版本返回的是嵌套列表有的版本直接是列表。建议在封装层做一次兼容处理用try-except解析不同的返回结构免得升级引擎时把上层代码全带崩。图像预处理代码import cv2 def preprocess_image(img, target_max1200): h, w img.shape[:2] scale target_max / max(h, w) if scale 1.0: img cv2.resize(img, (int(w * scale), int(h * scale))) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) gray clahe.apply(gray) denoised cv2.fastNlMeansDenoising(gray, h10) return denoisedfastNlMeansDenoising是目前我用下来对文字图片去噪效果最稳的算法比高斯和中值都好用代价是速度慢。如果你对速度有要求可以把h参数调小一些或者换成双边滤波。模板匹配后处理的核心代码import json import re from difflib import SequenceMatcher class DrugNameMatcher: def __init__(self, dict_path, suffix_path): with open(dict_path, r, encodingutf-8) as f: self.drug_list json.load(f)[drug_list] with open(suffix_path, r, encodingutf-8) as f: self.suffix_rules json.load(f)[suffix_list] def clean_text(self, raw_text): text raw_text.strip() text re.sub(r[\s\xa0], , text) text text.replace(|, ).replace(, ).replace(:, ) return text def match(self, ocr_text): text self.clean_text(ocr_text) hit self._exact_match(text) if hit: return hit, 1.0 candidate self._fuzzy_match(text) if candidate: return candidate[0], candidate[1] return self._rule_extract(text) def _exact_match(self, text): if text in self.drug_list: return text for name in self.drug_list: if text.endswith(name) or name.endswith(text): return name return None def _fuzzy_match(self, text): best_score 0 best_name None for name in self.drug_list: score SequenceMatcher(None, text, name).ratio() if score best_score: best_score score best_name name if best_score 0.72: return best_name, best_score return None def _rule_extract(self, text): for suffix in self.suffix_rules: idx text.rfind(suffix) if idx 0: return text[:idx len(suffix)], 0.8 return None, 0.0这里说明几个参数我很在意的点。_exact_match里的“name.endswith(text)”是为了解决OCR结果比词库药名多出前缀或后缀的情况比如原图是“复方感冒灵颗粒”词库里有“感冒灵颗粒”就允许用截断的方式命中。_fuzzy_match里的阈值0.72我调了很久调太高会漏判调太低会错判0.72在中文短文本上是一个比较平衡的阈值你可以根据自己的数据集微调。3.3 数据集准备与标注数据集的来源和质量对这个项目的影响比想象中大。我最初天真地以为下载几百张网上的药品图片就够用结果测试时被现实教育了。网上图片大多是商品渲染图背景干净、角度正和手机拍摄的实际包装盒差别巨大。后来我把数据来源调整为两部分一部分是网上爬取的各类药品广告图另一部分是自己用手机在不同光照、不同角度下实拍的药盒最终凑了大约500张测试图。标注方面我采用了一种轻量级方式每张图片对应一个同名txt文档第一行写正确的药品名称第二行写OCR容易出现干扰的文本。比如“感冒灵颗粒”对应txt里可能写“感冒灵颗粒 修正 9袋 0.2g”这样训练和测试时可以直接对比。这类标注不需要精细到画框省了大量时间但要注意保证“正确药名”是唯一标准答案。数据集一定要划分训练集和测试集。因为这不是训练深度学习模型而是调试规则和词库所以我采用的方式是用300张图片做开发集反复调试预处理和模板规则剩下200张图片从头到尾不碰只做最终验收。这个做法保证了最终效果不是“背过答案”的结果答辩时也更有说服力。3.4 效果评估与调优记录效果评估要有量化指标。我设计的评价体系有三个维度药名定位成功率和OCR结果准确率是前端指标模板匹配的最终准确率是系统级指标。系统级指标的计算方法很简单最终输出的药名与标准答案完全一致算正确否则算错误。第一轮测试跑下来系统级准确率只有58%这个数字当时让我有点沮丧。逐条看错误案例后发现最大的问题出在区域定位环节很多图把“生产日期”区域当作药名区域提取了出来自然识别不到药名。后来我在定位模块里增加了一个置信度判别先看区域中是否包含词库内的高频医药词比如“规格”、“批准文号”、“用法用量”如果包含这些词就降低该区域的候选权重。这个规则很粗暴但它奏效直接把准确率拉到了81%。第二轮调整针对的是OCR误识别。观察发现PaddleOCR对“胶囊”的“囊”字识别失败频率较高经常输出“胶嚷”或“胶强”。我首先在清洗阶段加入了形近字纠错映射表。这个表是一个字典把高频错字映射到正确字然后做全量替换。调完之后准确率又涨到了88%。第三轮调的是模糊匹配阈值。我比较了0.70、0.72、0.75三档发现0.70时错配较多0.75时漏配明显0.72是甜点位置。最终系统级准确率稳定在89%左右剩下的错误大多是极端光照或者药名本身就是生僻词的情况。这个效果对于毕业设计来说已经很能打了关键是你得把调整过程明确记录下来答辩时这本身就是一组有力数据。4. 常见问题与排查技巧实录4.1 典型问题与解决对照表做项目过程中遇到过很多问题有些非常典型几乎每个做OCR相关课题的同学都会踩到。我把它们整理成一个对照表方便你排查时快速对号入座。常见问题可能原因解决思路OCR识别结果全是乱码图片尺寸过小或模糊放大图片、增强对比度必要时直接对ROI区域单独处理识别结果准确但匹配失败词库缺少该药品名扩充词典并加一条规则模板覆盖匹配到错误的药名模糊匹配阈值过低调高阈值或引入规格信息做交叉验证药名区域定位偏移版面分析与实际不符调整定位规则增加强规则如检测“批准文号”文字处理速度过慢图片尺寸过大、使用大核滤波限制最长边、改用轻量去噪算法、启用GPU推理程序报错无法导入PaddleOCR版本冲突或缺少依赖单独建虚拟环境按官方文档重新安装对应版本同一张图多次识别结果不一致未固定随机种子或推理并发问题单线程串行推理确保输入一致性这张表是我在实际debug过程中逐步整理的每解决一个问题就补一行。毕业设计做到后面项目代码不用看直接看这张表就知道哪些模块还有隐患。4.2 关于样本量不足的应对很多同学会遇到数据集不够的问题尤其药品图片不太好获取。我的经验是不要执着于数量先把典型场景覆盖全。500张图片、覆盖20种常见药品配合精心设计的后处理规则效果可能比2000张同质化图片都好。一个小技巧是“人工合成干扰样本”。我写了一个数据增强脚本对每张原图随机添加光照变化、模糊、旋转、椒盐噪声等干扰生成新的测试样本。虽然合成样本和真实照片有分布差异但它能帮你快速发现规则的缺陷比如某个错字纠错规则是否会在特定光照条件下失效。另外药品名词库不要只靠手工整理可以去开源社区找已整理好的词表或者从药品说明书网站抓取目录。注意版权和合规问题仅做学习研究用问题不大。词库的质量决定了系统的上限这是整个项目里最值得花时间投入的部分。4.3 毕业设计展示与答辩经验这个题目很适合结果可视化展示请不要只给一个命令行黑框。我的展示方案是用Flask做了一个极简页面上传一张包装盒图片后端调用完整流水线前端显示原图、识别中间步骤截图、最终输出药名和处理耗时。整个页面没有复杂样式但每一步都有图像或数据输出现场演示效果很直观。答辩时准备几个“隐藏坑”的故事非常加分。比如我会现场演示一张有反光的药盒图片第一次跑出一个错误的OCR结果然后切换到启用CLAHE增强的版本再跑一次得到正确结果。这个过程能让评审老师直观感受到图像预处理的价值。讲得切忌太抽象一定要拿一个真实的错误案例和一个修复后的成功案例对比。技术之外另外一个容易被忽视的方面是“充分解释为什么选择模板方案”。评审老师最常问的问题就是“既然有深度学习模型为什么还要用规则模板”我的回答角度是药店场景下药品名高度受控、词库可维护、规则可解释而纯端到端模型需要大量标注数据且不可解释实际落地时模板方案在成本和可控性上更优。这套逻辑想清楚之后整个项目的立论就稳了。最后再分享一个我自己的体会做这类识别系统不要幻想“一个模型解决所有问题”工程上绝大部分提升来自对bad case的迭代分析。每跑完一轮测试拿错误案例列表挨个看判断是预处理问题、OCR问题还是匹配问题然后只改一个变量再跑。这个过程看起来原始但效率极高。你如果能把这一套迭代方法论写进项目报告那这份毕业设计的价值就不仅仅是一个算法Demo了而是一次完整的工程实践训练。之后想扩展的话还可以把固定词库换成定时更新的数据库或者加入对药品外包装条形码的辅助识别方向很多都是顺着这套框架自然长出来的。