你如果在果蔬加工、产后处理或者农产品检测这块待过大概都会遇到同一个头疼事怎么又快又稳地把带病斑、有损伤、卖相差的果子挑出去。靠人工肉眼分选效率低不说标准还飘忽不定同一个果农上午挑的和下午挑的判据都不一样。近几年机器学习在工业视觉里铺得越来越开水果分选也顺理成章成了热门落地点。我这次把一个比较完整的缺陷水果分选算法链路用Matlab完整跑了一遍从图像采集到特征提取再到分类器训练和性能评估整个流程走下来踩了不少坑、也攒了不少可以直接抄作业的经验。这篇就专门聊聊这个项目怎么做、每个环节为什么这么设计、以及实测中那些文档里不会明说的细节。这个项目适合谁一种是做农产品智能检测方向的学生或研究人员手里攒了一批水果图像但不知道特征怎么提、分类器怎么选另一种是做产线视觉方案的工程师想把算法从实验室搬到实际分选场景里。不管你是哪种这篇文章给的思路、代码框架和调参经验基本可以帮你少走一半弯路。1. 项目思路拆解为什么选机器学习而不是“死规则”1.1 传统人工分选和阈值法的局限先聊一个本质问题水果缺陷检测到底难在哪。拿苹果来说常见的缺陷包括碰压伤、霉心病、水心病、日灼斑、虫眼甚至保鲜库里拿出来的果子还有发软和表皮皱缩。不同毛病长得不一样同一个毛病在不同品种、不同成熟度、不同光照条件下拍出来也不一样。你要是写死一套规则比如“R通道小于100就算坏斑”那晴天拍的和阴天拍的同一颗果子都可能给出完全相反的判断。人工分选的问题是标准一致性。一个分选工位上一个班次要拣几千个果子前半小时还能保持警觉往后注意力一分散漏检率就上来了。而且企业对分选结果还需要可追溯、可量化的指标人工只能靠抽检数据回收基本没法做。1.2 机器学习方案的核心逻辑换成机器学习思路就变了不去手工定义“什么样算坏果”的硬规则而是用一批标注好的样本让分类器自己去学“好果和坏果在特征空间里的分界长什么样”。本质上就是把“规则判断”换成“样本驱动”只要特征提取得当、标注靠谱、训练集覆盖度够算法对光照变化、品种差异的鲁棒性会比固定阈值好很多。有一点得先说明白这个项目选Matlab而不是Python主要考虑是图像处理工具箱和统计工具箱特别成熟尤其是图像分割、特征提取这块很多函数是现成的调试起来所见即所得。算法原型验证阶段Matlab的效率和可读性比Python那一套OpenCV加scikit-learn的组合来得更快。工程化落地再考虑换C或者Python重写这是很常见的研发节奏。1.3 整体流程设计整个项目的技术链路可以拆成五段图像采集与预处理、缺陷区域分割、特征提取与选择、分类器训练、性能评估。这个顺序不是随便排的每一段的输出都是下一段的输入前面欠的账后面全要还。我见过很多人急着调分类器参数但预处理做得糙结果分类精度卡在九成上下怎么都上不去——问题往往不在分类器在前面。实际建这个流程时我用的方案是采集端搭了简易的封闭光照箱用恒定光源拍照尽量把光照变量控住预处理用灰度化和中值滤波去噪再用背景分割把果实区域抠出来缺陷分割用HSV色彩空间的阈值结合连通域分析特征这块提取颜色、纹理、形状三组共几十维特征再用PCA降维分类器对比了SVM、随机森林和KNN三组最后用交叉验证选参数用混淆矩阵评估结果。下面每个环节展开说。2. 图像采集与预处理九成的坑都埋在这2.1 采集环境搭建的实测要点很多人拿到一批公开数据集就开始跑算法但我这项目是从自建图像采集开始的因为实际落地的分选系统一定要适配自己的产线光照条件。我用的是非常简陋但好用的方案一个不透光的箱子顶部开孔装了个环形LED光源色温定在5500K左右相机垂直朝下拍背景板选了纯黑色亚克力。为什么用环形光源因为单侧光源会在果实表面打出明显的镜面反射亮点这个东西在后续分割时经常被误判成缺陷区域。环形光从四周均匀打过来高光面积会小很多。背景板选黑色图的是后续分割省事。果实和背景的灰度差异拉大以后最基本的Otsu阈值就能把果实区域切得比较干净。你要是用白背景边缘的阴影反而会被错认成果实的一部分特征计算全乱。采集时我固定了相机曝光参数不搞自动曝光。自动曝光会随着环境亮度变化整体调整增益同一个果子的颜色在不同批次拍摄时会被拉伸或压缩直接影响颜色特征的稳定性。这个细节特别重要后面特征提取那部分你就理解了。2.2 预处理的关键步骤采集得到的原始图像是RGB彩色图第一步转灰度。这里有一点要注意直接用rgb2gray加权转换或者只取某个通道都可以但对带明显红色表皮的果实我实测R通道单独提取的表皮缺陷对比度比灰度图更好。你可以两个都试试选缺陷区域和正常区域灰度差更大的那个作为后续输入没有绝对标准。去噪我用的中值滤波窗口选的3×3。为什么不用高斯因为高斯滤波是线性平滑会把细小缺陷的边缘也磨掉中值滤波在去噪时对边缘的保留效果好得多在保持缺陷轮廓这件事上有天然优势。实测下来在5×5窗口下小虫眼的细节就已经开始丢了3×3是安全和速度的平衡点。如果你想在效率上再抠一点可以先转灰度再去噪没必要三个通道都做一遍滤波。光照校正是预处理里最容易被跳过、但对最终精度影响最大的一步。我实测的方案是在整个图像数据集里取一张无果实的背景图作为参考然后把每张待测图和参考图做逐像素除法消除光源在视场边缘的亮度衰减。这个操作实现起来就两三行代码但能明显减少果实边缘区域因为暗角被误判成缺陷的情况。2.3 缺陷区域分割的实操分割的目的是把“果皮上的异常区域”从整体果实表面分离出来。我这里用了两步先用灰度阈值结合形态学操作把整个果实从背景里抠出来得到果实掩膜再在果实掩膜内部做缺陷分割。缺陷分割我尝试过两种路线。第一种是RGB三通道的阈值组合比如病斑在R通道偏暗、在G通道偏亮这类经验规则。问题在于经验规则换个品种就得重新调通用性差。第二种是我最终定下来的方案把图像转到HSV色彩空间重点关注S饱和度和V明度通道。实测下来褐变、霉斑这类缺陷在V通道上和正常表皮的区分度最明显日灼斑在S通道上异常突出。这背后的原因也好理解缺陷区域的表面结构和含水率和正常区域不一样导致亮度直方图和饱和度偏移。分割出来以后一定会有一堆小噪点区域比如果皮上的自然斑点、灰尘点。用面积阈值一次去噪少于30个像素的连通域直接删掉。再配合一次形态学开运算把细长的假阳性边缘断开。到这里每个缺陷区域就都变成独立的连通域可以进入特征提取环节了。3. 特征提取像素怎么变成分类器能听懂的“描述词”3.1 为什么特征设计比分类器选择更决定上限机器学习领域有句老话叫“垃圾进垃圾出”这句话放到水果分选场景里格外真实。分类器再强你喂进去的特征要是没法区分好果和坏果精度上限就在那儿摆着。我第一版跑出来的SVM准确率只有88%后来发现是特征里混了几个在两类样本间完全没有区分度的维度加上噪声把分类界面带偏了。所以这个环节值得花最多心思。特征设计的基本思路是把每个缺陷区域变成一组数值描述。按信息层次分三类颜色特征、纹理特征、形状特征。在实际分选任务里颜色特征往往是区分度最高的因为绝大多数肉眼可见的缺陷都伴随显著的颜色变化纹理特征用来对付那些颜色变化不明显、但表面质地异常的缺陷形状特征则用来筛掉那些面积小、形态规则的假阳性噪点。3.2 颜色特征用均值、方差和通道组合在HSV空间里我对每个缺陷连通域统计了H、S、V三个通道的均值和标准差。这6个维度是基础几乎每个缺陷区域都能靠它们拉开差距。在此基础上又加了两个比值特征缺陷区域平均V值除以整果平均V值缺陷区域平均S值除以整果平均S值。为什么加比值因为绝对颜色值受光照强度影响很大同样一个褐变斑光线强一点V通道均值就上去了但比值特征描述的是“缺陷区域相对果实基线的颜色偏离度”这个相对量对光照强度的鲁棒性就好得多。这个设计思路值得记一下它是把实验室算法往产线上推的关键。Matlab里提取这些特征挺直接% 假设 defectMask 是二值缺陷掩膜hsvImg 是HSV图像 defectPixels find(defectMask); hChannel hsvImg(:,:,1); sChannel hsvImg(:,:,2); vChannel hsvImg(:,:,3); features [ mean(hChannel(defectPixels)), std(hChannel(defectPixels)), mean(sChannel(defectPixels)), std(sChannel(defectPixels)), mean(vChannel(defectPixels)), std(vChannel(defectPixels)), mean(vChannel(defectPixels)) / mean(vChannel(fruitMask)), mean(sChannel(defectPixels)) / mean(sChannel(fruitMask)) ];这里fruitMask是整果掩膜defectPixels是缺陷区域索引。第一版我犯过一个低级错误忘了把缺陷像素索引限制在果实掩膜内部结果背景噪点也被算进特征里有个样本的背景高光直接让它被判成严重缺陷。3.3 纹理特征灰度共生矩阵和LBP先说哪些缺陷必须依赖纹理特征。水心病、果肉内部褐变这类问题在颜色上和正常果肉差异很小但表面会出现轻微的凹凸不匀照片里表现为局部纹理紊乱。我用的是灰度共生矩阵GLCM里的对比度、能量、相关性和熵这4个统计量配合局部二值模式LBP直方图。GLCM的计算在Matlab里有现成函数graycomatrix但有几个细节要注意。第一GLCM的方向一般是0度、45度、90度、135度四个方向取平均避免果实表面纹路方向带来的偏差。第二灰度级数不用太大实测16级就够256级不仅算得慢还会把噪声细节也编码进去。第三窗口大小我用的是果实中心取一个固定大小的ROI因为整个果实的表面曲率会导致纹理在边缘处被拉伸变形全果统计会把曲率干扰当成纹理差异。LBP我用的是圆形邻域算子半径1、邻域8个点这组参数在苹果表皮的纹理尺度上表现最稳定。半径再大会跨过多个表皮细胞单元反而把正常组织的纹理差异放大。3.4 形状特征与特征降维形状特征相对简单但能解决实际问题。我提取了缺陷区域的面积占整果面积的百分比这个直接对应缺陷严重程度、缺陷区域的圆形度4π×面积/周长²、缺陷区域的主轴长度和质心位置。圆形度这个特征特别有用真实的病斑和褐变区域形状往往不规则、有蔓延趋势而灰尘、水滴造成的假阳性区域通常偏圆形用这个特征一筛能少掉好几个误检。特征加在一起有几十维直接喂给分类器有两个问题一是维度太高导致训练所需样本量指数上升二是很多特征之间有相关性分类器会把冗余信息当成独立证据。我用PCA做降维保留累计方差贡献率95%的主成分实测下来一般能降到8到12维分类精度不降反升。这一点也好理解去掉的维度基本都是噪声分类器拟合更稳了。PCA在Matlab里直接用pca函数[coeff, score, latent] pca(featureMatrix); 保留主成分数 find(cumsum(latent) / sum(latent) 0.95, 1); trainingFeatures score(:, 1:保留主成分数);有一点特别提醒PCA的变换矩阵要保存下来测试的时候用同一个coeff矩阵对新样本做投影不是对测试集单独重新算PCA。我第一版就是吃了这个亏直接对测试集跑pca相当于训练和测试用了两套坐标轴结果全乱了。4. 分类器构建与Matlab实现4.1 数据集划分与标签体系分类之前先聊数据集。我自建的这套小样本库里好果样本300个常见缺陷样本分六类各几十个总共500多个样本。这里就暴露出一个前置问题有的缺陷类型样本不到30个分类器根本学不到足够泛化的分界。我的处理是把问题简化成二分类也就是先解决“好果 vs 坏果”这个产线最关心的基本盘六类缺陷统一归为坏果。分类病害类别的细粒度问题等样本量攒够了再做增量。数据集划分用的是分层抽样保证训练集和测试集里好果坏果比例一致。我用的是70%训练、15%验证、15%测试。在Matlab里可以配合cvpartition实现避免随机划分导致某类样本全挤到训练集里的尴尬。4.2 三种分类器横向对比怎么选我这边对比了三个分类器SVM、随机森林、KNN。每个分类器都有自己适合的场景没有绝对的好坏SVM的优点是决策边界稳定、小样本上表现好尤其是我用RBF核之后对特征空间里非线性的好果坏果分界拟合得很好。缺点是训练时需要对核参数和惩罚因子做搜索调参比较费功夫。随机森林的好处是几乎不用调参默认参数就能拿到不错的结果而且能输出特征重要性打分方便回头做特征筛选。缺点是在小样本集上不如SVM精细个别样本会被淹没在多数投票里。特征重要性这个附带产出物是独一份的做特征筛选时帮助很大。我用它筛掉过两个贡献度几乎为零的形状特征SVM精度反而回升了。KNN思路最简单但我实际测下来效果垫底。原因很简单KNN依赖距离度量但不同特征的数值量纲差很远比如面积百分比是0到1的小数而纹理对比度可能是十几的量纲距离被大量纲特征主导了必须做标准化才能救。做完标准化之后KNN的精度还是略低于前两者而且预测时要遍历全部训练样本实时性最差。分选产线一个果子的检测时间窗口通常只有几十毫秒KNN这种惰性学习方法在部署阶段不太讨喜。4.3 核心代码实现SVM训练与预测直接上一段我实测跑通的SVM训练代码配合注释说明关键点% 读取已经提取好的训练特征和标签 trainData trainFeatureTable(:, 1:end-1); trainLabel trainFeatureTable(:, end); % 训练SVM分类器这里使用RBF核 svmModel fitcsvm(trainData, trainLabel, ... KernelFunction, rbf, ... BoxConstraint, 10, ... KernelScale, 2.1, ... Standardize, true, ... Crossval, off); % 用验证集做预测 [predLabel, predScore] predict(svmModel, valData); % 计算验证集准确率 valAccuracy sum(predLabel valLabel) / numel(valLabel) * 100; fprintf(验证集准确率: %.2f%%\n, valAccuracy);这里有几个参数说说为什么这么设。Standardize设成true非常关键因为颜色特征和纹理特征的量纲差异很大不标准化的话RBF核的距离计算会被大量纲特征主导。BoxConstraint是惩罚因子我通过网格搜索在{0.1, 1, 10, 100}里选了10这个值越大对训练样本的拟合越用力但也越容易过拟合。KernelScale是RBF核的带宽参数它控制着决策边界可以有多“弯曲”这个值我用2.1也是在交叉验证里扫出来的取的是验证集精度曲线的峰值点。有一点要提醒fitcsvm训练二分类器时默认把第一个出现的类别标签当作正类。如果你训练集里好果先出现坏果后出现那predict返回的label和score的“正类方向”就是好果。这在实际报表统计里会带来混乱最简单的办法是训练前把标签标准化成1和-1然后明确用score的符号来判断。4.4 超参数调优网格搜索和交叉验证调参这块我用了两层策略。第一层是用验证集粗调第二层是对候选参数组合做5折交叉验证取平均精度。网格搜索的代价很高特别是参数一多组合数就爆炸。我实测的建议是分两步走先固定一个参数单维度扫另一个找到甜点区间再在甜点区间里做2×2的精细搜索。RBF核的SVM最重要的两个参数就是BoxConstraint和KernelScale按这个方法来总共也就跑三十几次训练完全在可接受范围内。交叉验证的代码用fitcsvm自带的交叉验证开关更方便svmModelCV fitcsvm(trainData, trainLabel, ... KernelFunction, rbf, ... Standardize, true, ... KernelScale, auto); cvModel crossval(svmModelCV, KFold, 5); cvLoss kfoldLoss(cvModel); fprintf(5折交叉验证误差: %.2f%%\n, cvLoss * 100);KernelScale设成auto让Matlab自动基于样本间距估计初始值这样跑出来的结果往往已经有七八成的火候了再手工微调就行。我经常给来问的人说不要一上来就搞贝叶斯优化那玩意在你连特征到底靠不靠谱都没验证清楚的时候只是浪费计算时间。5. 结果分析与性能评估5.1 评价指标别只盯着准确率分选场景里只报准确率真心不够。举个例子如果好果占总样本的80%那你啥也不学全预测成好果就有80%的准确率。所以还要看召回率、精确率、F1分值和混淆矩阵。在水果分选里具体到语义就是漏检率和误检率漏检是指坏果混进好果堆里消费者买到烂果子这是最砸口碑的问题误检是把好果扔掉这是纯成本流失。产线侧尽量压低漏检率成本侧尽量管住误检率这两个目标在统计上天然矛盾实际操作时用偏置惩罚因子或调整分类阈值来平衡。我这边SVM在测试集上的结果大概是好果类精确率94.6%召回率96.2%坏果类精确率92.1%召回率89.4%。在4:1的好坏果比例下整体准确率93.3%。这个结果在初期版本里已经够用了但如果想再上一步就得靠增加样本量。混淆矩阵在Matlab里直接用confusionchart画出来能非常直观地看到集中误判的样本长什么样。我实测中发现误判的坏果样本集中在两类上一类是轻微碰压伤且拍摄角度恰好遮住了缺陷区域另一类是色泽偏暗的红苹果品种颜色特征和褐变缺陷高度接近。这给我一个明确的方向增加多角度拍摄或引入更多品种样本。5.2 特征贡献度分析与消融实验我额外做了一个小实验来验证各特征组的贡献度分别只用颜色特征、只用纹理特征、只用形状特征来训练SVM对比它们和全特征组合的精度差距。结果很有意思只用颜色特征就已经能到88.7%的准确率只用纹理特征只有76.4%只用形状特征最低不足70%。这印证了颜色特征是此任务的主要区分依据。但全特征组合能到93.3%说明纹理和形状特性确实带来了边际增益尤其是纹理特征对水心病这类隐蔽缺陷是不可替代的信号。这种消融实验做一遍你对整个系统的理解会深很多写报告、跟同事解释、后续迭代都有据可依。5.3 运行效率的实测数据实验室里大家通常不太关心跑得慢不慢但产线上很在意。我统计了我这台普通配置台式机上单张图像从上到下完整跑完一遍的平均耗时预处理和分割约25毫秒特征提取约40毫秒SVM预测不到1毫秒加起来65毫秒左右折算产能大概是每秒15个果子。这个速度离高产能产线还有些距离但作为算法原型已经说明瓶颈不在分类器而在前面的图像处理环节。真要做实时系统特征提取部分可以改成GPU加速图像缩放到合理分辨率也能砍掉不少时间。另外SVM预测本身几乎是免费的这也验证了小样本场景下SVM确实比深度学习那种动辄毫秒级推理的方案更适合做轻量分选。6. 踩坑记录与问题排查实录6.1 采集一致性痛点最让我头疼的坑之一是不同批次拍摄的图片亮度有偏移。原因出在我中途给环形LED换了个驱动电源虽然标称色温和亮度一样实际光通量还是有细微差别。这个偏移单看图片人眼无感但一进特征矩阵SVM的分界面就跟着漂移了。排查了一天才锁定原因后面在采集流程里加了一步每天采集前先拍一张标准色卡计算校正系数把所有图像统一归一化到标准亮度空间。这个成本极低但对跨批次数据的稳定性帮助极大。6.2 训练集样本不平衡我的样本里好果远远多于坏果。坏果内部各类缺陷的数量也不均衡褐变样本最多日灼样本很少。一开始分类器对日灼的召回率很低几乎全部漏检。解决办法不是说简单上采样或过采样就完了我更建议针对稀缺缺陷类型去补拍真实样本因为光靠算法生成仿真样本细节上还是和真实缺陷有差距。补拍之外训练时我给少数类样本加了更高的权重让分类器在损失函数里更重视它们。这俩操作一起上日灼的召回率从不到60%提到了接近85%。6.3 过拟合第一版SVM跑训练集准确率接近100%通用测试集只有85%典型的过拟合。诱因有两个一是特征维度偏高而样本量只有几百个模型有足够容量把训练样本背下来二是核函数带宽选得过窄决策边界在训练样本周围紧紧绕圈换新样本就露馅。我把KernelScale从1.2调到2.4再用PCA把特征缩到10维过拟合就压住了。这里建议你做完特征降维和调参后训练集和测试集精度差值控制在5个百分点以内超过这个数基本就是在背书。6.4 标注不一致问题标注这个环节的坑比较隐蔽。我自己前期标注时习惯把“轻微瑕疵也算坏果”但小样本里有一部分果子上有很淡的果锈我一开始标成好果后来又觉得按产线标准该算坏果来回改了两次。这种标注不一致会直接干扰分类器同样的颜色特征一会儿对应好果标签一会儿对应坏果标签分界面只能被强行拉到一个骑墙的位置。后面我定了一个标注规范文档明确每一种缺陷的判定标准还拍了标注示例图这样就算换人来标也能保证口径一致。这件事看似和算法无关实际比调参更能决定你的精度天花板。6.5 实时性瓶颈定位最后聊一下实时性优化。如果你打算把这个方案往产线上推给我的经验是首先排查特征提取代码里的循环——Matlab里for循环遍历像素是大忌能矩阵化就矩阵化。我第一版特征提取里有段遍历连通域的代码单张耗时直接上到200毫秒后来改成用regionprops批量统计一下子砍到40毫秒。另外就是图像分辨率不是越清晰越好我实测从1200万像素降到300万像素缺陷分割和特征提取的精度没有明显下降但单帧耗时降了一半以上。产线场景要的是在够用精度下的极限速度不是实验室里的全精度。7. 项目复盘与扩展方向整个项目跑完我最深的一点体会是水果分选本质上不是一个单纯算法问题而是“光学环境图像处理特征设计数据管理”的系统工程。算法精度上不去的你去翻日志大概率能追到某一批图片的光照异常或某个环节的标注口径漂移。我后来每个环节都留了版本记录中间翻过几次车翻车记录反而成了调参时最宝贵的参考。如果要把这个项目往更深处扩展我有三个明确的建议方向。第一是引入深度学习的尝试在样本量充足的前提下用预训练的CNN做特征提取器替代手工特征通常在缺陷类型多、形态复杂的场景下上限更高。第二是缺陷分类的细粒度化二分类只是第一步如果能区分褐变、碰压伤、腐烂、日灼等具体类型对仓储决策帮助极大比如碰压伤的果子可以转做即时销售褐变的可以转做果汁原料。第三是多视角融合单个视角总有盲区搭一个传送带配多相机或者转盘式的采集系统把多视角特征融合起来对漏检率的压制会是质的提升。最后分享一个实用小技巧训练好的SVM模型导出的时候记得顺手把PCA变换矩阵、特征索引顺序、图像预处理参数全部打包存成一个配置文件别单独存模型文件。因为换环境部署时重算一遍PCA或者搞错一列特征顺序都够你排查半天的。这种大坑踩过一次自然就记住了。 
长河君 · 2026/10/22 22:09:03 · 阅读 1.2k 基于机器学习的水果缺陷分选：Matlab图像处理与分类器实现全流程
你如果在果蔬加工、产后处理或者农产品检测这块待过大概都会遇到同一个头疼事怎么又快又稳地把带病斑、有损伤、卖相差的果子挑出去。靠人工肉眼分选效率低不说标准还飘忽不定同一个果农上午挑的和下午挑的判据都不一样。近几年机器学习在工业视觉里铺得越来越开水果分选也顺理成章成了热门落地点。我这次把一个比较完整的缺陷水果分选算法链路用Matlab完整跑了一遍从图像采集到特征提取再到分类器训练和性能评估整个流程走下来踩了不少坑、也攒了不少可以直接抄作业的经验。这篇就专门聊聊这个项目怎么做、每个环节为什么这么设计、以及实测中那些文档里不会明说的细节。这个项目适合谁一种是做农产品智能检测方向的学生或研究人员手里攒了一批水果图像但不知道特征怎么提、分类器怎么选另一种是做产线视觉方案的工程师想把算法从实验室搬到实际分选场景里。不管你是哪种这篇文章给的思路、代码框架和调参经验基本可以帮你少走一半弯路。1. 项目思路拆解为什么选机器学习而不是“死规则”1.1 传统人工分选和阈值法的局限先聊一个本质问题水果缺陷检测到底难在哪。拿苹果来说常见的缺陷包括碰压伤、霉心病、水心病、日灼斑、虫眼甚至保鲜库里拿出来的果子还有发软和表皮皱缩。不同毛病长得不一样同一个毛病在不同品种、不同成熟度、不同光照条件下拍出来也不一样。你要是写死一套规则比如“R通道小于100就算坏斑”那晴天拍的和阴天拍的同一颗果子都可能给出完全相反的判断。人工分选的问题是标准一致性。一个分选工位上一个班次要拣几千个果子前半小时还能保持警觉往后注意力一分散漏检率就上来了。而且企业对分选结果还需要可追溯、可量化的指标人工只能靠抽检数据回收基本没法做。1.2 机器学习方案的核心逻辑换成机器学习思路就变了不去手工定义“什么样算坏果”的硬规则而是用一批标注好的样本让分类器自己去学“好果和坏果在特征空间里的分界长什么样”。本质上就是把“规则判断”换成“样本驱动”只要特征提取得当、标注靠谱、训练集覆盖度够算法对光照变化、品种差异的鲁棒性会比固定阈值好很多。有一点得先说明白这个项目选Matlab而不是Python主要考虑是图像处理工具箱和统计工具箱特别成熟尤其是图像分割、特征提取这块很多函数是现成的调试起来所见即所得。算法原型验证阶段Matlab的效率和可读性比Python那一套OpenCV加scikit-learn的组合来得更快。工程化落地再考虑换C或者Python重写这是很常见的研发节奏。1.3 整体流程设计整个项目的技术链路可以拆成五段图像采集与预处理、缺陷区域分割、特征提取与选择、分类器训练、性能评估。这个顺序不是随便排的每一段的输出都是下一段的输入前面欠的账后面全要还。我见过很多人急着调分类器参数但预处理做得糙结果分类精度卡在九成上下怎么都上不去——问题往往不在分类器在前面。实际建这个流程时我用的方案是采集端搭了简易的封闭光照箱用恒定光源拍照尽量把光照变量控住预处理用灰度化和中值滤波去噪再用背景分割把果实区域抠出来缺陷分割用HSV色彩空间的阈值结合连通域分析特征这块提取颜色、纹理、形状三组共几十维特征再用PCA降维分类器对比了SVM、随机森林和KNN三组最后用交叉验证选参数用混淆矩阵评估结果。下面每个环节展开说。2. 图像采集与预处理九成的坑都埋在这2.1 采集环境搭建的实测要点很多人拿到一批公开数据集就开始跑算法但我这项目是从自建图像采集开始的因为实际落地的分选系统一定要适配自己的产线光照条件。我用的是非常简陋但好用的方案一个不透光的箱子顶部开孔装了个环形LED光源色温定在5500K左右相机垂直朝下拍背景板选了纯黑色亚克力。为什么用环形光源因为单侧光源会在果实表面打出明显的镜面反射亮点这个东西在后续分割时经常被误判成缺陷区域。环形光从四周均匀打过来高光面积会小很多。背景板选黑色图的是后续分割省事。果实和背景的灰度差异拉大以后最基本的Otsu阈值就能把果实区域切得比较干净。你要是用白背景边缘的阴影反而会被错认成果实的一部分特征计算全乱。采集时我固定了相机曝光参数不搞自动曝光。自动曝光会随着环境亮度变化整体调整增益同一个果子的颜色在不同批次拍摄时会被拉伸或压缩直接影响颜色特征的稳定性。这个细节特别重要后面特征提取那部分你就理解了。2.2 预处理的关键步骤采集得到的原始图像是RGB彩色图第一步转灰度。这里有一点要注意直接用rgb2gray加权转换或者只取某个通道都可以但对带明显红色表皮的果实我实测R通道单独提取的表皮缺陷对比度比灰度图更好。你可以两个都试试选缺陷区域和正常区域灰度差更大的那个作为后续输入没有绝对标准。去噪我用的中值滤波窗口选的3×3。为什么不用高斯因为高斯滤波是线性平滑会把细小缺陷的边缘也磨掉中值滤波在去噪时对边缘的保留效果好得多在保持缺陷轮廓这件事上有天然优势。实测下来在5×5窗口下小虫眼的细节就已经开始丢了3×3是安全和速度的平衡点。如果你想在效率上再抠一点可以先转灰度再去噪没必要三个通道都做一遍滤波。光照校正是预处理里最容易被跳过、但对最终精度影响最大的一步。我实测的方案是在整个图像数据集里取一张无果实的背景图作为参考然后把每张待测图和参考图做逐像素除法消除光源在视场边缘的亮度衰减。这个操作实现起来就两三行代码但能明显减少果实边缘区域因为暗角被误判成缺陷的情况。2.3 缺陷区域分割的实操分割的目的是把“果皮上的异常区域”从整体果实表面分离出来。我这里用了两步先用灰度阈值结合形态学操作把整个果实从背景里抠出来得到果实掩膜再在果实掩膜内部做缺陷分割。缺陷分割我尝试过两种路线。第一种是RGB三通道的阈值组合比如病斑在R通道偏暗、在G通道偏亮这类经验规则。问题在于经验规则换个品种就得重新调通用性差。第二种是我最终定下来的方案把图像转到HSV色彩空间重点关注S饱和度和V明度通道。实测下来褐变、霉斑这类缺陷在V通道上和正常表皮的区分度最明显日灼斑在S通道上异常突出。这背后的原因也好理解缺陷区域的表面结构和含水率和正常区域不一样导致亮度直方图和饱和度偏移。分割出来以后一定会有一堆小噪点区域比如果皮上的自然斑点、灰尘点。用面积阈值一次去噪少于30个像素的连通域直接删掉。再配合一次形态学开运算把细长的假阳性边缘断开。到这里每个缺陷区域就都变成独立的连通域可以进入特征提取环节了。3. 特征提取像素怎么变成分类器能听懂的“描述词”3.1 为什么特征设计比分类器选择更决定上限机器学习领域有句老话叫“垃圾进垃圾出”这句话放到水果分选场景里格外真实。分类器再强你喂进去的特征要是没法区分好果和坏果精度上限就在那儿摆着。我第一版跑出来的SVM准确率只有88%后来发现是特征里混了几个在两类样本间完全没有区分度的维度加上噪声把分类界面带偏了。所以这个环节值得花最多心思。特征设计的基本思路是把每个缺陷区域变成一组数值描述。按信息层次分三类颜色特征、纹理特征、形状特征。在实际分选任务里颜色特征往往是区分度最高的因为绝大多数肉眼可见的缺陷都伴随显著的颜色变化纹理特征用来对付那些颜色变化不明显、但表面质地异常的缺陷形状特征则用来筛掉那些面积小、形态规则的假阳性噪点。3.2 颜色特征用均值、方差和通道组合在HSV空间里我对每个缺陷连通域统计了H、S、V三个通道的均值和标准差。这6个维度是基础几乎每个缺陷区域都能靠它们拉开差距。在此基础上又加了两个比值特征缺陷区域平均V值除以整果平均V值缺陷区域平均S值除以整果平均S值。为什么加比值因为绝对颜色值受光照强度影响很大同样一个褐变斑光线强一点V通道均值就上去了但比值特征描述的是“缺陷区域相对果实基线的颜色偏离度”这个相对量对光照强度的鲁棒性就好得多。这个设计思路值得记一下它是把实验室算法往产线上推的关键。Matlab里提取这些特征挺直接% 假设 defectMask 是二值缺陷掩膜hsvImg 是HSV图像 defectPixels find(defectMask); hChannel hsvImg(:,:,1); sChannel hsvImg(:,:,2); vChannel hsvImg(:,:,3); features [ mean(hChannel(defectPixels)), std(hChannel(defectPixels)), mean(sChannel(defectPixels)), std(sChannel(defectPixels)), mean(vChannel(defectPixels)), std(vChannel(defectPixels)), mean(vChannel(defectPixels)) / mean(vChannel(fruitMask)), mean(sChannel(defectPixels)) / mean(sChannel(fruitMask)) ];这里fruitMask是整果掩膜defectPixels是缺陷区域索引。第一版我犯过一个低级错误忘了把缺陷像素索引限制在果实掩膜内部结果背景噪点也被算进特征里有个样本的背景高光直接让它被判成严重缺陷。3.3 纹理特征灰度共生矩阵和LBP先说哪些缺陷必须依赖纹理特征。水心病、果肉内部褐变这类问题在颜色上和正常果肉差异很小但表面会出现轻微的凹凸不匀照片里表现为局部纹理紊乱。我用的是灰度共生矩阵GLCM里的对比度、能量、相关性和熵这4个统计量配合局部二值模式LBP直方图。GLCM的计算在Matlab里有现成函数graycomatrix但有几个细节要注意。第一GLCM的方向一般是0度、45度、90度、135度四个方向取平均避免果实表面纹路方向带来的偏差。第二灰度级数不用太大实测16级就够256级不仅算得慢还会把噪声细节也编码进去。第三窗口大小我用的是果实中心取一个固定大小的ROI因为整个果实的表面曲率会导致纹理在边缘处被拉伸变形全果统计会把曲率干扰当成纹理差异。LBP我用的是圆形邻域算子半径1、邻域8个点这组参数在苹果表皮的纹理尺度上表现最稳定。半径再大会跨过多个表皮细胞单元反而把正常组织的纹理差异放大。3.4 形状特征与特征降维形状特征相对简单但能解决实际问题。我提取了缺陷区域的面积占整果面积的百分比这个直接对应缺陷严重程度、缺陷区域的圆形度4π×面积/周长²、缺陷区域的主轴长度和质心位置。圆形度这个特征特别有用真实的病斑和褐变区域形状往往不规则、有蔓延趋势而灰尘、水滴造成的假阳性区域通常偏圆形用这个特征一筛能少掉好几个误检。特征加在一起有几十维直接喂给分类器有两个问题一是维度太高导致训练所需样本量指数上升二是很多特征之间有相关性分类器会把冗余信息当成独立证据。我用PCA做降维保留累计方差贡献率95%的主成分实测下来一般能降到8到12维分类精度不降反升。这一点也好理解去掉的维度基本都是噪声分类器拟合更稳了。PCA在Matlab里直接用pca函数[coeff, score, latent] pca(featureMatrix); 保留主成分数 find(cumsum(latent) / sum(latent) 0.95, 1); trainingFeatures score(:, 1:保留主成分数);有一点特别提醒PCA的变换矩阵要保存下来测试的时候用同一个coeff矩阵对新样本做投影不是对测试集单独重新算PCA。我第一版就是吃了这个亏直接对测试集跑pca相当于训练和测试用了两套坐标轴结果全乱了。4. 分类器构建与Matlab实现4.1 数据集划分与标签体系分类之前先聊数据集。我自建的这套小样本库里好果样本300个常见缺陷样本分六类各几十个总共500多个样本。这里就暴露出一个前置问题有的缺陷类型样本不到30个分类器根本学不到足够泛化的分界。我的处理是把问题简化成二分类也就是先解决“好果 vs 坏果”这个产线最关心的基本盘六类缺陷统一归为坏果。分类病害类别的细粒度问题等样本量攒够了再做增量。数据集划分用的是分层抽样保证训练集和测试集里好果坏果比例一致。我用的是70%训练、15%验证、15%测试。在Matlab里可以配合cvpartition实现避免随机划分导致某类样本全挤到训练集里的尴尬。4.2 三种分类器横向对比怎么选我这边对比了三个分类器SVM、随机森林、KNN。每个分类器都有自己适合的场景没有绝对的好坏SVM的优点是决策边界稳定、小样本上表现好尤其是我用RBF核之后对特征空间里非线性的好果坏果分界拟合得很好。缺点是训练时需要对核参数和惩罚因子做搜索调参比较费功夫。随机森林的好处是几乎不用调参默认参数就能拿到不错的结果而且能输出特征重要性打分方便回头做特征筛选。缺点是在小样本集上不如SVM精细个别样本会被淹没在多数投票里。特征重要性这个附带产出物是独一份的做特征筛选时帮助很大。我用它筛掉过两个贡献度几乎为零的形状特征SVM精度反而回升了。KNN思路最简单但我实际测下来效果垫底。原因很简单KNN依赖距离度量但不同特征的数值量纲差很远比如面积百分比是0到1的小数而纹理对比度可能是十几的量纲距离被大量纲特征主导了必须做标准化才能救。做完标准化之后KNN的精度还是略低于前两者而且预测时要遍历全部训练样本实时性最差。分选产线一个果子的检测时间窗口通常只有几十毫秒KNN这种惰性学习方法在部署阶段不太讨喜。4.3 核心代码实现SVM训练与预测直接上一段我实测跑通的SVM训练代码配合注释说明关键点% 读取已经提取好的训练特征和标签 trainData trainFeatureTable(:, 1:end-1); trainLabel trainFeatureTable(:, end); % 训练SVM分类器这里使用RBF核 svmModel fitcsvm(trainData, trainLabel, ... KernelFunction, rbf, ... BoxConstraint, 10, ... KernelScale, 2.1, ... Standardize, true, ... Crossval, off); % 用验证集做预测 [predLabel, predScore] predict(svmModel, valData); % 计算验证集准确率 valAccuracy sum(predLabel valLabel) / numel(valLabel) * 100; fprintf(验证集准确率: %.2f%%\n, valAccuracy);这里有几个参数说说为什么这么设。Standardize设成true非常关键因为颜色特征和纹理特征的量纲差异很大不标准化的话RBF核的距离计算会被大量纲特征主导。BoxConstraint是惩罚因子我通过网格搜索在{0.1, 1, 10, 100}里选了10这个值越大对训练样本的拟合越用力但也越容易过拟合。KernelScale是RBF核的带宽参数它控制着决策边界可以有多“弯曲”这个值我用2.1也是在交叉验证里扫出来的取的是验证集精度曲线的峰值点。有一点要提醒fitcsvm训练二分类器时默认把第一个出现的类别标签当作正类。如果你训练集里好果先出现坏果后出现那predict返回的label和score的“正类方向”就是好果。这在实际报表统计里会带来混乱最简单的办法是训练前把标签标准化成1和-1然后明确用score的符号来判断。4.4 超参数调优网格搜索和交叉验证调参这块我用了两层策略。第一层是用验证集粗调第二层是对候选参数组合做5折交叉验证取平均精度。网格搜索的代价很高特别是参数一多组合数就爆炸。我实测的建议是分两步走先固定一个参数单维度扫另一个找到甜点区间再在甜点区间里做2×2的精细搜索。RBF核的SVM最重要的两个参数就是BoxConstraint和KernelScale按这个方法来总共也就跑三十几次训练完全在可接受范围内。交叉验证的代码用fitcsvm自带的交叉验证开关更方便svmModelCV fitcsvm(trainData, trainLabel, ... KernelFunction, rbf, ... Standardize, true, ... KernelScale, auto); cvModel crossval(svmModelCV, KFold, 5); cvLoss kfoldLoss(cvModel); fprintf(5折交叉验证误差: %.2f%%\n, cvLoss * 100);KernelScale设成auto让Matlab自动基于样本间距估计初始值这样跑出来的结果往往已经有七八成的火候了再手工微调就行。我经常给来问的人说不要一上来就搞贝叶斯优化那玩意在你连特征到底靠不靠谱都没验证清楚的时候只是浪费计算时间。5. 结果分析与性能评估5.1 评价指标别只盯着准确率分选场景里只报准确率真心不够。举个例子如果好果占总样本的80%那你啥也不学全预测成好果就有80%的准确率。所以还要看召回率、精确率、F1分值和混淆矩阵。在水果分选里具体到语义就是漏检率和误检率漏检是指坏果混进好果堆里消费者买到烂果子这是最砸口碑的问题误检是把好果扔掉这是纯成本流失。产线侧尽量压低漏检率成本侧尽量管住误检率这两个目标在统计上天然矛盾实际操作时用偏置惩罚因子或调整分类阈值来平衡。我这边SVM在测试集上的结果大概是好果类精确率94.6%召回率96.2%坏果类精确率92.1%召回率89.4%。在4:1的好坏果比例下整体准确率93.3%。这个结果在初期版本里已经够用了但如果想再上一步就得靠增加样本量。混淆矩阵在Matlab里直接用confusionchart画出来能非常直观地看到集中误判的样本长什么样。我实测中发现误判的坏果样本集中在两类上一类是轻微碰压伤且拍摄角度恰好遮住了缺陷区域另一类是色泽偏暗的红苹果品种颜色特征和褐变缺陷高度接近。这给我一个明确的方向增加多角度拍摄或引入更多品种样本。5.2 特征贡献度分析与消融实验我额外做了一个小实验来验证各特征组的贡献度分别只用颜色特征、只用纹理特征、只用形状特征来训练SVM对比它们和全特征组合的精度差距。结果很有意思只用颜色特征就已经能到88.7%的准确率只用纹理特征只有76.4%只用形状特征最低不足70%。这印证了颜色特征是此任务的主要区分依据。但全特征组合能到93.3%说明纹理和形状特性确实带来了边际增益尤其是纹理特征对水心病这类隐蔽缺陷是不可替代的信号。这种消融实验做一遍你对整个系统的理解会深很多写报告、跟同事解释、后续迭代都有据可依。5.3 运行效率的实测数据实验室里大家通常不太关心跑得慢不慢但产线上很在意。我统计了我这台普通配置台式机上单张图像从上到下完整跑完一遍的平均耗时预处理和分割约25毫秒特征提取约40毫秒SVM预测不到1毫秒加起来65毫秒左右折算产能大概是每秒15个果子。这个速度离高产能产线还有些距离但作为算法原型已经说明瓶颈不在分类器而在前面的图像处理环节。真要做实时系统特征提取部分可以改成GPU加速图像缩放到合理分辨率也能砍掉不少时间。另外SVM预测本身几乎是免费的这也验证了小样本场景下SVM确实比深度学习那种动辄毫秒级推理的方案更适合做轻量分选。6. 踩坑记录与问题排查实录6.1 采集一致性痛点最让我头疼的坑之一是不同批次拍摄的图片亮度有偏移。原因出在我中途给环形LED换了个驱动电源虽然标称色温和亮度一样实际光通量还是有细微差别。这个偏移单看图片人眼无感但一进特征矩阵SVM的分界面就跟着漂移了。排查了一天才锁定原因后面在采集流程里加了一步每天采集前先拍一张标准色卡计算校正系数把所有图像统一归一化到标准亮度空间。这个成本极低但对跨批次数据的稳定性帮助极大。6.2 训练集样本不平衡我的样本里好果远远多于坏果。坏果内部各类缺陷的数量也不均衡褐变样本最多日灼样本很少。一开始分类器对日灼的召回率很低几乎全部漏检。解决办法不是说简单上采样或过采样就完了我更建议针对稀缺缺陷类型去补拍真实样本因为光靠算法生成仿真样本细节上还是和真实缺陷有差距。补拍之外训练时我给少数类样本加了更高的权重让分类器在损失函数里更重视它们。这俩操作一起上日灼的召回率从不到60%提到了接近85%。6.3 过拟合第一版SVM跑训练集准确率接近100%通用测试集只有85%典型的过拟合。诱因有两个一是特征维度偏高而样本量只有几百个模型有足够容量把训练样本背下来二是核函数带宽选得过窄决策边界在训练样本周围紧紧绕圈换新样本就露馅。我把KernelScale从1.2调到2.4再用PCA把特征缩到10维过拟合就压住了。这里建议你做完特征降维和调参后训练集和测试集精度差值控制在5个百分点以内超过这个数基本就是在背书。6.4 标注不一致问题标注这个环节的坑比较隐蔽。我自己前期标注时习惯把“轻微瑕疵也算坏果”但小样本里有一部分果子上有很淡的果锈我一开始标成好果后来又觉得按产线标准该算坏果来回改了两次。这种标注不一致会直接干扰分类器同样的颜色特征一会儿对应好果标签一会儿对应坏果标签分界面只能被强行拉到一个骑墙的位置。后面我定了一个标注规范文档明确每一种缺陷的判定标准还拍了标注示例图这样就算换人来标也能保证口径一致。这件事看似和算法无关实际比调参更能决定你的精度天花板。6.5 实时性瓶颈定位最后聊一下实时性优化。如果你打算把这个方案往产线上推给我的经验是首先排查特征提取代码里的循环——Matlab里for循环遍历像素是大忌能矩阵化就矩阵化。我第一版特征提取里有段遍历连通域的代码单张耗时直接上到200毫秒后来改成用regionprops批量统计一下子砍到40毫秒。另外就是图像分辨率不是越清晰越好我实测从1200万像素降到300万像素缺陷分割和特征提取的精度没有明显下降但单帧耗时降了一半以上。产线场景要的是在够用精度下的极限速度不是实验室里的全精度。7. 项目复盘与扩展方向整个项目跑完我最深的一点体会是水果分选本质上不是一个单纯算法问题而是“光学环境图像处理特征设计数据管理”的系统工程。算法精度上不去的你去翻日志大概率能追到某一批图片的光照异常或某个环节的标注口径漂移。我后来每个环节都留了版本记录中间翻过几次车翻车记录反而成了调参时最宝贵的参考。如果要把这个项目往更深处扩展我有三个明确的建议方向。第一是引入深度学习的尝试在样本量充足的前提下用预训练的CNN做特征提取器替代手工特征通常在缺陷类型多、形态复杂的场景下上限更高。第二是缺陷分类的细粒度化二分类只是第一步如果能区分褐变、碰压伤、腐烂、日灼等具体类型对仓储决策帮助极大比如碰压伤的果子可以转做即时销售褐变的可以转做果汁原料。第三是多视角融合单个视角总有盲区搭一个传送带配多相机或者转盘式的采集系统把多视角特征融合起来对漏检率的压制会是质的提升。最后分享一个实用小技巧训练好的SVM模型导出的时候记得顺手把PCA变换矩阵、特征索引顺序、图像预处理参数全部打包存成一个配置文件别单独存模型文件。因为换环境部署时重算一遍PCA或者搞错一列特征顺序都够你排查半天的。这种大坑踩过一次自然就记住了。