简介基于MATLAB平台、采用最小错误率贝叶斯分类决策的手写数字识别系统面向模式识别、图像处理及机器学习初学者也可作为相关课程设计与毕业设计的参考实现帮助理解贝叶斯定理在分类任务中的完整落地流程。压缩包共178个文件包含175个BMP格式手写数字样本、1个核心MATLAB脚本.m、1个Markdown说明文档和1张示例图片整体仅771KB便于快速下载、解压与本地运行。已有78人学习下载项目覆盖图像二值化、去噪、标准化、特征提取到后验概率计算等关键环节读者可通过m文件直接复现或调整参数观察不同特征选择与参数设置对识别结果的影响。配套说明文档梳理了算法原理与实现要点样本数据可支持小规模实验验证是一份兼顾理论讲解与工程实践的轻量级学习资料。1. 这个手写数字识别 zip 里到底装了什么值钱的货拿到一个“基于matlab平台最小错误率贝叶斯分类决策的手写数字识别系统.zip”第一反应别急着解压跑 demo。你大概率已经在 matlab 下载安装上花过时间了真正值钱的是里面那条从“像素矩阵”到“类别判定”的完整决策链路。这个系统解决的是 MNIST 这类手写数字画像的 10 分类问题给一张 28×28 的灰度图在不知道它是几的情况下靠贝叶斯后验概率挑出错的概率最小的那个数字。它不需要神经网络那一套反向传播几十行矩阵运算就能在普通笔记本上跑出 90% 上下的识别率特别适合刚入坑模式识别、又想把数学推导落成代码的从业者和学生。适合谁——被课程设计逼到墙角的人以及想搞清楚“最小错误率到底是怎么变成一行判决代码”的人。2. 最小错误率贝叶斯决策为什么它比“瞎猜”强又为什么比深度学习省心2.1 先搭理论底座把贝叶斯公式翻译成能落地的判别函数贝叶斯决策的核心不是去找“这张图像不像某个数字”而是算“假如我把它判成 0犯错的概率有多大”。手写数字一共 10 类记作 ω₁, ω₂, …, ω₁₀。对一幅观测到的特征向量 x我们要选一个类 ωᵢ使得真实类别为 ωᵢ 的后验概率 P(ωᵢ|x) 最大。后验概率由贝叶斯公式给出P(ωᵢ|x) p(x|ωᵢ) P(ωᵢ) / p(x)分母 p(x) 对所有类都一样判决时可以直接丢掉。最小错误率决策说白了就是选 argmax p(x|ωᵢ)P(ωᵢ)也就是“类条件概率密度乘以先验概率”。这里很多人把 p(x|ωᵢ) 当成“后验概率”来写代码这个混淆是后面识别率翻车的头号原因。实际操作中我们不直接比较 p(x|ωᵢ)P(ωᵢ) 的原始值而是取对数。因为当特征维度几十上百时多元高斯密度的指数项会产生极小的数值Matlab 里直接算会下溢成 0。取对数之后判决函数变成gᵢ(x) log p(x|ωᵢ) log P(ωᵢ)选 gᵢ(x) 最大的那个类。这行变换不是数学洁癖是你实际跑代码时让决策边界稳定的关键。2.2 最小错误率 vs 最小风险什么时候可以偷懒用前者最小错误率的损失函数是 0-1 损失判对了损失为 0判错了损失为 1。这时候条件风险 R(ωᵢ|x) 1 - P(ωᵢ|x)最小化风险完全等价于最大化后验概率。所以“最小错误率”和“最小风险”在 0-1 损失下是一回事系统标题里只提最小错误率是合理的。但真实工程里不一样。比如把数字 1 误判成 7和把 7 误判成 1代价可能完全不同——银行支票识别里“1 看成 7”可能让金额差出一个数量级。如果你后续要做的是这种场景就得给每对类别单独定义损失矩阵判决函数从“取对数”变成“算期望损失”。这个 zip 系统里一般不涉及你只需要知道边界损失矩阵非均匀时最小错误率代码不能直接复用需要把判决层换成 argmin Σ P(ωⱼ|x) λᵢⱼ。我的经验是课程设计和一般演示项目用最小错误率足够一旦你开始调“误把 8 认成 3 太多”就该考虑风险敏感性了。2.3 先验概率、类条件概率和决策边界这三个量怎么从训练集里抠出来要让判决函数真正可计算需要从训练数据里估计三样东西。先验概率 P(ωᵢ)统计训练集中每个数字出现的频率。MNIST 原始训练集里各类样本相对均匀但如果你的数据来自实际业务比如快递单号扫描数字分布可能极端不均衡“0”出现的频次远超“9”。直接用频率当先验决策边界会被样本量大的类带跑。这个系统里常见的做法是各类样本均衡取样那就把先验设为 1/10稳定且不引入偏差。类条件概率 p(x|ωᵢ)这是主角也是整个 zip 里最占计算量的部分。常见做法是假设每个类的特征向量服从多元高斯分布p(x|ωᵢ) 1 / ((2π)^(d/2) |Σᵢ|^(1/2)) · exp(-0.5(x-μᵢ)ᵀ Σᵢ⁻¹ (x-μᵢ))其中 μᵢ 是第 i 类的均值向量Σᵢ 是第 i 类的协方差矩阵。对每个类分别用训练样本估计 μᵢ 和 Σᵢ代入上面的判决函数得到gᵢ(x) -0.5(x-μᵢ)ᵀ Σᵢ⁻¹ (x-μᵢ) - 0.5 log|Σᵢ| log P(ωᵢ)注意式子里的 -0.5 log|Σᵢ| 不能丢它相当于每个类的“体积惩罚项”。类内方差大的类别这个项值更大对判决有调节作用。很多人手写代码时只保留马氏距离那一项识别率会掉 2~3 个百分点。决策边界在两类情况下令 gᵢ(x) gⱼ(x) 得到的是特征空间里的一个超二次曲面。因为每个类有自己的协方差矩阵边界一般是曲线只有假设所有类共享一个协方差矩阵线性判别分析边界才退化成直线。贝叶斯分类器不做这个假设所以每个类独立估计 Σᵢ这也是它在特征分布不太规整时仍然能用的原因。3. 拿到 zip 之后怎么跑通特征提取与预处理是识别率的半条命3.1 解压、路径与运行顺序先看 README 再做别的zip 解压之后别急着双击 main.m。先在 Matlab 里把当前文件夹切到解压根目录运行ls看看里面有哪些文件。常见的结构是main.m主入口、train.m训练脚本、test.m测试脚本、mnist.mat或loadMNIST.m数据加载、extractFeatures.m特征提取函数。如果还有pdf/或doc/文件夹那个是报告模板不是运行必需。用 bash 先解压到纯英文路径。中文路径在 Matlab 2018 之前的版本上经常让load指令找不到文件报错还特别误导人——说“文件不存在”其实是编码问题。我一般放到D:\workspace\bayes_digit这个级别不用中文、不用空格。zip 伪加密的问题偶尔也会遇到解压时提示输入密码但你根本没设过那是 zip 头部的加密标志位被改过。用 7-Zip 打开如果能看到文件列表但提取失败把标志位改回去或者直接换用 WinRAR 的“修复压缩文件”功能处理就能正常取出数据。3.2 从 28×28 像素到特征向量网格特征与统计特征的取舍MNIST 原始样本是 28×28 的 uint8 灰度图直接把它拉成 784 维的向量也能做贝叶斯但协方差矩阵会是 784×784需要大约 784×784×8 字节约 4.9MB 存储计算一次判别函数要做 784×784 的矩阵乘跑起来特别慢而且训练样本不够时协方差估计极不稳定。所以 zip 系统普遍先做特征提取压缩维度。最常见的做法是网格特征。把 28×28 的图像分成 7×7 的互不重叠的小块每个小块统计黑色像素的密度得到一个 49 维的特征向量。可以先用下面的代码把图切成网格function feat extractGridFeature(img, gridSize) % 输入 img 为 28x28 的灰度图矩阵double 类型0~1 % gridSize 为网格数比如 7表示分成 7x749 个块 % 输出 feat 为 1 x (gridSize^2) 的特征向量 [h, w] size(img); blockH h / gridSize; blockW w / gridSize; feat zeros(1, gridSize^2); idx 0; for i 1:gridSize for j 1:gridSize idx idx 1; % 取图像块统计像素均值——均值越高说明这个区域笔画越密集 block img(round((i-1)*blockH1):round(i*blockH), ... round((j-1)*blockW1):round(j*blockW)); feat(idx) mean(block(:)); end end end这段代码的逻辑是把笔画分布压缩成每个小格子里的墨水量相当于做了 49 维的降采样。mean(block(:))对 28×28 的图来说就是块内灰度均值数值范围 0~1。参数的坑在于gridSize取 7 时特征维度 49协方差矩阵是 49×49训练样本每类 200 个就足够估计稳定取 14 时维度 196需要每类上千样本才稳否则协方差矩阵大概率奇异。zip 系统里如果作者提供了特征提取函数先看一眼它默认用了多大的网格——7 是安全值超过 10 就要小心。3.3 数据划分训练集、验证集、测试集怎么切才不翻车数据怎么切直接决定你最后报出来的识别率是不是真的。MNIST 官方划分是 60000 训练 10000 测试但很多课程设计 zip 里只截取了子集比如每类 300 张训练、100 张测试。这时候你必须自己保证划分不重叠。% 假设 loadedData.mat 里有 X总特征矩阵N x 49和 y标签N x 1 % 按标签分组每类取前 nTrain 个做训练其余做测试 classes unique(y); nTrain 300; % 每类训练样本数 trainIdx []; testIdx []; for c 1:length(classes) idx find(y classes(c)); idx idx(randperm(length(idx))); % 打乱避免取到连续打印的相似样本 trainIdx [trainIdx; idx(1:nTrain)]; testIdx [testIdx; idx(nTrain1:end)]; end % 随机打乱两个索引集合的顺序防止训练时某类样本扎堆 trainIdx trainIdx(randperm(length(trainIdx))); testIdx testIdx(randperm(length(testIdx))); Xtrain X(trainIdx, :); ytrain y(trainIdx); Xtest X(testIdx, :); ytest y(testIdx);这段代码隐藏着一个关键点idx(randperm(length(idx)))这一步必须在取前 nTrain 之前做。MNIST 原始数据是按书写者分组存储的你不打乱直接取前 300 张可能 300 张都出自同一个人模型学到的字迹风格极其单一测试时一换人识别率立刻崩。另一个容易被忽略的是nTrain的取值维度 49 时每类至少需要 3 倍于维度的样本也就是 150 张以上协方差矩阵才不至于严重过拟合。nTrain300 是稳妥值少于 200 就开始碰运气了。4. 手写数字识别系统的核心实现最小错误率贝叶斯分类器怎么写4.1 训练阶段算先验、算均值、算协方差一步都不能少训练阶段的目标就是把上一节提到的 μᵢ、Σᵢ、P(ωᵢ) 全部从训练数据里估计出来。我会把训练封装成一个函数输入是特征矩阵和标签输出是结构体model后续测试直接复用。function model trainBayesClassifier(Xtrain, ytrain) % 输入 Xtrain: N x D 特征矩阵ytrain: N x 1 标签整数 0~9 % 输出 model: 结构体含 means, covs, priors 三个字段 classes unique(ytrain); nClasses length(classes); [N, D] size(Xtrain); means zeros(nClasses, D); covs zeros(D, D, nClasses); priors zeros(nClasses, 1); for k 1:nClasses idx (ytrain classes(k)); Xk Xtrain(idx, :); means(k, :) mean(Xk, 1); % 协方差用无偏估计分母取 size(Xk,1)-1避免样本量小时方差被低估 covs(:, :, k) cov(Xk); priors(k) size(Xk, 1) / N; end model.means means; model.covs covs; model.priors priors; model.classes classes; % 记录类别映射测试时按同样顺序输出 end参数的几个坑cov(Xk)返回的是 D×D 协方差矩阵Matlab 里默认做无偏估计除 N-1这是正确的。但当你某一类的样本小于等于特征维度 D 时cov得到的矩阵秩不足后面取逆必炸。另一个是classes unique(ytrain)——如果 ytrain 里的标签是 0 和 1 混杂着出现unique 返回的是升序测试时 model.classes 的顺序必须和训练时的类索引完全一致否则预测结果整体错位看起来识别率极低其实只是标签映射错了。最后priors这里用的是频率估计也就是训练集里每一类的占比。如果你前面按 2.3 的说法把每类样本取成均衡数量priors会接近 1/10但仍是数据驱动的估计值不是硬编码 0.1这点保持即可不要手动覆盖。4.2 测试阶段判别函数、决策边界与错误率统计的代码骨架测试阶段对每个样本计算 10 个判别函数 gᵢ(x)取最大值对应的类别作为预测。这里直接把对数多元高斯判决函数写出来注意数值稳定性处理function pred predictBayes(model, Xtest) % 输入 model 为 trainBayesClassifier 输出结构体, Xtest: M x D 特征矩阵 % 输出 pred: M x 1 标签向量 M size(Xtest, 1); nClasses length(model.classes); scores zeros(M, nClasses); for k 1:nClasses mu model.means(k, :); Sigma model.covs(:, :, k); invSigma pinv(Sigma); % 伪逆防止协方差奇异时直接报错 logDetSigma log(det(Sigma) eps); % eps 防 det0 时 log 下溢 logPrior log(model.priors(k) eps); diff Xtest - repmat(mu, M, 1); % 每个样本减去该类均值向量 % 马氏距离项逐样本计算 (x-mu) * invSigma * (x-mu) mahal sum((diff * invSigma) .* diff, 2); scores(:, k) -0.5 * mahal - 0.5 * logDetSigma logPrior; end [~, idx] max(scores, [], 2); pred model.classes(idx); end这段代码里我用了pinv(Sigma)而不是inv(Sigma)。这不是偷懒——当协方差矩阵奇异或接近奇异时inv直接报“Matrix is singular”而pinv会给出最小范数解虽然理论上不是最优的但至少让程序跑完你还能从识别率里判断这个奇异到底严重不严重。log(det(Sigma) eps)同理det 可能小到 1e-30 以下直接 log 得到 -Inf加上 eps 能把它拉回有限值。如果后面你发现识别率虚高回来检查这里——伪逆在样本严重不足时可能过拟合把特征空间里的噪声也当成信号学了。测试统计错误率时注意区分“训练集上测”和“测试集上测”。用训练集测出来 95% 不代表真实水平因为贝叶斯分类器在训练集上天然有偏向。下面的代码计算混淆矩阵和错误率pred predictBayes(model, Xtrain); % 错误示范在训练集上自评 trainAcc mean(pred ytrain) * 100; predTest predictBayes(model, Xtest); testAcc mean(predTest ytest) * 100; fprintf(训练集准确率: %.2f%%, 测试集准确率: %.2f%%\n, trainAcc, testAcc); C confusionmat(ytest, predTest); disp(C);confusionmat(ytest, predTest)输出的矩阵第 i 行第 j 列表示真实为 i、被预测为 j 的次数对角线是正确分类的样本数。如果你发现某个数字比如“9”被大量误判成“4”说明这两个类在特征空间里重叠严重需要检查是不是网格特征把两者的差异抹掉了——这是 4.3 节要说的关联问题。4.3 高斯模型假设不成立时改协方差估计的三个急救方案最小错误率贝叶斯分类器的隐含假设是每类特征服从多元高斯分布。真实手写数字的网格特征实际上更像混合分布同一个“0”可能有扁的、圆的、斜的均值向量能描述中心趋势但协方差矩阵把所有变化都摊到一个高斯里。一旦某类是多模态分布单一高斯拟合出来的协方差矩阵会被拉得极大决策边界变得不自然。这时候有三个急救方案。第一对角协方差。把 Σᵢ 的非对角元素全部置零只保留每个维度的方差。这等于假设各维特征独立强行降低模型复杂度协方差矩阵需要的训练样本量从 O(D²) 降到 O(D)。代价是丢失特征相关性信息——网格特征中相邻格子的笔画密度其实强相关全对角化会损失这部分信息但换来的稳定性往往更值。第二降维后再分类。对训练集做主成分分析保留前 10~20 个主成分把特征向量从 49 维压到 15 维左右再做贝叶斯。这么做有两个好处协方差矩阵变小、更容易估计同时主成分去除了原始特征中的线性冗余。缺点是可解释性变差你没法直观说“第 3 个特征代表什么”。第三引入正则化。在协方差矩阵上加上一个小的单位阵Σ′ Σ λIλ 取 0.01 到 0.1 之间。这个 岭估计能保证矩阵正定inv不会报错而且对噪声有一定的平滑作用。我一般用交叉验证选 λ在训练集上留出一部分做验证试 λ 0.001、0.01、0.1、1选验证准确率最高的那个。lambda 0.05; % 正则化系数值越大协方差越偏向单位矩阵 for k 1:nClasses model.covs(:, :, k) model.covs(:, :, k) lambda * eye(D); end这行代码要加在trainBayesClassifier返回之前。注意 λ 太大会把各类协方差都拉成同一形状退化成线性分类器识别率反而下降太小于事无补。我的经验是 0.01~0.1 之间比较稳前提是特征已归一化到 0~1 范围。5. 避坑/常见问题排查贝叶斯分类器最容易在哪五个地方翻车5.1 协方差矩阵奇异样本量比维度还少inv 直接报错现象 训练结束跑到inv(Sigma)时报错 “Matrix is singular to working precision”。原因 某一类的训练样本数少于特征维度协方差矩阵的秩不足必然奇异。另一个常见来源是特征向量里有常量列比如某块网格在所有样本中都是 0方差为 0矩阵行列式为 0。解决 先用sum(var(Xtrain, 1) 0)查一下是不是有零方差特征有就删掉该列样本不足就用pinv代替inv同时想办法增加样本量或者降维。5.2 特征量纲差异过大网格特征和统计特征混用时决策边界漂移现象 识别率远低于预期而且错误集中出现在高亮度或低亮度的测试样本上比如浅色铅笔写的字几乎全错。原因 有人在 49 维网格特征后面又接了其他统计特征重心坐标、笔画宽度但没做归一化。灰度均值的范围是 0~1笔画宽度可能是 0~20协方差矩阵计算时量纲大的特征主导贡献实际相当于分类器只看笔画宽度这一个维度。解决 只用一种特征或者对所有特征做 z-score 归一化zscore函数让每维特征均值为 0、方差为 1再进训练函数。别忘了归一化参数要在训练集上计算测试时用同一套参数变换不能在测试集上重新算——否则数据泄露识别率虚高。5.3 先验概率用测试集算训练测试串数据识别率虚高到不真实现象 测试集准确率 98%但换一批新数据马上掉到 80%。原因 实现者在某个角落用priors(k) sum(ytest k) / length(ytest)算了先验——测试集是已知的、类别分布清楚先验被“剧透”了。贝叶斯分类器从此对高频类有偏好测试时当然得分高。解决 先验概率只能从训练集计算一行priors(k) sum(ytrain k) / length(ytrain)就行。要验证是否串数据把测试集的标签随机打乱后重新跑一遍——如果准确率明显下降说明先验和测试集分布完全耦合数据划分一定有问题。5.4 Matlab 中文注释乱码打开 zip 里的 .m 文件一半是问号现象 用 Matlab 2023b 打开旧版 zip 里的 .m 文件中文注释全是乱码程序本身还能跑。原因 老版本 .m 文件用 GBK 编码存储2023b 默认按 UTF-8 读取字符串不匹配就显示乱码。最近热词里 matlab 2026b 相关讨论也总围绕这个问题。解决 命令行执行edit(filename)打开编辑器后菜单里 “Preferences Editor/Debugger Language” 把文件编码改成 GBK或者用 Notepad 批量转成 UTF-8。运行层面不影响只要注释不乱读逻辑就行。5.5 手写测试图对不齐用户自己写的数字和 MNIST 预处理规则不一致现象 跑 demo 时自带的测试样本识别正常自己用 Windows 画图写个“5”放进去识别成 3 或 8。原因 MNIST 的预处理做了居中、缩放到 28×28且笔画是白色背景黑字。你用画图写的字体可能是黑底白字或没居中网格特征算出来完全是另一种分布。解决 写一个预处理步骤把任意输入图像先灰度化、二值化、用图像重心居中、缩放到 28×28再调用特征提取。具体做法先imresize到 28×28再用regionprops找重心并平移。这步没做好识别率再高也没用。6. 把识别率再往上顶从混淆矩阵到留一法与数据扩充的进阶技巧当基本流程跑通、测试集准确率停在 87% 左右别急着换模型先看混淆矩阵。绝大多数情况下错误集中在“4”和“9”、“3”和“8”这两对之间。这在贝叶斯分类器里是典型的“特征重叠”——网格特征丢了笔画拓扑信息3 和 8 在外形轮廓上确实太像均值向量几乎重合。我常用的第一个进阶操作是留一法交叉验证而不是直接随机切分测试集。对每类的 N 个样本循环把第 i 个留出做测试其余 N-1 个训练最终准确率是 N 次测试的平均。留一法在样本量小每类 200~500时能更稳定地评估真实水平防止某一次随机划分运气太好。代价是训练次数从 1 次变成 N 次好在贝叶斯分类器训练极快不成负担。第二个进阶操作是数据扩充。手写数字识别对平移和微旋转敏感而贝叶斯分类器没有卷积那种平移不变性所以要在训练前就把变化量塞进特征里。对每个训练样本做 ±2 像素的随机平移、±15° 的随机旋转加到训练集里重新训练。注意先扩充再划分训练测试不要把扩充后的新样本混进测试集否则测试集和训练集高度相关准确率虚高 5 个百分点。最后一个技巧是把 49 维网格特征里对应图像中心区域的那几个维度单独拉出来画均值向量对比。你会发现“1”的中心列特征均值显著高而“0”是四周边框特征高。利用这些差异可以自己设计一个简单的“先验规则”——在贝叶斯判决前对明显像“1”的样本强制走独立分支。这属于事后补救但能帮你理解每个特征的语义贡献。我的习惯是每改一次特征或参数就把当前混淆矩阵截图留存对比哪一组错误被消除、哪一组错误是新引入的这比单看一个准确率数字可靠得多。留一法跑通、数据扩充加上、混淆矩阵里的对角线明显变亮之后这个基于最小错误率贝叶斯决策的手写数字识别系统才算真正被你攥在手里。踩过协方差奇异的坑、见过中文注释乱码的鬼画符之后你会明白这套系统里真正值钱的不是那 90% 的准确率而是整个数学推导和代码每一步的对应关系。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/11/3 16:53:07 · 阅读 1.2k 基于MATLAB最小错误率贝叶斯分类的手写数字识别系统详解
简介基于MATLAB平台、采用最小错误率贝叶斯分类决策的手写数字识别系统面向模式识别、图像处理及机器学习初学者也可作为相关课程设计与毕业设计的参考实现帮助理解贝叶斯定理在分类任务中的完整落地流程。压缩包共178个文件包含175个BMP格式手写数字样本、1个核心MATLAB脚本.m、1个Markdown说明文档和1张示例图片整体仅771KB便于快速下载、解压与本地运行。已有78人学习下载项目覆盖图像二值化、去噪、标准化、特征提取到后验概率计算等关键环节读者可通过m文件直接复现或调整参数观察不同特征选择与参数设置对识别结果的影响。配套说明文档梳理了算法原理与实现要点样本数据可支持小规模实验验证是一份兼顾理论讲解与工程实践的轻量级学习资料。1. 这个手写数字识别 zip 里到底装了什么值钱的货拿到一个“基于matlab平台最小错误率贝叶斯分类决策的手写数字识别系统.zip”第一反应别急着解压跑 demo。你大概率已经在 matlab 下载安装上花过时间了真正值钱的是里面那条从“像素矩阵”到“类别判定”的完整决策链路。这个系统解决的是 MNIST 这类手写数字画像的 10 分类问题给一张 28×28 的灰度图在不知道它是几的情况下靠贝叶斯后验概率挑出错的概率最小的那个数字。它不需要神经网络那一套反向传播几十行矩阵运算就能在普通笔记本上跑出 90% 上下的识别率特别适合刚入坑模式识别、又想把数学推导落成代码的从业者和学生。适合谁——被课程设计逼到墙角的人以及想搞清楚“最小错误率到底是怎么变成一行判决代码”的人。2. 最小错误率贝叶斯决策为什么它比“瞎猜”强又为什么比深度学习省心2.1 先搭理论底座把贝叶斯公式翻译成能落地的判别函数贝叶斯决策的核心不是去找“这张图像不像某个数字”而是算“假如我把它判成 0犯错的概率有多大”。手写数字一共 10 类记作 ω₁, ω₂, …, ω₁₀。对一幅观测到的特征向量 x我们要选一个类 ωᵢ使得真实类别为 ωᵢ 的后验概率 P(ωᵢ|x) 最大。后验概率由贝叶斯公式给出P(ωᵢ|x) p(x|ωᵢ) P(ωᵢ) / p(x)分母 p(x) 对所有类都一样判决时可以直接丢掉。最小错误率决策说白了就是选 argmax p(x|ωᵢ)P(ωᵢ)也就是“类条件概率密度乘以先验概率”。这里很多人把 p(x|ωᵢ) 当成“后验概率”来写代码这个混淆是后面识别率翻车的头号原因。实际操作中我们不直接比较 p(x|ωᵢ)P(ωᵢ) 的原始值而是取对数。因为当特征维度几十上百时多元高斯密度的指数项会产生极小的数值Matlab 里直接算会下溢成 0。取对数之后判决函数变成gᵢ(x) log p(x|ωᵢ) log P(ωᵢ)选 gᵢ(x) 最大的那个类。这行变换不是数学洁癖是你实际跑代码时让决策边界稳定的关键。2.2 最小错误率 vs 最小风险什么时候可以偷懒用前者最小错误率的损失函数是 0-1 损失判对了损失为 0判错了损失为 1。这时候条件风险 R(ωᵢ|x) 1 - P(ωᵢ|x)最小化风险完全等价于最大化后验概率。所以“最小错误率”和“最小风险”在 0-1 损失下是一回事系统标题里只提最小错误率是合理的。但真实工程里不一样。比如把数字 1 误判成 7和把 7 误判成 1代价可能完全不同——银行支票识别里“1 看成 7”可能让金额差出一个数量级。如果你后续要做的是这种场景就得给每对类别单独定义损失矩阵判决函数从“取对数”变成“算期望损失”。这个 zip 系统里一般不涉及你只需要知道边界损失矩阵非均匀时最小错误率代码不能直接复用需要把判决层换成 argmin Σ P(ωⱼ|x) λᵢⱼ。我的经验是课程设计和一般演示项目用最小错误率足够一旦你开始调“误把 8 认成 3 太多”就该考虑风险敏感性了。2.3 先验概率、类条件概率和决策边界这三个量怎么从训练集里抠出来要让判决函数真正可计算需要从训练数据里估计三样东西。先验概率 P(ωᵢ)统计训练集中每个数字出现的频率。MNIST 原始训练集里各类样本相对均匀但如果你的数据来自实际业务比如快递单号扫描数字分布可能极端不均衡“0”出现的频次远超“9”。直接用频率当先验决策边界会被样本量大的类带跑。这个系统里常见的做法是各类样本均衡取样那就把先验设为 1/10稳定且不引入偏差。类条件概率 p(x|ωᵢ)这是主角也是整个 zip 里最占计算量的部分。常见做法是假设每个类的特征向量服从多元高斯分布p(x|ωᵢ) 1 / ((2π)^(d/2) |Σᵢ|^(1/2)) · exp(-0.5(x-μᵢ)ᵀ Σᵢ⁻¹ (x-μᵢ))其中 μᵢ 是第 i 类的均值向量Σᵢ 是第 i 类的协方差矩阵。对每个类分别用训练样本估计 μᵢ 和 Σᵢ代入上面的判决函数得到gᵢ(x) -0.5(x-μᵢ)ᵀ Σᵢ⁻¹ (x-μᵢ) - 0.5 log|Σᵢ| log P(ωᵢ)注意式子里的 -0.5 log|Σᵢ| 不能丢它相当于每个类的“体积惩罚项”。类内方差大的类别这个项值更大对判决有调节作用。很多人手写代码时只保留马氏距离那一项识别率会掉 2~3 个百分点。决策边界在两类情况下令 gᵢ(x) gⱼ(x) 得到的是特征空间里的一个超二次曲面。因为每个类有自己的协方差矩阵边界一般是曲线只有假设所有类共享一个协方差矩阵线性判别分析边界才退化成直线。贝叶斯分类器不做这个假设所以每个类独立估计 Σᵢ这也是它在特征分布不太规整时仍然能用的原因。3. 拿到 zip 之后怎么跑通特征提取与预处理是识别率的半条命3.1 解压、路径与运行顺序先看 README 再做别的zip 解压之后别急着双击 main.m。先在 Matlab 里把当前文件夹切到解压根目录运行ls看看里面有哪些文件。常见的结构是main.m主入口、train.m训练脚本、test.m测试脚本、mnist.mat或loadMNIST.m数据加载、extractFeatures.m特征提取函数。如果还有pdf/或doc/文件夹那个是报告模板不是运行必需。用 bash 先解压到纯英文路径。中文路径在 Matlab 2018 之前的版本上经常让load指令找不到文件报错还特别误导人——说“文件不存在”其实是编码问题。我一般放到D:\workspace\bayes_digit这个级别不用中文、不用空格。zip 伪加密的问题偶尔也会遇到解压时提示输入密码但你根本没设过那是 zip 头部的加密标志位被改过。用 7-Zip 打开如果能看到文件列表但提取失败把标志位改回去或者直接换用 WinRAR 的“修复压缩文件”功能处理就能正常取出数据。3.2 从 28×28 像素到特征向量网格特征与统计特征的取舍MNIST 原始样本是 28×28 的 uint8 灰度图直接把它拉成 784 维的向量也能做贝叶斯但协方差矩阵会是 784×784需要大约 784×784×8 字节约 4.9MB 存储计算一次判别函数要做 784×784 的矩阵乘跑起来特别慢而且训练样本不够时协方差估计极不稳定。所以 zip 系统普遍先做特征提取压缩维度。最常见的做法是网格特征。把 28×28 的图像分成 7×7 的互不重叠的小块每个小块统计黑色像素的密度得到一个 49 维的特征向量。可以先用下面的代码把图切成网格function feat extractGridFeature(img, gridSize) % 输入 img 为 28x28 的灰度图矩阵double 类型0~1 % gridSize 为网格数比如 7表示分成 7x749 个块 % 输出 feat 为 1 x (gridSize^2) 的特征向量 [h, w] size(img); blockH h / gridSize; blockW w / gridSize; feat zeros(1, gridSize^2); idx 0; for i 1:gridSize for j 1:gridSize idx idx 1; % 取图像块统计像素均值——均值越高说明这个区域笔画越密集 block img(round((i-1)*blockH1):round(i*blockH), ... round((j-1)*blockW1):round(j*blockW)); feat(idx) mean(block(:)); end end end这段代码的逻辑是把笔画分布压缩成每个小格子里的墨水量相当于做了 49 维的降采样。mean(block(:))对 28×28 的图来说就是块内灰度均值数值范围 0~1。参数的坑在于gridSize取 7 时特征维度 49协方差矩阵是 49×49训练样本每类 200 个就足够估计稳定取 14 时维度 196需要每类上千样本才稳否则协方差矩阵大概率奇异。zip 系统里如果作者提供了特征提取函数先看一眼它默认用了多大的网格——7 是安全值超过 10 就要小心。3.3 数据划分训练集、验证集、测试集怎么切才不翻车数据怎么切直接决定你最后报出来的识别率是不是真的。MNIST 官方划分是 60000 训练 10000 测试但很多课程设计 zip 里只截取了子集比如每类 300 张训练、100 张测试。这时候你必须自己保证划分不重叠。% 假设 loadedData.mat 里有 X总特征矩阵N x 49和 y标签N x 1 % 按标签分组每类取前 nTrain 个做训练其余做测试 classes unique(y); nTrain 300; % 每类训练样本数 trainIdx []; testIdx []; for c 1:length(classes) idx find(y classes(c)); idx idx(randperm(length(idx))); % 打乱避免取到连续打印的相似样本 trainIdx [trainIdx; idx(1:nTrain)]; testIdx [testIdx; idx(nTrain1:end)]; end % 随机打乱两个索引集合的顺序防止训练时某类样本扎堆 trainIdx trainIdx(randperm(length(trainIdx))); testIdx testIdx(randperm(length(testIdx))); Xtrain X(trainIdx, :); ytrain y(trainIdx); Xtest X(testIdx, :); ytest y(testIdx);这段代码隐藏着一个关键点idx(randperm(length(idx)))这一步必须在取前 nTrain 之前做。MNIST 原始数据是按书写者分组存储的你不打乱直接取前 300 张可能 300 张都出自同一个人模型学到的字迹风格极其单一测试时一换人识别率立刻崩。另一个容易被忽略的是nTrain的取值维度 49 时每类至少需要 3 倍于维度的样本也就是 150 张以上协方差矩阵才不至于严重过拟合。nTrain300 是稳妥值少于 200 就开始碰运气了。4. 手写数字识别系统的核心实现最小错误率贝叶斯分类器怎么写4.1 训练阶段算先验、算均值、算协方差一步都不能少训练阶段的目标就是把上一节提到的 μᵢ、Σᵢ、P(ωᵢ) 全部从训练数据里估计出来。我会把训练封装成一个函数输入是特征矩阵和标签输出是结构体model后续测试直接复用。function model trainBayesClassifier(Xtrain, ytrain) % 输入 Xtrain: N x D 特征矩阵ytrain: N x 1 标签整数 0~9 % 输出 model: 结构体含 means, covs, priors 三个字段 classes unique(ytrain); nClasses length(classes); [N, D] size(Xtrain); means zeros(nClasses, D); covs zeros(D, D, nClasses); priors zeros(nClasses, 1); for k 1:nClasses idx (ytrain classes(k)); Xk Xtrain(idx, :); means(k, :) mean(Xk, 1); % 协方差用无偏估计分母取 size(Xk,1)-1避免样本量小时方差被低估 covs(:, :, k) cov(Xk); priors(k) size(Xk, 1) / N; end model.means means; model.covs covs; model.priors priors; model.classes classes; % 记录类别映射测试时按同样顺序输出 end参数的几个坑cov(Xk)返回的是 D×D 协方差矩阵Matlab 里默认做无偏估计除 N-1这是正确的。但当你某一类的样本小于等于特征维度 D 时cov得到的矩阵秩不足后面取逆必炸。另一个是classes unique(ytrain)——如果 ytrain 里的标签是 0 和 1 混杂着出现unique 返回的是升序测试时 model.classes 的顺序必须和训练时的类索引完全一致否则预测结果整体错位看起来识别率极低其实只是标签映射错了。最后priors这里用的是频率估计也就是训练集里每一类的占比。如果你前面按 2.3 的说法把每类样本取成均衡数量priors会接近 1/10但仍是数据驱动的估计值不是硬编码 0.1这点保持即可不要手动覆盖。4.2 测试阶段判别函数、决策边界与错误率统计的代码骨架测试阶段对每个样本计算 10 个判别函数 gᵢ(x)取最大值对应的类别作为预测。这里直接把对数多元高斯判决函数写出来注意数值稳定性处理function pred predictBayes(model, Xtest) % 输入 model 为 trainBayesClassifier 输出结构体, Xtest: M x D 特征矩阵 % 输出 pred: M x 1 标签向量 M size(Xtest, 1); nClasses length(model.classes); scores zeros(M, nClasses); for k 1:nClasses mu model.means(k, :); Sigma model.covs(:, :, k); invSigma pinv(Sigma); % 伪逆防止协方差奇异时直接报错 logDetSigma log(det(Sigma) eps); % eps 防 det0 时 log 下溢 logPrior log(model.priors(k) eps); diff Xtest - repmat(mu, M, 1); % 每个样本减去该类均值向量 % 马氏距离项逐样本计算 (x-mu) * invSigma * (x-mu) mahal sum((diff * invSigma) .* diff, 2); scores(:, k) -0.5 * mahal - 0.5 * logDetSigma logPrior; end [~, idx] max(scores, [], 2); pred model.classes(idx); end这段代码里我用了pinv(Sigma)而不是inv(Sigma)。这不是偷懒——当协方差矩阵奇异或接近奇异时inv直接报“Matrix is singular”而pinv会给出最小范数解虽然理论上不是最优的但至少让程序跑完你还能从识别率里判断这个奇异到底严重不严重。log(det(Sigma) eps)同理det 可能小到 1e-30 以下直接 log 得到 -Inf加上 eps 能把它拉回有限值。如果后面你发现识别率虚高回来检查这里——伪逆在样本严重不足时可能过拟合把特征空间里的噪声也当成信号学了。测试统计错误率时注意区分“训练集上测”和“测试集上测”。用训练集测出来 95% 不代表真实水平因为贝叶斯分类器在训练集上天然有偏向。下面的代码计算混淆矩阵和错误率pred predictBayes(model, Xtrain); % 错误示范在训练集上自评 trainAcc mean(pred ytrain) * 100; predTest predictBayes(model, Xtest); testAcc mean(predTest ytest) * 100; fprintf(训练集准确率: %.2f%%, 测试集准确率: %.2f%%\n, trainAcc, testAcc); C confusionmat(ytest, predTest); disp(C);confusionmat(ytest, predTest)输出的矩阵第 i 行第 j 列表示真实为 i、被预测为 j 的次数对角线是正确分类的样本数。如果你发现某个数字比如“9”被大量误判成“4”说明这两个类在特征空间里重叠严重需要检查是不是网格特征把两者的差异抹掉了——这是 4.3 节要说的关联问题。4.3 高斯模型假设不成立时改协方差估计的三个急救方案最小错误率贝叶斯分类器的隐含假设是每类特征服从多元高斯分布。真实手写数字的网格特征实际上更像混合分布同一个“0”可能有扁的、圆的、斜的均值向量能描述中心趋势但协方差矩阵把所有变化都摊到一个高斯里。一旦某类是多模态分布单一高斯拟合出来的协方差矩阵会被拉得极大决策边界变得不自然。这时候有三个急救方案。第一对角协方差。把 Σᵢ 的非对角元素全部置零只保留每个维度的方差。这等于假设各维特征独立强行降低模型复杂度协方差矩阵需要的训练样本量从 O(D²) 降到 O(D)。代价是丢失特征相关性信息——网格特征中相邻格子的笔画密度其实强相关全对角化会损失这部分信息但换来的稳定性往往更值。第二降维后再分类。对训练集做主成分分析保留前 10~20 个主成分把特征向量从 49 维压到 15 维左右再做贝叶斯。这么做有两个好处协方差矩阵变小、更容易估计同时主成分去除了原始特征中的线性冗余。缺点是可解释性变差你没法直观说“第 3 个特征代表什么”。第三引入正则化。在协方差矩阵上加上一个小的单位阵Σ′ Σ λIλ 取 0.01 到 0.1 之间。这个 岭估计能保证矩阵正定inv不会报错而且对噪声有一定的平滑作用。我一般用交叉验证选 λ在训练集上留出一部分做验证试 λ 0.001、0.01、0.1、1选验证准确率最高的那个。lambda 0.05; % 正则化系数值越大协方差越偏向单位矩阵 for k 1:nClasses model.covs(:, :, k) model.covs(:, :, k) lambda * eye(D); end这行代码要加在trainBayesClassifier返回之前。注意 λ 太大会把各类协方差都拉成同一形状退化成线性分类器识别率反而下降太小于事无补。我的经验是 0.01~0.1 之间比较稳前提是特征已归一化到 0~1 范围。5. 避坑/常见问题排查贝叶斯分类器最容易在哪五个地方翻车5.1 协方差矩阵奇异样本量比维度还少inv 直接报错现象 训练结束跑到inv(Sigma)时报错 “Matrix is singular to working precision”。原因 某一类的训练样本数少于特征维度协方差矩阵的秩不足必然奇异。另一个常见来源是特征向量里有常量列比如某块网格在所有样本中都是 0方差为 0矩阵行列式为 0。解决 先用sum(var(Xtrain, 1) 0)查一下是不是有零方差特征有就删掉该列样本不足就用pinv代替inv同时想办法增加样本量或者降维。5.2 特征量纲差异过大网格特征和统计特征混用时决策边界漂移现象 识别率远低于预期而且错误集中出现在高亮度或低亮度的测试样本上比如浅色铅笔写的字几乎全错。原因 有人在 49 维网格特征后面又接了其他统计特征重心坐标、笔画宽度但没做归一化。灰度均值的范围是 0~1笔画宽度可能是 0~20协方差矩阵计算时量纲大的特征主导贡献实际相当于分类器只看笔画宽度这一个维度。解决 只用一种特征或者对所有特征做 z-score 归一化zscore函数让每维特征均值为 0、方差为 1再进训练函数。别忘了归一化参数要在训练集上计算测试时用同一套参数变换不能在测试集上重新算——否则数据泄露识别率虚高。5.3 先验概率用测试集算训练测试串数据识别率虚高到不真实现象 测试集准确率 98%但换一批新数据马上掉到 80%。原因 实现者在某个角落用priors(k) sum(ytest k) / length(ytest)算了先验——测试集是已知的、类别分布清楚先验被“剧透”了。贝叶斯分类器从此对高频类有偏好测试时当然得分高。解决 先验概率只能从训练集计算一行priors(k) sum(ytrain k) / length(ytrain)就行。要验证是否串数据把测试集的标签随机打乱后重新跑一遍——如果准确率明显下降说明先验和测试集分布完全耦合数据划分一定有问题。5.4 Matlab 中文注释乱码打开 zip 里的 .m 文件一半是问号现象 用 Matlab 2023b 打开旧版 zip 里的 .m 文件中文注释全是乱码程序本身还能跑。原因 老版本 .m 文件用 GBK 编码存储2023b 默认按 UTF-8 读取字符串不匹配就显示乱码。最近热词里 matlab 2026b 相关讨论也总围绕这个问题。解决 命令行执行edit(filename)打开编辑器后菜单里 “Preferences Editor/Debugger Language” 把文件编码改成 GBK或者用 Notepad 批量转成 UTF-8。运行层面不影响只要注释不乱读逻辑就行。5.5 手写测试图对不齐用户自己写的数字和 MNIST 预处理规则不一致现象 跑 demo 时自带的测试样本识别正常自己用 Windows 画图写个“5”放进去识别成 3 或 8。原因 MNIST 的预处理做了居中、缩放到 28×28且笔画是白色背景黑字。你用画图写的字体可能是黑底白字或没居中网格特征算出来完全是另一种分布。解决 写一个预处理步骤把任意输入图像先灰度化、二值化、用图像重心居中、缩放到 28×28再调用特征提取。具体做法先imresize到 28×28再用regionprops找重心并平移。这步没做好识别率再高也没用。6. 把识别率再往上顶从混淆矩阵到留一法与数据扩充的进阶技巧当基本流程跑通、测试集准确率停在 87% 左右别急着换模型先看混淆矩阵。绝大多数情况下错误集中在“4”和“9”、“3”和“8”这两对之间。这在贝叶斯分类器里是典型的“特征重叠”——网格特征丢了笔画拓扑信息3 和 8 在外形轮廓上确实太像均值向量几乎重合。我常用的第一个进阶操作是留一法交叉验证而不是直接随机切分测试集。对每类的 N 个样本循环把第 i 个留出做测试其余 N-1 个训练最终准确率是 N 次测试的平均。留一法在样本量小每类 200~500时能更稳定地评估真实水平防止某一次随机划分运气太好。代价是训练次数从 1 次变成 N 次好在贝叶斯分类器训练极快不成负担。第二个进阶操作是数据扩充。手写数字识别对平移和微旋转敏感而贝叶斯分类器没有卷积那种平移不变性所以要在训练前就把变化量塞进特征里。对每个训练样本做 ±2 像素的随机平移、±15° 的随机旋转加到训练集里重新训练。注意先扩充再划分训练测试不要把扩充后的新样本混进测试集否则测试集和训练集高度相关准确率虚高 5 个百分点。最后一个技巧是把 49 维网格特征里对应图像中心区域的那几个维度单独拉出来画均值向量对比。你会发现“1”的中心列特征均值显著高而“0”是四周边框特征高。利用这些差异可以自己设计一个简单的“先验规则”——在贝叶斯判决前对明显像“1”的样本强制走独立分支。这属于事后补救但能帮你理解每个特征的语义贡献。我的习惯是每改一次特征或参数就把当前混淆矩阵截图留存对比哪一组错误被消除、哪一组错误是新引入的这比单看一个准确率数字可靠得多。留一法跑通、数据扩充加上、混淆矩阵里的对角线明显变亮之后这个基于最小错误率贝叶斯决策的手写数字识别系统才算真正被你攥在手里。踩过协方差奇异的坑、见过中文注释乱码的鬼画符之后你会明白这套系统里真正值钱的不是那 90% 的准确率而是整个数学推导和代码每一步的对应关系。希望帮到你。本文还有配套的精品资源点击获取