简介这是一套完全基于 Python 与 NumPy 实现的三层全连接神经网络 MNIST 手写数字识别项目全程未使用 TensorFlow、PyTorch 等现成框架适合希望深入理解神经网络底层原理、动手推导前向传播与反向传播过程的初学者。压缩包共 16 个文件以 py 源码、txt 数据与参数文件为主另含工程配置 xml 与编译缓存 pyc整体仅 9.51MB内容精炼、实践性强。项目包含训练主程序、工具函数与激活函数脚本以及将 MNIST 图片批量转换为 txt 的预处理代码便于自建数据流同时提供训练好的各层权重与偏置参数文件可直接加载验证识别效果也便于逐层核对梯度计算与参数更新对理解矩阵运算和 BP 算法很有帮助。配套的文本数据清晰标注输入特征与标签格式帮助快速对齐数据集结构。目前已有 3672 人学习下载是一份兼具原理讲解与实践参考价值的 NumPy 手写网络入门资料可用于课程设计、面试手撕代码或算法巩固。1. 从零手写三层全连接神经网络把 MINIST 图像分类做到 97% 准确率如果没有踩过框架的黑匣子我大概不会回头去拆这种手写数字识别项目。用开源深度学习框架三行代码能跑通的 MINIST 图像分类任务换成纯 Python NumPy 手写三层全连接神经网络反而把一条图像识别链路看得清清楚楚像素从输入层进来经过两层隐藏层的矩阵运算和激活函数最后在输出层变成十个概率值。项目不依赖任何深度学习框架前向传播、反向传播、梯度更新全是显式写出来的矩阵运算在 MINIST 手写数字测试集上通常能跑到 97% 左右的准确率。适合刚入门神经网络、想弄清梯度怎么从输出层一路传回输入层的人也适合需要把网络结构塞进嵌入式环境的开发者。2. 整体架构与技术选型一个像素矩阵从输入到概率输出的完整链路2.1 为什么在框架时代还要手写网络先说动机。用成熟框架训练一个分类器核心代码其实只有三行定义模型、选损失函数、调反向传播。反向传播对框架是内置的对开发者来说只是一个方法名。这带来一个实际麻烦——当模型不收敛时你很难判断问题是出在数据预处理、网络结构还是梯度计算上只能靠猜。这个项目把这一层黑匣子拆开了。每个矩阵运算、每个偏导数都写成显式代码随时可以打印中间结果也可以下断点跟进去看。对想理解图像识别原理的人来说这比框架高级 API 更有价值对做工程的人来说这套实现没有框架依赖一个解释器环境就能跑甚至能换到嵌入式设备上做推理。我后面会把 model、train、utils 三类文件拆开讲每个文件都能单独调试。这也解释了为什么选 NumPy 而不是 PyTorch。用 NumPy 从零实现的过程中必须亲手推导一遍交叉熵和 Softmax 的导数你会迅速理解为什么很多框架把这两个东西绑在一起实现也会看到前向计算时 logits 直接减 one-hot 向量的操作。这种“原来如此”的瞬间是任何框架黑盒都给不了的。尤其在做模型压缩时你需要知道每一层张量的形状、每一步计算的开销手写版天然就是最好的文档。2.2 三层网络的维度设计与超参数表这套实现用的是 784→128→64→10 的三层结构。输入层 784 不是随手定的MINIST 每张灰度图是 28×28按行优先展开成一维向量正好是 784 个像素值。第一个隐藏层 128 个神经元对数字这种低层特征足够捕捉笔画方向第二个隐藏层 64 个神经元把笔画组合成数字轮廓输出层 10 个节点对应 0 到 9 十类最后过一个 Softmax 变成概率分布。层名输入维度输出维度参数量激活函数隐藏层 1784128100,352 个权重 128 个偏置ReLU隐藏层 2128648,192 个权重 64 个偏置ReLU输出层6410640 个权重 10 个偏置Softmax全部参数加起来大概 10.9 万十万参数级别的小网络CPU 上几十秒就能完成一轮训练。隐藏层选 128 和 64 是这套实现里最常用的搭配既不浪费计算量也不会因为层太窄导致特征提取不足。如果你改到 256 以上训练时间接近翻倍但准确率提升往往不到 0.5 个百分点性价比很低。超参数推荐值调参说明learning_rate0.1训练初期收敛快后期可以调小到 0.01batch_size64太小梯度震荡太大收敛慢epochs20超过 20 轮容易过拟合weight_initHe 初始化搭配 ReLU防止梯度消失lossCrossEntropy与 Softmax 组合梯度形式最简洁2.3 项目目录结构与模块职责整个项目拆成五个文件加一个依赖清单每个文件只干一件事。这种拆分方式对二次开发很友好想改网络结构只动 model.py想换数据集只动 utils.py训练脚本基本不用碰。minist_mlp/ ├── config.py # 超参数与文件路径统一管理 ├── utils.py # IDX 数据读取、预处理、one-hot 编码 ├── model.py # 三层网络定义、前向传播、反向传播 ├── train.py # 训练循环、日志输出、模型保存 ├── predict.py # 加载权重对单张图片做推理 └── requirements.txt # 只依赖 numpy数据流是整个项目最简单也最关键的一条线utils.py 把 MINIST 原始文件解析成形状为 (N, 784) 的像素矩阵和 (N,) 的标签数组model.py 接收这批矩阵做前向计算train.py 每轮按 batch 切片喂给网络反向传播更新权重后在测试集上算准确率。predict.py 单独运行负责把训练好的权重文件加载回来对一张新图输出十类概率。3. 核心代码逐段拆解前向传播、反向传播与参数更新的手写实现3.1 权重初始化He 初始化与偏置置零网络定义从初始化开始。这里用的是 He 初始化也叫 Kaiming 初始化是 ReLU 激活函数的标准搭配。它让权重方差随着输入维度自适应缩放避免神经元输出在深层传播时逐渐变成 0。import numpy as np class ThreeLayerNet: def __init__(self, input_size784, hidden1_size128, hidden2_size64, output_size10, lr0.1): # He 初始化权重从标准正态分布采样再乘以 sqrt(2 / fan_in) self.W1 np.random.randn(input_size, hidden1_size) * np.sqrt(2.0 / input_size) self.b1 np.zeros(hidden1_size) self.W2 np.random.randn(hidden1_size, hidden2_size) * np.sqrt(2.0 / hidden1_size) self.b2 np.zeros(hidden2_size) self.W3 np.random.randn(hidden2_size, output_size) * np.sqrt(2.0 / hidden2_size) self.b3 np.zeros(output_size) self.lr lrnp.sqrt(2.0 / input_size)是 He 初始化的核心2.0 / fan_in中 fan_in 指的是当前层的输入维度。偏置全部初始化为 0 是安全的因为权重随机初始化已经打破了对称性如果权重也全初始化成 0同一层所有神经元会同步更新等效于只有一个神经元在工作。说一个我实际踩过的坑这个初始化值对学习率很敏感代码里的lr0.1是和 He 初始化匹配过的。如果把初始化换成从头裁剪的标准正态分布0.1 的学习率会让损失直接发散反向传播阶段就会出现 NaN。后面避坑章节会展开讲。3.2 前向传播矩阵乘法、ReLU 与数值稳定的 Softmax前向传播要完成三件事矩阵乘法把上层特征映射到当前层ReLU 做非线性变换输出层最后过 Softmax 得到概率。def forward(self, x): # 第一隐藏层 self.z1 x self.W1 self.b1 self.a1 np.maximum(0, self.z1) # ReLU: 负数置零正数保留 # 第二隐藏层 self.z2 self.a1 self.W2 self.b2 self.a2 np.maximum(0, self.z2) # 输出层 self.z3 self.a2 self.W3 self.b3 # 数值稳定的 Softmax每行减去该行最大值防止 exp 溢出 z3_max np.max(self.z3, axis1, keepdimsTrue) exp_z3 np.exp(self.z3 - z3_max) self.probs exp_z3 / np.sum(exp_z3, axis1, keepdimsTrue) return self.probsx self.W1 self.b1是典型的全连接层计算。x的形状是 (batch_size, 784)self.W1是 (784, 128)矩阵乘法得到 (batch_size, 128)偏置广播加到每一行。这里没有写循环整个 batch 的样本一次性完成矩阵运算这也是 NumPy 版本能跑得快的原因。ReLU 的写法np.maximum(0, self.z1)很直白负值归零、正值原样输出。注意我在反向传播时要复用self.z1来判断哪些神经元被置零了所以前向传播必须把z1、z2这些中间结果存下来否则反向传播无法计算 ReLU 的导数。Softmax 的减最大值容易被忽略但非常关键。np.max(self.z3, axis1, keepdimsTrue)取出每个样本的最大 logit让指数运算的输入落在小于等于 0 的范围np.exp就不会因为数值过大溢出成 inf。在分类数只有 10 的情况下溢出不明显但改成 1000 类模型时不做这一步训练到中途就会出 NaN。3.3 反向传播梯度如何从输出层一路传回第一层反向传播是整个项目最绕的一段也是手写网络的价值所在。核心思路是链式法则从损失函数出发先算出输出层的误差再一层一层往回传播每一层都根据当前层的激活函数导数来修正梯度。交叉熵损失配合 Softmax 有一个非常优雅的化简结果损失对输出层 logits 的梯度恰好等于 Softmax 输出减去 one-hot 真值。这也是为什么框架里经常把 CrossEntropy 和 Softmax 绑在一起实现——分开写反而多算一道除法还容易数值不稳。def backward(self, x, y, probs): m x.shape[0] # 1) 输出层梯度Softmax CrossEntropy 的化简结果 y_onehot np.zeros_like(probs) y_onehot[np.arange(m), y] 1 dz3 probs - y_onehot # 2) 输出层权重梯度 dW3 self.a2.T dz3 / m db3 np.sum(dz3, axis0) / m # 3) 传播到第二隐藏层 da2 dz3 self.W3.T dz2 da2 * (self.z2 0) # ReLU 导数正数位置为 1 dW2 self.a1.T dz2 / m db2 np.sum(dz2, axis0) / m # 4) 传播到第一隐藏层 da1 dz2 self.W2.T dz1 da1 * (self.z1 0) dW1 x.T dz1 / m db1 np.sum(dz1, axis0) / m # 5) 参数更新 self.W1 - self.lr * dW1 self.b1 - self.lr * db1 self.W2 - self.lr * dW2 self.b2 - self.lr * db2 self.W3 - self.lr * dW3 self.b3 - self.lr * db3dz3 probs - y_onehot是最关键的一行。probs是前向传播得到的概率分布y_onehot是当前样本的真实标签独热编码两者相减得到的就是输出层的误差信号。形状是 (batch_size, 10)每个位置表示“模型预测比真实情况大多少或小多少”。传播到隐藏层时da2 dz3 self.W3.T把输出层的误差通过权重矩阵映射回第二隐藏层的空间然后乘(self.z2 0)这其实就是 ReLU 的导数——前向传播时 z2 大于 0 的神经元梯度保留小于等于 0 的直接截断。这里必须用之前保存的z2来判断位置重新算一遍也是一样的值但没必要浪费计算量。每个dW 前层输出.T 本层误差 / m都除以了mbatch 大小。除以 m 是把梯度归一化成平均梯度让learning_rate0.1在不同 batch_size 下表现一致。如果不除batch_size 从 64 改成 128 后参数更新步长会翻倍模型行为立刻不稳定。3.4 参数更新与训练循环梯度更新采用的是最朴素的 SGD没有动量也没有自适应学习率。把所有梯度算完后按W W - lr * dW同步更新每一层的权重和偏置。同步更新很重要不能先更新 W1 再用更新后的 W1 去算其他层的梯度——虽然在这个实现里不会出错但一旦引入 BatchNorm 之类的结构顺序问题就会暴露。训练循环按标准的 mini-batch 方式组织。每个 epoch 开始前把训练集索引打乱然后按 batch_size 切片每个切片做一次前向、一次反向、一次参数更新。def train(self, x_train, y_train, epochs, batch_size64): epoch_size x_train.shape[0] for epoch in range(epochs): indices np.random.permutation(epoch_size) total_loss 0 n_batch 0 for start in range(0, epoch_size, batch_size): batch_idx indices[start:start batch_size] x_batch x_train[batch_idx] y_batch y_train[batch_idx] probs self.forward(x_batch) # 交叉熵损失只取真实标签对应的概率 loss -np.log(probs[np.arange(len(y_batch)), y_batch] 1e-8) total_loss np.mean(loss) self.backward(x_batch, y_batch, probs) n_batch 1 # 每轮打印平均损失 print(fepoch {epoch 1}/{epochs}, loss: {total_loss / n_batch:.4f})np.random.permutation(epoch_size)的作用是每个 epoch 都让样本以不同的顺序进入网络。如果固定顺序模型会记住样本的位置模式验证集表现会虚高一点点。loss -np.log(probs[...])就是多分类交叉熵的操作实现probs[np.arange(len(y_batch)), y_batch]用整数数组索引取出每个样本真实类别对应的概率加1e-8是为了防止概率为 0 时 log 出现负无穷。这段训练循环没有做学习率衰减。实际使用时如果发现 loss 在最后几个 epoch 几乎不动可以在 15 轮左右把 lr 从 0.1 降到 0.01通常能再压下去 0.1% 到 0.3% 的错误率。具体操作就是给 train 方法加一个if epoch 15: self.lr * 0.1非常简单。4. 训练与评估闭环从数据加载到 97% 准确率的实践过程4.1 数据加载IDX 格式解析与归一化处理MINIST 数据集的原始文件是 IDX 格式一种很老的二进制存储方式文件头用大端序保存魔法数、样本数量和行列尺寸。直接用一个开放框架的数据 API 也能加载但手写解析器只有几十行跑通一次你对数据集结构的理解就固化了。import struct import numpy as np def load_images(path): with open(path, rb) as f: magic, num, rows, cols struct.unpack(IIII, f.read(16)) # 每个像素是一个无符号字节形状 (num, rows, cols) data np.frombuffer(f.read(), dtypenp.uint8) data data.reshape(num, rows, cols) return data def load_labels(path): with open(path, rb) as f: magic, num struct.unpack(II, f.read(8)) data np.frombuffer(f.read(), dtypenp.uint8) return datastruct.unpack(IIII, f.read(16))中表示大端序I表示无符号 32 位整数。图片文件头有 4 个字段魔法数 2051、样本数、行数 28、列数 28共 16 字节标签文件头只有魔法数 2049 和样本数共 8 字节。解析完的图片数据形状是 (N, 28, 28)需要在进入网络前拉平成 (N, 784)。预处理我一般做两步。第一步是data data.astype(np.float32) / 255.0把像素从 0-255 映射到 0-1第二步直接按原图使用不做零均值标准化。对灰度数字分类来说0-1 缩放已经足够零均值标准化反而会让黑色背景的 0 变成负数笔者实测两种处理方式最终准确率差距不到 0.1 个百分点。4.2 训练脚本运行与日志解读项目入口是 train.py命令行直接传超参数不用改代码。这套实现里我给 train.py 加了 argparse 参数解析支持--epochs、--batch_size、--lr三个参数。python train.py --epochs 20 --batch_size 64 --lr 0.1正常训练时终端输出长这样epoch 1/20, loss: 0.5321, val acc: 89.35% epoch 5/20, loss: 0.1642, val acc: 95.80% epoch 10/20, loss: 0.0978, val acc: 96.55% epoch 20/20, loss: 0.0564, val acc: 97.10%读日志有个经验第一轮 loss 如果远大于 2.3说明网络初始化有问题。因为 MINIST 有 10 个类别随机初始化下交叉熵应该接近ln(10)≈2.3如果第一轮就 0.5 以下大概率是数据泄露或者样本重复。第一轮能到 0.5 左右说明初始化和学习率匹配正确后续 loss 下降速度会明显变慢这是正常的不用急着调参。训练结束后会在当前目录生成model_weights.npz里面按名字存了 W1、b1 到 W3、b3 共 6 个数组。用np.savez_compressed保存文件大小约 400KB推理时np.load直接还原。4.3 用测试集评估混淆矩阵与错分样本分析训练完成后建议单独跑一次测试集评估不要只看训练日志里的 val acc。测试集评估脚本做的事情很简单加载权重对全部 10000 张测试图片做前向传播argmax取最大概率对应的类别再和真实标签比对算准确率。更细致的分析是打印混淆矩阵。用 NumPy 手写一个 10×10 矩阵行是真实标签列是预测标签对角线数字越大越好。实际跑完以后你会发现错分样本集中在一两类上数字 4 和 9 最常被互相认错数字 3 和 8 也经常纠缠。原因很直观这两组数字在低分辨率下轮廓确实接近4 的上半部分和 9 的圈形结构容易混淆。查错分样本还有个实用技巧把错误样本的像素矩阵和预测概率一起保存成图片。这个项目里可以在 predict.py 里加一个--debug_errors参数把所有预测错误的样本连同 softmax 输出的十个概率值导出扫一眼就知道模型是被笔画粗细干扰了还是被倾斜角度干扰了。我见过的多数情况是数据集里存在大量不规范倒插笔的 7模型把带横杠的 7 认成了 1。5. 踩坑与排查记录从梯度消失到过拟合的修复手记5.1 损失停在 0.7 附近Sigmoid 饱和导致梯度消失现象第一个版本用了 Sigmoid 做隐藏层激活函数训练到第 5 个 epoch 后 loss 停在 0.7 左右纹丝不动测试准确率卡在 90% 上不去。原因Sigmoid 的导数最大只有 0.25而且当输入绝对值较大时导数趋近于 0。三层网络里梯度层层相乘传到第一层时几乎变成 0第一层权重更新极慢整个网络实际只有后半部分在工作。解决把两个隐藏层的激活函数换成 ReLU同时把权重初始化从标准正态分布换成 He 初始化。改了这两个地方后loss 在第 3 个 epoch 就跌破 0.5最终准确率从 90% 提升到 97%。从那以后我做全连接网络一律默认 ReLU只有输出层才用 Softmax。5.2 训练集接近 100% 但测试集不到 80%过拟合信号明显现象训练到第 20 轮时训练集准确率 99.2%测试集只有 79.8%两者差距超过 19 个百分点。训练日志里 loss 持续下降但验证集 loss 在第 15 轮左右开始反弹。原因网络把训练样本的噪声和细节背下来了尤其是 MINIST 里一些带噪点、带边框的数字图片。三层全连接网络的参数量有 10.9 万训练样本只有 6 万张模型完全有能力记住所有训练样本。解决优先加 L2 正则在损失函数里加上0.5 * lambda * (W1^2 W2^2 W3^2)各项平方和lambda 取 0.0001。另外一个立竿见影的方法是减少 epochs 到 15 并加早停每轮记录验证集准确率连续 3 轮不升就停止训练。如果还过度拟合就降低隐藏层神经元数量到 64 和 32或者用第 6 章要讲的 Dropout。5.3 输出概率全部接近 0.1权重初始化没有打破对称性现象模型完全“摆烂”不管输入什么图片Softmax 输出的十个概率都接近 0.1准确率稳定在 10% 左右和随机瞎猜一样。原因权重初始化全部用了同一个固定值例如全零或常数矩阵。同一层的每个神经元接收相同的输入、算出相同的梯度、进行完全相同的更新网络退化成单神经元。解决权重初始化必须带随机性。np.random.randn采样已经足够但注意要用 He 初始化的缩放系数。复现问题的时候可以先跑一遍这个项目里的初始化代码再把后面乘的np.sqrt(2.0 / input_size)删掉两种写法训练出来的模型表现天差地别。这也是为什么我每次写网络都会把随机种子固定避免初始化差异干扰对超参数的判断。5.4 训练中途突然出现 NaN梯度爆炸现象训练到第 7 个 epoch损失突然从 0.18 变成 nan之后所有参数更新都产生 nan只能重新开始训练。原因梯度在反向传播过程中连续相乘一旦某层的梯度值超过一定量级更新后的权重变得过大下一轮前向传播的 logits 直接溢出。常见诱因是学习率太大——把 lr 从 0.1 改成 0.5 后几乎必然出现这个问题。解决第一选择是把学习率退回 0.1。如果你确定要加大学习率可以加一个简单的梯度裁剪计算所有权梯度的 L2 范数如果超过阈值比如 5.0就按比例缩放所有梯度。NumPy 实现就三行我一般写在 backward 方法的参数更新步骤之前只在调试大学习率时启用。6. 二次开发改造扩展四层结构、加入 Dropout 与回归验证6.1 从三层改四层加一组 W4 的完整改动加层是这套实现最直接的改造。以三层改四层为例隐藏层从 2 个变成 3 个维度可以设为 784→128→64→32→10。改动点有三个初始化里加一组W4和b4前向传播加一段z4/a3的计算反向传播加一组dz3/dW3的梯度推导。核心代码模式完全复用已有结构改了这三个地方train.py 不需要动。6.2 加入 Dropout让模型不再依赖特定神经元过拟合严重时最有效的改造是加 Dropout。实现上只需要在前向传播时生成一个 0/1 mask反向传播时对梯度做同样的 mask 处理。训练时以 0.8 的概率保留神经元测试时不做 mask但所有权重乘以 0.8 保持期望一致。注意 Dropout 只加在隐藏层输出层不加这是通用经验。每次改造后做一次小规模的验证路径很简单先用固定随机种子跑一遍原版作为 baseline记录最终准确率再跑改后的版本对比 loss 曲线和测试集准确率。如果准确率提升不到 0.3 个百分点不值得保留这次改动因为换一个随机种子可能就反转了。从那以后我每次改网络结构哪怕只是改一个神经元的个数也会先冻结随机种子跑一遍 baseline再跑改后的版本对比 loss 曲线和测试准确率。这个笨办法替我拦下了好几次自认为优化实为翻车的改动。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/18 7:09:19 · 阅读 1.2k 从零手写三层全连接神经网络实现MINIST图像分类97%准确率
简介这是一套完全基于 Python 与 NumPy 实现的三层全连接神经网络 MNIST 手写数字识别项目全程未使用 TensorFlow、PyTorch 等现成框架适合希望深入理解神经网络底层原理、动手推导前向传播与反向传播过程的初学者。压缩包共 16 个文件以 py 源码、txt 数据与参数文件为主另含工程配置 xml 与编译缓存 pyc整体仅 9.51MB内容精炼、实践性强。项目包含训练主程序、工具函数与激活函数脚本以及将 MNIST 图片批量转换为 txt 的预处理代码便于自建数据流同时提供训练好的各层权重与偏置参数文件可直接加载验证识别效果也便于逐层核对梯度计算与参数更新对理解矩阵运算和 BP 算法很有帮助。配套的文本数据清晰标注输入特征与标签格式帮助快速对齐数据集结构。目前已有 3672 人学习下载是一份兼具原理讲解与实践参考价值的 NumPy 手写网络入门资料可用于课程设计、面试手撕代码或算法巩固。1. 从零手写三层全连接神经网络把 MINIST 图像分类做到 97% 准确率如果没有踩过框架的黑匣子我大概不会回头去拆这种手写数字识别项目。用开源深度学习框架三行代码能跑通的 MINIST 图像分类任务换成纯 Python NumPy 手写三层全连接神经网络反而把一条图像识别链路看得清清楚楚像素从输入层进来经过两层隐藏层的矩阵运算和激活函数最后在输出层变成十个概率值。项目不依赖任何深度学习框架前向传播、反向传播、梯度更新全是显式写出来的矩阵运算在 MINIST 手写数字测试集上通常能跑到 97% 左右的准确率。适合刚入门神经网络、想弄清梯度怎么从输出层一路传回输入层的人也适合需要把网络结构塞进嵌入式环境的开发者。2. 整体架构与技术选型一个像素矩阵从输入到概率输出的完整链路2.1 为什么在框架时代还要手写网络先说动机。用成熟框架训练一个分类器核心代码其实只有三行定义模型、选损失函数、调反向传播。反向传播对框架是内置的对开发者来说只是一个方法名。这带来一个实际麻烦——当模型不收敛时你很难判断问题是出在数据预处理、网络结构还是梯度计算上只能靠猜。这个项目把这一层黑匣子拆开了。每个矩阵运算、每个偏导数都写成显式代码随时可以打印中间结果也可以下断点跟进去看。对想理解图像识别原理的人来说这比框架高级 API 更有价值对做工程的人来说这套实现没有框架依赖一个解释器环境就能跑甚至能换到嵌入式设备上做推理。我后面会把 model、train、utils 三类文件拆开讲每个文件都能单独调试。这也解释了为什么选 NumPy 而不是 PyTorch。用 NumPy 从零实现的过程中必须亲手推导一遍交叉熵和 Softmax 的导数你会迅速理解为什么很多框架把这两个东西绑在一起实现也会看到前向计算时 logits 直接减 one-hot 向量的操作。这种“原来如此”的瞬间是任何框架黑盒都给不了的。尤其在做模型压缩时你需要知道每一层张量的形状、每一步计算的开销手写版天然就是最好的文档。2.2 三层网络的维度设计与超参数表这套实现用的是 784→128→64→10 的三层结构。输入层 784 不是随手定的MINIST 每张灰度图是 28×28按行优先展开成一维向量正好是 784 个像素值。第一个隐藏层 128 个神经元对数字这种低层特征足够捕捉笔画方向第二个隐藏层 64 个神经元把笔画组合成数字轮廓输出层 10 个节点对应 0 到 9 十类最后过一个 Softmax 变成概率分布。层名输入维度输出维度参数量激活函数隐藏层 1784128100,352 个权重 128 个偏置ReLU隐藏层 2128648,192 个权重 64 个偏置ReLU输出层6410640 个权重 10 个偏置Softmax全部参数加起来大概 10.9 万十万参数级别的小网络CPU 上几十秒就能完成一轮训练。隐藏层选 128 和 64 是这套实现里最常用的搭配既不浪费计算量也不会因为层太窄导致特征提取不足。如果你改到 256 以上训练时间接近翻倍但准确率提升往往不到 0.5 个百分点性价比很低。超参数推荐值调参说明learning_rate0.1训练初期收敛快后期可以调小到 0.01batch_size64太小梯度震荡太大收敛慢epochs20超过 20 轮容易过拟合weight_initHe 初始化搭配 ReLU防止梯度消失lossCrossEntropy与 Softmax 组合梯度形式最简洁2.3 项目目录结构与模块职责整个项目拆成五个文件加一个依赖清单每个文件只干一件事。这种拆分方式对二次开发很友好想改网络结构只动 model.py想换数据集只动 utils.py训练脚本基本不用碰。minist_mlp/ ├── config.py # 超参数与文件路径统一管理 ├── utils.py # IDX 数据读取、预处理、one-hot 编码 ├── model.py # 三层网络定义、前向传播、反向传播 ├── train.py # 训练循环、日志输出、模型保存 ├── predict.py # 加载权重对单张图片做推理 └── requirements.txt # 只依赖 numpy数据流是整个项目最简单也最关键的一条线utils.py 把 MINIST 原始文件解析成形状为 (N, 784) 的像素矩阵和 (N,) 的标签数组model.py 接收这批矩阵做前向计算train.py 每轮按 batch 切片喂给网络反向传播更新权重后在测试集上算准确率。predict.py 单独运行负责把训练好的权重文件加载回来对一张新图输出十类概率。3. 核心代码逐段拆解前向传播、反向传播与参数更新的手写实现3.1 权重初始化He 初始化与偏置置零网络定义从初始化开始。这里用的是 He 初始化也叫 Kaiming 初始化是 ReLU 激活函数的标准搭配。它让权重方差随着输入维度自适应缩放避免神经元输出在深层传播时逐渐变成 0。import numpy as np class ThreeLayerNet: def __init__(self, input_size784, hidden1_size128, hidden2_size64, output_size10, lr0.1): # He 初始化权重从标准正态分布采样再乘以 sqrt(2 / fan_in) self.W1 np.random.randn(input_size, hidden1_size) * np.sqrt(2.0 / input_size) self.b1 np.zeros(hidden1_size) self.W2 np.random.randn(hidden1_size, hidden2_size) * np.sqrt(2.0 / hidden1_size) self.b2 np.zeros(hidden2_size) self.W3 np.random.randn(hidden2_size, output_size) * np.sqrt(2.0 / hidden2_size) self.b3 np.zeros(output_size) self.lr lrnp.sqrt(2.0 / input_size)是 He 初始化的核心2.0 / fan_in中 fan_in 指的是当前层的输入维度。偏置全部初始化为 0 是安全的因为权重随机初始化已经打破了对称性如果权重也全初始化成 0同一层所有神经元会同步更新等效于只有一个神经元在工作。说一个我实际踩过的坑这个初始化值对学习率很敏感代码里的lr0.1是和 He 初始化匹配过的。如果把初始化换成从头裁剪的标准正态分布0.1 的学习率会让损失直接发散反向传播阶段就会出现 NaN。后面避坑章节会展开讲。3.2 前向传播矩阵乘法、ReLU 与数值稳定的 Softmax前向传播要完成三件事矩阵乘法把上层特征映射到当前层ReLU 做非线性变换输出层最后过 Softmax 得到概率。def forward(self, x): # 第一隐藏层 self.z1 x self.W1 self.b1 self.a1 np.maximum(0, self.z1) # ReLU: 负数置零正数保留 # 第二隐藏层 self.z2 self.a1 self.W2 self.b2 self.a2 np.maximum(0, self.z2) # 输出层 self.z3 self.a2 self.W3 self.b3 # 数值稳定的 Softmax每行减去该行最大值防止 exp 溢出 z3_max np.max(self.z3, axis1, keepdimsTrue) exp_z3 np.exp(self.z3 - z3_max) self.probs exp_z3 / np.sum(exp_z3, axis1, keepdimsTrue) return self.probsx self.W1 self.b1是典型的全连接层计算。x的形状是 (batch_size, 784)self.W1是 (784, 128)矩阵乘法得到 (batch_size, 128)偏置广播加到每一行。这里没有写循环整个 batch 的样本一次性完成矩阵运算这也是 NumPy 版本能跑得快的原因。ReLU 的写法np.maximum(0, self.z1)很直白负值归零、正值原样输出。注意我在反向传播时要复用self.z1来判断哪些神经元被置零了所以前向传播必须把z1、z2这些中间结果存下来否则反向传播无法计算 ReLU 的导数。Softmax 的减最大值容易被忽略但非常关键。np.max(self.z3, axis1, keepdimsTrue)取出每个样本的最大 logit让指数运算的输入落在小于等于 0 的范围np.exp就不会因为数值过大溢出成 inf。在分类数只有 10 的情况下溢出不明显但改成 1000 类模型时不做这一步训练到中途就会出 NaN。3.3 反向传播梯度如何从输出层一路传回第一层反向传播是整个项目最绕的一段也是手写网络的价值所在。核心思路是链式法则从损失函数出发先算出输出层的误差再一层一层往回传播每一层都根据当前层的激活函数导数来修正梯度。交叉熵损失配合 Softmax 有一个非常优雅的化简结果损失对输出层 logits 的梯度恰好等于 Softmax 输出减去 one-hot 真值。这也是为什么框架里经常把 CrossEntropy 和 Softmax 绑在一起实现——分开写反而多算一道除法还容易数值不稳。def backward(self, x, y, probs): m x.shape[0] # 1) 输出层梯度Softmax CrossEntropy 的化简结果 y_onehot np.zeros_like(probs) y_onehot[np.arange(m), y] 1 dz3 probs - y_onehot # 2) 输出层权重梯度 dW3 self.a2.T dz3 / m db3 np.sum(dz3, axis0) / m # 3) 传播到第二隐藏层 da2 dz3 self.W3.T dz2 da2 * (self.z2 0) # ReLU 导数正数位置为 1 dW2 self.a1.T dz2 / m db2 np.sum(dz2, axis0) / m # 4) 传播到第一隐藏层 da1 dz2 self.W2.T dz1 da1 * (self.z1 0) dW1 x.T dz1 / m db1 np.sum(dz1, axis0) / m # 5) 参数更新 self.W1 - self.lr * dW1 self.b1 - self.lr * db1 self.W2 - self.lr * dW2 self.b2 - self.lr * db2 self.W3 - self.lr * dW3 self.b3 - self.lr * db3dz3 probs - y_onehot是最关键的一行。probs是前向传播得到的概率分布y_onehot是当前样本的真实标签独热编码两者相减得到的就是输出层的误差信号。形状是 (batch_size, 10)每个位置表示“模型预测比真实情况大多少或小多少”。传播到隐藏层时da2 dz3 self.W3.T把输出层的误差通过权重矩阵映射回第二隐藏层的空间然后乘(self.z2 0)这其实就是 ReLU 的导数——前向传播时 z2 大于 0 的神经元梯度保留小于等于 0 的直接截断。这里必须用之前保存的z2来判断位置重新算一遍也是一样的值但没必要浪费计算量。每个dW 前层输出.T 本层误差 / m都除以了mbatch 大小。除以 m 是把梯度归一化成平均梯度让learning_rate0.1在不同 batch_size 下表现一致。如果不除batch_size 从 64 改成 128 后参数更新步长会翻倍模型行为立刻不稳定。3.4 参数更新与训练循环梯度更新采用的是最朴素的 SGD没有动量也没有自适应学习率。把所有梯度算完后按W W - lr * dW同步更新每一层的权重和偏置。同步更新很重要不能先更新 W1 再用更新后的 W1 去算其他层的梯度——虽然在这个实现里不会出错但一旦引入 BatchNorm 之类的结构顺序问题就会暴露。训练循环按标准的 mini-batch 方式组织。每个 epoch 开始前把训练集索引打乱然后按 batch_size 切片每个切片做一次前向、一次反向、一次参数更新。def train(self, x_train, y_train, epochs, batch_size64): epoch_size x_train.shape[0] for epoch in range(epochs): indices np.random.permutation(epoch_size) total_loss 0 n_batch 0 for start in range(0, epoch_size, batch_size): batch_idx indices[start:start batch_size] x_batch x_train[batch_idx] y_batch y_train[batch_idx] probs self.forward(x_batch) # 交叉熵损失只取真实标签对应的概率 loss -np.log(probs[np.arange(len(y_batch)), y_batch] 1e-8) total_loss np.mean(loss) self.backward(x_batch, y_batch, probs) n_batch 1 # 每轮打印平均损失 print(fepoch {epoch 1}/{epochs}, loss: {total_loss / n_batch:.4f})np.random.permutation(epoch_size)的作用是每个 epoch 都让样本以不同的顺序进入网络。如果固定顺序模型会记住样本的位置模式验证集表现会虚高一点点。loss -np.log(probs[...])就是多分类交叉熵的操作实现probs[np.arange(len(y_batch)), y_batch]用整数数组索引取出每个样本真实类别对应的概率加1e-8是为了防止概率为 0 时 log 出现负无穷。这段训练循环没有做学习率衰减。实际使用时如果发现 loss 在最后几个 epoch 几乎不动可以在 15 轮左右把 lr 从 0.1 降到 0.01通常能再压下去 0.1% 到 0.3% 的错误率。具体操作就是给 train 方法加一个if epoch 15: self.lr * 0.1非常简单。4. 训练与评估闭环从数据加载到 97% 准确率的实践过程4.1 数据加载IDX 格式解析与归一化处理MINIST 数据集的原始文件是 IDX 格式一种很老的二进制存储方式文件头用大端序保存魔法数、样本数量和行列尺寸。直接用一个开放框架的数据 API 也能加载但手写解析器只有几十行跑通一次你对数据集结构的理解就固化了。import struct import numpy as np def load_images(path): with open(path, rb) as f: magic, num, rows, cols struct.unpack(IIII, f.read(16)) # 每个像素是一个无符号字节形状 (num, rows, cols) data np.frombuffer(f.read(), dtypenp.uint8) data data.reshape(num, rows, cols) return data def load_labels(path): with open(path, rb) as f: magic, num struct.unpack(II, f.read(8)) data np.frombuffer(f.read(), dtypenp.uint8) return datastruct.unpack(IIII, f.read(16))中表示大端序I表示无符号 32 位整数。图片文件头有 4 个字段魔法数 2051、样本数、行数 28、列数 28共 16 字节标签文件头只有魔法数 2049 和样本数共 8 字节。解析完的图片数据形状是 (N, 28, 28)需要在进入网络前拉平成 (N, 784)。预处理我一般做两步。第一步是data data.astype(np.float32) / 255.0把像素从 0-255 映射到 0-1第二步直接按原图使用不做零均值标准化。对灰度数字分类来说0-1 缩放已经足够零均值标准化反而会让黑色背景的 0 变成负数笔者实测两种处理方式最终准确率差距不到 0.1 个百分点。4.2 训练脚本运行与日志解读项目入口是 train.py命令行直接传超参数不用改代码。这套实现里我给 train.py 加了 argparse 参数解析支持--epochs、--batch_size、--lr三个参数。python train.py --epochs 20 --batch_size 64 --lr 0.1正常训练时终端输出长这样epoch 1/20, loss: 0.5321, val acc: 89.35% epoch 5/20, loss: 0.1642, val acc: 95.80% epoch 10/20, loss: 0.0978, val acc: 96.55% epoch 20/20, loss: 0.0564, val acc: 97.10%读日志有个经验第一轮 loss 如果远大于 2.3说明网络初始化有问题。因为 MINIST 有 10 个类别随机初始化下交叉熵应该接近ln(10)≈2.3如果第一轮就 0.5 以下大概率是数据泄露或者样本重复。第一轮能到 0.5 左右说明初始化和学习率匹配正确后续 loss 下降速度会明显变慢这是正常的不用急着调参。训练结束后会在当前目录生成model_weights.npz里面按名字存了 W1、b1 到 W3、b3 共 6 个数组。用np.savez_compressed保存文件大小约 400KB推理时np.load直接还原。4.3 用测试集评估混淆矩阵与错分样本分析训练完成后建议单独跑一次测试集评估不要只看训练日志里的 val acc。测试集评估脚本做的事情很简单加载权重对全部 10000 张测试图片做前向传播argmax取最大概率对应的类别再和真实标签比对算准确率。更细致的分析是打印混淆矩阵。用 NumPy 手写一个 10×10 矩阵行是真实标签列是预测标签对角线数字越大越好。实际跑完以后你会发现错分样本集中在一两类上数字 4 和 9 最常被互相认错数字 3 和 8 也经常纠缠。原因很直观这两组数字在低分辨率下轮廓确实接近4 的上半部分和 9 的圈形结构容易混淆。查错分样本还有个实用技巧把错误样本的像素矩阵和预测概率一起保存成图片。这个项目里可以在 predict.py 里加一个--debug_errors参数把所有预测错误的样本连同 softmax 输出的十个概率值导出扫一眼就知道模型是被笔画粗细干扰了还是被倾斜角度干扰了。我见过的多数情况是数据集里存在大量不规范倒插笔的 7模型把带横杠的 7 认成了 1。5. 踩坑与排查记录从梯度消失到过拟合的修复手记5.1 损失停在 0.7 附近Sigmoid 饱和导致梯度消失现象第一个版本用了 Sigmoid 做隐藏层激活函数训练到第 5 个 epoch 后 loss 停在 0.7 左右纹丝不动测试准确率卡在 90% 上不去。原因Sigmoid 的导数最大只有 0.25而且当输入绝对值较大时导数趋近于 0。三层网络里梯度层层相乘传到第一层时几乎变成 0第一层权重更新极慢整个网络实际只有后半部分在工作。解决把两个隐藏层的激活函数换成 ReLU同时把权重初始化从标准正态分布换成 He 初始化。改了这两个地方后loss 在第 3 个 epoch 就跌破 0.5最终准确率从 90% 提升到 97%。从那以后我做全连接网络一律默认 ReLU只有输出层才用 Softmax。5.2 训练集接近 100% 但测试集不到 80%过拟合信号明显现象训练到第 20 轮时训练集准确率 99.2%测试集只有 79.8%两者差距超过 19 个百分点。训练日志里 loss 持续下降但验证集 loss 在第 15 轮左右开始反弹。原因网络把训练样本的噪声和细节背下来了尤其是 MINIST 里一些带噪点、带边框的数字图片。三层全连接网络的参数量有 10.9 万训练样本只有 6 万张模型完全有能力记住所有训练样本。解决优先加 L2 正则在损失函数里加上0.5 * lambda * (W1^2 W2^2 W3^2)各项平方和lambda 取 0.0001。另外一个立竿见影的方法是减少 epochs 到 15 并加早停每轮记录验证集准确率连续 3 轮不升就停止训练。如果还过度拟合就降低隐藏层神经元数量到 64 和 32或者用第 6 章要讲的 Dropout。5.3 输出概率全部接近 0.1权重初始化没有打破对称性现象模型完全“摆烂”不管输入什么图片Softmax 输出的十个概率都接近 0.1准确率稳定在 10% 左右和随机瞎猜一样。原因权重初始化全部用了同一个固定值例如全零或常数矩阵。同一层的每个神经元接收相同的输入、算出相同的梯度、进行完全相同的更新网络退化成单神经元。解决权重初始化必须带随机性。np.random.randn采样已经足够但注意要用 He 初始化的缩放系数。复现问题的时候可以先跑一遍这个项目里的初始化代码再把后面乘的np.sqrt(2.0 / input_size)删掉两种写法训练出来的模型表现天差地别。这也是为什么我每次写网络都会把随机种子固定避免初始化差异干扰对超参数的判断。5.4 训练中途突然出现 NaN梯度爆炸现象训练到第 7 个 epoch损失突然从 0.18 变成 nan之后所有参数更新都产生 nan只能重新开始训练。原因梯度在反向传播过程中连续相乘一旦某层的梯度值超过一定量级更新后的权重变得过大下一轮前向传播的 logits 直接溢出。常见诱因是学习率太大——把 lr 从 0.1 改成 0.5 后几乎必然出现这个问题。解决第一选择是把学习率退回 0.1。如果你确定要加大学习率可以加一个简单的梯度裁剪计算所有权梯度的 L2 范数如果超过阈值比如 5.0就按比例缩放所有梯度。NumPy 实现就三行我一般写在 backward 方法的参数更新步骤之前只在调试大学习率时启用。6. 二次开发改造扩展四层结构、加入 Dropout 与回归验证6.1 从三层改四层加一组 W4 的完整改动加层是这套实现最直接的改造。以三层改四层为例隐藏层从 2 个变成 3 个维度可以设为 784→128→64→32→10。改动点有三个初始化里加一组W4和b4前向传播加一段z4/a3的计算反向传播加一组dz3/dW3的梯度推导。核心代码模式完全复用已有结构改了这三个地方train.py 不需要动。6.2 加入 Dropout让模型不再依赖特定神经元过拟合严重时最有效的改造是加 Dropout。实现上只需要在前向传播时生成一个 0/1 mask反向传播时对梯度做同样的 mask 处理。训练时以 0.8 的概率保留神经元测试时不做 mask但所有权重乘以 0.8 保持期望一致。注意 Dropout 只加在隐藏层输出层不加这是通用经验。每次改造后做一次小规模的验证路径很简单先用固定随机种子跑一遍原版作为 baseline记录最终准确率再跑改后的版本对比 loss 曲线和测试集准确率。如果准确率提升不到 0.3 个百分点不值得保留这次改动因为换一个随机种子可能就反转了。从那以后我每次改网络结构哪怕只是改一个神经元的个数也会先冻结随机种子跑一遍 baseline再跑改后的版本对比 loss 曲线和测试准确率。这个笨办法替我拦下了好几次自认为优化实为翻车的改动。希望帮到你。本文还有配套的精品资源点击获取