简介面向机器学习初学者与回归预测实践者的 BP 神经网络 Python 项目基于波士顿房价预测这一经典数据科学案例从 housing.csv 读取数据完成特征预处理、网络结构定义、前向传播计算、方差损失函数反向传播更新直至模型评估与预测适合课程设计或入门练习。压缩包共 2 个文件整体仅 8KB包含 pred_nn.py 训练脚本与 housing.csv 数据文件数据集列出犯罪率、房间数量等十四个特征及中位房价目标值便于直接开展回归实验。目前已有 21731 人学习下载。脚本代码注释清晰、结构紧凑完整呈现随机权重初始化、标准化处理、多轮迭代训练与均方误差、R 方指标计算读者可对照代码理解误差反向传播与梯度下降机制也可直接将数据集替换为自有数据迁移应用到其他回归预测场景实现举一反三。1. 房价预测的BP神经网络为什么不用线性回归而选它当你准备用Python拆解房价预测时第一个念头往往是先跑一个线性回归看看。可房价和面积、位置、房龄的关系并不是一条直线刚需房和豪宅的每平米单价差很远线性模型很难表达这种拐弯的变化。BP神经网络反向传播神经网络靠隐藏层里的非线性激活函数可以把特征重新组合成高维映射所以它是这类回归问题里比线性回归更常用的起点。下面这篇笔记从零手写BP网络用加州房价数据跑通训练和预测把网络结构、学习率、归一化这些关键点的坑一并讲清。适合正在学BP的初学者也适合想脱离框架理解反向传播的工程师全篇只需要numpy、scikit-learn和matplotlib不需要先装任何深度学习框架。2. BP神经网络核心从神经元到反向传播给房价预测搭骨架2.1 神经元与网络结构输入层、隐藏层、输出层的数量怎么定一个神经元做的事情很朴素把输入加权求和加上偏置再过激活函数。单个神经元解决不了非线性问题把多个神经元并排放成一层再把层串起来就是神经网络。以加州房价为例每个样本有8个特征那么输入层就有8个节点输出层要预测一个连续房价所以是1个节点。中间的隐藏层负责学习特征之间的组合关系比如“房龄大但面积大”这种交互效应。万能逼近定理告诉我们一个隐藏层就能以任意精度逼近连续函数所以手写BP通常从单隐藏层起步。隐藏层节点数没有定论。常见经验值是取输入特征数的1.5到2倍或者取(输入输出)/2向上取整。我一般会先用8个特征、16个隐藏节点的配置跑通再逐次翻倍对比测试集误差。隐藏节点少了模型欠拟合训练集loss都降不下去隐藏节点多了模型开始背诵训练数据测试集误差反而上涨。房价数据集一般只有几万条样本盲目加深网络不如把单层调好深网络在这里更容易过拟合收敛也更慢。2.2 激活函数与损失函数回归任务不能照搬分类的ReLU交叉熵分类任务里隐藏层常用ReLU输出层用softmax损失用交叉熵。这套组合搬到回归任务上会出事输出层若是sigmoid输出被限制在0到1之间而标准化后的房价有正有负模型连负值都输出不了若是ReLU输出永远非负同样会限制表达范围。所以回归问题输出层必须用线性激活也就是不套任何激活函数让神经元加权和直接作为预测值。隐藏层激活函数可以在sigmoid、tanh和ReLU里选。手写BP时sigmoid公式最简单但它的导数最大只有0.25多层叠加会出现梯度衰减单隐藏层时这个影响不大因此教学实现常选sigmoid。损失用均方误差MSE公式是loss mean((pred - y)^2)。为什么不用平均绝对误差MSE可导且对大误差更敏感梯度形式简单配合线性输出层时对输出的梯度正好是pred - y这让反向传播写起来很直观。2.3 数据预处理房价特征量纲差异大归一化是第一步房价数据的特征量纲差异极大平均收入只有个位数房间总数可能到几十人口从几百到几万而房价中位数更是动辄几十万美元。如果不处理数值大的特征会在加权和里占绝对主导权重更新时梯度方向也被它们带偏模型很难学到合理的权重组合。常见做法是标准化让每个特征的均值变成0、标准差变成1公式是x (x - mean) / std。用一个StandardScaler就能完成。但要注意scaler只能从训练集计算均值和标准差然后再用这组参数去transform训练集和测试集。缩小数据集做演示正确代码如下from sklearn.preprocessing import StandardScaler scaler StandardScaler() # 只对训练集 fit统计训练集的均值和标准差 scaler.fit(X_train) X_train_scaled scaler.transform(X_train) # 测试集复用同一组参数不能重新 fit X_test_scaled scaler.transform(X_test)如果写成scaler.fit(X_all)之后再transform测试集的分布信息已经混进了均值与标准差相当于把测试集的“答案”提前告诉了训练流程后续评估指标会虚高。这是整个BP流程里最容易踩、也最容易被忽视的一步。还有目标变量房价y同样建议标准化但评估时要还原成原始房价这个细节后面第3章和第5章会再展开。2.4 反向传播的四行核心公式从输出误差倒推权重更新BP的训练就是不断做两件事前向传播算预测反向传播算梯度。梯度下降更新权重W W - lr * dW只要求出每个权重的梯度dW训练就有了方向。求dW依赖链式法则输出层的误差先算出来再逐层乘以激活函数的导数把误差“传”回前一层。记隐藏层加权和为z1激活后为a1输出层加权和为z2也就是预测值。反向传播的四个核心公式写成代码就是下面几行# 反向传播四行核心m为当前样本数 d_z2 (a2 - y) / m # 输出层误差对应 dL/dz2 d_W2 a1.T.dot(d_z2) # 隐藏层到输出层的权重梯度 d_z1 d_z2.dot(W2.T) * a1 * (1 - a1) # 误差传回隐藏层a1*(1-a1)是sigmoid导数 d_W1 X.T.dot(d_z1) # 输入层到隐藏层的权重梯度这里a1*(1-a1)是把链式法则接在sigmoid导数的结果上。如果你把隐藏层换成tanh或ReLU这一行就要换成对应的导数tanh的导数是1 - a^2ReLU的导数是a0时为1否则为0。理解了这四行后面写BP类就只剩工程化封装了。3. 用Python实现BP神经网络数据准备、网络定义与训练循环3.1 准备数据集读取、划分与标准化加州房价数据集在sklearn里一行就能加载返回8个特征和连续房价。先切分再标准化顺序不能反。下面是数据准备代码import numpy as np from sklearn.datasets import fetch_california_housing from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler data fetch_california_housing() X data.data # 8个特征收入、房龄、房间数等 y data.target.reshape(-1, 1) # 房价单位是十万美元2.0代表20万美元 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) scaler_x StandardScaler().fit(X_train) X_train_s scaler_x.transform(X_train) X_test_s scaler_x.transform(X_test) scaler_y StandardScaler().fit(y_train) y_train_s scaler_y.transform(y_train) y_test_s scaler_y.transform(y_test) print(X_train_s.shape, X_test_s.shape) # (16512, 8) (4128, 8)注意fetch_california_housing返回的target是(20640,)reshape(-1,1)是为了让y作为列向量参与矩阵运算。y也做标准化的原因和X一样房价数值在数十万美元级别直接当输出会让梯度量纲偏大收敛不稳。训练完成后用scaler_y.inverse_transform把预测还原到原始房价单位。print形状可以确认数据份数训练集16512条测试集4128条。3.2 定义BPNetwork类前向传播与反向传播手写BP不需要框架一个类就够。类里保存权重和偏置实现sigmoid、前向、反向和训练。代码不长但每一步都对应前一章的公式class BPNetwork: def __init__(self, n_input, n_hidden, n_output, lr0.01): # 权重初始化为小随机数不能太大 self.W1 np.random.randn(n_input, n_hidden) * 0.1 self.b1 np.zeros((1, n_hidden)) self.W2 np.random.randn(n_hidden, n_output) * 0.1 self.b2 np.zeros((1, n_output)) self.lr lr def sigmoid(self, x): return 1 / (1 np.exp(-x)) def sigmoid_derivative(self, a): return a * (1 - a) def forward(self, X): self.z1 np.dot(X, self.W1) self.b1 self.a1 self.sigmoid(self.z1) self.z2 np.dot(self.a1, self.W2) self.b2 self.a2 self.z2 # 输出层线性激活 return self.a2 def backward(self, X, y, output): m X.shape[0] d_z2 (output - y) / m d_W2 np.dot(self.a1.T, d_z2) d_b2 np.sum(d_z2, axis0, keepdimsTrue) # 误差从输出层传回隐藏层 d_a1 np.dot(d_z2, self.W2.T) d_z1 d_a1 * self.sigmoid_derivative(self.a1) d_W1 np.dot(X.T, d_z1) d_b1 np.sum(d_z1, axis0, keepdimsTrue) self.W2 - self.lr * d_W2 self.b2 - self.lr * d_b2 self.W1 - self.lr * d_W1 self.b1 - self.lr * d_b1 def train(self, X, y, epochs): loss_history [] for epoch in range(epochs): output self.forward(X) loss np.mean((output - y) ** 2) self.backward(X, y, output) loss_history.append(loss) if epoch % 100 0: print(fepoch {epoch}, loss {loss:.4f}) return loss_history def predict(self, X): return self.forward(X)权重用np.random.randn * 0.1目的是让初始权重落在比较小的范围避免输入经过加权和后太大使sigmoid进入饱和区。偏置初始化为0没问题。forward里把中间量self.z1、self.a1、self.z2缓存下来因为backward要用。backward里的d_z2没有乘2是把MSE求导的系数2吸收进学习率了效果相同。train方法走的是全量梯度下降每个epoch都拿全部训练样本算一次梯度再更新对一万多条的房价数据足够用。3.3 训练循环与损失曲线创建网络前先固定随机种子保证结果可复现。然后训练500轮画出loss曲线np.random.seed(42) network BPNetwork( n_inputX_train_s.shape[1], n_hidden16, n_output1, lr0.01 ) loss_hist network.train(X_train_s, y_train_s, epochs500) import matplotlib.pyplot as plt plt.plot(loss_hist) plt.xlabel(epoch) plt.ylabel(MSE) plt.title(Training Loss) plt.show()如果训练过程正常loss会从接近1的数值往下走前200轮下降明显后面变缓。全量梯度下降在数据量不大时很稳定但注意你的机器如果跑500轮偏慢可以把epochs调成200不影响后面评估。欠拟合时loss曲线会一直高过拟合时训练loss很低但测试误差高这里先看训练曲线找感觉。3.4 评估模型反归一化与MAE/RMSE训练完必须把预测值从标准化空间还原成真实房价再计算误差。直接在标准化空间算MAE会得到很夸张的数字没有业务意义。正确评估代码y_pred_s network.predict(X_test_s) y_pred scaler_y.inverse_transform(y_pred_s) y_test_orig scaler_y.inverse_transform(y_test_s) mae np.mean(np.abs(y_pred - y_test_orig)) rmse np.sqrt(np.mean((y_pred - y_test_orig) ** 2)) print(fMAE: {mae:.4f} (十万美元)) print(fRMSE: {rmse:.4f} (十万美元))注意y_test_s是标准化后的测试标签inverse_transform还原后才是真实房价。套用这个流程手写单隐藏层BP在加州房价上的MAE通常在0.5左右也就是5万美元上下。这个结果比线性回归略好但跟梯度提升树还有差距毕竟BP用这么简单的结构能做到这个程度已经很不错。想要更低误差后面第6章的Mini-batch和特征组合可以试试。4. 训练过程监控与调参学习率、隐藏层神经元数、过拟合4.1 学习率对收敛的影响先跑0.1、0.01、0.001学习率是手写BP里第一个要调的超参数。它决定每一步权重更新的步伐大小太大震荡甚至发散太小则慢得让人失去耐心。可以在同一份数据上分别用0.1、0.01、0.001训练观察loss曲线for lr in [0.1, 0.01, 0.001]: np.random.seed(42) net BPNetwork(X_train_s.shape[1], 16, 1, lrlr) losses net.train(X_train_s, y_train_s, epochs300) plt.plot(losses, labelflr{lr}) plt.legend() plt.xlabel(epoch) plt.ylabel(MSE) plt.show()实际跑下来lr0.1时loss会在早期冲高出现明显震荡有时甚至nanlr0.01下降平稳是稳妥起点lr0.001下降很慢300轮还停在较高的loss。调参时我习惯先固定epochs300用0.01跑一遍如果loss曲线抖动就降到0.005或0.003如果下降太慢就试0.02。手写BP没有自适应学习率机制所以这个参数的影响比用Keras时更直接。4.2 隐藏层神经元数与过拟合从4到64的验证隐藏层把网络容量撑起来但容量不是免费的。分别试试4、16、32、64个隐藏节点训练后同时看训练集和测试集MAEdef evaluate_mae(net): pred_train scaler_y.inverse_transform(net.predict(X_train_s)) pred_test scaler_y.inverse_transform(net.predict(X_test_s)) train_mae np.mean(np.abs(pred_train - y_train)) test_mae np.mean(np.abs(pred_test - y_test)) return train_mae, test_mae for h in [4, 16, 32, 64]: np.random.seed(42) net BPNetwork(X_train_s.shape[1], h, 1, lr0.01) net.train(X_train_s, y_train_s, epochs300) train_mae, test_mae evaluate_mae(net) print(fhidden{h:2d}, train_MAE{train_mae:.4f}, test_MAE{test_mae:.4f})通常hidden4时训练和测试误差都偏高欠拟合。hidden16时测试误差开始下降。hidden64时训练误差继续下降但测试误差可能不再降甚至回升这就是过拟合。识别过拟合的简单标尺训练MAE明显低于测试MAE且两者差距随节点数增大而拉大。遇到这种情况减少隐藏节点、增加L2正则化、或者用早停都比硬调epochs管用。4.3 评估指标的意义MAE和RMSE怎么看MAE是平均绝对值误差单位就是房价单位最直观。RMSE对大误差更敏感一个样本差10万会把RMSE拉高很多所以RMSE通常比MAE大。如果两者接近说明各样本误差较均匀如果RMSE比MAE大很多说明少数样本预测得很差比如豪宅样本。对于加州房价target中位数在2左右也就是20万美元MAE0.5意味着平均判断偏差5万美元这对粗略估算是合理的但离精确估值还差得远。在实际项目中我会同时打印MAE和RMSE再看一下预测值与真实值的散点图点越贴近45度线说明模型越准。如果散点图在高端房价区域散开说明高房价样本没有学好需要补充特征或提高高价值样本的权重。5. 房价预测BP神经网络的避坑指南五个常见翻车现场5.1 特征缩放的数据泄漏测试集凭空变好现象对全量X做StandardScaler().fit_transform再切分跑出来的测试MAE比训练还低但把模型拿到新数据上预测时效果差很多。原因是scaler在切分前看到了测试集的均值和标准差测试集的分布信息混进了训练流程这叫数据泄漏。解决先切分再只对训练集fit测试集用同一个scaler.transform代码就是第3章的写法。这个坑在Kaggle比赛里是红线在自己调参时也容易犯因为管道写起来更顺手但评估结果会骗人。5.2 输出层用了sigmoid预测结果全在0~1现象训练loss下降正常但反归一化后预测房价几乎都集中在同一个值而且明显偏离真实房价。原因是输出层backward里的self.a2被包了一层sigmoid把输出限制在(0,1)标准化后的房价有正有负模型输出永远大于0且小于1无法表达负值最后只能学一个折中常数。解决让输出层线性激活forward里直接self.a2 self.z2。这也是为什么回归任务不能把分类任务的输出层激活函数照搬过来的最典型例子。5.3 初始化权重太大loss卡住不动现象把np.random.randn直接赋给W1不乘0.1训练开始loss就在高位几百轮几乎不降。原因是输入特征标准差为1但特征数量多加权和后数值很容易超过3sigmoid陷入饱和区导数趋近于0梯度消失权重更新量极小。解决权重初始化乘以0.1或0.01或者把sigmoid换成tanhtanh零中心且导数在0附近是1饱和问题会缓解。手写BP最稳的组合是“标准化输入 小随机权重 sigmoid”。5.4 不固定随机种子同一份代码两次结果完全不同现象两次运行代码得到不同的loss曲线和MAE有时差距超过20%。原因有两个train_test_split不传random_state每次切分的数据不同权重初始化是随机数每次网络起点不同。解决在import后固定np.random.seed(42)train_test_split里也要写random_state42。注意先设置seed再创建网络因为BPNetwork的__init__里会调用randn。固定种子后同一环境跑出来的结果完全可复现这对调参和写文章都重要。5.5 忘记对y反归一化评估指标高得离谱现象训练的时候loss降得很漂亮但打印MAE得到1.8甚至更大比直接用训练集均值预测还差。原因是拿标准化后的y_pred_s和y_test_s直接算MAE标准化后的房价分布是均值为0、方差为1误差1.0已经是大错换算回原尺度就是十万美元级别。解决评估和业务汇报必须用真实房价单位用scaler_y.inverse_transform把预测和标签都还原。注意inverse_transform要求输入是二维数组predict返回的形状通常是(n,1)不需要再reshape成(n,)。6. 进阶把BP用于更大房价数据的三个技巧6.1 用Mini-batch梯度下降替代全量全量梯度下降每次更新要算完所有样本数据量上万时还能接受但特征变多、网络变宽后就会明显变慢。Mini-batch把训练集按batch_size切成小份每份算一次梯度并更新权重。这样更新频率高收敛更快也有一定正则效果。修改train方法很直接在每轮epoch里先打乱索引再分batch迭代。def train_minibatch(self, X, y, epochs, batch_size32): m X.shape[0] for epoch in range(epochs): idx np.random.permutation(m) X_shuffle, y_shuffle X[idx], y[idx] for i in range(0, m, batch_size): Xb X_shuffle[i:ibatch_size] yb y_shuffle[i:ibatch_size] output self.forward(Xb) loss np.mean((output - yb) ** 2) self.backward(Xb, yb, output)用batch_size32时backward里的m就是32梯度方向会有噪声loss曲线不像全量那么平滑但整体下降更快。我一般把batch_size设为32或64再配合下面这个早停技巧能省不少调参时间。6.2 早停用验证集决定何时停训练轮次是另一个容易拍脑袋的超参数。轮次太少欠拟合太多过拟合。常见做法是从训练集再切一部分做验证集每个epoch后在验证集上算损失连续多个epoch不下降就停止训练。比如验证集loss连续20轮没有低于历史最优就break并恢复历史最优参数。这个思路叫early stopping用手写BP实现时要额外维护一份训练集和验证集的划分但代码不复杂。对房价这种小数据集早停通常能让你用“足够多”的初始化epoch把模型跑到最优而不用反复试次数。6.3 手工加特征组合BP虽然能自动学交互但给模型喂正确的信号永远比让它硬找省力。我在做房价预测时会把手头特征先做相关性粗筛再构造几个有业务含义的组合特征比如“房龄 × 房间数”能反映老房子的空间拥挤度“人均房间数 房间数 / 人口”比单人房间总数更有解释力。这些新特征先拼进X再一起标准化。特征维度从8涨到10隐藏节点可以适当从16涨到24测试MAE往往比纯用原始特征要低一些。做这些尝试时记得每次都在训练集上重新fit scaler。我自己跑这个项目最深的教训是先检查输出层激活函数和数据泄漏再去调学习率和隐藏层大小——方向错了后面所有调参都是白费。希望帮到你愿你跑出来的房价预测曲线比自己家小区的涨幅更稳。本文还有配套的精品资源点击获取 
长河君 · 2026/10/25 16:23:57 · 阅读 1.2k BP神经网络实现房价预测：反向传播原理与Python手写实践
简介面向机器学习初学者与回归预测实践者的 BP 神经网络 Python 项目基于波士顿房价预测这一经典数据科学案例从 housing.csv 读取数据完成特征预处理、网络结构定义、前向传播计算、方差损失函数反向传播更新直至模型评估与预测适合课程设计或入门练习。压缩包共 2 个文件整体仅 8KB包含 pred_nn.py 训练脚本与 housing.csv 数据文件数据集列出犯罪率、房间数量等十四个特征及中位房价目标值便于直接开展回归实验。目前已有 21731 人学习下载。脚本代码注释清晰、结构紧凑完整呈现随机权重初始化、标准化处理、多轮迭代训练与均方误差、R 方指标计算读者可对照代码理解误差反向传播与梯度下降机制也可直接将数据集替换为自有数据迁移应用到其他回归预测场景实现举一反三。1. 房价预测的BP神经网络为什么不用线性回归而选它当你准备用Python拆解房价预测时第一个念头往往是先跑一个线性回归看看。可房价和面积、位置、房龄的关系并不是一条直线刚需房和豪宅的每平米单价差很远线性模型很难表达这种拐弯的变化。BP神经网络反向传播神经网络靠隐藏层里的非线性激活函数可以把特征重新组合成高维映射所以它是这类回归问题里比线性回归更常用的起点。下面这篇笔记从零手写BP网络用加州房价数据跑通训练和预测把网络结构、学习率、归一化这些关键点的坑一并讲清。适合正在学BP的初学者也适合想脱离框架理解反向传播的工程师全篇只需要numpy、scikit-learn和matplotlib不需要先装任何深度学习框架。2. BP神经网络核心从神经元到反向传播给房价预测搭骨架2.1 神经元与网络结构输入层、隐藏层、输出层的数量怎么定一个神经元做的事情很朴素把输入加权求和加上偏置再过激活函数。单个神经元解决不了非线性问题把多个神经元并排放成一层再把层串起来就是神经网络。以加州房价为例每个样本有8个特征那么输入层就有8个节点输出层要预测一个连续房价所以是1个节点。中间的隐藏层负责学习特征之间的组合关系比如“房龄大但面积大”这种交互效应。万能逼近定理告诉我们一个隐藏层就能以任意精度逼近连续函数所以手写BP通常从单隐藏层起步。隐藏层节点数没有定论。常见经验值是取输入特征数的1.5到2倍或者取(输入输出)/2向上取整。我一般会先用8个特征、16个隐藏节点的配置跑通再逐次翻倍对比测试集误差。隐藏节点少了模型欠拟合训练集loss都降不下去隐藏节点多了模型开始背诵训练数据测试集误差反而上涨。房价数据集一般只有几万条样本盲目加深网络不如把单层调好深网络在这里更容易过拟合收敛也更慢。2.2 激活函数与损失函数回归任务不能照搬分类的ReLU交叉熵分类任务里隐藏层常用ReLU输出层用softmax损失用交叉熵。这套组合搬到回归任务上会出事输出层若是sigmoid输出被限制在0到1之间而标准化后的房价有正有负模型连负值都输出不了若是ReLU输出永远非负同样会限制表达范围。所以回归问题输出层必须用线性激活也就是不套任何激活函数让神经元加权和直接作为预测值。隐藏层激活函数可以在sigmoid、tanh和ReLU里选。手写BP时sigmoid公式最简单但它的导数最大只有0.25多层叠加会出现梯度衰减单隐藏层时这个影响不大因此教学实现常选sigmoid。损失用均方误差MSE公式是loss mean((pred - y)^2)。为什么不用平均绝对误差MSE可导且对大误差更敏感梯度形式简单配合线性输出层时对输出的梯度正好是pred - y这让反向传播写起来很直观。2.3 数据预处理房价特征量纲差异大归一化是第一步房价数据的特征量纲差异极大平均收入只有个位数房间总数可能到几十人口从几百到几万而房价中位数更是动辄几十万美元。如果不处理数值大的特征会在加权和里占绝对主导权重更新时梯度方向也被它们带偏模型很难学到合理的权重组合。常见做法是标准化让每个特征的均值变成0、标准差变成1公式是x (x - mean) / std。用一个StandardScaler就能完成。但要注意scaler只能从训练集计算均值和标准差然后再用这组参数去transform训练集和测试集。缩小数据集做演示正确代码如下from sklearn.preprocessing import StandardScaler scaler StandardScaler() # 只对训练集 fit统计训练集的均值和标准差 scaler.fit(X_train) X_train_scaled scaler.transform(X_train) # 测试集复用同一组参数不能重新 fit X_test_scaled scaler.transform(X_test)如果写成scaler.fit(X_all)之后再transform测试集的分布信息已经混进了均值与标准差相当于把测试集的“答案”提前告诉了训练流程后续评估指标会虚高。这是整个BP流程里最容易踩、也最容易被忽视的一步。还有目标变量房价y同样建议标准化但评估时要还原成原始房价这个细节后面第3章和第5章会再展开。2.4 反向传播的四行核心公式从输出误差倒推权重更新BP的训练就是不断做两件事前向传播算预测反向传播算梯度。梯度下降更新权重W W - lr * dW只要求出每个权重的梯度dW训练就有了方向。求dW依赖链式法则输出层的误差先算出来再逐层乘以激活函数的导数把误差“传”回前一层。记隐藏层加权和为z1激活后为a1输出层加权和为z2也就是预测值。反向传播的四个核心公式写成代码就是下面几行# 反向传播四行核心m为当前样本数 d_z2 (a2 - y) / m # 输出层误差对应 dL/dz2 d_W2 a1.T.dot(d_z2) # 隐藏层到输出层的权重梯度 d_z1 d_z2.dot(W2.T) * a1 * (1 - a1) # 误差传回隐藏层a1*(1-a1)是sigmoid导数 d_W1 X.T.dot(d_z1) # 输入层到隐藏层的权重梯度这里a1*(1-a1)是把链式法则接在sigmoid导数的结果上。如果你把隐藏层换成tanh或ReLU这一行就要换成对应的导数tanh的导数是1 - a^2ReLU的导数是a0时为1否则为0。理解了这四行后面写BP类就只剩工程化封装了。3. 用Python实现BP神经网络数据准备、网络定义与训练循环3.1 准备数据集读取、划分与标准化加州房价数据集在sklearn里一行就能加载返回8个特征和连续房价。先切分再标准化顺序不能反。下面是数据准备代码import numpy as np from sklearn.datasets import fetch_california_housing from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler data fetch_california_housing() X data.data # 8个特征收入、房龄、房间数等 y data.target.reshape(-1, 1) # 房价单位是十万美元2.0代表20万美元 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) scaler_x StandardScaler().fit(X_train) X_train_s scaler_x.transform(X_train) X_test_s scaler_x.transform(X_test) scaler_y StandardScaler().fit(y_train) y_train_s scaler_y.transform(y_train) y_test_s scaler_y.transform(y_test) print(X_train_s.shape, X_test_s.shape) # (16512, 8) (4128, 8)注意fetch_california_housing返回的target是(20640,)reshape(-1,1)是为了让y作为列向量参与矩阵运算。y也做标准化的原因和X一样房价数值在数十万美元级别直接当输出会让梯度量纲偏大收敛不稳。训练完成后用scaler_y.inverse_transform把预测还原到原始房价单位。print形状可以确认数据份数训练集16512条测试集4128条。3.2 定义BPNetwork类前向传播与反向传播手写BP不需要框架一个类就够。类里保存权重和偏置实现sigmoid、前向、反向和训练。代码不长但每一步都对应前一章的公式class BPNetwork: def __init__(self, n_input, n_hidden, n_output, lr0.01): # 权重初始化为小随机数不能太大 self.W1 np.random.randn(n_input, n_hidden) * 0.1 self.b1 np.zeros((1, n_hidden)) self.W2 np.random.randn(n_hidden, n_output) * 0.1 self.b2 np.zeros((1, n_output)) self.lr lr def sigmoid(self, x): return 1 / (1 np.exp(-x)) def sigmoid_derivative(self, a): return a * (1 - a) def forward(self, X): self.z1 np.dot(X, self.W1) self.b1 self.a1 self.sigmoid(self.z1) self.z2 np.dot(self.a1, self.W2) self.b2 self.a2 self.z2 # 输出层线性激活 return self.a2 def backward(self, X, y, output): m X.shape[0] d_z2 (output - y) / m d_W2 np.dot(self.a1.T, d_z2) d_b2 np.sum(d_z2, axis0, keepdimsTrue) # 误差从输出层传回隐藏层 d_a1 np.dot(d_z2, self.W2.T) d_z1 d_a1 * self.sigmoid_derivative(self.a1) d_W1 np.dot(X.T, d_z1) d_b1 np.sum(d_z1, axis0, keepdimsTrue) self.W2 - self.lr * d_W2 self.b2 - self.lr * d_b2 self.W1 - self.lr * d_W1 self.b1 - self.lr * d_b1 def train(self, X, y, epochs): loss_history [] for epoch in range(epochs): output self.forward(X) loss np.mean((output - y) ** 2) self.backward(X, y, output) loss_history.append(loss) if epoch % 100 0: print(fepoch {epoch}, loss {loss:.4f}) return loss_history def predict(self, X): return self.forward(X)权重用np.random.randn * 0.1目的是让初始权重落在比较小的范围避免输入经过加权和后太大使sigmoid进入饱和区。偏置初始化为0没问题。forward里把中间量self.z1、self.a1、self.z2缓存下来因为backward要用。backward里的d_z2没有乘2是把MSE求导的系数2吸收进学习率了效果相同。train方法走的是全量梯度下降每个epoch都拿全部训练样本算一次梯度再更新对一万多条的房价数据足够用。3.3 训练循环与损失曲线创建网络前先固定随机种子保证结果可复现。然后训练500轮画出loss曲线np.random.seed(42) network BPNetwork( n_inputX_train_s.shape[1], n_hidden16, n_output1, lr0.01 ) loss_hist network.train(X_train_s, y_train_s, epochs500) import matplotlib.pyplot as plt plt.plot(loss_hist) plt.xlabel(epoch) plt.ylabel(MSE) plt.title(Training Loss) plt.show()如果训练过程正常loss会从接近1的数值往下走前200轮下降明显后面变缓。全量梯度下降在数据量不大时很稳定但注意你的机器如果跑500轮偏慢可以把epochs调成200不影响后面评估。欠拟合时loss曲线会一直高过拟合时训练loss很低但测试误差高这里先看训练曲线找感觉。3.4 评估模型反归一化与MAE/RMSE训练完必须把预测值从标准化空间还原成真实房价再计算误差。直接在标准化空间算MAE会得到很夸张的数字没有业务意义。正确评估代码y_pred_s network.predict(X_test_s) y_pred scaler_y.inverse_transform(y_pred_s) y_test_orig scaler_y.inverse_transform(y_test_s) mae np.mean(np.abs(y_pred - y_test_orig)) rmse np.sqrt(np.mean((y_pred - y_test_orig) ** 2)) print(fMAE: {mae:.4f} (十万美元)) print(fRMSE: {rmse:.4f} (十万美元))注意y_test_s是标准化后的测试标签inverse_transform还原后才是真实房价。套用这个流程手写单隐藏层BP在加州房价上的MAE通常在0.5左右也就是5万美元上下。这个结果比线性回归略好但跟梯度提升树还有差距毕竟BP用这么简单的结构能做到这个程度已经很不错。想要更低误差后面第6章的Mini-batch和特征组合可以试试。4. 训练过程监控与调参学习率、隐藏层神经元数、过拟合4.1 学习率对收敛的影响先跑0.1、0.01、0.001学习率是手写BP里第一个要调的超参数。它决定每一步权重更新的步伐大小太大震荡甚至发散太小则慢得让人失去耐心。可以在同一份数据上分别用0.1、0.01、0.001训练观察loss曲线for lr in [0.1, 0.01, 0.001]: np.random.seed(42) net BPNetwork(X_train_s.shape[1], 16, 1, lrlr) losses net.train(X_train_s, y_train_s, epochs300) plt.plot(losses, labelflr{lr}) plt.legend() plt.xlabel(epoch) plt.ylabel(MSE) plt.show()实际跑下来lr0.1时loss会在早期冲高出现明显震荡有时甚至nanlr0.01下降平稳是稳妥起点lr0.001下降很慢300轮还停在较高的loss。调参时我习惯先固定epochs300用0.01跑一遍如果loss曲线抖动就降到0.005或0.003如果下降太慢就试0.02。手写BP没有自适应学习率机制所以这个参数的影响比用Keras时更直接。4.2 隐藏层神经元数与过拟合从4到64的验证隐藏层把网络容量撑起来但容量不是免费的。分别试试4、16、32、64个隐藏节点训练后同时看训练集和测试集MAEdef evaluate_mae(net): pred_train scaler_y.inverse_transform(net.predict(X_train_s)) pred_test scaler_y.inverse_transform(net.predict(X_test_s)) train_mae np.mean(np.abs(pred_train - y_train)) test_mae np.mean(np.abs(pred_test - y_test)) return train_mae, test_mae for h in [4, 16, 32, 64]: np.random.seed(42) net BPNetwork(X_train_s.shape[1], h, 1, lr0.01) net.train(X_train_s, y_train_s, epochs300) train_mae, test_mae evaluate_mae(net) print(fhidden{h:2d}, train_MAE{train_mae:.4f}, test_MAE{test_mae:.4f})通常hidden4时训练和测试误差都偏高欠拟合。hidden16时测试误差开始下降。hidden64时训练误差继续下降但测试误差可能不再降甚至回升这就是过拟合。识别过拟合的简单标尺训练MAE明显低于测试MAE且两者差距随节点数增大而拉大。遇到这种情况减少隐藏节点、增加L2正则化、或者用早停都比硬调epochs管用。4.3 评估指标的意义MAE和RMSE怎么看MAE是平均绝对值误差单位就是房价单位最直观。RMSE对大误差更敏感一个样本差10万会把RMSE拉高很多所以RMSE通常比MAE大。如果两者接近说明各样本误差较均匀如果RMSE比MAE大很多说明少数样本预测得很差比如豪宅样本。对于加州房价target中位数在2左右也就是20万美元MAE0.5意味着平均判断偏差5万美元这对粗略估算是合理的但离精确估值还差得远。在实际项目中我会同时打印MAE和RMSE再看一下预测值与真实值的散点图点越贴近45度线说明模型越准。如果散点图在高端房价区域散开说明高房价样本没有学好需要补充特征或提高高价值样本的权重。5. 房价预测BP神经网络的避坑指南五个常见翻车现场5.1 特征缩放的数据泄漏测试集凭空变好现象对全量X做StandardScaler().fit_transform再切分跑出来的测试MAE比训练还低但把模型拿到新数据上预测时效果差很多。原因是scaler在切分前看到了测试集的均值和标准差测试集的分布信息混进了训练流程这叫数据泄漏。解决先切分再只对训练集fit测试集用同一个scaler.transform代码就是第3章的写法。这个坑在Kaggle比赛里是红线在自己调参时也容易犯因为管道写起来更顺手但评估结果会骗人。5.2 输出层用了sigmoid预测结果全在0~1现象训练loss下降正常但反归一化后预测房价几乎都集中在同一个值而且明显偏离真实房价。原因是输出层backward里的self.a2被包了一层sigmoid把输出限制在(0,1)标准化后的房价有正有负模型输出永远大于0且小于1无法表达负值最后只能学一个折中常数。解决让输出层线性激活forward里直接self.a2 self.z2。这也是为什么回归任务不能把分类任务的输出层激活函数照搬过来的最典型例子。5.3 初始化权重太大loss卡住不动现象把np.random.randn直接赋给W1不乘0.1训练开始loss就在高位几百轮几乎不降。原因是输入特征标准差为1但特征数量多加权和后数值很容易超过3sigmoid陷入饱和区导数趋近于0梯度消失权重更新量极小。解决权重初始化乘以0.1或0.01或者把sigmoid换成tanhtanh零中心且导数在0附近是1饱和问题会缓解。手写BP最稳的组合是“标准化输入 小随机权重 sigmoid”。5.4 不固定随机种子同一份代码两次结果完全不同现象两次运行代码得到不同的loss曲线和MAE有时差距超过20%。原因有两个train_test_split不传random_state每次切分的数据不同权重初始化是随机数每次网络起点不同。解决在import后固定np.random.seed(42)train_test_split里也要写random_state42。注意先设置seed再创建网络因为BPNetwork的__init__里会调用randn。固定种子后同一环境跑出来的结果完全可复现这对调参和写文章都重要。5.5 忘记对y反归一化评估指标高得离谱现象训练的时候loss降得很漂亮但打印MAE得到1.8甚至更大比直接用训练集均值预测还差。原因是拿标准化后的y_pred_s和y_test_s直接算MAE标准化后的房价分布是均值为0、方差为1误差1.0已经是大错换算回原尺度就是十万美元级别。解决评估和业务汇报必须用真实房价单位用scaler_y.inverse_transform把预测和标签都还原。注意inverse_transform要求输入是二维数组predict返回的形状通常是(n,1)不需要再reshape成(n,)。6. 进阶把BP用于更大房价数据的三个技巧6.1 用Mini-batch梯度下降替代全量全量梯度下降每次更新要算完所有样本数据量上万时还能接受但特征变多、网络变宽后就会明显变慢。Mini-batch把训练集按batch_size切成小份每份算一次梯度并更新权重。这样更新频率高收敛更快也有一定正则效果。修改train方法很直接在每轮epoch里先打乱索引再分batch迭代。def train_minibatch(self, X, y, epochs, batch_size32): m X.shape[0] for epoch in range(epochs): idx np.random.permutation(m) X_shuffle, y_shuffle X[idx], y[idx] for i in range(0, m, batch_size): Xb X_shuffle[i:ibatch_size] yb y_shuffle[i:ibatch_size] output self.forward(Xb) loss np.mean((output - yb) ** 2) self.backward(Xb, yb, output)用batch_size32时backward里的m就是32梯度方向会有噪声loss曲线不像全量那么平滑但整体下降更快。我一般把batch_size设为32或64再配合下面这个早停技巧能省不少调参时间。6.2 早停用验证集决定何时停训练轮次是另一个容易拍脑袋的超参数。轮次太少欠拟合太多过拟合。常见做法是从训练集再切一部分做验证集每个epoch后在验证集上算损失连续多个epoch不下降就停止训练。比如验证集loss连续20轮没有低于历史最优就break并恢复历史最优参数。这个思路叫early stopping用手写BP实现时要额外维护一份训练集和验证集的划分但代码不复杂。对房价这种小数据集早停通常能让你用“足够多”的初始化epoch把模型跑到最优而不用反复试次数。6.3 手工加特征组合BP虽然能自动学交互但给模型喂正确的信号永远比让它硬找省力。我在做房价预测时会把手头特征先做相关性粗筛再构造几个有业务含义的组合特征比如“房龄 × 房间数”能反映老房子的空间拥挤度“人均房间数 房间数 / 人口”比单人房间总数更有解释力。这些新特征先拼进X再一起标准化。特征维度从8涨到10隐藏节点可以适当从16涨到24测试MAE往往比纯用原始特征要低一些。做这些尝试时记得每次都在训练集上重新fit scaler。我自己跑这个项目最深的教训是先检查输出层激活函数和数据泄漏再去调学习率和隐藏层大小——方向错了后面所有调参都是白费。希望帮到你愿你跑出来的房价预测曲线比自己家小区的涨幅更稳。本文还有配套的精品资源点击获取