简介这份资源面向想入门神经网络回归预测的Python学习者与数据科学初学者以经典的波士顿房价数据集为案例完整演示如何用BP神经网络完成房价预测任务。压缩包共2个文件包含1个py脚本与1个csv数据文件整体约8KB其中csv提供14个特征与中位房价目标变量py脚本则承载前向传播、反向传播与权重更新的核心逻辑。代码以方差作为损失函数涵盖数据读取与预处理、网络结构定义、前向计算、梯度反向更新、迭代训练及测试集评估等环节并可能输出均方误差、决定系数等指标帮助读者理解回归预测的完整流程。目前已有21746人学习下载适合作为深度学习入门练手项目也可在此基础上调整隐藏层结构、学习率与迭代次数观察模型收敛与预测精度的变化。1. 房价预测的BP神经网络为什么一个三层的网络就能拟合非线性关系很多人第一次接触神经网络回归任务时都会有一个疑问房价和面积、房龄、地段这些特征之间的关系明明不是一条直线能描述的为什么一个只有输入层、一个隐藏层、一个输出层的BP网络就能把它拟合得不错更反直觉的是这个网络里没有任何一条规则是人为写死的——没有人告诉它“面积每增加10平米价格大约涨多少”它完全靠自己从数据里把这种非线性关系“磨”出来。这背后的核心机制就是反向传播Backpropagation加上隐藏层的非线性激活函数。没有隐藏层整个网络等价于一个线性回归有了隐藏层和非线性激活网络就变成了一个万能函数逼近器。房价预测这个场景恰好是理解这套机制的绝佳载体输入维度不高、特征含义直观、输出是连续值整个前向传播和反向传播的过程都能用手算验证。搞懂了这个最小的回归网络再去理解深层网络、卷积网络底层逻辑是一脉相承的。2. 前向传播与反向传播一次预测到底经历了什么2.1 从特征到预测值前向传播的矩阵运算假设我们有一个极简的房价数据集每条样本有三个特征面积、房龄、到市中心的距离。网络结构定为 3-5-1即输入层3个节点、隐藏层5个节点、输出层1个节点。前向传播的过程用矩阵形式写出来非常简洁import numpy as np # 输入数据3个特征batch_size4 X np.array([[100, 5, 10], [80, 10, 20], [120, 3, 5], [60, 15, 30]]) # shape: (4, 3) # 第一层权重和偏置输入层到隐藏层 W1 np.random.randn(3, 5) * 0.1 # shape: (3, 5) b1 np.zeros((1, 5)) # shape: (1, 5) # 第二层权重和偏置隐藏层到输出层 W2 np.random.randn(5, 1) * 0.1 # shape: (5, 1) b2 np.zeros((1, 1)) # shape: (1, 1) # 前向传播 Z1 np.dot(X, W1) b1 # 线性变换shape: (4, 5) A1 np.maximum(0, Z1) # ReLU激活shape: (4, 5) Z2 np.dot(A1, W2) b2 # 输出层线性变换shape: (4, 1) y_pred Z2 # 回归任务输出层不加激活函数这段代码里最关键的一行是A1 np.maximum(0, Z1)。ReLU 激活函数把所有负值截断为零正是这个看似简单的操作赋予了网络非线性表达能力。如果没有它Z2 np.dot(np.dot(X, W1), W2)可以合并成一个线性变换整个网络就退化成了线性回归。权重矩阵的形状设计也有讲究。W1的形状是(3, 5)表示每个输入特征对每个隐藏层节点都有一个独立的权重。np.dot(X, W1)的结果形状是(4, 5)即每个样本在每个隐藏节点上都有一个激活值。这种“全连接”的结构意味着每个隐藏节点都能看到所有输入特征从而学习特征之间的交互关系。2.2 损失函数与梯度反向传播到底在算什么前向传播得到预测值之后我们需要一个标量来衡量预测的好坏。房价预测是回归任务最常用的是均方误差MSE# 真实房价 y_true np.array([[500], [350], [600], [280]]) # shape: (4, 1) # MSE损失 loss np.mean((y_pred - y_true) ** 2)反向传播的目标是计算损失函数对每个参数的偏导数即梯度。以W2为例根据链式法则# 反向传播手动推导版 batch_size X.shape[0] # 输出层梯度 dZ2 2 * (y_pred - y_true) / batch_size # shape: (4, 1) dW2 np.dot(A1.T, dZ2) # shape: (5, 1) db2 np.sum(dZ2, axis0, keepdimsTrue) # shape: (1, 1) # 隐藏层梯度 dA1 np.dot(dZ2, W2.T) # shape: (4, 5) dZ1 dA1 * (Z1 0) # ReLU的导数shape: (4, 5) dW1 np.dot(X.T, dZ1) # shape: (3, 5) db1 np.sum(dZ1, axis0, keepdimsTrue) # shape: (1, 5)dZ1 dA1 * (Z1 0)这一行是 ReLU 反向传播的精髓前向传播时输入大于零的节点梯度原样传回输入小于等于零的节点梯度直接归零。这就是为什么 ReLU 能缓解梯度消失问题——它不像 Sigmoid 那样在两端把梯度压缩到接近零。dW2 np.dot(A1.T, dZ2)这个矩阵乘法做的事情是把每个样本的隐藏层激活值与其输出误差相乘再求和。直观理解就是如果某个隐藏节点的激活值很大而输出误差也很大那么这个节点对误差的“贡献”就大它的权重就应该被调整得更多。这就是梯度下降的物理含义。2.3 参数更新学习率如何决定每一步走多远拿到梯度之后参数更新就是一行代码的事learning_rate 0.01 W2 - learning_rate * dW2 b2 - learning_rate * db2 W1 - learning_rate * dW1 b1 - learning_rate * db1学习率的选择是一个典型的工程取舍。设得太小损失下降慢如蜗牛训练可能需要几万轮设得太大损失会在最小值附近震荡甚至发散。常见的做法是从 0.01 或 0.001 开始试观察损失曲线的形态。如果损失曲线呈现明显的震荡说明学习率偏大如果损失曲线几乎是一条平缓的直线说明学习率偏小。在实际的房价预测任务中特征尺度差异很大——面积可能是几十到几百房龄是个位数距离可能是几公里到几十公里。如果不做归一化面积对应的梯度会远大于房龄对应的梯度导致参数更新步长严重不平衡。常见的实现思路是对每个特征做标准化使其均值为零、方差为一这样梯度下降的收敛路径会更接近各向同性收敛速度显著提升。3. 用 NumPy 从零搭建一个可运行的房价预测网络3.1 数据准备与特征工程真实的房价数据往往包含缺失值、异常值和类别型特征。在从零实现的版本中我们需要先处理这些问题。以下是一个模拟的数据准备流程import numpy as np def normalize(X): 对特征做标准化减去均值除以标准差 mean np.mean(X, axis0) std np.std(X, axis0) return (X - mean) / (std 1e-8), mean, std def generate_data(n_samples1000): 生成模拟房价数据面积、房龄、距离 - 价格 np.random.seed(42) area np.random.uniform(50, 200, n_samples) # 面积 50-200 平米 age np.random.uniform(0, 30, n_samples) # 房龄 0-30 年 distance np.random.uniform(1, 50, n_samples) # 距离 1-50 公里 # 价格由非线性关系生成加入噪声 price (5000 * area - 3000 * age - 2000 * distance 50 * area * (age 5) # 新房有额外溢价 np.random.randn(n_samples) * 5000) price price / 10000 # 单位万元 X np.stack([area, age, distance], axis1) y price.reshape(-1, 1) return X, y X, y generate_data() X_norm, X_mean, X_std normalize(X) y_mean, y_std np.mean(y), np.std(y) y_norm (y - y_mean) / y_std这里对输入和输出都做了标准化。输入标准化是为了梯度下降的稳定性输出标准化是为了让损失函数的数值范围更合理。注意area * (age 5)这一项——它模拟了“新房溢价”这种非线性交互效应线性模型很难捕捉到这种关系而带隐藏层的神经网络可以。3.2 网络类的完整实现把前向传播、反向传播和参数更新封装成一个类结构会更清晰class BPNeuralNetwork: def __init__(self, input_size, hidden_size, output_size, lr0.01): # He初始化适合ReLU激活函数 self.W1 np.random.randn(input_size, hidden_size) * np.sqrt(2.0 / input_size) self.b1 np.zeros((1, hidden_size)) self.W2 np.random.randn(hidden_size, output_size) * np.sqrt(2.0 / hidden_size) self.b2 np.zeros((1, output_size)) self.lr lr def forward(self, X): self.Z1 np.dot(X, self.W1) self.b1 self.A1 np.maximum(0, self.Z1) # ReLU self.Z2 np.dot(self.A1, self.W2) self.b2 return self.Z2 def backward(self, X, y_true, y_pred): m X.shape[0] # 输出层梯度 dZ2 2 * (y_pred - y_true) / m dW2 np.dot(self.A1.T, dZ2) db2 np.sum(dZ2, axis0, keepdimsTrue) # 隐藏层梯度 dA1 np.dot(dZ2, self.W2.T) dZ1 dA1 * (self.Z1 0) # ReLU导数 dW1 np.dot(X.T, dZ1) db1 np.sum(dZ1, axis0, keepdimsTrue) # 参数更新 self.W2 - self.lr * dW2 self.b2 - self.lr * db2 self.W1 - self.lr * dW1 self.b1 - self.lr * db1 def train(self, X, y, epochs5000, print_every500): losses [] for epoch in range(epochs): y_pred self.forward(X) loss np.mean((y_pred - y) ** 2) losses.append(loss) self.backward(X, y, y_pred) if epoch % print_every 0: print(fEpoch {epoch}, Loss: {loss:.6f}) return lossesHe初始化中np.sqrt(2.0 / input_size)这个缩放因子的作用是保持前向传播时每一层的输出方差大致相同。如果权重初始化得太大激活值会逐层放大最终导致梯度爆炸如果太小激活值会逐层缩小导致梯度消失。He 初始化专门针对 ReLU 激活函数设计比简单的np.random.randn * 0.01更稳定。3.3 训练过程与损失曲线分析用模拟数据跑一遍训练model BPNeuralNetwork(input_size3, hidden_size8, output_size1, lr0.05) losses model.train(X_norm, y_norm, epochs3000, print_every500) # 预测并反标准化 y_pred_norm model.forward(X_norm) y_pred y_pred_norm * y_std y_mean训练过程中损失曲线的形态能告诉我们很多信息。如果损失在前几百轮快速下降然后趋于平缓说明学习率合适、网络容量足够。如果损失下降过程中出现明显的锯齿状波动通常是学习率偏大。如果损失几乎不下降可能是初始化有问题或者学习率太小。隐藏层节点数的选择也是一个需要实验的参数。节点太少网络欠拟合损失降不下去节点太多网络容易过拟合训练集损失很低但验证集损失很高。对于这个三特征的房价预测任务隐藏层节点数在 5 到 20 之间通常都能取得不错的效果。常见的做法是先用一个较小的网络快速验证流程是否跑通再逐步增加容量观察验证集表现。4. 避坑与排查从零实现 BP 网络时最容易翻车的几个地方4.1 损失不下降反而变成 NaN现象训练开始几轮后损失突然变成nan后续所有输出都是nan。原因学习率过大导致参数更新步长太大权重数值爆炸前向传播的输出溢出浮点数范围。另一种可能是数据没有做标准化某些特征的数值范围极大导致梯度本身就已经溢出。解决先把学习率降低一个数量级比如从 0.1 降到 0.01确认损失能正常下降后再逐步调大。同时检查输入数据是否做了标准化确保每个特征的均值和标准差在合理范围内。如果问题依旧可以在反向传播中加梯度裁剪把梯度的范数限制在一个阈值以内。4.2 损失下降但预测值全部偏向均值现象训练损失在下降但模型对所有样本的预测值都接近训练集标签的均值完全没有区分度。原因隐藏层的激活函数出了问题。如果错误地在隐藏层使用了恒等映射即没有激活函数整个网络退化为线性模型而房价和特征之间的关系是非线性的线性模型的最优解就是预测均值。另一种可能是隐藏层节点数太少网络容量不足以拟合非线性关系。解决确认隐藏层使用了非线性激活函数ReLU、Sigmoid、Tanh 均可。检查隐藏层节点数是否过少对于三特征的房价预测任务隐藏层至少需要 5 个节点。如果数据中的非线性关系很强可以适当增加到 10 到 20 个节点。4.3 训练集表现好但验证集表现差现象训练集上的损失降到了很低但验证集上的损失远高于训练集预测新样本时误差很大。原因过拟合。网络容量相对于数据量来说太大或者训练轮数过多网络把训练集中的噪声也学到了。解决减少隐藏层节点数或者增加训练数据量。另一种有效的手段是早停——在验证集损失开始上升时停止训练。如果数据量确实有限可以考虑加入 L2 正则化在损失函数中加上权重的平方和乘以一个正则化系数抑制权重变得过大。4.4 梯度计算错误导致训练方向反了现象损失不降反升而且上升速度很快。原因反向传播中梯度的符号搞反了。参数更新时应该是W - lr * dW如果写成了W lr * dW就变成了梯度上升损失会越来越大。解决检查参数更新的符号。一个简单的验证方法是做梯度检验用数值微分计算梯度的近似值与反向传播计算的梯度对比如果符号相反或数值差异很大说明反向传播的实现有误。数值微分的公式是(loss(W eps) - loss(W - eps)) / (2 * eps)其中eps取一个很小的值如1e-5。4.5 输出层错误地加了激活函数现象模型预测值始终被限制在某个范围内比如 0 到 1 之间无法拟合真实房价的数值范围。原因在回归任务的输出层使用了 Sigmoid 或 Tanh 激活函数。Sigmoid 的输出范围是 (0, 1)Tanh 的输出范围是 (-1, 1)都会把预测值压缩到一个固定区间内。解决回归任务的输出层不加激活函数直接使用线性输出。如果希望输出值恒为正可以使用 ReLU 或 Softplus但房价预测中通常不需要这个限制因为标准化后的标签可能有正有负。5. 从手写梯度到自动微分这个网络还能怎么改手写反向传播的价值在于它逼着你把链式法则的每一步都搞清楚。但当你把隐藏层从一层加到三层、把激活函数从 ReLU 换成 Swish、把损失函数从 MSE 换成 Huber 的时候手写梯度的维护成本会急剧上升。这时候就需要考虑自动微分了。自动微分的核心思想是把前向传播的每一步操作都记录下来形成一个计算图然后沿着计算图反向遍历用链式法则自动计算梯度。PyTorch 和 TensorFlow 都是这么做的。用 PyTorch 重写这个房价预测网络代码量会大幅减少import torch import torch.nn as nn class HousePriceNet(nn.Module): def __init__(self, input_size, hidden_size): super().__init__() self.fc1 nn.Linear(input_size, hidden_size) self.relu nn.ReLU() self.fc2 nn.Linear(hidden_size, 1) def forward(self, x): x self.fc1(x) x self.relu(x) x self.fc2(x) return x model HousePriceNet(3, 8) optimizer torch.optim.Adam(model.parameters(), lr0.01) criterion nn.MSELoss() # 训练循环 for epoch in range(3000): pred model(X_tensor) loss criterion(pred, y_tensor) optimizer.zero_grad() loss.backward() # 自动计算所有梯度 optimizer.step() # 自动更新所有参数loss.backward()这一行替代了我们手写的整个反向传播过程。optimizer.step()替代了手写的参数更新。Adam 优化器比朴素的梯度下降多了动量项和自适应学习率通常收敛更快对学习率的敏感度也更低。但自动微分不是银弹。当你需要自定义一个 PyTorch 没有提供的操作时仍然需要手动实现它的前向和反向传播并用torch.autograd.Function包装起来。这时候手写反向传播的经验就派上用场了——你知道梯度应该长什么样知道哪里容易出错知道怎么用数值微分做验证。另一个值得关注的改进方向是特征工程。在这个三特征的基础上可以加入特征的交叉项比如面积乘以房龄、多项式项面积的平方、以及独热编码的类别特征地段等级。这些人工构造的特征能让网络在更少的参数下达到更好的效果。但特征工程和网络容量之间存在权衡特征工程做得好网络可以更小、训练更快、更不容易过拟合特征工程做得粗糙就需要更大的网络来弥补但过拟合的风险也随之上升。我自己的习惯是每次从零实现一个网络之后都会用 PyTorch 的自动微分版本跑一遍同样的数据对比两者的损失曲线。如果手写版本的损失下降速度和最终值都接近自动微分版本说明反向传播的实现是正确的。这个对比过程帮我抓出过好几次梯度符号写反、激活函数导数写错的 bug。从那以后我每次手写反向传播都会强制走一遍梯度检验和自动微分对比再也不敢凭感觉判断对错了。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/21 13:48:18 · 阅读 1.2k 从零实现BP神经网络：房价预测中的前向传播与反向传播详解
简介这份资源面向想入门神经网络回归预测的Python学习者与数据科学初学者以经典的波士顿房价数据集为案例完整演示如何用BP神经网络完成房价预测任务。压缩包共2个文件包含1个py脚本与1个csv数据文件整体约8KB其中csv提供14个特征与中位房价目标变量py脚本则承载前向传播、反向传播与权重更新的核心逻辑。代码以方差作为损失函数涵盖数据读取与预处理、网络结构定义、前向计算、梯度反向更新、迭代训练及测试集评估等环节并可能输出均方误差、决定系数等指标帮助读者理解回归预测的完整流程。目前已有21746人学习下载适合作为深度学习入门练手项目也可在此基础上调整隐藏层结构、学习率与迭代次数观察模型收敛与预测精度的变化。1. 房价预测的BP神经网络为什么一个三层的网络就能拟合非线性关系很多人第一次接触神经网络回归任务时都会有一个疑问房价和面积、房龄、地段这些特征之间的关系明明不是一条直线能描述的为什么一个只有输入层、一个隐藏层、一个输出层的BP网络就能把它拟合得不错更反直觉的是这个网络里没有任何一条规则是人为写死的——没有人告诉它“面积每增加10平米价格大约涨多少”它完全靠自己从数据里把这种非线性关系“磨”出来。这背后的核心机制就是反向传播Backpropagation加上隐藏层的非线性激活函数。没有隐藏层整个网络等价于一个线性回归有了隐藏层和非线性激活网络就变成了一个万能函数逼近器。房价预测这个场景恰好是理解这套机制的绝佳载体输入维度不高、特征含义直观、输出是连续值整个前向传播和反向传播的过程都能用手算验证。搞懂了这个最小的回归网络再去理解深层网络、卷积网络底层逻辑是一脉相承的。2. 前向传播与反向传播一次预测到底经历了什么2.1 从特征到预测值前向传播的矩阵运算假设我们有一个极简的房价数据集每条样本有三个特征面积、房龄、到市中心的距离。网络结构定为 3-5-1即输入层3个节点、隐藏层5个节点、输出层1个节点。前向传播的过程用矩阵形式写出来非常简洁import numpy as np # 输入数据3个特征batch_size4 X np.array([[100, 5, 10], [80, 10, 20], [120, 3, 5], [60, 15, 30]]) # shape: (4, 3) # 第一层权重和偏置输入层到隐藏层 W1 np.random.randn(3, 5) * 0.1 # shape: (3, 5) b1 np.zeros((1, 5)) # shape: (1, 5) # 第二层权重和偏置隐藏层到输出层 W2 np.random.randn(5, 1) * 0.1 # shape: (5, 1) b2 np.zeros((1, 1)) # shape: (1, 1) # 前向传播 Z1 np.dot(X, W1) b1 # 线性变换shape: (4, 5) A1 np.maximum(0, Z1) # ReLU激活shape: (4, 5) Z2 np.dot(A1, W2) b2 # 输出层线性变换shape: (4, 1) y_pred Z2 # 回归任务输出层不加激活函数这段代码里最关键的一行是A1 np.maximum(0, Z1)。ReLU 激活函数把所有负值截断为零正是这个看似简单的操作赋予了网络非线性表达能力。如果没有它Z2 np.dot(np.dot(X, W1), W2)可以合并成一个线性变换整个网络就退化成了线性回归。权重矩阵的形状设计也有讲究。W1的形状是(3, 5)表示每个输入特征对每个隐藏层节点都有一个独立的权重。np.dot(X, W1)的结果形状是(4, 5)即每个样本在每个隐藏节点上都有一个激活值。这种“全连接”的结构意味着每个隐藏节点都能看到所有输入特征从而学习特征之间的交互关系。2.2 损失函数与梯度反向传播到底在算什么前向传播得到预测值之后我们需要一个标量来衡量预测的好坏。房价预测是回归任务最常用的是均方误差MSE# 真实房价 y_true np.array([[500], [350], [600], [280]]) # shape: (4, 1) # MSE损失 loss np.mean((y_pred - y_true) ** 2)反向传播的目标是计算损失函数对每个参数的偏导数即梯度。以W2为例根据链式法则# 反向传播手动推导版 batch_size X.shape[0] # 输出层梯度 dZ2 2 * (y_pred - y_true) / batch_size # shape: (4, 1) dW2 np.dot(A1.T, dZ2) # shape: (5, 1) db2 np.sum(dZ2, axis0, keepdimsTrue) # shape: (1, 1) # 隐藏层梯度 dA1 np.dot(dZ2, W2.T) # shape: (4, 5) dZ1 dA1 * (Z1 0) # ReLU的导数shape: (4, 5) dW1 np.dot(X.T, dZ1) # shape: (3, 5) db1 np.sum(dZ1, axis0, keepdimsTrue) # shape: (1, 5)dZ1 dA1 * (Z1 0)这一行是 ReLU 反向传播的精髓前向传播时输入大于零的节点梯度原样传回输入小于等于零的节点梯度直接归零。这就是为什么 ReLU 能缓解梯度消失问题——它不像 Sigmoid 那样在两端把梯度压缩到接近零。dW2 np.dot(A1.T, dZ2)这个矩阵乘法做的事情是把每个样本的隐藏层激活值与其输出误差相乘再求和。直观理解就是如果某个隐藏节点的激活值很大而输出误差也很大那么这个节点对误差的“贡献”就大它的权重就应该被调整得更多。这就是梯度下降的物理含义。2.3 参数更新学习率如何决定每一步走多远拿到梯度之后参数更新就是一行代码的事learning_rate 0.01 W2 - learning_rate * dW2 b2 - learning_rate * db2 W1 - learning_rate * dW1 b1 - learning_rate * db1学习率的选择是一个典型的工程取舍。设得太小损失下降慢如蜗牛训练可能需要几万轮设得太大损失会在最小值附近震荡甚至发散。常见的做法是从 0.01 或 0.001 开始试观察损失曲线的形态。如果损失曲线呈现明显的震荡说明学习率偏大如果损失曲线几乎是一条平缓的直线说明学习率偏小。在实际的房价预测任务中特征尺度差异很大——面积可能是几十到几百房龄是个位数距离可能是几公里到几十公里。如果不做归一化面积对应的梯度会远大于房龄对应的梯度导致参数更新步长严重不平衡。常见的实现思路是对每个特征做标准化使其均值为零、方差为一这样梯度下降的收敛路径会更接近各向同性收敛速度显著提升。3. 用 NumPy 从零搭建一个可运行的房价预测网络3.1 数据准备与特征工程真实的房价数据往往包含缺失值、异常值和类别型特征。在从零实现的版本中我们需要先处理这些问题。以下是一个模拟的数据准备流程import numpy as np def normalize(X): 对特征做标准化减去均值除以标准差 mean np.mean(X, axis0) std np.std(X, axis0) return (X - mean) / (std 1e-8), mean, std def generate_data(n_samples1000): 生成模拟房价数据面积、房龄、距离 - 价格 np.random.seed(42) area np.random.uniform(50, 200, n_samples) # 面积 50-200 平米 age np.random.uniform(0, 30, n_samples) # 房龄 0-30 年 distance np.random.uniform(1, 50, n_samples) # 距离 1-50 公里 # 价格由非线性关系生成加入噪声 price (5000 * area - 3000 * age - 2000 * distance 50 * area * (age 5) # 新房有额外溢价 np.random.randn(n_samples) * 5000) price price / 10000 # 单位万元 X np.stack([area, age, distance], axis1) y price.reshape(-1, 1) return X, y X, y generate_data() X_norm, X_mean, X_std normalize(X) y_mean, y_std np.mean(y), np.std(y) y_norm (y - y_mean) / y_std这里对输入和输出都做了标准化。输入标准化是为了梯度下降的稳定性输出标准化是为了让损失函数的数值范围更合理。注意area * (age 5)这一项——它模拟了“新房溢价”这种非线性交互效应线性模型很难捕捉到这种关系而带隐藏层的神经网络可以。3.2 网络类的完整实现把前向传播、反向传播和参数更新封装成一个类结构会更清晰class BPNeuralNetwork: def __init__(self, input_size, hidden_size, output_size, lr0.01): # He初始化适合ReLU激活函数 self.W1 np.random.randn(input_size, hidden_size) * np.sqrt(2.0 / input_size) self.b1 np.zeros((1, hidden_size)) self.W2 np.random.randn(hidden_size, output_size) * np.sqrt(2.0 / hidden_size) self.b2 np.zeros((1, output_size)) self.lr lr def forward(self, X): self.Z1 np.dot(X, self.W1) self.b1 self.A1 np.maximum(0, self.Z1) # ReLU self.Z2 np.dot(self.A1, self.W2) self.b2 return self.Z2 def backward(self, X, y_true, y_pred): m X.shape[0] # 输出层梯度 dZ2 2 * (y_pred - y_true) / m dW2 np.dot(self.A1.T, dZ2) db2 np.sum(dZ2, axis0, keepdimsTrue) # 隐藏层梯度 dA1 np.dot(dZ2, self.W2.T) dZ1 dA1 * (self.Z1 0) # ReLU导数 dW1 np.dot(X.T, dZ1) db1 np.sum(dZ1, axis0, keepdimsTrue) # 参数更新 self.W2 - self.lr * dW2 self.b2 - self.lr * db2 self.W1 - self.lr * dW1 self.b1 - self.lr * db1 def train(self, X, y, epochs5000, print_every500): losses [] for epoch in range(epochs): y_pred self.forward(X) loss np.mean((y_pred - y) ** 2) losses.append(loss) self.backward(X, y, y_pred) if epoch % print_every 0: print(fEpoch {epoch}, Loss: {loss:.6f}) return lossesHe初始化中np.sqrt(2.0 / input_size)这个缩放因子的作用是保持前向传播时每一层的输出方差大致相同。如果权重初始化得太大激活值会逐层放大最终导致梯度爆炸如果太小激活值会逐层缩小导致梯度消失。He 初始化专门针对 ReLU 激活函数设计比简单的np.random.randn * 0.01更稳定。3.3 训练过程与损失曲线分析用模拟数据跑一遍训练model BPNeuralNetwork(input_size3, hidden_size8, output_size1, lr0.05) losses model.train(X_norm, y_norm, epochs3000, print_every500) # 预测并反标准化 y_pred_norm model.forward(X_norm) y_pred y_pred_norm * y_std y_mean训练过程中损失曲线的形态能告诉我们很多信息。如果损失在前几百轮快速下降然后趋于平缓说明学习率合适、网络容量足够。如果损失下降过程中出现明显的锯齿状波动通常是学习率偏大。如果损失几乎不下降可能是初始化有问题或者学习率太小。隐藏层节点数的选择也是一个需要实验的参数。节点太少网络欠拟合损失降不下去节点太多网络容易过拟合训练集损失很低但验证集损失很高。对于这个三特征的房价预测任务隐藏层节点数在 5 到 20 之间通常都能取得不错的效果。常见的做法是先用一个较小的网络快速验证流程是否跑通再逐步增加容量观察验证集表现。4. 避坑与排查从零实现 BP 网络时最容易翻车的几个地方4.1 损失不下降反而变成 NaN现象训练开始几轮后损失突然变成nan后续所有输出都是nan。原因学习率过大导致参数更新步长太大权重数值爆炸前向传播的输出溢出浮点数范围。另一种可能是数据没有做标准化某些特征的数值范围极大导致梯度本身就已经溢出。解决先把学习率降低一个数量级比如从 0.1 降到 0.01确认损失能正常下降后再逐步调大。同时检查输入数据是否做了标准化确保每个特征的均值和标准差在合理范围内。如果问题依旧可以在反向传播中加梯度裁剪把梯度的范数限制在一个阈值以内。4.2 损失下降但预测值全部偏向均值现象训练损失在下降但模型对所有样本的预测值都接近训练集标签的均值完全没有区分度。原因隐藏层的激活函数出了问题。如果错误地在隐藏层使用了恒等映射即没有激活函数整个网络退化为线性模型而房价和特征之间的关系是非线性的线性模型的最优解就是预测均值。另一种可能是隐藏层节点数太少网络容量不足以拟合非线性关系。解决确认隐藏层使用了非线性激活函数ReLU、Sigmoid、Tanh 均可。检查隐藏层节点数是否过少对于三特征的房价预测任务隐藏层至少需要 5 个节点。如果数据中的非线性关系很强可以适当增加到 10 到 20 个节点。4.3 训练集表现好但验证集表现差现象训练集上的损失降到了很低但验证集上的损失远高于训练集预测新样本时误差很大。原因过拟合。网络容量相对于数据量来说太大或者训练轮数过多网络把训练集中的噪声也学到了。解决减少隐藏层节点数或者增加训练数据量。另一种有效的手段是早停——在验证集损失开始上升时停止训练。如果数据量确实有限可以考虑加入 L2 正则化在损失函数中加上权重的平方和乘以一个正则化系数抑制权重变得过大。4.4 梯度计算错误导致训练方向反了现象损失不降反升而且上升速度很快。原因反向传播中梯度的符号搞反了。参数更新时应该是W - lr * dW如果写成了W lr * dW就变成了梯度上升损失会越来越大。解决检查参数更新的符号。一个简单的验证方法是做梯度检验用数值微分计算梯度的近似值与反向传播计算的梯度对比如果符号相反或数值差异很大说明反向传播的实现有误。数值微分的公式是(loss(W eps) - loss(W - eps)) / (2 * eps)其中eps取一个很小的值如1e-5。4.5 输出层错误地加了激活函数现象模型预测值始终被限制在某个范围内比如 0 到 1 之间无法拟合真实房价的数值范围。原因在回归任务的输出层使用了 Sigmoid 或 Tanh 激活函数。Sigmoid 的输出范围是 (0, 1)Tanh 的输出范围是 (-1, 1)都会把预测值压缩到一个固定区间内。解决回归任务的输出层不加激活函数直接使用线性输出。如果希望输出值恒为正可以使用 ReLU 或 Softplus但房价预测中通常不需要这个限制因为标准化后的标签可能有正有负。5. 从手写梯度到自动微分这个网络还能怎么改手写反向传播的价值在于它逼着你把链式法则的每一步都搞清楚。但当你把隐藏层从一层加到三层、把激活函数从 ReLU 换成 Swish、把损失函数从 MSE 换成 Huber 的时候手写梯度的维护成本会急剧上升。这时候就需要考虑自动微分了。自动微分的核心思想是把前向传播的每一步操作都记录下来形成一个计算图然后沿着计算图反向遍历用链式法则自动计算梯度。PyTorch 和 TensorFlow 都是这么做的。用 PyTorch 重写这个房价预测网络代码量会大幅减少import torch import torch.nn as nn class HousePriceNet(nn.Module): def __init__(self, input_size, hidden_size): super().__init__() self.fc1 nn.Linear(input_size, hidden_size) self.relu nn.ReLU() self.fc2 nn.Linear(hidden_size, 1) def forward(self, x): x self.fc1(x) x self.relu(x) x self.fc2(x) return x model HousePriceNet(3, 8) optimizer torch.optim.Adam(model.parameters(), lr0.01) criterion nn.MSELoss() # 训练循环 for epoch in range(3000): pred model(X_tensor) loss criterion(pred, y_tensor) optimizer.zero_grad() loss.backward() # 自动计算所有梯度 optimizer.step() # 自动更新所有参数loss.backward()这一行替代了我们手写的整个反向传播过程。optimizer.step()替代了手写的参数更新。Adam 优化器比朴素的梯度下降多了动量项和自适应学习率通常收敛更快对学习率的敏感度也更低。但自动微分不是银弹。当你需要自定义一个 PyTorch 没有提供的操作时仍然需要手动实现它的前向和反向传播并用torch.autograd.Function包装起来。这时候手写反向传播的经验就派上用场了——你知道梯度应该长什么样知道哪里容易出错知道怎么用数值微分做验证。另一个值得关注的改进方向是特征工程。在这个三特征的基础上可以加入特征的交叉项比如面积乘以房龄、多项式项面积的平方、以及独热编码的类别特征地段等级。这些人工构造的特征能让网络在更少的参数下达到更好的效果。但特征工程和网络容量之间存在权衡特征工程做得好网络可以更小、训练更快、更不容易过拟合特征工程做得粗糙就需要更大的网络来弥补但过拟合的风险也随之上升。我自己的习惯是每次从零实现一个网络之后都会用 PyTorch 的自动微分版本跑一遍同样的数据对比两者的损失曲线。如果手写版本的损失下降速度和最终值都接近自动微分版本说明反向传播的实现是正确的。这个对比过程帮我抓出过好几次梯度符号写反、激活函数导数写错的 bug。从那以后我每次手写反向传播都会强制走一遍梯度检验和自动微分对比再也不敢凭感觉判断对错了。希望帮到你。本文还有配套的精品资源点击获取