梯度提升树（GBDT）与房价预测案例

文章目录

- 什么是梯度提升树（GBDT）？
- - 核心思想
  - GBDT 的特点
- 梯度提升树的应用案例：房价预测
- - 场景描述
  - 步骤详解
  - 代码详情
- 详细代码讲解
- - 1. 导入必要的库
  - 2. 设置中文字体支持
  - 3. 可视化真实值与预测值
  - 4. 可视化预测误差分布
  - 5. 代码的运行效果
  - 可视化结果分析
  - - 1.模型表现：
    - 2.优化建议：
- 总结

什么是梯度提升树（GBDT）？

梯度提升树（Gradient Boosting Decision Tree, GBDT）是一种集成学习算法，它结合多个弱学习器（通常是决策树），通过迭代优化的方式提升模型性能。GBDT 在分类和回归任务中表现优异，是解决复杂非线性问题的重要工具。

核心思想

GBDT 的核心在于：将新的决策树用于拟合当前模型的残差（误差），从而逐步降低误差，提高预测精度。整个过程可以理解为通过梯度下降法优化目标函数。

初始化模型：
模型从一个简单的常数值开始（比如回归问题中是目标变量的均值）：
计算残差：
对于每一轮迭代，计算目标函数的负梯度作为伪残差：

残差表示当前模型预测值与真实值之间的差异。
拟合决策树：
用一个新的决策树 hm(x) 来拟合这些残差。
更新模型：
通过学习率 η 控制每次更新的幅度：

经过多轮迭代后，GBDT 会生成一个强大的预测模型。

GBDT 的特点

强大的非线性处理能力： 能够自动捕捉特征间的非线性关系。
鲁棒性高： 对缺失值和异常值有较高的容忍度。
灵活性强： 支持分类和回归任务，广泛用于信用评分、房价预测等场景。

梯度提升树的应用案例：房价预测

场景描述

假设我们需要预测某地区的房价，数据集包含以下特征：

房屋面积（area）： 房屋的实际面积大小；
房间数量（rooms）： 房屋的卧室和客厅数量；
地理位置（location）： 用编号表示的房屋所在地区；
建成年份（year_built）： 房屋的建造年份。

目标是通过这些特征预测房价，构建一个回归模型。

步骤详解

房价预测的数据集，您可以通过以下链接下载：

下载房价数据集
在这里插入图片描述
如果下载不了，三连私聊我。免费为大家提供。。。。。。

数据集包含以下特征：

area：房屋面积（50-300平米）
rooms：房间数量（1-6个房间）
location：地理位置编号（1-10）
year_built：房屋建造年份（1970-2020）
price：房价（元）

代码详情

import matplotlib.pyplot as plt
import matplotlib# 设置字体以支持中文显示
matplotlib.rcParams['font.sans-serif'] = ['SimHei']  # 使用黑体
matplotlib.rcParams['axes.unicode_minus'] = False   # 正常显示负号# 加载生成的数据集
file_path = '/mnt/data/housing_data.csv'
data = pd.read_csv(file_path)# 特征与目标变量
X = data[['area', 'rooms', 'location', 'year_built']]
y = data['price']# 数据拆分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 初始化并训练 GBDT 模型
gbdt_model = GradientBoostingRegressor(n_estimators=200,       # 决策树的数量learning_rate=0.05,     # 学习率max_depth=5,            # 决策树的最大深度random_state=42         # 保证结果可重复性
)# 模型训练
gbdt_model.fit(X_train, y_train)# 对测试集进行预测
y_pred = gbdt_model.predict(X_test)# 计算均方误差和均方根误差
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
print(f"均方误差 (MSE): {mse:.2f}")
print(f"均方根误差 (RMSE): {rmse:.2f}")# 可视化真实值与预测值的对比
plt.figure(figsize=(10, 6))
plt.scatter(y_test, y_pred, alpha=0.6, color='b', label='预测值')
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--', label='理想预测线')
plt.xlabel('真实房价')
plt.ylabel('预测房价')
plt.title('真实房价 vs 预测房价')
plt.legend()
plt.grid(True)
plt.show()# 误差分布可视化
errors = y_test - y_pred
plt.figure(figsize=(10, 6))
plt.hist(errors, bins=30, color='gray', edgecolor='black', alpha=0.7)
plt.axvline(0, color='r', linestyle='--', label='无误差线')
plt.xlabel('误差 (真实值 - 预测值)')
plt.ylabel('样本数量')
plt.title('预测误差分布')
plt.legend()
plt.grid(True)
plt.show()

详细代码讲解

代码中的可视化通过 Matplotlib 库完成，以下是关键步骤和详细解释：

1. 导入必要的库

import matplotlib.pyplot as plt
import matplotlib

matplotlib.pyplot：提供绘图功能。
matplotlib：用于设置全局字体和样式。

2. 设置中文字体支持

为了使中文能够正常显示，添加以下代码：

matplotlib.rcParams['font.sans-serif'] = ['SimHei']  # 设置字体为黑体
matplotlib.rcParams['axes.unicode_minus'] = False   # 确保负号正常显示

font.sans-serif：指定使用的字体。
axes.unicode_minus：防止负号显示为方块。

3. 可视化真实值与预测值

plt.figure(figsize=(10, 6))  # 创建一个大小为10x6的画布
plt.scatter(y_test, y_pred, alpha=0.6, color='b', label='预测值')  # 绘制散点图
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--', label='理想预测线')  # 理想线
plt.xlabel('真实房价')  # 设置X轴标签
plt.ylabel('预测房价')  # 设置Y轴标签
plt.title('真实房价 vs 预测房价')  # 设置图表标题
plt.legend()  # 显示图例
plt.grid(True)  # 显示网格
plt.show()  # 显示图表

scatter：绘制散点图，展示预测值与真实值的分布。
plot：绘制红色虚线（理想预测线），用于对比模型性能。
xlabel / ylabel / title：设置坐标轴标签和图表标题。
legend：为图表添加图例。
grid：启用网格，使图表更清晰。

4. 可视化预测误差分布

errors = y_test - y_pred  # 计算预测误差
plt.figure(figsize=(10, 6))  # 创建一个大小为10x6的画布
plt.hist(errors, bins=30, color='gray', edgecolor='black', alpha=0.7)  # 绘制误差分布直方图
plt.axvline(0, color='r', linestyle='--', label='无误差线')  # 添加误差为0的参考线
plt.xlabel('误差 (真实值 - 预测值)')  # 设置X轴标签
plt.ylabel('样本数量')  # 设置Y轴标签
plt.title('预测误差分布')  # 设置图表标题
plt.legend()  # 显示图例
plt.grid(True)  # 显示网格
plt.show()  # 显示图表