Python从0到100（六十二）：机器学习实战-预测波士顿房价

在这里插入图片描述

前言： 零基础学Python：Python从0到100最新最全教程。 想做这件事情很久了，这次我更新了自己所写过的所有博客，汇集成了Python从0到100，共一百节课，帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、计算机视觉、机器学习、神经网络以及人工智能相关知识，成为学习学习和学业的先行者！
欢迎大家订阅专栏：零基础学Python：Python从0到100最新最全教程！

一、导入数据

在这个项目中，我们利用马萨诸塞州波士顿郊区的房屋信息数据训练和测试一个模型，并对模型的性能和预测能力进行测试。此项目的数据集来自UCI机器学习知识库。波士顿房屋这些数据于1978年开始统计，共506个数据点，涵盖了麻省波士顿不同郊区房屋14种特征的信息。
通过该数据训练后的好的模型可以被用来对房屋做特定预测—尤其是对房屋的价值。对于房地产经纪等人的日常工作来说，这样的预测模型被证明非常有价值。
本项目对原始数据集做了以下处理：

有16个'MEDV' 值为50.0的数据点被移除。这很可能是由于这些数据点包含遗失或看不到的值。
有1个数据点的 'RM' 值为8.78. 这是一个异常值，已经被移除。
对于本项目，房屋的'RM'， 'LSTAT'，'PTRATIO'以及'MEDV'特征是必要的，其余不相关特征已经被移除。
'MEDV'特征的值已经过必要的数学转换，可以反映35年来市场的通货膨胀效应。

import numpy as np
import pandas as pd
from sklearn.model_selection import ShuffleSplit
import visuals as vs
%matplotlib inline# Load the Boston housing dataset
data = pd.read_csv('housing.csv')
prices = data['MEDV']
features = data.drop('MEDV', axis = 1)
data.head(5)

二、分析数据

在项目的第一个部分，会对波士顿房地产数据进行初步的观察，通过对数据的探索来熟悉数据可以让你更好地理解和解释你的结果。

由于这个项目的最终目标是建立一个预测房屋价值的模型，我们需要将数据集分为特征(features)和目标变量(target variable)。

特征 'RM'， 'LSTAT'，和 'PTRATIO'，给我们提供了每个数据点的数量相关的信息。
目标变量： 'MEDV'，是我们希望预测的变量。

他们分别被存在 features 和 prices 两个变量名中。

基础统计运算

计算 prices 中的 'MEDV' 的最小值、最大值、均值、中值和标准差；
将运算结果储存在相应的变量中。

# TODO: Minimum price of the data
minimum_price = np.min(prices)# TODO: Maximum price of the data
maximum_price = np.max(prices)# TODO: Mean price of the data
mean_price =np.mean(prices)# TODO: Median price of the data
median_price = np.median(prices)# TODO: Standard deviation of prices of the data
std_price = np.std(prices)# Show the calculated statistics
print("Statistics for Boston housing dataset:\n")
print("Minimum price: ${:.2f}".format(minimum_price)) 
print("Maximum price: ${:.2f}".format(maximum_price))
print("Mean price: ${:.2f}".format(mean_price))
print("Median price ${:.2f}".format(median_price))
print("Standard deviation of prices: ${:.2f}".format(std_price))

在这里插入图片描述

特征观察

如前文所述，本项目中我们关注的是其中三个值:'RM'、'LSTAT' 和'PTRATIO'，对每一个数据点:

'RM' 是该地区中每个房屋的平均房间数量；
'LSTAT' 是指该地区有多少百分比的业主属于是低收入阶层（有工作但收入微薄）；
'PTRATIO' 是该地区的中学和小学里，学生和老师的数目比（学生/老师）。

凭直觉，上述三个特征中对每一个来说，你认为增大该特征的数值，'MEDV'的值会是增大还是减小呢？

‘1’： ‘RM’ 是该地区中每个房屋的平均房间数量：

‘回答：’ 'RM’增加，意味着房子的总面积会增加，所以价值会更高。

‘2’： ‘LSTAT’ 是指该地区有多少百分比的业主属于是低收入阶层（有工作但收入微薄）；_

‘回答：’ 'LSTAT’占比增加，低收入阶层增加，可支配消费能力就会不多，房屋的价值不会更高。

‘3’： ‘PTRATIO’ 是该地区的中学和小学里，学生和老师的数目比（学生/老师）

‘回答：’ 'PTRATIO’增加，说明学生/老师数目比增加，优质教育程度下降，政府配额不足，学位房优势不明显，价值会下降。

三、建立模型

定义衡量标准

如果不能对模型的训练和测试的表现进行量化地评估，我们就很难衡量模型的好坏。通常我们会定义一些衡量标准，这些标准可以通过对某些误差或者拟合程度的计算来得到。我们通过运算[决定系数] $R^2$ 来量化模型的表现。模型的决定系数是回归分析中十分常用的统计信息，经常被当作衡量模型预测能力好坏的标准。

$R^2$ 的数值范围从0至1，表示目标变量的预测值和实际值之间的相关程度平方的百分比。一个模型的 $R^2$ 值为0还不如直接用平均值来预测效果好；而一个 $R^2$ 值为1的模型则可以对目标变量进行完美的预测。从0至1之间的数值，则表示该模型中目标变量中有百分之多少能够用特征来解释。模型也可能出现负值的 $R^2$ ，这种情况下模型所做预测有时会比直接计算目标变量的平均值差很多。

在下方代码的 performance_metric 函数中，我们实现：

使用 sklearn.metrics 中的 r2_score 来计算 y_true 和 y_predict 的 $R^2$ 值，作为对其表现的评判。
将他们的表现评分储存到 score 变量中。

# TODO: Import 'r2_score'
from sklearn.metrics import r2_score
def performance_metric(y_true, y_predict):score= r2_score(y_true,y_predict)# Return the scorereturn score

拟合程度

假设一个数据集有五个数据且一个模型做出下列目标变量的预测：

真实数值	预测数值
3.0	2.5
-0.5	0.0
2.0	2.1
7.0	7.8
4.2	5.3
你觉得这个模型已成功地描述了目标变量的变化吗？如果成功，请解释为什么，如果没有，也请给出原因。

提示1：运行下方的代码，使用 performance_metric 函数来计算 y_true 和 y_predict 的决定系数。

提示2： $R^2$ 分数是指可以从自变量中预测的因变量的方差比例。换一种说法：

$R^2$ 为0意味着因变量不能从自变量预测。
$R^2$ 为1意味着可以从自变量预测因变量。
$R^2$ 在0到1之间表示因变量可预测的程度。
$R^2$ 为0.40意味着 Y 中40％的方差可以从 X 预测。

# Calculate the performance of this model
score = performance_metric([3, -0.5, 2, 7, 4.2], [2.5, 0.0, 2.1, 7.8, 5.3])
print("Model has a coefficient of determination, R^2, of {:.3f}.".format(score))

Model has a coefficient of determination, R^2, of 0.923.

R^2=0.923，决定系数接近1，说明已经成功的描述了目标变量的变化.

数据分割与重排

接下来，我们需要把波士顿房屋数据集分成训练和测试两个子集。通常在这个过程中，数据也会被重排列，以消除数据集中由于顺序而产生的偏差。

使用 sklearn.model_selection 中的 train_test_split，将 features 和 prices 的数据都分成用于训练的数据子集和用于测试的数据子集。
- 分割比例为：80%的数据用于训练，20%用于测试；
- 选定一个数值以设定 train_test_split 中的 random_state ，这会确保结果的一致性；
将分割后的训练集与测试集分配给 X_train, X_test, y_train 和 y_test。

# TODO: Import 'train_test_split'
from sklearn.model_selection import train_test_split# X_train：训练输入数据
# X_test：测试输入数据
# y_train：训练标签
# y_test：测试标签X = np.array(features)
Y = np.array(prices)# TODO: Shuffle and split the data into training and testing subsets
X_train, X_test, y_train, y_test =train_test_split(X, Y, test_size = 0.2,random_state=30)# Success
print("Training and testing split was successful.")

训练及测试

测试数据集通过未知数据来验证算法效果。如果没有数据来对模型进行测试，无法验证未知数据对结果预测。

四、分析模型的表现

在项目的第四步，我们来看一下不同参数下，模型在训练集和验证集上的表现。这里，我们专注于一个特定的算法（带剪枝的决策树，但这并不是这个项目的重点），和这个算法的一个参数 'max_depth'。用全部训练集训练，选择不同'max_depth' 参数，观察这一参数的变化如何影响模型的表现。画出模型的表现来对于分析过程十分有益。

学习曲线

下方区域内的代码会输出四幅图像，它们是一个决策树模型在不同最大深度下的表现。每一条曲线都直观得显示了随着训练数据量的增加，模型学习曲线的在训练集评分和验证集评分的变化，评分使用决定系数 $R^2$ 。曲线的阴影区域代表的是该曲线的不确定性（用标准差衡量）。

vs.ModelLearning(features, prices)

在这里插入图片描述
max-depth = 1 ；当训练数据从0到50增加时，训练集曲线的评分急速下降，验证集曲线的评分急速增加，随着数据量大于50再往上增加，训练集评分逐渐缓慢0.5附近收敛，验证集评分逐渐缓慢向0.4左右收敛，分数大于100以后，训练集评分和验证集评分基本趋向稳定。如果再有更多的训练数据，也不会有效提升模型的表现。

复杂度曲线

下列代码内的区域会输出一幅图像，它展示了一个已经经过训练和验证的决策树模型在不同最大深度条件下的表现。这个图形将包含两条曲线，一个是训练集的变化，一个是验证集的变化。跟学习曲线相似，阴影区域代表该曲线的不确定性，模型训练和测试部分的评分都用的 performance_metric 函数。

vs.ModelComplexity(X_train, y_train)

在这里插入图片描述
1：当模型以最大深度 1训练时，模型的预测是出现很大的偏差还是出现了很大的方差？

** 回答：** 欠拟合，出现大的偏差

2：当模型以最大深度10训练时，情形又如何呢？

** 回答：** 过拟合，出现大的方差

3：图形中的哪些特征能够支持你的结论？

** 回答：** 当深度=1时训练集评分和验证集评分比较低。深度=10时，训练集评分和验证集评分误差越来越大。

五、评估模型的表现

我们使用 fit_model 中的优化模型去预测客户特征集：

网格搜索法

1：什么是网格搜索法?

回答： 通过各种训练数据训练一堆模型，然后通过交叉验证数据挑选最佳模型。

2：如何用它来优化模型？

**回答：**例如决策树算法，通过不同深度的1，2，3，4的训练数据模型，通过交叉验证数据算出F1得分最高的，即最优化参数模型。

K折交叉验证法：

1：什么是K折交叉验证法

回答： 数据被按一定比例分成了训练集和测试集，在K折交叉验证中训练集又被分成了K份，每一份作为验证集。并进行K份训练和验证，最后求出平均分数，以此来得出最优参数和最优模型。

2：GridSearchCV 是如何结合交叉验证来完成对最佳参数组合的选择的？

回答： 可以通过输入参数，给出最优化的结果和参数

3：GridSearchCV 中的’cv_results_'属性能告诉我们什么？

回答： 通过修改 fit_model(X_train, y_train) 函数的返回值 print(pd.DataFrame(reg.cv_results_)) 可以看到显示的是每次训练模型的结果集

4：网格搜索为什么要使用K折交叉验证？K折交叉验证能够避免什么问题？

回答： 为了更好地拟合和预测，得出最优参数和最优模型。K折交叉验证通过将训练集分成K份，每一份依次作为验证集，并进行K次训练和验证，最后求出平均分数，这样可以减少模型表现得评分误差，从而更准确地找到最优参数

拟合模型

我们使用决策树算法训练一个模型。为了得出的是一个最优模型，我们需要使用网格搜索法训练模型，以找到最佳的 'max_depth' 参数。我们把'max_depth' 参数理解为决策树算法在做出预测前，允许其对数据提出问题的数量。决策树是监督学习算法中的一种。
ShuffleSplit 在 Scikit-Learn 版本0.17和0.18中有不同的参数。对于下面代码单元格中的 fit_model 函数：

定义 'regressor' 变量: 使用 sklearn.tree 中的 DecisionTreeRegressor 创建一个决策树的回归函数;
定义 'params' 变量: 为 'max_depth' 参数创造一个字典，它的值是从1至10的数组;
定义 'scoring_fnc' 变量: 使用 sklearn.metrics 中的 make_scorer 创建一个评分函数。将 ‘performance_metric’ 作为参数传至这个函数中；
定义 'grid' 变量: 使用 sklearn.model_selection 中的 GridSearchCV 创建一个网格搜索对象；将变量'regressor', 'params', 'scoring_fnc'和 'cross_validator' 作为参数传至这个对象构造函数中；

# TODO: Import 'make_scorer', 'DecisionTreeRegressor', and 'GridSearchCV'
from sklearn.metrics import  make_scorer
from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import GridSearchCVdef fit_model(X, y):cv_sets = ShuffleSplit(n_splits=10, test_size=0.20, random_state=0)regressor = DecisionTreeRegressor(random_state=0)params = {"max_depth":list(range(1,11))}scoring_fnc = make_scorer(performance_metric)grid = GridSearchCV(regressor,params,scoring=scoring_fnc,cv=cv_sets)grid = grid.fit(X, y)return grid

六、做出预测

当我们用数据训练出一个模型，它现在就可用于对新的数据进行预测。在决策树回归函数中，模型已经学会对新输入的数据提问，并返回对目标变量的预测值。我们可以用这个预测来获取数据未知目标变量的信息，这些数据必须是不包含在训练数据之内的。

# Fit the training data to the model using grid search
reg = fit_model(X_train, y_train)# clf.cv_results_ 是选择参数的日志信息  
#print(pd.DataFrame(reg.cv_results_))
# Produce the value for 'max_depth'
print("Parameter 'max_depth' is {} for the optimal model.".format(reg.best_estimator_.get_params()['max_depth']))

最优模型的最大深度是 max_depth = 4

预测销售价格

假如我们是一个在波士顿地区的房屋经纪人，并期待使用此模型以帮助你的客户评估他们想出售的房屋。你已经从你的三个客户收集到以下的资讯:

特征	客戶 1	客戶 2	客戶 3
房屋内房间总数	5 间房间	4 间房间	8 间房间
社区贫困指数（％被认为是贫困阶层）	17%	32%	3%
邻近学校的学生-老师比例	15：1	22：1	12：1

你会建议每位客户的房屋销售的价格为多少？
从房屋特征的数值判断，这样的价格合理吗？为什么？

运行下列的代码区域，使用你优化的模型来为每位客户的房屋价值做出预测。

# Produce a matrix for client data
client_data = [[5, 17, 15], # Client 1[4, 32, 22], # Client 2[8, 3, 12]]  # Client 3# Show predictions
for i, price in enumerate(reg.predict(client_data)):print("Predicted selling price for Client {}'s home: ${:,.2f}".format(i+1, price))

Predicted selling price for Client 1’s home: $409,752.00
Predicted selling price for Client 2’s home: $220,886.84
Predicted selling price for Client 3’s home: $937,650.00

1：你会建议每位客户的房屋销售的价格为多少？

回答：

客户1建议价格：$409,752.00 理由是：5间房社区贫困指数为17%不到1/5 学生：老师比例15：1，教育环境中等偏上，房屋宜居性良好，综上价格合理。
客户2建议价格：$220,886.84 理由是：4间房社区贫困指数将近1/3，学生：老师比例22：1，教育环境很一般。房屋购买吸引力不是很好，所以价值低合理
客户3建议价格：$937,650.00 理由是：8间房社区贫困指数只有3%属于富人区，老师比例12：1教育环境优，综上该房屋属于上游配套，房间较高合理。

2：从房屋特征的数值判断，这样的价格合理吗？为什么？

回答： 客户1、客户2、客户2的预测数据分别为：$409,752.00 、$220,886.84、 $937960；房间越多价值越高，邻近学校的学生-老师比例越低价值越高，社区贫困指数（%）占比越低价值越高，这三个房屋特征数据预测数来的数据我认为是比较合理的，从价值来看几个特征衡量价值影响权重分别为：社区贫困指数（高端生活区）> 邻近学校的学生-老师比例（教育资源）> 房屋内房间总数

刚刚预测了三个客户的房子的售价。在这个练习中，我们用最优模型在整个测试数据上进行预测, 并计算相对于目标变量的决定系数 $R^2$ 的值。

# TODO Calculate the r2 score between 'y_true' and 'y_predict'
predicted = reg.predict(X_test)
r2 = performance_metric(y_test,predicted)print("Optimal model has R^2 score {:,.2f} on test data".format(r2))

Optimal model has R^2 score 0.80 on test data

R^2=0.8，说明符合变量的变化的结果.

模型健壮性

一个最优的模型不一定是一个健壮模型。有的时候模型会过于复杂或者过于简单，以致于难以泛化新增添的数据；有的时候模型采用的学习算法并不适用于特定的数据结构；有的时候样本本身可能有太多噪点或样本过少，使得模型无法准确地预测目标变量。这些情况下我们会说模型是欠拟合的。模型是否足够健壮来保证预测的一致性？

vs.PredictTrials(features, prices, fit_model, client_data)

在这里插入图片描述

七、总结与展望

本次波士顿房价预测分析，我们成功地训练了一个决策树模型，并对其性能进行了评估。然而，我们也发现了一些问题：

1978年的数据在考虑通货膨胀的前提下，在今天可能不再适用。
数据中呈现的特征不足以完全描述一个房屋。
波士顿大都市的数据可能不适用于其他乡镇地区。
单纯依赖社区环境来判断房屋价值是不够全面的。
在未来的研究中，我们可以尝试引入更多特征，如房屋的新旧程度、楼层、建筑结构等，以提高模型的预测能力。同时，也可以探索其他机器学习算法，以找到更适合波士顿房价预测的模型。