简介随机森林是一种经典的集成学习算法这套基于Python的代码实现与配套数据集非常适合希望通过实际编码来理解算法内部原理如决策树组合、特征随机选择、投票机制等的机器学习初学者也便于在此基础上进行参数对比研究。资源包共4个文件包含2个Python脚本一份网络下载一份作者整理改写、1个CSV数据集和1份txt说明文档压缩包仅34KB结构清晰、即下即用。两份代码均在Python2.7环境下调试通过并附有详尽中文注释读者可对照阅读理解随机森林从数据加载、特征处理到训练预测的完整流程配套的sonar-all-data数据集可直接运行虽然数据集较小且当前调参不多导致准确率有限但学习者可自行调整决策树数量、最大深度等超参数观察模型表现变化很适合动手实验和算法比较。已有15738人学习下载可作为《随机森林》课程实验、毕业设计实现或算法入门自学参考。1. 随机森林 Python 代码与数据集结构化数据上性价比最高的入门选择一个很反直觉的事实很多人在 Kaggle 表格类比赛里第一版 baseline 不是深度学习而是随机森林。它不需要 GPU不需要特征标准化自带特征重要性几十行 Python 代码就能跑出一个能用的模型。对于手里有一份 CSV、想快速判断哪些特征有用、想在不调参的情况下拿到一个稳健结果的从业者来说随机森林几乎是结构化数据的最优起点。这个资源提供的就是这样一套东西可直接运行的随机森林 Python 代码加配套数据集装好 scikit-learn 就能跑分类和回归都覆盖了。适合做数据分析的、做竞赛入门、做特征筛选的也适合讲课演示用。本文把它拆成原理、数据集、代码实现、调参避坑和验证技巧五个部分来拆每一步都能照着复现。2. 随机森林的两个核心机制Bagging 与随机特征子空间2.1 为什么单棵决策树容易翻车随机森林不是什么高深算法它的起点是解决一个非常具体的问题单棵决策树太不稳定。决策树分裂时每次都在当前节点的最优特征上做贪婪划分训练集一有细微扰动树的结构就可能完全变掉。同一个鸢尾花数据集去掉一行样本生成的决策树在第三个分裂点上就可能选了不同的特征。这个性质叫高方差。高方差模型的典型表现是训练集上表现很好换一批样本就露馅。我见过不少人用单棵决策树做分类测试集准确率比训练集低五六个百分点然后在调参上折腾半天。其实问题不在参数而在模型本身——单棵树把数据里的噪声也当成规律学进去了。2.2 Bagging 是怎么把不稳定变成稳定的Bagging 的思路很朴素既然单棵树不稳定那就多找几棵树来投票。每棵树用自助采样bootstrap从原始训练集里随机抽取同样数量的样本这个采样是有放回的所以有的样本在一棵树里出现了多次有的样本一次都没出现。m 个样本有放回抽 m 次大约 63.2% 的原始样本会被抽到剩下 36.8% 的样本没有进入这棵树的训练集。这部分没被抽到的样本就是袋外数据英文叫 out-of-bag简称 OOB。随机森林可以直接用 OOB 数据来评估每棵树的泛化能力不需要单独留验证集这个特性后面章节会专门讲。多棵树各自在不同的样本子集上训练预测时分类任务投票、回归任务取平均。单棵树的错误会被投票过程抵消掉一部分整体方差就降下来了。背后逻辑可以用一句话理解多个有主见但角度不同的专家投票决策好过一个专家反复改主意。2.3 随机特征子空间解决了什么问题如果只是 Bagging树之间的相似度还是很高因为每棵树都在所有特征里挑最优分裂。当某个特征特别强的时候所有树的第一个分裂点可能都选了它这样树的差异性就很小投票的效果会打折扣。随机森林在每次分裂前先从全部特征里随机抽一个子集然后只在这个子集里挑最优特征这个子集的大小就是 max_features 参数。分类任务里 max_features 的常用默认值是特征总数的平方根回归任务里取三分之一左右。这样做的直接效果是强特征不能垄断所有树的分裂机会弱特征也有表现空间。树与树之间的相关性降低投票的方差进一步下降。可以理解为每一棵树都在一个受限的视角里做判断最终的综合判断反而更稳。2.4 为什么在中小型表格数据上它常常优于深度学习从方差分解的角度看随机森林的误差主要由三部分构成偏差、方差和噪声。Bagging 和随机特征子空间主要降的是方差对偏差影响很小。深度学习模型需要大量数据才能把偏差压下去而结构化数据往往只有几千到几万行这时候深度模型很容易过拟合偏差没降下来方差先爆了。随机森林在几千行、十几个特征的数据上不需要做特征缩放不需要复杂的数据增强默认参数就能有可用的效果。这也是为什么这个资源配套的数据集选得比较克制鸢尾花、乳腺癌这类经典小数据集配合随机森林正好展示算法在小样本下的稳健性。换一个没有内置数据集的深度学习项目新手光环境配置就要折腾半天。2.5 随机森林适用与不适用的边界随机森林擅长的是样本量在一万以内的表格数据特征之间有非线性关系特征量纲不一致存在缺失值不确定哪些特征重要。它在遥感分类里也见得多因为多光谱波段之间相关性高随机特征子空间天然适合处理这种冗余特征。但要明确它的短板。特征维度特别高比如文本 TF-IDF 之后有几万维随机森林的内存和时间消耗会明显上升效果也不如线性模型或梯度提升树。数据量特别大比如百万级以上样本训练效率就远不如 LightGBM 这类工程优化的框架。另外随机森林不能外推预测值不会超出训练集目标变量的范围做时间序列预测时要小心这个限制。3. 数据集与预处理从内置经典到自建 CSV3.1 鸢尾花与乳腺癌两个适合验证分类流程的内置数据集这个资源里的数据集最基础的是 scikit-learn 内置的经典数据集都在 sklearn.datasets 里不需要额外下载文件。鸢尾花数据集包含 150 个样本、4 个特征目标变量是 3 种鸢尾花类别适合演示多分类。乳腺癌数据集包含 569 个样本、30 个特征目标变量是良性/恶性更适合演示二分类和特征重要性。两个数据集的加载方式完全一致我习惯写一个通用函数传入数据集名字返回特征矩阵和目标向量from sklearn.datasets import load_iris, load_breast_cancer def load_clf_data(name): if name iris: data load_iris() elif name breast_cancer: data load_breast_cancer() else: raise ValueError(unsupported dataset) return data.data, data.target, data.feature_names X, y, feature_names load_clf_data(iris) print(样本数:, X.shape[0], 特征数:, X.shape[1]) print(类别:, set(y))这段代码把数据集加载封装成了函数后面换数据集只用改一个字符串。print 帮助你先确认数据规模再进入下一步。iris 和 breast_cancer 的区别在于特征维度4 维特征可以直接用30 维特征适合后来演示 max_features 的影响。3.2 自建 CSV 数据集格式约定与缺失值处理资源里如果带 CSV 文件格式约定一般是最后一列是目标变量前面的列全是特征第一行是列名。我拿到这类数据的第一步永远是先读进来然后打印 shape 和前五行确认没有读错列import pandas as pd df pd.read_csv(your_dataset.csv) print(原始 shape:, df.shape) print(df.head()) print(缺失值统计:) print(df.isnull().sum())read_csv 之后需要确认两件事目标列的名字是什么缺失值有多少。常见约定是目标列叫 target 或 label但也有叫 y 的。我一般会先看 columns 列表避免用错列名。缺失值的处理随机森林本身能容忍一部分但最好不要直接丢给模型。数值列用 SimpleImputer 填中位数类别列填众数这是最稳妥的做法from sklearn.impute import SimpleImputer import numpy as np num_cols df.select_dtypes(includenp.number).columns.tolist() num_cols.remove(target_col) imputer SimpleImputer(strategymedian) df[num_cols] imputer.fit_transform(df[num_cols]) print(填充后缺失值:, df.isnull().sum().sum())SimpleImputer 的 strategy 参数按数据分布选。数值列我一般选 median因为均值容易被离群值带偏类别特征如果存在用众数填充然后做 LabelEncoder 转成整数。这里不推荐对类别特征做 OneHotEncoder因为随机森林本来就能处理整数编码OneHot 会把特征维度拉高反而拖慢训练速度。3.3 训练集与测试集的拆分stratify 参数不要忘数据预处理完之后下一步是把数据拆成训练集和测试集。这个步骤的坑在于分类任务如果忘记加 stratify 参数测试集里的类别比例可能和原始数据不一致小类别样本多的时候尤其容易出问题。from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) print(训练集样本数:, X_train.shape[0], 测试集样本数:, X_test.shape[0])test_size 取 0.2 是常见做法数据量在几百到几千之间时这个比例比较合理。random_state 设成固定值保证每次运行切分结果一致后面调参对比才有意义。stratifyy 只在分类任务里用回归任务不能传这个参数。如果一个数据集的类别严重不平衡比如 95% 是负样本stratify 会保证训练集和测试集都保持这个比例避免测试集里恰好全是负样本导致评估失真。拆完之后要养成一个习惯打印一下 y_train 的类别分布确认比例符合预期。这一步虽然简单但能避免后面模型结果看起来不错、实际是因为数据切分失误的假象。4. 随机森林的 Python 代码实现从 sklearn 到手工拆解核心逻辑4.1 最短可运行版本训练加预测七行搞定随机森林在 scikit-learn 里的接口非常简洁不夸张地说去掉注释和打印核心代码只需要七行from sklearn.ensemble import RandomForestClassifier clf RandomForestClassifier(n_estimators100, random_state42) clf.fit(X_train, y_train) y_pred clf.predict(X_test) from sklearn.metrics import accuracy_score print(测试集准确率: %.4f % accuracy_score(y_test, y_pred))这段代码里n_estimators 控制树的数量random_state 固定随机种子保证结果可复现。fit 是在训练集上构建 100 棵决策树每棵树用一份自助采样样本每次分裂随机选特征子集。predict 返回每行样本在 100 棵树上的投票结果。准确率是分类任务最基础的评估指标但只能作为第一步参考不能只看这一个数。鸢尾花数据集上这段代码跑出来的准确率通常在 0.93 到 1.0 之间乳腺癌在 0.95 到 0.97 左右。4.2 手动拆解 Bagging把黑匣子打开看一眼只调 sklearn 接口还不够理解随机森林。资源里那份完整代码本质上是把下面这个手动流程做了工程化封装。这里我用 sklearn 的 DecisionTreeClassifier 做基学习器自己实现 Bootstrap 采样、随机特征选取和投票逻辑这样可以清楚看到每个环节做了什么import numpy as np from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score def bootstrap_sample(X, y, random_state): rng np.random.RandomState(random_state) n X.shape[0] idx rng.choice(n, n, replaceTrue) return X[idx], y[idx] def random_feature_idx(n_features, max_features, random_state): rng np.random.RandomState(random_state) return rng.choice(n_features, max_features, replaceFalse) def manual_random_forest(X_train, y_train, n_estimators10, max_featuressqrt, random_state42): trees [] feat_idx_list [] n_features X_train.shape[1] if max_features sqrt: max_features int(np.round(np.sqrt(n_features))) base_rng np.random.RandomState(random_state) for i in range(n_estimators): rs base_rng.randint(0, 10000) X_sub, y_sub bootstrap_sample(X_train, y_train, rs) feat_idx random_feature_idx(n_features, max_features, rs) tree DecisionTreeClassifier(random_staters) tree.fit(X_sub[:, feat_idx], y_sub) trees.append(tree) feat_idx_list.append(feat_idx) return trees, feat_idx_list def manual_predict(trees, feat_idx_list, X): preds np.zeros((X.shape[0], len(trees)), dtypeint) for i, tree in enumerate(trees): preds[:, i] tree.predict(X[:, feat_idx_list[i]]) return np.array([np.bincount(row).argmax() for row in preds]) trees, feat_idx_list manual_random_forest(X_train, y_train, n_estimators20) y_pred_manual manual_predict(trees, feat_idx_list, X_test) print(手动实现准确率: %.4f % accuracy_score(y_test, y_pred_manual))这段代码的核心逻辑拆成四个部分。bootstrap_sample 用 np.random.choice 的 replaceTrue 实现有放回采样每棵树拿到的训练集会重复部分样本。random_feature_idx 在每次建树时只随机挑选 max_features 个特征列模拟随机特征子空间。manual_random_forest 循环建多棵树每棵树的随机种子由基础随机数生成器派生保证不同树之间不重复。manual_predict 收集所有树的预测结果用 np.bincount 做多数投票。跑这个代码的关键观察点手动实现的准确率和 sklearn 直接调用会略有差异这是正常的因为采样顺序和随机种子分配方式不同。这个差异能帮助你理解随机森林的微小随机扰动不影响整体效果。资源里那份完整代码在此基础上加了网格搜索、学习曲线、可视化等功能但核心骨架就是这个。4.3 回归任务的切换接口一致但评估指标不同如果数据集的目标变量是连续数值比如房价、温度、销量就换成 RandomForestRegressor。用法几乎一样但评估方式要换一套from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_squared_error, r2_score reg RandomForestRegressor(n_estimators100, random_state42) reg.fit(X_train, y_train) y_pred reg.predict(X_test) rmse mean_squared_error(y_test, y_pred, squaredFalse) r2 r2_score(y_test, y_pred) print(fRMSE: {rmse:.4f}) print(fR²: {r2:.4f})回归任务里参数选择略有差异。max_features 默认是特征数的三分之一而不是分类任务的平方根这是因为回归任务的特征空间更稀疏需要更多的特征参与分裂。RMSE 的单位和目标变量一致比如预测房价就有具体的房子单价含义R² 是无量纲的越接近 1 越好。只看 RMSE 不够因为不同问题的数值尺度不同没法横向比较R² 弥补了这个缺陷。随机森林的回归树不能外推预测值永远落在训练集目标变量最小值和最大值之间超出门店历史数据范围的预测不可信。4.4 资源里数据集与代码的对应关系这类资源一般会按“数据 代码”组织文件。数据的存放形式通常有两种可能要么是 sklearn 内置数据集直接加载要么是 CSV 文件放在 data 目录下。加载内置数据集的代码就是前面 3.1 节那段如果是 CSV放在 datasets 目录下用 pd.read_csv 读入。拿到资源后的第一个动作我建议是先找到训练脚本的入口文件一般叫 train.py 或 main.py直接运行一次看默认参数下能跑出什么结果然后再看配置文件里的参数。不要一上来就改代码先跑通 baseline。跑通之后再去改 n_estimators 和 max_features观察结果变化。这个顺序能避免“代码没跑通也不知道是自己改坏的还是本来就有问题”的尴尬。5. 随机森林调参避坑手册n_estimators、max_features 与六个常见翻车点5.1 核心参数一张表随机森林需要手动调的参数不多核心就六个参数默认值作用调整建议n_estimators100树的数量越多越稳观察准确率曲线收敛后不用再加max_features分类 sqrt / 回归 1/3每次分裂考虑的特征数唯一对模型质量有质变影响的参数max_depthNone树的最大深度小样本上默认值就够不用刻意限制min_samples_split2节点继续分裂所需最小样本数过拟合时调大到 10 以上min_samples_leaf1叶节点最少样本数过拟合时调大到 5 以上random_stateNone随机种子固定结果用复现和对比实验必须固定还有两个工程化参数n_jobs 设为 -1 时使用全部 CPU 核心能明显提速oob_score 设为 True 时计算袋外误差可以在不单独切验证集的情况下估计泛化能力。5.2 参数的边界感哪些值得调哪些是玄学调随机森林很容易陷入一个误区像调神经网络一样把所有参数都过一遍网格搜索。实际上随机森林的参数敏感性没这么高。n_estimators 从 100 加到 500准确率可能只提升零点几个百分点训练时间却翻几倍。经验是画一条树数量和学习曲线看到曲线变平就停手。max_features 是唯一值得手动多试几个值的参数因为它直接控制树之间的相关性相关性越低集成效果越好。max_depth 在小样本数据集上基本不用调。默认 None 表示树会一直生长到所有叶节点都纯净这在特征几十维、样本几百到几千的场景里虽然会导致单棵树过拟合但随机森林的投票机制能把过拟合压下来。min_samples_leaf 和 min_samples_split 只在明确观察到过拟合时才动。这些边界感比盲目调参更重要。5.3 踩坑记录一随机种子不固定导致结果复现不了现象同一份代码和数据今天跑准确率 0.94明天跑变成 0.91换台机器差距更大。百思不得其解一度怀疑是数据被改过。原因随机森林的采样、特征选择、树的生成都依赖随机数。train_test_split、RandomForestClassifier 的 random_state 都没设置每次运行都会得到不同的数据划分和不同的树结果自然不稳定。这个问题的隐蔽性在于单次运行结果看起来很正常很难意识到是随机种子的事。解决所有可能引入随机性的地方都固定种子。train_test_split 里设 random_state42模型里设 random_state42如果还有 np.random 操作也要固定。从那以后我养成了一个习惯任何模型实验第一行就写好 random_state不然后面对比时根本分不清差异是参数带来的还是随机带来的。5.4 踩坑记录二类别不平衡时直接用准确率被带偏现象一个二分类任务正样本只占 5%模型所有样本都预测成负样本准确率 95%看起来效果很好。原因准确率对类别分布极其敏感。在极端不平衡下全预测多数类就能拿到高准确率模型实际什么都没学会。这个现象在随机森林上尤其容易发生因为树在分裂时追求的是整体纯净度少数类样本很容易被淹没。解决先看混淆矩阵和 F1 分数不要只看准确率。模型层面设置 class_weightbalanced这个参数会自动给少数类更高的权重。评估时用 f1_score 的 macro 模式这样两个类别对结果的贡献是相等的from sklearn.metrics import classification_report clf RandomForestClassifier(n_estimators200, class_weightbalanced, random_state42) clf.fit(X_train, y_train) print(classification_report(y_test, clf.predict(X_test)))classification_report 直接给出精确率、召回率和 F1 的各类别数据。我的习惯是只要训练集里某个类别占比低于 20%就不再拿 accuracy_score 作为唯一评估指标。5.5 踩坑记录三特征重要性被高基数特征带偏现象模型的 feature_importances_ 输出里一个取值特别多的特征排第一但业务上这个特征明显不该有这么强的影响力。比如用户 ID、时间戳这类高唯一性特征杀进前三。原因随机森林的特征重要性计算基于 Gini 不纯度的下降量。高基数特征可以把数据切得很碎每次分裂都让子节点非常纯净累积的不纯度下降量自然高。这会误导判断让你以为是业务强特征实际只是模型在瞎切。解决用置换重要性permutation importance替代 Gini 重要性。原理是把某个特征的值随机打乱后重新预测观察模型效果下降多少。效果下降越多说明这个特征对这个模型越重要。这个计算不依赖树的分裂过程更能反映真实依赖关系而且可以处理高基数特征带来的虚假高重要性from sklearn.inspection import permutation_importance result permutation_importance( clf, X_test, y_test, n_repeats10, random_state42 ) sorted_idx result.importances_mean.argsort()[::-1] for i in sorted_idx[:5]: print(f{feature_names[i]}: {result.importances_mean[i]:.4f})n_repeats 代表每个特征重复打乱多少次取平均设 10 比较稳妥太小了波动大太大了浪费时间。用测试集做置换时要注意打乱后的预测结果包含随机性所以一次置换不够必须重复多次取均值。5.6 踩坑记录四数据量小还疯狂加树内存和时间翻车现象一份只有 2000 行的数据集为了图心安把 n_estimators 设成 5000结果训练时间从十几秒变成十几分钟查看 CPU 时占用率拉满内存也吃紧。原因树的数量和计算量是线性关系。5000 棵树每棵树都要完整训练时间消耗必然上去。而且默认没有限制树的深度每棵树完整生长到叶子充分纯净内存里存的对象也更多了。在小数据集上5000 棵树带来的效果提升微乎其微。解决小数据集上 n_estimators 设 100 到 300 足够配合 n_jobs-1 使用全部核心。想更精细就画一条曲线取 n_estimators [50, 100, 200, 400, 800]对每个值做 5 折交叉验证看交叉验证分数的折线图。曲线变平的点就是性价比最高的树数量没有固定值只能看每份数据自己的表现。5.7 踩坑记录五把随机森林当黑匣子不检查 OOB 和交叉验证现象测试集上跑出来的准确率不错直接拿去上线结果线上数据表现明显更差。原因只用一次 train_test_split 划分出的测试集做评估方差太大。如果恰好测试集比训练集更容易预测评估结果就会偏乐观。随机森林最独特的 OOB 评估机制被直接忽略等于白拿了一个免费验证集。交叉验证又没做模型对数据整体分布的泛化能力完全没评估过。解决模型里开启 oob_scoreTrue训练后直接读 clf.oob_score_。同时配合 5 折交叉验证用交叉验证的平均分作为更可信的模型水平估计。OOB 在数学上相当于留一验证的近似交叉验证是标准验证流程两者对比着看如果差异大说明模型稳定性有问题。5.8 常见问题随机森林训练跑多长时间算正常这个问题要看三个量样本量、特征维度、树的数量。经验参考值是这样的10000 行、20 个特征、n_estimators100在现在的主流 CPU 上启用了 n_jobs-1 之后训练时间通常在几秒到十几秒之间。同样的数据换 1000 棵树时间接近一分钟。如果训练耗时上百秒先检查一下电脑核数和 n_jobs 设置。数据上升到十万行级别100 棵树大概要一两分钟。这个资源配套的数据集都是小规模样本正常情况下训练时间不会超过十秒。如果你跑出了几十秒大概率是调参时把树数量设得过高或者在某台配置比较老的机器上跑。6. OOB 误差与特征重要性验证模型质量的两个不依赖测试集的工具6.1 OOB 分数不额外切验证集就能看泛化能力随机森林在训练时每棵树只用了约 63% 的样本剩下 37% 的袋外样本可以免费用来评估。sklearn 里只需要开启一个参数clf RandomForestClassifier(n_estimators200, oob_scoreTrue, random_state42) clf.fit(X_train, y_train) print(OOB 分数: %.4f % clf.oob_score_) print(测试集分数: %.4f % clf.score(X_test, y_test))oob_score_ 的值是模型对袋外样本的预测准确率。它的价值在于不需要专门从训练集里切一块出来做验证训练过程中就完成了泛化能力的估计。OOB 分数和测试集分数之间的差异如果在一个百分点以内说明模型没有明显过拟合。如果 OOB 分数明显低于测试集分数需要怀疑测试集是否过于简单或和训练集分布不一致。6.2 用特征重要性做筛选区分重要和必要特征重要性是随机森林最有价值的副产品适合做特征筛选。做法是把重要性排序靠前的特征提取出一个子集重新训练同一配置的模型对比两套特征集下的表现import numpy as np # 取重要性排序后的特征索引 importances clf.feature_importances_ top_k 8 top_idx np.argsort(importances)[::-1][:top_k] X_train_top X_train[:, top_idx] X_test_top X_test[:, top_idx] clf_top RandomForestClassifier(n_estimators200, random_state42) clf_top.fit(X_train_top, y_train) score_top clf_top.score(X_test_top, y_test) print(f全部特征得分: {clf.score(X_test, y_test):.4f}) print(fTop{top_k} 特征得分: {score_top:.4f})这里有个常见误判需要指出来重要性低不代表这个特征没用可能只是它和某个高重要性特征高度相关信息被重复表达了。正确的做法是先做一次相关矩阵分析把相关系数高于 0.8 的特征对里重要性低的一方去掉。特征筛选的目标是去掉冗余不是单纯砍掉排名靠后的。Top 特征子集的表现如果不下降就可以用比较少的特征维持相近的效果。这份资源配套的数据集里这个操作之后往往能发现只需要一半的特征就能保住九成以上的准确率。6.3 一个更稳的验证习惯交叉验证与 OOB 对比我最后的习惯是同时跑三组数OOB 分数、测试集分数、交叉验证均值。三组数相差在可接受范围时模型可以放心用任何一组明显掉队都得停下来找原因。OOB 掉队说明袋外样本上表现差可能存在过拟合交叉验证掉队说明模型对数据划分敏感测试集分数虚高说明切分不够随机需要重新检查 stratify。顺带分享一个好的排查技巧训练完成后保存模型并固定特征列顺序特别是后续要从随机森林换到其他模型时。比如你第一次用随机森林筛选出 8 个特征后面想换成逻辑回归如果特征顺序乱了结果就不对应了。把这个资源里的代码跑完一遍之后你会发现随机森林在结构化数据上确实是一个性价比非常高的起点很多复杂的特征工程问题都被集成机制消化掉了。我在之后每做一个新的表格数据项目都会先用它跑一遍拿到 baseline再决定是否值得上更重的手段。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/10 21:16:29 · 阅读 1.2k 随机森林Python实战：原理、调参与特征重要性分析
简介随机森林是一种经典的集成学习算法这套基于Python的代码实现与配套数据集非常适合希望通过实际编码来理解算法内部原理如决策树组合、特征随机选择、投票机制等的机器学习初学者也便于在此基础上进行参数对比研究。资源包共4个文件包含2个Python脚本一份网络下载一份作者整理改写、1个CSV数据集和1份txt说明文档压缩包仅34KB结构清晰、即下即用。两份代码均在Python2.7环境下调试通过并附有详尽中文注释读者可对照阅读理解随机森林从数据加载、特征处理到训练预测的完整流程配套的sonar-all-data数据集可直接运行虽然数据集较小且当前调参不多导致准确率有限但学习者可自行调整决策树数量、最大深度等超参数观察模型表现变化很适合动手实验和算法比较。已有15738人学习下载可作为《随机森林》课程实验、毕业设计实现或算法入门自学参考。1. 随机森林 Python 代码与数据集结构化数据上性价比最高的入门选择一个很反直觉的事实很多人在 Kaggle 表格类比赛里第一版 baseline 不是深度学习而是随机森林。它不需要 GPU不需要特征标准化自带特征重要性几十行 Python 代码就能跑出一个能用的模型。对于手里有一份 CSV、想快速判断哪些特征有用、想在不调参的情况下拿到一个稳健结果的从业者来说随机森林几乎是结构化数据的最优起点。这个资源提供的就是这样一套东西可直接运行的随机森林 Python 代码加配套数据集装好 scikit-learn 就能跑分类和回归都覆盖了。适合做数据分析的、做竞赛入门、做特征筛选的也适合讲课演示用。本文把它拆成原理、数据集、代码实现、调参避坑和验证技巧五个部分来拆每一步都能照着复现。2. 随机森林的两个核心机制Bagging 与随机特征子空间2.1 为什么单棵决策树容易翻车随机森林不是什么高深算法它的起点是解决一个非常具体的问题单棵决策树太不稳定。决策树分裂时每次都在当前节点的最优特征上做贪婪划分训练集一有细微扰动树的结构就可能完全变掉。同一个鸢尾花数据集去掉一行样本生成的决策树在第三个分裂点上就可能选了不同的特征。这个性质叫高方差。高方差模型的典型表现是训练集上表现很好换一批样本就露馅。我见过不少人用单棵决策树做分类测试集准确率比训练集低五六个百分点然后在调参上折腾半天。其实问题不在参数而在模型本身——单棵树把数据里的噪声也当成规律学进去了。2.2 Bagging 是怎么把不稳定变成稳定的Bagging 的思路很朴素既然单棵树不稳定那就多找几棵树来投票。每棵树用自助采样bootstrap从原始训练集里随机抽取同样数量的样本这个采样是有放回的所以有的样本在一棵树里出现了多次有的样本一次都没出现。m 个样本有放回抽 m 次大约 63.2% 的原始样本会被抽到剩下 36.8% 的样本没有进入这棵树的训练集。这部分没被抽到的样本就是袋外数据英文叫 out-of-bag简称 OOB。随机森林可以直接用 OOB 数据来评估每棵树的泛化能力不需要单独留验证集这个特性后面章节会专门讲。多棵树各自在不同的样本子集上训练预测时分类任务投票、回归任务取平均。单棵树的错误会被投票过程抵消掉一部分整体方差就降下来了。背后逻辑可以用一句话理解多个有主见但角度不同的专家投票决策好过一个专家反复改主意。2.3 随机特征子空间解决了什么问题如果只是 Bagging树之间的相似度还是很高因为每棵树都在所有特征里挑最优分裂。当某个特征特别强的时候所有树的第一个分裂点可能都选了它这样树的差异性就很小投票的效果会打折扣。随机森林在每次分裂前先从全部特征里随机抽一个子集然后只在这个子集里挑最优特征这个子集的大小就是 max_features 参数。分类任务里 max_features 的常用默认值是特征总数的平方根回归任务里取三分之一左右。这样做的直接效果是强特征不能垄断所有树的分裂机会弱特征也有表现空间。树与树之间的相关性降低投票的方差进一步下降。可以理解为每一棵树都在一个受限的视角里做判断最终的综合判断反而更稳。2.4 为什么在中小型表格数据上它常常优于深度学习从方差分解的角度看随机森林的误差主要由三部分构成偏差、方差和噪声。Bagging 和随机特征子空间主要降的是方差对偏差影响很小。深度学习模型需要大量数据才能把偏差压下去而结构化数据往往只有几千到几万行这时候深度模型很容易过拟合偏差没降下来方差先爆了。随机森林在几千行、十几个特征的数据上不需要做特征缩放不需要复杂的数据增强默认参数就能有可用的效果。这也是为什么这个资源配套的数据集选得比较克制鸢尾花、乳腺癌这类经典小数据集配合随机森林正好展示算法在小样本下的稳健性。换一个没有内置数据集的深度学习项目新手光环境配置就要折腾半天。2.5 随机森林适用与不适用的边界随机森林擅长的是样本量在一万以内的表格数据特征之间有非线性关系特征量纲不一致存在缺失值不确定哪些特征重要。它在遥感分类里也见得多因为多光谱波段之间相关性高随机特征子空间天然适合处理这种冗余特征。但要明确它的短板。特征维度特别高比如文本 TF-IDF 之后有几万维随机森林的内存和时间消耗会明显上升效果也不如线性模型或梯度提升树。数据量特别大比如百万级以上样本训练效率就远不如 LightGBM 这类工程优化的框架。另外随机森林不能外推预测值不会超出训练集目标变量的范围做时间序列预测时要小心这个限制。3. 数据集与预处理从内置经典到自建 CSV3.1 鸢尾花与乳腺癌两个适合验证分类流程的内置数据集这个资源里的数据集最基础的是 scikit-learn 内置的经典数据集都在 sklearn.datasets 里不需要额外下载文件。鸢尾花数据集包含 150 个样本、4 个特征目标变量是 3 种鸢尾花类别适合演示多分类。乳腺癌数据集包含 569 个样本、30 个特征目标变量是良性/恶性更适合演示二分类和特征重要性。两个数据集的加载方式完全一致我习惯写一个通用函数传入数据集名字返回特征矩阵和目标向量from sklearn.datasets import load_iris, load_breast_cancer def load_clf_data(name): if name iris: data load_iris() elif name breast_cancer: data load_breast_cancer() else: raise ValueError(unsupported dataset) return data.data, data.target, data.feature_names X, y, feature_names load_clf_data(iris) print(样本数:, X.shape[0], 特征数:, X.shape[1]) print(类别:, set(y))这段代码把数据集加载封装成了函数后面换数据集只用改一个字符串。print 帮助你先确认数据规模再进入下一步。iris 和 breast_cancer 的区别在于特征维度4 维特征可以直接用30 维特征适合后来演示 max_features 的影响。3.2 自建 CSV 数据集格式约定与缺失值处理资源里如果带 CSV 文件格式约定一般是最后一列是目标变量前面的列全是特征第一行是列名。我拿到这类数据的第一步永远是先读进来然后打印 shape 和前五行确认没有读错列import pandas as pd df pd.read_csv(your_dataset.csv) print(原始 shape:, df.shape) print(df.head()) print(缺失值统计:) print(df.isnull().sum())read_csv 之后需要确认两件事目标列的名字是什么缺失值有多少。常见约定是目标列叫 target 或 label但也有叫 y 的。我一般会先看 columns 列表避免用错列名。缺失值的处理随机森林本身能容忍一部分但最好不要直接丢给模型。数值列用 SimpleImputer 填中位数类别列填众数这是最稳妥的做法from sklearn.impute import SimpleImputer import numpy as np num_cols df.select_dtypes(includenp.number).columns.tolist() num_cols.remove(target_col) imputer SimpleImputer(strategymedian) df[num_cols] imputer.fit_transform(df[num_cols]) print(填充后缺失值:, df.isnull().sum().sum())SimpleImputer 的 strategy 参数按数据分布选。数值列我一般选 median因为均值容易被离群值带偏类别特征如果存在用众数填充然后做 LabelEncoder 转成整数。这里不推荐对类别特征做 OneHotEncoder因为随机森林本来就能处理整数编码OneHot 会把特征维度拉高反而拖慢训练速度。3.3 训练集与测试集的拆分stratify 参数不要忘数据预处理完之后下一步是把数据拆成训练集和测试集。这个步骤的坑在于分类任务如果忘记加 stratify 参数测试集里的类别比例可能和原始数据不一致小类别样本多的时候尤其容易出问题。from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) print(训练集样本数:, X_train.shape[0], 测试集样本数:, X_test.shape[0])test_size 取 0.2 是常见做法数据量在几百到几千之间时这个比例比较合理。random_state 设成固定值保证每次运行切分结果一致后面调参对比才有意义。stratifyy 只在分类任务里用回归任务不能传这个参数。如果一个数据集的类别严重不平衡比如 95% 是负样本stratify 会保证训练集和测试集都保持这个比例避免测试集里恰好全是负样本导致评估失真。拆完之后要养成一个习惯打印一下 y_train 的类别分布确认比例符合预期。这一步虽然简单但能避免后面模型结果看起来不错、实际是因为数据切分失误的假象。4. 随机森林的 Python 代码实现从 sklearn 到手工拆解核心逻辑4.1 最短可运行版本训练加预测七行搞定随机森林在 scikit-learn 里的接口非常简洁不夸张地说去掉注释和打印核心代码只需要七行from sklearn.ensemble import RandomForestClassifier clf RandomForestClassifier(n_estimators100, random_state42) clf.fit(X_train, y_train) y_pred clf.predict(X_test) from sklearn.metrics import accuracy_score print(测试集准确率: %.4f % accuracy_score(y_test, y_pred))这段代码里n_estimators 控制树的数量random_state 固定随机种子保证结果可复现。fit 是在训练集上构建 100 棵决策树每棵树用一份自助采样样本每次分裂随机选特征子集。predict 返回每行样本在 100 棵树上的投票结果。准确率是分类任务最基础的评估指标但只能作为第一步参考不能只看这一个数。鸢尾花数据集上这段代码跑出来的准确率通常在 0.93 到 1.0 之间乳腺癌在 0.95 到 0.97 左右。4.2 手动拆解 Bagging把黑匣子打开看一眼只调 sklearn 接口还不够理解随机森林。资源里那份完整代码本质上是把下面这个手动流程做了工程化封装。这里我用 sklearn 的 DecisionTreeClassifier 做基学习器自己实现 Bootstrap 采样、随机特征选取和投票逻辑这样可以清楚看到每个环节做了什么import numpy as np from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score def bootstrap_sample(X, y, random_state): rng np.random.RandomState(random_state) n X.shape[0] idx rng.choice(n, n, replaceTrue) return X[idx], y[idx] def random_feature_idx(n_features, max_features, random_state): rng np.random.RandomState(random_state) return rng.choice(n_features, max_features, replaceFalse) def manual_random_forest(X_train, y_train, n_estimators10, max_featuressqrt, random_state42): trees [] feat_idx_list [] n_features X_train.shape[1] if max_features sqrt: max_features int(np.round(np.sqrt(n_features))) base_rng np.random.RandomState(random_state) for i in range(n_estimators): rs base_rng.randint(0, 10000) X_sub, y_sub bootstrap_sample(X_train, y_train, rs) feat_idx random_feature_idx(n_features, max_features, rs) tree DecisionTreeClassifier(random_staters) tree.fit(X_sub[:, feat_idx], y_sub) trees.append(tree) feat_idx_list.append(feat_idx) return trees, feat_idx_list def manual_predict(trees, feat_idx_list, X): preds np.zeros((X.shape[0], len(trees)), dtypeint) for i, tree in enumerate(trees): preds[:, i] tree.predict(X[:, feat_idx_list[i]]) return np.array([np.bincount(row).argmax() for row in preds]) trees, feat_idx_list manual_random_forest(X_train, y_train, n_estimators20) y_pred_manual manual_predict(trees, feat_idx_list, X_test) print(手动实现准确率: %.4f % accuracy_score(y_test, y_pred_manual))这段代码的核心逻辑拆成四个部分。bootstrap_sample 用 np.random.choice 的 replaceTrue 实现有放回采样每棵树拿到的训练集会重复部分样本。random_feature_idx 在每次建树时只随机挑选 max_features 个特征列模拟随机特征子空间。manual_random_forest 循环建多棵树每棵树的随机种子由基础随机数生成器派生保证不同树之间不重复。manual_predict 收集所有树的预测结果用 np.bincount 做多数投票。跑这个代码的关键观察点手动实现的准确率和 sklearn 直接调用会略有差异这是正常的因为采样顺序和随机种子分配方式不同。这个差异能帮助你理解随机森林的微小随机扰动不影响整体效果。资源里那份完整代码在此基础上加了网格搜索、学习曲线、可视化等功能但核心骨架就是这个。4.3 回归任务的切换接口一致但评估指标不同如果数据集的目标变量是连续数值比如房价、温度、销量就换成 RandomForestRegressor。用法几乎一样但评估方式要换一套from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_squared_error, r2_score reg RandomForestRegressor(n_estimators100, random_state42) reg.fit(X_train, y_train) y_pred reg.predict(X_test) rmse mean_squared_error(y_test, y_pred, squaredFalse) r2 r2_score(y_test, y_pred) print(fRMSE: {rmse:.4f}) print(fR²: {r2:.4f})回归任务里参数选择略有差异。max_features 默认是特征数的三分之一而不是分类任务的平方根这是因为回归任务的特征空间更稀疏需要更多的特征参与分裂。RMSE 的单位和目标变量一致比如预测房价就有具体的房子单价含义R² 是无量纲的越接近 1 越好。只看 RMSE 不够因为不同问题的数值尺度不同没法横向比较R² 弥补了这个缺陷。随机森林的回归树不能外推预测值永远落在训练集目标变量最小值和最大值之间超出门店历史数据范围的预测不可信。4.4 资源里数据集与代码的对应关系这类资源一般会按“数据 代码”组织文件。数据的存放形式通常有两种可能要么是 sklearn 内置数据集直接加载要么是 CSV 文件放在 data 目录下。加载内置数据集的代码就是前面 3.1 节那段如果是 CSV放在 datasets 目录下用 pd.read_csv 读入。拿到资源后的第一个动作我建议是先找到训练脚本的入口文件一般叫 train.py 或 main.py直接运行一次看默认参数下能跑出什么结果然后再看配置文件里的参数。不要一上来就改代码先跑通 baseline。跑通之后再去改 n_estimators 和 max_features观察结果变化。这个顺序能避免“代码没跑通也不知道是自己改坏的还是本来就有问题”的尴尬。5. 随机森林调参避坑手册n_estimators、max_features 与六个常见翻车点5.1 核心参数一张表随机森林需要手动调的参数不多核心就六个参数默认值作用调整建议n_estimators100树的数量越多越稳观察准确率曲线收敛后不用再加max_features分类 sqrt / 回归 1/3每次分裂考虑的特征数唯一对模型质量有质变影响的参数max_depthNone树的最大深度小样本上默认值就够不用刻意限制min_samples_split2节点继续分裂所需最小样本数过拟合时调大到 10 以上min_samples_leaf1叶节点最少样本数过拟合时调大到 5 以上random_stateNone随机种子固定结果用复现和对比实验必须固定还有两个工程化参数n_jobs 设为 -1 时使用全部 CPU 核心能明显提速oob_score 设为 True 时计算袋外误差可以在不单独切验证集的情况下估计泛化能力。5.2 参数的边界感哪些值得调哪些是玄学调随机森林很容易陷入一个误区像调神经网络一样把所有参数都过一遍网格搜索。实际上随机森林的参数敏感性没这么高。n_estimators 从 100 加到 500准确率可能只提升零点几个百分点训练时间却翻几倍。经验是画一条树数量和学习曲线看到曲线变平就停手。max_features 是唯一值得手动多试几个值的参数因为它直接控制树之间的相关性相关性越低集成效果越好。max_depth 在小样本数据集上基本不用调。默认 None 表示树会一直生长到所有叶节点都纯净这在特征几十维、样本几百到几千的场景里虽然会导致单棵树过拟合但随机森林的投票机制能把过拟合压下来。min_samples_leaf 和 min_samples_split 只在明确观察到过拟合时才动。这些边界感比盲目调参更重要。5.3 踩坑记录一随机种子不固定导致结果复现不了现象同一份代码和数据今天跑准确率 0.94明天跑变成 0.91换台机器差距更大。百思不得其解一度怀疑是数据被改过。原因随机森林的采样、特征选择、树的生成都依赖随机数。train_test_split、RandomForestClassifier 的 random_state 都没设置每次运行都会得到不同的数据划分和不同的树结果自然不稳定。这个问题的隐蔽性在于单次运行结果看起来很正常很难意识到是随机种子的事。解决所有可能引入随机性的地方都固定种子。train_test_split 里设 random_state42模型里设 random_state42如果还有 np.random 操作也要固定。从那以后我养成了一个习惯任何模型实验第一行就写好 random_state不然后面对比时根本分不清差异是参数带来的还是随机带来的。5.4 踩坑记录二类别不平衡时直接用准确率被带偏现象一个二分类任务正样本只占 5%模型所有样本都预测成负样本准确率 95%看起来效果很好。原因准确率对类别分布极其敏感。在极端不平衡下全预测多数类就能拿到高准确率模型实际什么都没学会。这个现象在随机森林上尤其容易发生因为树在分裂时追求的是整体纯净度少数类样本很容易被淹没。解决先看混淆矩阵和 F1 分数不要只看准确率。模型层面设置 class_weightbalanced这个参数会自动给少数类更高的权重。评估时用 f1_score 的 macro 模式这样两个类别对结果的贡献是相等的from sklearn.metrics import classification_report clf RandomForestClassifier(n_estimators200, class_weightbalanced, random_state42) clf.fit(X_train, y_train) print(classification_report(y_test, clf.predict(X_test)))classification_report 直接给出精确率、召回率和 F1 的各类别数据。我的习惯是只要训练集里某个类别占比低于 20%就不再拿 accuracy_score 作为唯一评估指标。5.5 踩坑记录三特征重要性被高基数特征带偏现象模型的 feature_importances_ 输出里一个取值特别多的特征排第一但业务上这个特征明显不该有这么强的影响力。比如用户 ID、时间戳这类高唯一性特征杀进前三。原因随机森林的特征重要性计算基于 Gini 不纯度的下降量。高基数特征可以把数据切得很碎每次分裂都让子节点非常纯净累积的不纯度下降量自然高。这会误导判断让你以为是业务强特征实际只是模型在瞎切。解决用置换重要性permutation importance替代 Gini 重要性。原理是把某个特征的值随机打乱后重新预测观察模型效果下降多少。效果下降越多说明这个特征对这个模型越重要。这个计算不依赖树的分裂过程更能反映真实依赖关系而且可以处理高基数特征带来的虚假高重要性from sklearn.inspection import permutation_importance result permutation_importance( clf, X_test, y_test, n_repeats10, random_state42 ) sorted_idx result.importances_mean.argsort()[::-1] for i in sorted_idx[:5]: print(f{feature_names[i]}: {result.importances_mean[i]:.4f})n_repeats 代表每个特征重复打乱多少次取平均设 10 比较稳妥太小了波动大太大了浪费时间。用测试集做置换时要注意打乱后的预测结果包含随机性所以一次置换不够必须重复多次取均值。5.6 踩坑记录四数据量小还疯狂加树内存和时间翻车现象一份只有 2000 行的数据集为了图心安把 n_estimators 设成 5000结果训练时间从十几秒变成十几分钟查看 CPU 时占用率拉满内存也吃紧。原因树的数量和计算量是线性关系。5000 棵树每棵树都要完整训练时间消耗必然上去。而且默认没有限制树的深度每棵树完整生长到叶子充分纯净内存里存的对象也更多了。在小数据集上5000 棵树带来的效果提升微乎其微。解决小数据集上 n_estimators 设 100 到 300 足够配合 n_jobs-1 使用全部核心。想更精细就画一条曲线取 n_estimators [50, 100, 200, 400, 800]对每个值做 5 折交叉验证看交叉验证分数的折线图。曲线变平的点就是性价比最高的树数量没有固定值只能看每份数据自己的表现。5.7 踩坑记录五把随机森林当黑匣子不检查 OOB 和交叉验证现象测试集上跑出来的准确率不错直接拿去上线结果线上数据表现明显更差。原因只用一次 train_test_split 划分出的测试集做评估方差太大。如果恰好测试集比训练集更容易预测评估结果就会偏乐观。随机森林最独特的 OOB 评估机制被直接忽略等于白拿了一个免费验证集。交叉验证又没做模型对数据整体分布的泛化能力完全没评估过。解决模型里开启 oob_scoreTrue训练后直接读 clf.oob_score_。同时配合 5 折交叉验证用交叉验证的平均分作为更可信的模型水平估计。OOB 在数学上相当于留一验证的近似交叉验证是标准验证流程两者对比着看如果差异大说明模型稳定性有问题。5.8 常见问题随机森林训练跑多长时间算正常这个问题要看三个量样本量、特征维度、树的数量。经验参考值是这样的10000 行、20 个特征、n_estimators100在现在的主流 CPU 上启用了 n_jobs-1 之后训练时间通常在几秒到十几秒之间。同样的数据换 1000 棵树时间接近一分钟。如果训练耗时上百秒先检查一下电脑核数和 n_jobs 设置。数据上升到十万行级别100 棵树大概要一两分钟。这个资源配套的数据集都是小规模样本正常情况下训练时间不会超过十秒。如果你跑出了几十秒大概率是调参时把树数量设得过高或者在某台配置比较老的机器上跑。6. OOB 误差与特征重要性验证模型质量的两个不依赖测试集的工具6.1 OOB 分数不额外切验证集就能看泛化能力随机森林在训练时每棵树只用了约 63% 的样本剩下 37% 的袋外样本可以免费用来评估。sklearn 里只需要开启一个参数clf RandomForestClassifier(n_estimators200, oob_scoreTrue, random_state42) clf.fit(X_train, y_train) print(OOB 分数: %.4f % clf.oob_score_) print(测试集分数: %.4f % clf.score(X_test, y_test))oob_score_ 的值是模型对袋外样本的预测准确率。它的价值在于不需要专门从训练集里切一块出来做验证训练过程中就完成了泛化能力的估计。OOB 分数和测试集分数之间的差异如果在一个百分点以内说明模型没有明显过拟合。如果 OOB 分数明显低于测试集分数需要怀疑测试集是否过于简单或和训练集分布不一致。6.2 用特征重要性做筛选区分重要和必要特征重要性是随机森林最有价值的副产品适合做特征筛选。做法是把重要性排序靠前的特征提取出一个子集重新训练同一配置的模型对比两套特征集下的表现import numpy as np # 取重要性排序后的特征索引 importances clf.feature_importances_ top_k 8 top_idx np.argsort(importances)[::-1][:top_k] X_train_top X_train[:, top_idx] X_test_top X_test[:, top_idx] clf_top RandomForestClassifier(n_estimators200, random_state42) clf_top.fit(X_train_top, y_train) score_top clf_top.score(X_test_top, y_test) print(f全部特征得分: {clf.score(X_test, y_test):.4f}) print(fTop{top_k} 特征得分: {score_top:.4f})这里有个常见误判需要指出来重要性低不代表这个特征没用可能只是它和某个高重要性特征高度相关信息被重复表达了。正确的做法是先做一次相关矩阵分析把相关系数高于 0.8 的特征对里重要性低的一方去掉。特征筛选的目标是去掉冗余不是单纯砍掉排名靠后的。Top 特征子集的表现如果不下降就可以用比较少的特征维持相近的效果。这份资源配套的数据集里这个操作之后往往能发现只需要一半的特征就能保住九成以上的准确率。6.3 一个更稳的验证习惯交叉验证与 OOB 对比我最后的习惯是同时跑三组数OOB 分数、测试集分数、交叉验证均值。三组数相差在可接受范围时模型可以放心用任何一组明显掉队都得停下来找原因。OOB 掉队说明袋外样本上表现差可能存在过拟合交叉验证掉队说明模型对数据划分敏感测试集分数虚高说明切分不够随机需要重新检查 stratify。顺带分享一个好的排查技巧训练完成后保存模型并固定特征列顺序特别是后续要从随机森林换到其他模型时。比如你第一次用随机森林筛选出 8 个特征后面想换成逻辑回归如果特征顺序乱了结果就不对应了。把这个资源里的代码跑完一遍之后你会发现随机森林在结构化数据上确实是一个性价比非常高的起点很多复杂的特征工程问题都被集成机制消化掉了。我在之后每做一个新的表格数据项目都会先用它跑一遍拿到 baseline再决定是否值得上更重的手段。希望帮到你。本文还有配套的精品资源点击获取