做机器学习项目很多人把八成精力砸在模型选型和调参上结果模型在本地跑出漂亮指标一上线就拉胯。我见过太多这样的案例回头一查问题往往出在最不起眼的一步训练集和测试集到底怎么分的。这个环节看起来就是调个库函数、写一行train_test_split的事但它直接决定了你评估出来的指标到底可不可信。分得好模型评估结果接近真实表现分得随意你拿到的可能只是一组自我安慰的数字。这篇内容我想把“训练集与测试集划分”这件事彻底讲透。它适合刚入门机器学习、正在跑第一个分类或回归项目的朋友也适合已经做过几个项目、但评估结果总是不稳定的从业者。我会从划分背后的设计逻辑讲起拆解几种常见划分方式的适用场景和取舍理由再落到具体代码和参数选择最后把我自己踩过的坑和排查经验整理出来。核心关键词就一个训练集和测试集的划分但围绕它展开的细节远比一行代码丰富。1. 划分这件事到底在解决什么问题1.1 从“背题”和“考试”的类比说起理解划分的意义最直观的类比就是学生备考。训练集是学生平时做的练习题测试集是考场上从没见过的卷子。如果一个学生把练习册的答案全背下来了练习题做得飞快但一上考场遇到新题就懵这就是典型的“过拟合”——模型在训练数据上表现极好在未见过的数据上表现很差。划分训练集和测试集的根本目的就是人为制造一个“没见过的卷子”用来检验模型是真的学到了规律还是只是记住了训练数据的噪声。这里有个关键点容易被忽略测试集必须在整个建模过程中保持“不可见”。很多人在调参时反复用测试集评估看到指标不好就改参数再测改来改去测试集的信息就一点点泄漏进了模型选择过程。这时候测试集已经不再是“没见过的卷子”而是变成了“你反复研究过的模拟题”评估结果自然虚高。所以划分不只是切一刀的事还包含一整套“测试集隔离”的纪律。1.2 训练集、验证集、测试集三者的分工严格来说一个规范的机器学习流程涉及三个数据集而不是两个。训练集用来拟合模型参数验证集用来做模型选择和超参数调优测试集只在最后用一次给出对泛化能力的最终估计。很多人把验证集和测试集混为一谈或者干脆只用训练集和测试集两分法然后在测试集上反复调参这是评估失真的重灾区。三分法的逻辑是调参阶段你允许自己“看”验证集的表现来做出决策但测试集要留到模型完全定稿后再碰。这样测试集给出的指标才是对未知数据表现的无偏估计。当然如果数据量很小三分法会让每份数据都太少这时候可以用交叉验证来替代单独的验证集但测试集依然要单独留出来。这个取舍后面会详细讲。1.3 划分比例背后的权衡常见的划分比例是训练集占70%到80%测试集占20%到30%。这个范围不是拍脑袋定的背后是偏差和方差之间的权衡。训练集越大模型学到的规律越充分参数估计越稳定但测试集越小评估结果的方差就越大——可能你换一个随机种子测试指标就波动好几个百分点。反过来测试集留得多评估更稳定但训练数据不够模型欠拟合的风险上升。我的经验是数据量在万级以上时测试集留20%甚至10%都够用因为绝对样本数足够多评估方差可控数据量在千级以下时测试集比例可以适当提高到25%到30%保证评估有一定统计意义同时配合交叉验证来充分利用数据。如果数据量只有几百条那单次划分的评估结果基本不可信必须上交叉验证甚至要考虑用分层抽样保证类别分布。2. 几种划分方式的适用场景与取舍2.1 简单随机划分最常用但不总是最合适简单随机划分就是打乱数据后按比例切分train_test_split默认干的就是这件事。它的优点是实现简单、无偏适合样本独立同分布的场景比如一堆用户行为记录、一批传感器读数。但它有个隐含假设样本之间相互独立。一旦数据存在时间顺序、分组结构或者类别不平衡简单随机划分就会出问题。举个典型场景你做的是用户流失预测同一个用户有多条行为记录。如果随机划分同一个用户的不同记录可能同时出现在训练集和测试集里模型在训练时已经“见过”这个用户的行为模式测试时自然表现好但这个好成绩是虚的因为真实场景下你要预测的是全新用户。这就是数据泄漏的一种形式叫分组泄漏。遇到这种情况必须按用户ID分组划分保证同一个用户的所有记录只出现在一边。2.2 分层抽样类别不平衡时的必备手段当你的分类任务类别分布不均衡时比如正样本只占5%简单随机划分很可能导致训练集或测试集里正样本比例偏离总体甚至某一类样本在测试集里几乎没有。这会带来两个问题训练时模型见不到足够的少数类样本测试时评估指标波动极大。分层抽样stratified sampling就是为解决这个问题设计的它保证划分后各子集的类别比例与原始数据一致。在train_test_split里加一个stratifyy参数就能实现。这个参数看起来不起眼但在不平衡数据上效果立竿见影。我做过一个欺诈检测的小项目正样本占比不到3%不加分层时测试集里正样本数量忽多忽少召回率指标每次跑都不一样加上分层后每次划分的类别分布稳定评估结果的可比性大大提升。需要注意的是分层抽样要求每个类别至少有足够样本如果某个类别只有个位数样本分层也可能失败这时候要考虑合并稀有类别或者用其他策略。2.3 时间序列划分绝不能随机打乱时间序列数据是划分规则最特殊的一类。股票价格、销量预测、设备运行状态监测这些数据都有时间先后顺序样本之间不独立。如果你随机打乱后划分等于用未来的数据预测过去模型在测试集上的表现会好得不真实但上线后完全不能用。正确做法是按时间切分用较早时间段的数据做训练较晚时间段的数据做测试中间可以留一段做验证。具体操作上可以按时间戳排序后取前80%做训练、后20%做测试或者用时间序列交叉验证如TimeSeriesSplit每次用前面的窗口训练、紧接着的窗口验证滚动前进。这里有个细节训练集和测试集之间最好留一个“间隔期”gap避免特征工程中用到未来信息时产生边界泄漏。比如你做的是未来7天销量预测训练集最后一天和测试集第一天之间至少要隔7天否则测试集的特征窗口会碰到训练集标签覆盖的时间段。2.4 交叉验证小数据集的评估利器当数据量不足以支撑一次可靠的留出法评估时交叉验证是更好的选择。K折交叉验证把数据分成K份每次用K-1份训练、1份验证轮换K次后取平均指标。这样每个样本都参与过训练和验证数据利用率高评估结果也更稳定。常见的K取5或10K越大计算成本越高但偏差越小。交叉验证和留出法不是互斥的。规范做法是先用交叉验证在训练集上做模型选择和调参定稿后再用独立测试集做最终评估。很多人图省事直接在全部数据上做交叉验证然后报告平均指标这其实高估了模型表现因为交叉验证过程中你已经根据验证结果做了决策信息已经泄漏。交叉验证的定位是“训练阶段的评估工具”不是“最终成绩单”。3. 实操过程与关键参数落地3.1 用train_test_split完成一次规范划分先看最基础的代码骨架。假设特征矩阵是X标签是y要做一次带分层的划分from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy, shuffleTrue )逐参数说清楚。test_size0.2表示测试集占20%也可以传整数表示测试集绝对样本数。random_state42固定随机种子保证每次划分结果可复现——这一点在团队协作和结果对比时极其重要没有固定种子你连“这次调参比上次好”都说不清楚。stratifyy开启分层前面讲过它的价值。shuffleTrue是默认值表示划分前打乱数据时间序列场景要设为False并配合其他处理。划分完成后第一件事不是急着训练模型而是检查两个子集的分布是否一致。可以对比训练集和测试集的标签均值、关键特征的均值方差如果差异明显说明划分可能有问题。这个检查步骤很多人跳过但它能在早期发现数据泄漏或抽样偏差。3.2 分组划分的代码实现按用户ID分组划分需要用到GroupShuffleSplitfrom sklearn.model_selection import GroupShuffleSplit gss GroupShuffleSplit(n_splits1, test_size0.2, random_state42) train_idx, test_idx next(gss.split(X, y, groupsuser_ids)) X_train, X_test X[train_idx], X[test_idx] y_train, y_test y[train_idx], y[test_idx]关键在groups参数它告诉划分器哪些样本属于同一组同一组样本只会整体进入训练集或测试集。这个方式在医疗数据同一患者多条记录、推荐系统同一用户多次交互、设备监测同一设备多时段数据里都是标配。我见过有人用简单随机划分处理患者数据结果同一患者的记录横跨训练测试模型评估虚高十几个百分点这种错误在评审时是硬伤。3.3 时间序列划分的具体操作时间序列划分用TimeSeriesSplitfrom sklearn.model_selection import TimeSeriesSplit tscv TimeSeriesSplit(n_splits5, gap7) for train_idx, test_idx in tscv.split(X): X_train, X_test X[train_idx], X[test_idx] y_train, y_test y[train_idx], y[test_idx] # 训练与评估n_splits5表示切5折gap7表示训练集和测试集之间留7个时间单位的间隔防止边界泄漏。注意TimeSeriesSplit的测试窗口是顺序向前的不会打乱时间顺序。如果你的数据有明确的时间戳划分前务必按时间排序否则索引顺序错乱会导致训练集里混入未来数据。3.4 划分后的分布校验清单划分完成后的校验我习惯做成一个固定清单每次项目都过一遍校验项检查方法异常信号类别比例对比训练集与测试集各类占比差异超过3个百分点需警惕样本量确认测试集绝对样本数少于100条时评估方差偏大特征分布对比关键特征均值与方差明显偏移提示抽样偏差分组完整性检查同一组是否跨集跨集即存在分组泄漏时间顺序确认训练集时间早于测试集出现未来数据即泄漏这张表看着简单但每一条都对应过真实翻车案例。尤其是分组完整性和时间顺序两项一旦出问题模型指标再好看也没有参考价值。4. 常见问题与排查技巧实录4.1 测试指标忽高忽低怎么办这是最常见的困惑同样的模型换个随机种子重跑测试准确率能从0.82跳到0.76。原因通常是测试集太小或者划分不稳定。排查顺序是先看测试集绝对样本数如果只有几十条波动大是必然的考虑增大测试集比例或改用交叉验证再看是否开了分层类别不平衡时不分层会导致每次划分的类别构成差异大最后检查数据本身是否有重复样本或近似重复样本重复样本随机落入不同子集会放大波动。4.2 训练指标很高但测试指标很差这是过拟合的典型信号但先别急着加正则化先排查划分是否泄漏。检查清单特征里是否包含了标签的未来信息比如用“最终是否流失”这个字段去预测“是否流失”分组数据是否被随机划分导致同组泄漏时间序列是否被打乱。我遇到过一个案例特征工程时把全量数据的统计量如全局均值算进了特征这个统计量包含了测试集信息导致测试指标虚高修正后指标回落但更真实。这类泄漏隐蔽性强排查时要逐个特征追溯来源。4.3 小样本数据怎么划分才靠谱数据只有几百条时单次留出法评估基本不可信。我的做法是用5折交叉验证在训练集上评估和调参同时保留一个占15%到20%的独立测试集做最终验证。如果数据少到连独立测试集都留不出那就用嵌套交叉验证——外层交叉验证做评估内层交叉验证做调参虽然计算成本高但评估结果最可靠。另一个技巧是重复多次随机划分取平均比如重复10次不同种子的划分报告指标的均值和标准差比单次结果稳健得多。4.4 划分比例到底怎么定没有万能比例但有个决策思路先看数据量级万级以上测试集10%到20%足够千级左右用20%到25%百级以下必须交叉验证。再看任务类型分类任务测试集要保证每个类别有足够样本必要时提高测试集比例回归任务对测试集绝对数量要求相对低一些。最后看评估指标的稳定性要求如果业务对指标波动敏感宁可多留测试数据换取评估稳定性。这个决策没有标准答案但把数据量、类别分布、业务容忍度三个因素摆出来比例自然就清楚了。4.5 划分相关的常见误区速查误区后果正确做法在测试集上反复调参评估虚高上线翻车测试集只在定稿后用一次时间序列随机打乱用未来预测过去按时间顺序切分并留gap分组数据随机划分同组泄漏指标虚高用GroupShuffleSplit按组划分不平衡数据不分层类别分布漂移加stratify参数划分后不校验分布隐藏抽样偏差对比子集统计量小数据单次划分定结论评估方差过大交叉验证加重复划分这些误区我在不同项目里几乎都见过其中“测试集反复调参”和“时间序列打乱”是最伤的两条因为它们制造的虚高指标会让人误以为模型已经可用直到上线才暴露问题返工成本极高。5. 我个人的几条实操心得第一条心得是划分代码要写成可复用的函数把随机种子、分层、分组这些参数显式暴露出来而不是散落在各个脚本里。项目一多你根本记不住哪个脚本用了什么划分方式统一封装能避免很多低级错误。第二条是每次划分后把子集的统计摘要打印出来养成习惯这比事后排查泄漏省事得多。第三条是测试集的指标只信第一次后续任何调参后的测试结果都要打折扣看因为你的决策已经污染了它。还有一点值得强调划分方式的选择应该在项目开始时就定下来写进实验记录而不是中途随意更换。我见过有人调参效果不好就换一种划分方式重跑这本质上是在用测试集做选择评估结果失去意义。划分方案是评估的地基地基不能边盖楼边改。最后分享一个实用技巧如果你的数据同时存在分组和时间属性比如同一设备多个时间点的监测数据划分时要先按时间切分再在时间切分的基础上按组划分两个约束叠加。这种复合场景没有现成的一行代码需要自己写索引逻辑但原则不变——任何可能让测试集信息泄漏到训练过程的路径都要在划分阶段堵死。 
长河君 · 2026/10/27 22:08:06 · 阅读 1.2k 训练集与测试集划分：机器学习评估的基石与避坑指南
做机器学习项目很多人把八成精力砸在模型选型和调参上结果模型在本地跑出漂亮指标一上线就拉胯。我见过太多这样的案例回头一查问题往往出在最不起眼的一步训练集和测试集到底怎么分的。这个环节看起来就是调个库函数、写一行train_test_split的事但它直接决定了你评估出来的指标到底可不可信。分得好模型评估结果接近真实表现分得随意你拿到的可能只是一组自我安慰的数字。这篇内容我想把“训练集与测试集划分”这件事彻底讲透。它适合刚入门机器学习、正在跑第一个分类或回归项目的朋友也适合已经做过几个项目、但评估结果总是不稳定的从业者。我会从划分背后的设计逻辑讲起拆解几种常见划分方式的适用场景和取舍理由再落到具体代码和参数选择最后把我自己踩过的坑和排查经验整理出来。核心关键词就一个训练集和测试集的划分但围绕它展开的细节远比一行代码丰富。1. 划分这件事到底在解决什么问题1.1 从“背题”和“考试”的类比说起理解划分的意义最直观的类比就是学生备考。训练集是学生平时做的练习题测试集是考场上从没见过的卷子。如果一个学生把练习册的答案全背下来了练习题做得飞快但一上考场遇到新题就懵这就是典型的“过拟合”——模型在训练数据上表现极好在未见过的数据上表现很差。划分训练集和测试集的根本目的就是人为制造一个“没见过的卷子”用来检验模型是真的学到了规律还是只是记住了训练数据的噪声。这里有个关键点容易被忽略测试集必须在整个建模过程中保持“不可见”。很多人在调参时反复用测试集评估看到指标不好就改参数再测改来改去测试集的信息就一点点泄漏进了模型选择过程。这时候测试集已经不再是“没见过的卷子”而是变成了“你反复研究过的模拟题”评估结果自然虚高。所以划分不只是切一刀的事还包含一整套“测试集隔离”的纪律。1.2 训练集、验证集、测试集三者的分工严格来说一个规范的机器学习流程涉及三个数据集而不是两个。训练集用来拟合模型参数验证集用来做模型选择和超参数调优测试集只在最后用一次给出对泛化能力的最终估计。很多人把验证集和测试集混为一谈或者干脆只用训练集和测试集两分法然后在测试集上反复调参这是评估失真的重灾区。三分法的逻辑是调参阶段你允许自己“看”验证集的表现来做出决策但测试集要留到模型完全定稿后再碰。这样测试集给出的指标才是对未知数据表现的无偏估计。当然如果数据量很小三分法会让每份数据都太少这时候可以用交叉验证来替代单独的验证集但测试集依然要单独留出来。这个取舍后面会详细讲。1.3 划分比例背后的权衡常见的划分比例是训练集占70%到80%测试集占20%到30%。这个范围不是拍脑袋定的背后是偏差和方差之间的权衡。训练集越大模型学到的规律越充分参数估计越稳定但测试集越小评估结果的方差就越大——可能你换一个随机种子测试指标就波动好几个百分点。反过来测试集留得多评估更稳定但训练数据不够模型欠拟合的风险上升。我的经验是数据量在万级以上时测试集留20%甚至10%都够用因为绝对样本数足够多评估方差可控数据量在千级以下时测试集比例可以适当提高到25%到30%保证评估有一定统计意义同时配合交叉验证来充分利用数据。如果数据量只有几百条那单次划分的评估结果基本不可信必须上交叉验证甚至要考虑用分层抽样保证类别分布。2. 几种划分方式的适用场景与取舍2.1 简单随机划分最常用但不总是最合适简单随机划分就是打乱数据后按比例切分train_test_split默认干的就是这件事。它的优点是实现简单、无偏适合样本独立同分布的场景比如一堆用户行为记录、一批传感器读数。但它有个隐含假设样本之间相互独立。一旦数据存在时间顺序、分组结构或者类别不平衡简单随机划分就会出问题。举个典型场景你做的是用户流失预测同一个用户有多条行为记录。如果随机划分同一个用户的不同记录可能同时出现在训练集和测试集里模型在训练时已经“见过”这个用户的行为模式测试时自然表现好但这个好成绩是虚的因为真实场景下你要预测的是全新用户。这就是数据泄漏的一种形式叫分组泄漏。遇到这种情况必须按用户ID分组划分保证同一个用户的所有记录只出现在一边。2.2 分层抽样类别不平衡时的必备手段当你的分类任务类别分布不均衡时比如正样本只占5%简单随机划分很可能导致训练集或测试集里正样本比例偏离总体甚至某一类样本在测试集里几乎没有。这会带来两个问题训练时模型见不到足够的少数类样本测试时评估指标波动极大。分层抽样stratified sampling就是为解决这个问题设计的它保证划分后各子集的类别比例与原始数据一致。在train_test_split里加一个stratifyy参数就能实现。这个参数看起来不起眼但在不平衡数据上效果立竿见影。我做过一个欺诈检测的小项目正样本占比不到3%不加分层时测试集里正样本数量忽多忽少召回率指标每次跑都不一样加上分层后每次划分的类别分布稳定评估结果的可比性大大提升。需要注意的是分层抽样要求每个类别至少有足够样本如果某个类别只有个位数样本分层也可能失败这时候要考虑合并稀有类别或者用其他策略。2.3 时间序列划分绝不能随机打乱时间序列数据是划分规则最特殊的一类。股票价格、销量预测、设备运行状态监测这些数据都有时间先后顺序样本之间不独立。如果你随机打乱后划分等于用未来的数据预测过去模型在测试集上的表现会好得不真实但上线后完全不能用。正确做法是按时间切分用较早时间段的数据做训练较晚时间段的数据做测试中间可以留一段做验证。具体操作上可以按时间戳排序后取前80%做训练、后20%做测试或者用时间序列交叉验证如TimeSeriesSplit每次用前面的窗口训练、紧接着的窗口验证滚动前进。这里有个细节训练集和测试集之间最好留一个“间隔期”gap避免特征工程中用到未来信息时产生边界泄漏。比如你做的是未来7天销量预测训练集最后一天和测试集第一天之间至少要隔7天否则测试集的特征窗口会碰到训练集标签覆盖的时间段。2.4 交叉验证小数据集的评估利器当数据量不足以支撑一次可靠的留出法评估时交叉验证是更好的选择。K折交叉验证把数据分成K份每次用K-1份训练、1份验证轮换K次后取平均指标。这样每个样本都参与过训练和验证数据利用率高评估结果也更稳定。常见的K取5或10K越大计算成本越高但偏差越小。交叉验证和留出法不是互斥的。规范做法是先用交叉验证在训练集上做模型选择和调参定稿后再用独立测试集做最终评估。很多人图省事直接在全部数据上做交叉验证然后报告平均指标这其实高估了模型表现因为交叉验证过程中你已经根据验证结果做了决策信息已经泄漏。交叉验证的定位是“训练阶段的评估工具”不是“最终成绩单”。3. 实操过程与关键参数落地3.1 用train_test_split完成一次规范划分先看最基础的代码骨架。假设特征矩阵是X标签是y要做一次带分层的划分from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy, shuffleTrue )逐参数说清楚。test_size0.2表示测试集占20%也可以传整数表示测试集绝对样本数。random_state42固定随机种子保证每次划分结果可复现——这一点在团队协作和结果对比时极其重要没有固定种子你连“这次调参比上次好”都说不清楚。stratifyy开启分层前面讲过它的价值。shuffleTrue是默认值表示划分前打乱数据时间序列场景要设为False并配合其他处理。划分完成后第一件事不是急着训练模型而是检查两个子集的分布是否一致。可以对比训练集和测试集的标签均值、关键特征的均值方差如果差异明显说明划分可能有问题。这个检查步骤很多人跳过但它能在早期发现数据泄漏或抽样偏差。3.2 分组划分的代码实现按用户ID分组划分需要用到GroupShuffleSplitfrom sklearn.model_selection import GroupShuffleSplit gss GroupShuffleSplit(n_splits1, test_size0.2, random_state42) train_idx, test_idx next(gss.split(X, y, groupsuser_ids)) X_train, X_test X[train_idx], X[test_idx] y_train, y_test y[train_idx], y[test_idx]关键在groups参数它告诉划分器哪些样本属于同一组同一组样本只会整体进入训练集或测试集。这个方式在医疗数据同一患者多条记录、推荐系统同一用户多次交互、设备监测同一设备多时段数据里都是标配。我见过有人用简单随机划分处理患者数据结果同一患者的记录横跨训练测试模型评估虚高十几个百分点这种错误在评审时是硬伤。3.3 时间序列划分的具体操作时间序列划分用TimeSeriesSplitfrom sklearn.model_selection import TimeSeriesSplit tscv TimeSeriesSplit(n_splits5, gap7) for train_idx, test_idx in tscv.split(X): X_train, X_test X[train_idx], X[test_idx] y_train, y_test y[train_idx], y[test_idx] # 训练与评估n_splits5表示切5折gap7表示训练集和测试集之间留7个时间单位的间隔防止边界泄漏。注意TimeSeriesSplit的测试窗口是顺序向前的不会打乱时间顺序。如果你的数据有明确的时间戳划分前务必按时间排序否则索引顺序错乱会导致训练集里混入未来数据。3.4 划分后的分布校验清单划分完成后的校验我习惯做成一个固定清单每次项目都过一遍校验项检查方法异常信号类别比例对比训练集与测试集各类占比差异超过3个百分点需警惕样本量确认测试集绝对样本数少于100条时评估方差偏大特征分布对比关键特征均值与方差明显偏移提示抽样偏差分组完整性检查同一组是否跨集跨集即存在分组泄漏时间顺序确认训练集时间早于测试集出现未来数据即泄漏这张表看着简单但每一条都对应过真实翻车案例。尤其是分组完整性和时间顺序两项一旦出问题模型指标再好看也没有参考价值。4. 常见问题与排查技巧实录4.1 测试指标忽高忽低怎么办这是最常见的困惑同样的模型换个随机种子重跑测试准确率能从0.82跳到0.76。原因通常是测试集太小或者划分不稳定。排查顺序是先看测试集绝对样本数如果只有几十条波动大是必然的考虑增大测试集比例或改用交叉验证再看是否开了分层类别不平衡时不分层会导致每次划分的类别构成差异大最后检查数据本身是否有重复样本或近似重复样本重复样本随机落入不同子集会放大波动。4.2 训练指标很高但测试指标很差这是过拟合的典型信号但先别急着加正则化先排查划分是否泄漏。检查清单特征里是否包含了标签的未来信息比如用“最终是否流失”这个字段去预测“是否流失”分组数据是否被随机划分导致同组泄漏时间序列是否被打乱。我遇到过一个案例特征工程时把全量数据的统计量如全局均值算进了特征这个统计量包含了测试集信息导致测试指标虚高修正后指标回落但更真实。这类泄漏隐蔽性强排查时要逐个特征追溯来源。4.3 小样本数据怎么划分才靠谱数据只有几百条时单次留出法评估基本不可信。我的做法是用5折交叉验证在训练集上评估和调参同时保留一个占15%到20%的独立测试集做最终验证。如果数据少到连独立测试集都留不出那就用嵌套交叉验证——外层交叉验证做评估内层交叉验证做调参虽然计算成本高但评估结果最可靠。另一个技巧是重复多次随机划分取平均比如重复10次不同种子的划分报告指标的均值和标准差比单次结果稳健得多。4.4 划分比例到底怎么定没有万能比例但有个决策思路先看数据量级万级以上测试集10%到20%足够千级左右用20%到25%百级以下必须交叉验证。再看任务类型分类任务测试集要保证每个类别有足够样本必要时提高测试集比例回归任务对测试集绝对数量要求相对低一些。最后看评估指标的稳定性要求如果业务对指标波动敏感宁可多留测试数据换取评估稳定性。这个决策没有标准答案但把数据量、类别分布、业务容忍度三个因素摆出来比例自然就清楚了。4.5 划分相关的常见误区速查误区后果正确做法在测试集上反复调参评估虚高上线翻车测试集只在定稿后用一次时间序列随机打乱用未来预测过去按时间顺序切分并留gap分组数据随机划分同组泄漏指标虚高用GroupShuffleSplit按组划分不平衡数据不分层类别分布漂移加stratify参数划分后不校验分布隐藏抽样偏差对比子集统计量小数据单次划分定结论评估方差过大交叉验证加重复划分这些误区我在不同项目里几乎都见过其中“测试集反复调参”和“时间序列打乱”是最伤的两条因为它们制造的虚高指标会让人误以为模型已经可用直到上线才暴露问题返工成本极高。5. 我个人的几条实操心得第一条心得是划分代码要写成可复用的函数把随机种子、分层、分组这些参数显式暴露出来而不是散落在各个脚本里。项目一多你根本记不住哪个脚本用了什么划分方式统一封装能避免很多低级错误。第二条是每次划分后把子集的统计摘要打印出来养成习惯这比事后排查泄漏省事得多。第三条是测试集的指标只信第一次后续任何调参后的测试结果都要打折扣看因为你的决策已经污染了它。还有一点值得强调划分方式的选择应该在项目开始时就定下来写进实验记录而不是中途随意更换。我见过有人调参效果不好就换一种划分方式重跑这本质上是在用测试集做选择评估结果失去意义。划分方案是评估的地基地基不能边盖楼边改。最后分享一个实用技巧如果你的数据同时存在分组和时间属性比如同一设备多个时间点的监测数据划分时要先按时间切分再在时间切分的基础上按组划分两个约束叠加。这种复合场景没有现成的一行代码需要自己写索引逻辑但原则不变——任何可能让测试集信息泄漏到训练过程的路径都要在划分阶段堵死。