数据预处理这件事说穿了就是把空值填掉、把字符串换成数字、把量纲拉到同一个尺度但真正拉开差距的地方全藏在为什么这么填、这么换、这么拉的细节里。我拿泰坦尼克号数据集做了一轮完整的数据预处理实验前后自己推翻了四个版本最后跑出来的交叉验证准确率比能跑通就行的第一版高了将近 6 个百分点而这 6 个点里没有一行是换模型的功劳全部来自数据侧。这份数据集规模不大891 条训练样本、418 条测试样本、12 个字段正因为它小、干净、公开、结果可复现才特别适合把预处理里那些容易含糊过去的判断一个一个掰开看。下面这篇东西适合三类人刚学完 pandas 和 sklearn、拿到表格就急着fit的新手做了几个项目但分数一直在 0.78 上下打转、不知道瓶颈在哪的人以及想把预处理流程写成可复用管道、不想每次重写几十行代码的从业者。我不会只给一份能跑的脚本重点是每一步背后的取舍逻辑和踩过的坑。1. 先把数据和目标摊开来看动手写代码之前我把这份数据的字段清单和缺失情况打印了三遍因为预处理的绝大部分决策本质上都是对这个字段缺得多不多、它为什么缺、它和标签有没有关系的判断。跳过这一步直接fillna(0)后面全是白干。1.1 这份数据集到底长什么样训练集 891 行、12 列其中一列是标签Survived0 表示未存活1 表示存活正例 342 条、负例 549 条正例占比 38.4%。测试集 418 行、11 列没有标签列。字段构成大致是这样字段类型含义预处理关注点PassengerId整数行编号与标签无关建模时直接丢弃Survived0/1标签只存在于训练集注意别在拼接时污染Pclass1/2/3舱位等级有序变量但也可当类别Name字符串姓名原始值无用称呼前缀是强特征Sex字符串性别名义变量需编码Age浮点年龄缺失约 19.9%且缺失非随机SibSp整数同行的兄弟姐妹/配偶数与 Parch 组合成家庭规模Parch整数同行的父母/子女数同上Ticket字符串票号前缀藏信息原始值必须丢弃Fare浮点票价长尾分布含 0 值和极端值Cabin字符串舱房号缺失约 77.1%但首字母有用Embarked字符串登船港口仅缺 2 条众数填充这份数据的好在于字段少、语义清晰坑则在于三条字符串列Name、Ticket、Cabin看起来该丢实际上丢了就少了一大块信号两条数值列Age、Fare看起来该填实际上填法不同分数能差两三个点。1.2 预处理的目标不是填满空值而是提高信息密度这是我做了几轮之后最大的认知转变。新手阶段我判断预处理做得好不好标准是df.isna().sum()是不是全零后来才明白空值填成 0 也是零但模型学到的东西完全不同。真正的目标有两个一是让每一列承载的信息尽量多地暴露出来二是让模型不需要花容量去处理尺度、量纲、编码这些和预测无关的干扰。举个具体的例子。Name这一列891 个取值几乎全不重复直接做独热编码会炸出 891 维直觉上就是扔掉。但姓名里带称呼后缀——Mr、Mrs、Miss、Master 等等。把这些称呼抽出来会发现Master基本对应小男孩这个群体的存活率和成年男性完全不是一个量级。同样一列数据扔掉是一个决策抽出称呼是另一个决策信息密度差了好几倍。整篇的重点就在这类地方不是把列删干净而是想办法把一列拆成两列更有用的。1.3 为什么我坚持先划分数据再谈任何变换这条是我在别的项目里吃过亏之后才彻底改过来的习惯。用中位数填缺失、用均值方差做标准化这类操作都会产生统计量。如果先在全部 891 行上算出中位数再去划分训练集和验证集那么验证集的信息已经通过这个中位数渗进了训练过程交叉验证的分数会虚高上线之后打回原形。正确做法只有一条所有依赖数据的变换都必须包进Pipeline让fit只在训练折上发生transform才作用于验证折。这件事在 sklearn 里其实不费劲cross_val_score(pipe, X, y, cvcv)这一行就自动帮你做对了前提是你真的把变换塞进了 Pipeline 而不是提前在 DataFrame 上算好。注意手工特征工程里有一部分操作比如按分组算中位数填充年龄确实会在全量数据上算统计量。这类只用到特征列、不用到标签列的变换属于跨样本的无监督统计在本地实验中通常可以接受但在严格评估或线上场景里应该把它也塞进 Pipeline 的FunctionTransformer或自定义 transformer保证每一折都重新拟合。我的做法是把这一类操作分成两层结构性的、只依赖单行内容的变换比如抽称呼、算家庭规模、取票号前缀放在 DataFrame 层面一次做完依赖跨行统计的变换填充、缩放、编码一律进 Pipeline。这样既保住了效率也守住了不泄漏的底线。2. 缺失值不是所有空都能用同一个中位数填掉缺失值处理是这份数据集里最容易被草率对待的环节。我见过不少代码上来就是df.fillna(df.median())一行解决然后抱怨 Age 这一列加了跟没加一样。问题不在于填了而在于填的方式把这一列的信息抹平了。2.1 三列缺失的三种性质先把缺失情况排个序用df.isna().sum().sort_values(ascendingFalse)一行就能看到列名缺失数缺失比例缺失机制判断处理方式Cabin68777.1%大概率是记录流程导致非随机保留首字母缺失归为 Unknown 类Age17719.9%与舱位、性别、称呼相关属随机缺失分组中位数填充 缺失指示列Embarked20.2%完全随机可忽略众数填充Fare0 / 1测试集训练集 0测试集 1 条单条缺失按舱位中位数填充判断为什么缺这件事没有银弹但有个实用办法造一个Age_isnull的布尔列然后看它和标签、和其他字段的关系。我实测下来年龄缺失的人在低舱位里比例明显更高说明缺失本身就和乘客群体相关不是纯随机。既然如此把是否缺失作为一个特征保留下来是有价值的它相当于告诉模型这条记录的年龄是估出来的可信度不同。2.2 Age 的按组填充与缺失指示列直接填全局中位数28 岁左右的问题在于它会把一个头等舱女性真实中位年龄更接近 35 岁和一个三等舱男性真实中位年龄更接近 25 岁都填成同一个值本来能区分开的两个人被强行拉到一起。改进办法是按Pclass Sex Title分组求中位数import pandas as pd import numpy as np train pd.read_csv(train.csv) test pd.read_csv(test.csv) # 拼接前先打标记保证后面能拆回去 train[_is_train] 1 test[_is_train] 0 test[Survived] np.nan data pd.concat([train, test], ignore_indexTrue, sortFalse) # 先抽称呼供排序填充使用 data[Title] data[Name].str.extract(r ([A-Za-z])\., expandFalse) data[Title] data[Title].replace([Mlle, Ms], Miss) data[Title] data[Title].replace([Mme], Mrs) rare data[Title].value_counts() rare rare[rare 10].index data[Title] data[Title].replace(rare, Rare) # 缺失指示列必须在填充之前生成 data[Age_isnull] data[Age].isna().astype(int) # 分组中位数填充 age_median data.groupby([Pclass, Sex, Title])[Age].median() data[Age] data.apply( lambda r: age_median.get((r[Pclass], r[Sex], r[Title]), data[Age].median()) if pd.isna(r[Age]) else r[Age], axis1 )这里有个顺序陷阱Age_isnull一定要在填充之前生成填完再算就全是 0 了。我第一版就是写反了跑完发现这列方差为 0还以为是特征没用。分组填充完之后Age 的分布形状比全局中位数填充要自然得多尤其是尾部——全局填充会把分布压成一根尖刺分组填充保留了各个子群体的轮廓。2.3 Cabin 从几乎全空里榨出信息77% 缺失第一反应是删列这个判断不能说错但丢掉了一个免费信号。实操上做两件事就够了把缺失值统一填成字符串U然后取第一个字母作为甲板编号。data[Deck] data[Cabin].str[0].fillna(U)甲板编号和舱位等级高度相关A、B、C 开头的基本都是头等舱分布在船体上层编号靠后的多在底层。这份数据里甲板类别不多做独热编码后维度可控。另外有没有记录舱房号本身也有信息量——能记录到具体房间的乘客往往和同一批人同行这和家庭规模特征能互相印证。2.4 Embarked 那两条记录可以顺手多看一眼只有 2 条缺失用众数S 港填是最省事的做法。但我习惯多花两分钟看一眼这两行的其他字段它们的票价都不低属于头等舱价位而头等舱乘客从 C 港登船的比例明显更高。所以这两条我更倾向于填 C而不是众数 S。这个改动对最终分数的影响几乎为零毕竟只有 2 条。但养成填之前先看看这一行其他字段怎么说的习惯在处理缺失率 5% 到 20% 的列时收益就完全不一样了。这才是缺失值处理真正的技术含量所在。3. 特征工程把字符串里的信息挖出来预处理做到后面我发现真正决定上限的不是填充和缩放而是特征工程——能不能从看起来没用的字符串列里拆出模型能直接用的信号。这一节里的几个操作是我在这份数据集上收益最明显的部分。3.1 Name 里的称呼是最便宜的强特征Name原始值不能直接进模型但正则抽出来的称呼前缀信息量非常大。前面代码已经抽好了Title这里看它和标签的关系称呼样本数存活率约Mr51715.7%Miss18269.8%Mrs12579.2%Master4057.5%Rare各类稀有头衔合并2734.7%从 Mr 的 15.7% 到 Mrs 的 79.2%跨度超过 60 个百分点这比Sex单独一列提供的区分度还要细。为什么因为Sex只区分男女Title在性别基础上还叠加了年龄和婚姻状态——Master是未成年男性Miss多为未婚女性这两类的行为模式也就是获救优先级和成年已婚群体完全不同。稀有称呼的合并逻辑也要注意样本数少于 10 的类别全部归为Rare避免独热编码后出现几十个只有一两条样本的稀疏列那种列对模型只有干扰。3.2 Ticket 和 Cabin 的前缀藏着团体的线索Ticket原始值形如PC 17599、A/5 21171、STON/O2. 3101282纯数字票号直接丢弃前缀信息也没损失但带字母前缀的往往代表某种团体票或特定渠道的票。抽法很简单def ticket_prefix(t): if pd.isna(t): return MISSING t t.replace(., ).replace(/, ) parts t.split() if len(parts) 1: return NUM # 纯数字 return parts[0].upper() data[TicketPrefix] data[Ticket].apply(ticket_prefix)抽完之后再做一次稀有类别合并把出现次数少于 10 的前缀统一归到Rare。这个特征单独看解释性不强但和家庭规模、舱位组合起来能帮模型识别出同一批人一起出行、并且获救结果高度相关的情况。这类特征的价值不在单独贡献而在提供分组视角。3.3 家庭规模与同行人数的组合特征SibSp和Parch单独看都不太直观合成一个家庭规模就清楚了data[FamilySize] data[SibSp] data[Parch] 1 data[IsAlone] (data[FamilySize] 1).astype(int) data[IsSmallFamily] data[FamilySize].between(2, 4).astype(int)家庭规模和存活率的关系是一条明显的倒 U 形曲线独行的乘客存活率约 30%2 到 4 人的家庭存活率能到 55% 以上而 5 人以上的大家庭存活率掉到 20% 以下。为什么是倒 U中小规模家庭在疏散时能互相照应又不至于拖累速度大家庭往往要照顾老人小孩反而整体转移困难。这条非线性关系特别值得注意如果你只把FamilySize当连续变量喂给线性模型它只能拟合出一条直线完全抓不住倒 U。解决办法有两种一是做分箱pd.cut成 1 人、2-4 人、5 人以上三档二是树模型本身能切分。我两个都做了互为补充。另外还可以补一个FarePerPerson Fare / FamilySize理由是总票价高不代表这个人富裕头等舱一个人住和头等舱一家五口住人均支出差好几倍而人均支出才是真正刻画经济状况的量。3.4 分箱把连续变量切成模型更好啃的形状年龄做分箱除了缓解非线性还有一个附带好处——可以直接把缺失归成单独一类data[AgeBin] pd.cut( data[Age], bins[-1, 12, 18, 35, 60, 200], labels[Child, Teen, Adult, Middle, Senior] ) data[AgeBin] data[AgeBin].astype(object).fillna(Unknown)这里有个容易踩的类型坑pd.cut返回的是category类型的 Series直接fillna(Unknown)会报TypeError: boolean value of NA is ambiguous或者新值不在类别中的错。必须先.astype(object)转成普通对象类型再填充字符串顺序反了就跑不通。票价也值得做一次分位数分箱pd.qcut分成 4 到 5 档。分位数分箱的好处是每一档样本量均衡不会出现某一档只有几个样本的情况坏处是可解释性不如固定阈值。我个人习惯是两列都留原始Fare加对数变换后的一列再加一列分箱标签让模型自己挑。4. 编码、缩放与异常值三个最容易踩坑的环节这三件事在教程里通常各占一段实际做起来却是互相影响的。比如异常值处理方式会直接改变缩放器的选择编码方式又会决定维度规模。4.1 类别编码独热和序数的边界在哪先把字段按性质分一遍字段性质编码方式理由Sex二值名义独热或直接 0/1只有两类哪种都行Embarked三值名义独热港口之间无大小关系Title多值名义独热 稀有合并类别数控制在 6 以内Deck多值名义独热 稀有合并缺失单列一类 UTicketPrefix高基数名义独热 min_frequency不合并会炸维度Pclass有序保留数值1/2/3 单调对应等级AgeBin有序独热或序数编码两种都试过差异很小Pclass是个典型的有序变量保留数值形式1、2、3让模型直接利用单调性比独热更省维度。但如果你的模型是线性模型只保留数值可能不够——它只能拟合等级每升一级对数几率变化固定量而真实关系未必线性。我给线性模型的版本会额外加一份Pclass的独热编码两者并存。高基数字段一定要设min_frequencyfrom sklearn.preprocessing import OneHotEncoder OneHotEncoder(handle_unknownignore, min_frequency10, sparse_outputFalse)handle_unknownignore是必须的——验证折或测试集里可能出现训练折没见过的类别不设这个参数会直接抛错。min_frequency需要 sklearn 1.1 以上版本低于这个版本就用OrdinalEncoder手动合并或者自己写个value_counts().replace()。提示sparse_output参数在 sklearn 1.2 之前叫sparse写老代码迁移过来时会报unexpected keyword argument。看到这个错先查版本别急着改逻辑。4.2 为什么这里不该无脑上 StandardScalerStandardScaler干的事是减均值、除标准差前提假设是数据大致对称。Fare完全不符合这个前提中位数 14.45均值 32.2最大值 512.33。均值被极少数高价票拉得远高于中位数标准差也跟着虚高。后果是什么标准化之后绝大多数人的票价会被压到 -0.3 附近一小段区间里而那条 512 的极端值孤零零待在 5 以外。模型看到的特征分布极度偏斜树模型还好线性模型和基于距离的方法会明显受影响。我实测下来更稳的选择是RobustScaler它用中位数和四分位距IQR做缩放对极端值不敏感。另一种做法是先做log1p变换把长尾压平再标准化data[Fare_log] np.log1p(data[Fare]) data[FarePerPerson_log] np.log1p(data[FarePerPerson])log1p而不是log是因为Fare里存在 0 值直接取对数会变成负无穷。这个细节不注意跑出来满屏-inf接下来所有缩放全废。要不要对Age缩放技术上要因为它的量级和Fare_log差了十几倍。但如果最终用的是树模型缩放对结果几乎没有影响——树只看排序不看绝对距离。我在 Pipeline 里保留缩放主要是为了方便随时把模型换成逻辑回归做对照不用改流程。4.3 异常值按 3σ 删数据的做法在这份数据上是错的这份数据里有两类看起来像异常值的东西处理方式完全不同。第一类是Fare 0的记录训练集里有十几条。查一下会发现这些乘客多数在三等舱、多人同行票面价为 0 有可能是团体结算、赠票或者记录方式导致。删掉它们会损失真实的群体信息正确做法是保留同时加一个Fare_is_zero的指示列让模型知道这批人特殊。第二类是Age 0.42这类极小值——这是真实的婴儿年龄不是错误数据绝对不能删。这也是我不喜欢用 3σ 规则清洗数值列的原因它假设分布近似正态而这份数据里几乎所有数值列都是偏态的3σ 会把大量真实样本判成异常。对Fare的极端高价我的处理是分位数截断capping把超过 99% 分位的值压到 99% 分位q99 data[Fare].quantile(0.99) data[Fare] data[Fare].clip(upperq99)截断而不是删除是因为高价票本身携带头等舱、高社会层级的信号删掉等于抹掉了这个信号最强的一批样本。截断只是把它的数值影响压住标签关系保留下来。加上RobustScaler之后其实截断与否对结果影响很小我保留这一步更多是为了让特征分布图看起来不至于太吓人。5. 把它们组装成一条不会泄漏的流水线前面所有操作如果都散在脚本里三个月后回来看基本认不出自己在干嘛更不用说复用到测试集上。把所有变换收进ColumnTransformer加Pipeline是我认为在工程上收益最高的一步。5.1 ColumnTransformer 的分组设计思路是按处理方式把列分组同组内共享一个子流水线from sklearn.compose import ColumnTransformer from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer from sklearn.preprocessing import RobustScaler, OneHotEncoder num_cols [Age, Fare_log, FarePerPerson_log, SibSp, Parch, FamilySize] cat_cols [Sex, Embarked, Title, Deck, TicketPrefix, AgeBin] bin_cols [IsAlone, IsSmallFamily, Age_isnull, Fare_is_zero] ord_cols [Pclass] num_pipe Pipeline([ (imputer, SimpleImputer(strategymedian)), (scaler, RobustScaler()), ]) cat_pipe Pipeline([ (imputer, SimpleImputer(strategyconstant, fill_valueUnknown)), (onehot, OneHotEncoder(handle_unknownignore, min_frequency10, sparse_outputFalse)), ]) pre ColumnTransformer( transformers[ (num, num_pipe, num_cols), (cat, cat_pipe, cat_cols), (bin, passthrough, bin_cols), (ord, passthrough, ord_cols), ], remainderdrop, verbose_feature_names_outFalse, )remainderdrop很重要它保证PassengerId、Name、Ticket、Cabin、Survived这些不该进模型的原始列被自动丢掉不会因为疏忽漏进来。SimpleImputer放在这里看着有点冗余——前面手工填充过了Age 应该没有空值了才对。但我还是保留着原因是手工填充是在全量数据上做的如果哪天改成分折填充这里就是兜底另外测试集里Fare有 1 条缺失前面用舱位中位数填过一次万一漏了这里能接住不至于让整条流水线崩掉。5.2 完整 Pipeline 与关键参数from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import StratifiedKFold, cross_validate pipe Pipeline([ (pre, pre), (clf, RandomForestClassifier( n_estimators400, max_depth6, min_samples_leaf3, random_state42, n_jobs-1, )), ])max_depth6和min_samples_leaf3这两个参数是我在 891 条样本的规模下试出来的。树太深、叶子太小训练集准确率能刷到 0.95 以上交叉验证却只有 0.80典型的过拟合。样本量小的时候正则化要宁可严一点。n_estimators400是收益递减的拐点附近再多提升很有限训练时间却线性增长。5.3 分层抽样与交叉验证的固定写法标签正例占比 38.4%普通KFold随机切分可能切出某一折正例只有 33%、另一折 44%导致各折分数波动很大看起来像是模型不稳定其实是切分问题。用StratifiedKFold保证每折的正负比例和全集一致cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) scores cross_validate(pipe, X, y, cvcv, scoring[accuracy, f1, roc_auc], return_train_scoreTrue, n_jobs-1)这里有三点值得说。第一X和y必须是原始特征和标签所有变换都在pipe内部完成这样每一折的填充、缩放、编码都只在训练折上拟合。第二shuffleTrue要配固定的random_state不然每次跑出来的分数都不一样没法做对照实验。第三return_train_scoreTrue能同时看到训练分和验证分两者差距就是过拟合程度的直接指标。注意如果X里还留着Survived列交叉验证分数会接近 1.0别高兴太早先检查列。这个错误我在演示代码里见过不止一次包括我自己第一版。6. 实验结果对照与效果验证做了这么多改动总得拿出证据说明哪些真的有用。我设计了四组对照实验每组跑同一个随机种子的 5 折交叉验证结果如下。这组数字来自单机单次运行换随机种子会有正负 0.01 左右的波动看趋势比看绝对值更有意义。6.1 四组实验设计组别特征处理缺失值编码与缩放模型A只保留 6 个数值列删除含缺失的行无逻辑回归B同上中位数填充独热 StandardScaler逻辑回归C全部 12 列原始字段分组填充 众数独热 StandardScaler随机森林D加称呼、甲板、家庭规模、票号前缀等衍生列分组填充 指示列独热 RobustScaler 对数变换随机森林对应的参考结果大致是这样A 组准确率 0.76 左右删行之后只剩 714 条样本数据量本身就损失了 20%B 组 0.79 左右C 组 0.81 左右D 组 0.83 到 0.84 之间。F1 和 AUC 的走法基本一致AUC 从 0.83 一路涨到 0.88 附近。6.2 从 0.76 到 0.84每一步加了什么把差距拆开看最有价值的三个动作是第一个是别删行。A 组和 B 组之间差了 3 个百分点但这两组的唯一区别就是缺失值处理方式模型和特征都一样。删掉 177 条年龄缺失的记录看起来只损失 20% 的数据实际损失的是年龄未记录这个有信息的子群体。这 3 个点的教训很直接除非缺失率超过 60% 且毫无规律否则尽量不要用删除法。第二个是字符串特征的挖掘。B 组到 C 组涨了 2 个点主要来自Name、Cabin这些看起来该扔的列。这里要提醒一句C 组的提升不是简单地把这三列塞进模型而是把它们转换成了称呼、甲板这类低基数类别特征。直接对Name做独热维度爆炸效果反而会掉。第三个是缩放器和长尾处理。C 组到 D 组涨了 2 到 3 个点里面混了衍生特征和缩放方式两种改动我单独拆开跑过只换RobustScaler加对数变换大概涨 1 个点只加家庭规模和称呼相关特征大概涨 2 个点两个一起做有轻微的叠加效应。6.3 关于预处理能提升多少的理性预期有个说法叫数据和特征决定了上限模型只是逼近这个上限我认同前半句但想补一句更实际的在这类小规模表格数据上预处理做扎实通常能把基线模型拉高 5 到 8 个百分点再往上就很难了因为剩下的差距需要更多信息而不是更好的处理方式。反过来说如果你现在的分数已经到 0.85 以上继续在预处理上抠细节的边际收益会非常低不如去看看模型集成或者标签本身有没有问题。我见过有人为了从 0.84 提到 0.85 折腾了两周特征工程最后发现是某几行标签标错了。还有一点必须提醒这份数据集的测试集没有公开标签只能提交到评测平台看反馈反复根据反馈调参本质上是在对测试集过拟合。我自己的做法是本地只用交叉验证做决策测试集最多看两三次结果看完就停手。7. 常见问题与排查实录下面这些是我和身边人在这份数据上反复撞到的墙整理成速查表遇到问题先对一遍能省不少时间。7.1 高频报错与成因速查表现象大概率原因解决办法交叉验证准确率 0.99 以上标签列混进了特征划分X时显式排除Survived每折分数波动超过 0.05用了普通 KFold或样本太少换StratifiedKFold固定随机种子报feature_names mismatch训练和测试的独热维度不一致用OneHotEncoder(handle_unknownignore)别用pd.get_dummies分开处理TypeError: boolean value of NA is ambiguous对category类型直接fillna先.astype(object)再填满屏SettingWithCopyWarning链式赋值加.copy()或用.loc[:, col] ...结果里出现-inf对含 0 的列直接取log改用np.log1p训练分 0.95、验证分 0.80树太深或特征维度太高降max_depth提高min_samples_leaf加了某列之后分数反而降高基数类别没合并设min_frequency10或手动合并稀有类别feature_names mismatch这个错我要单独说一下。很多人习惯用pd.get_dummies分别对训练集和测试集做独热然后直接喂给模型。问题是两份数据的类别集合不一定相同——训练集里有 C 港测试集里恰好没有独热出来的列数就差了一列模型直接报错。解决办法有两个先把两份数据拼起来统一做独热再拆开或者干脆用OneHotEncoder放进 Pipeline让编码器在训练折上拟合一次之后对任何数据都用同一套列。后者更规范我推荐后者。7.2 几个不写在文档里的避坑技巧第一个技巧是分布对比图比分数更早发现问题。填充完年龄之后我会画一张填充前后的直方图叠在一起。如果填充后的分布变成一根尖锐的柱子说明填充方式把方差压没了这一列基本白加。分组填充的形状会自然很多一眼就能看出来。这件事花两分钟比调半小时超参数有用。第二个技巧是先做减法再做加法。我见过有人一上来就构造三四十个特征跑出来 0.81然后开始怀疑人生。实际上把特征数量砍到 15 个以内分数往往不掉甚至更高。我现在的流程是先跑一个只有 6 个核心特征的基线确认流程没 bug再一个一个加每加一个看交叉验证分数变化加完不回撤的直接删掉。第三个技巧是把编码器和流水线存下来。训练完用joblib.dump(pipe, pipe.pkl)存一份下次来新数据直接pipe.predict(df)就行。这一步在实验阶段容易被忽略等到要部署或者要给别人复现的时候才发现找不到当初那套编码规则只能从头再来一遍。第四个技巧是版本和随机种子写在脚本开头。sklearn 不同版本里OneHotEncoder的参数名、SimpleImputer对NaN和None的处理都有差异同一份代码在别人机器上跑出不同结果八成是版本问题。我现在习惯在脚本头部打印sklearn.__version__和pandas.__version__配合固定random_state复现起来省掉大量沟通成本。第五个技巧是留一列原始数据别动。做特征工程的时候我会保留一份未修改的data_raw副本所有衍生特征都基于它重新生成。这样某个操作把数据搞坏了能立刻回退对比不用重新读文件、重新拼表、重新抽称呼。这个习惯是被一次不可逆的原地修改坑出来的教训——那次我把Age直接覆盖了后来想验证填充效果只能重新跑一遍全部流程。最后分享一个我自己的体会这类经典数据集的价值不在于刷到多高的分数而在于它够小、够透明每一个决策的后果都能被清楚地观察到。同样是填缺失值在几万行的业务数据上你根本看不清分组填充和全局填充的差别但在 891 行上差 3 个百分点就是能实打实看到。把这些判断练成肌肉记忆换到真实项目里面对那些字段含义不明、缺失率不明、标签还有噪声的表格你至少知道该从哪几个角度先摸一遍。 
长河君 · 2026/10/26 15:44:36 · 阅读 1.2k 泰坦尼克号数据预处理实战：缺失值到Pipeline的6个百分点提升
数据预处理这件事说穿了就是把空值填掉、把字符串换成数字、把量纲拉到同一个尺度但真正拉开差距的地方全藏在为什么这么填、这么换、这么拉的细节里。我拿泰坦尼克号数据集做了一轮完整的数据预处理实验前后自己推翻了四个版本最后跑出来的交叉验证准确率比能跑通就行的第一版高了将近 6 个百分点而这 6 个点里没有一行是换模型的功劳全部来自数据侧。这份数据集规模不大891 条训练样本、418 条测试样本、12 个字段正因为它小、干净、公开、结果可复现才特别适合把预处理里那些容易含糊过去的判断一个一个掰开看。下面这篇东西适合三类人刚学完 pandas 和 sklearn、拿到表格就急着fit的新手做了几个项目但分数一直在 0.78 上下打转、不知道瓶颈在哪的人以及想把预处理流程写成可复用管道、不想每次重写几十行代码的从业者。我不会只给一份能跑的脚本重点是每一步背后的取舍逻辑和踩过的坑。1. 先把数据和目标摊开来看动手写代码之前我把这份数据的字段清单和缺失情况打印了三遍因为预处理的绝大部分决策本质上都是对这个字段缺得多不多、它为什么缺、它和标签有没有关系的判断。跳过这一步直接fillna(0)后面全是白干。1.1 这份数据集到底长什么样训练集 891 行、12 列其中一列是标签Survived0 表示未存活1 表示存活正例 342 条、负例 549 条正例占比 38.4%。测试集 418 行、11 列没有标签列。字段构成大致是这样字段类型含义预处理关注点PassengerId整数行编号与标签无关建模时直接丢弃Survived0/1标签只存在于训练集注意别在拼接时污染Pclass1/2/3舱位等级有序变量但也可当类别Name字符串姓名原始值无用称呼前缀是强特征Sex字符串性别名义变量需编码Age浮点年龄缺失约 19.9%且缺失非随机SibSp整数同行的兄弟姐妹/配偶数与 Parch 组合成家庭规模Parch整数同行的父母/子女数同上Ticket字符串票号前缀藏信息原始值必须丢弃Fare浮点票价长尾分布含 0 值和极端值Cabin字符串舱房号缺失约 77.1%但首字母有用Embarked字符串登船港口仅缺 2 条众数填充这份数据的好在于字段少、语义清晰坑则在于三条字符串列Name、Ticket、Cabin看起来该丢实际上丢了就少了一大块信号两条数值列Age、Fare看起来该填实际上填法不同分数能差两三个点。1.2 预处理的目标不是填满空值而是提高信息密度这是我做了几轮之后最大的认知转变。新手阶段我判断预处理做得好不好标准是df.isna().sum()是不是全零后来才明白空值填成 0 也是零但模型学到的东西完全不同。真正的目标有两个一是让每一列承载的信息尽量多地暴露出来二是让模型不需要花容量去处理尺度、量纲、编码这些和预测无关的干扰。举个具体的例子。Name这一列891 个取值几乎全不重复直接做独热编码会炸出 891 维直觉上就是扔掉。但姓名里带称呼后缀——Mr、Mrs、Miss、Master 等等。把这些称呼抽出来会发现Master基本对应小男孩这个群体的存活率和成年男性完全不是一个量级。同样一列数据扔掉是一个决策抽出称呼是另一个决策信息密度差了好几倍。整篇的重点就在这类地方不是把列删干净而是想办法把一列拆成两列更有用的。1.3 为什么我坚持先划分数据再谈任何变换这条是我在别的项目里吃过亏之后才彻底改过来的习惯。用中位数填缺失、用均值方差做标准化这类操作都会产生统计量。如果先在全部 891 行上算出中位数再去划分训练集和验证集那么验证集的信息已经通过这个中位数渗进了训练过程交叉验证的分数会虚高上线之后打回原形。正确做法只有一条所有依赖数据的变换都必须包进Pipeline让fit只在训练折上发生transform才作用于验证折。这件事在 sklearn 里其实不费劲cross_val_score(pipe, X, y, cvcv)这一行就自动帮你做对了前提是你真的把变换塞进了 Pipeline 而不是提前在 DataFrame 上算好。注意手工特征工程里有一部分操作比如按分组算中位数填充年龄确实会在全量数据上算统计量。这类只用到特征列、不用到标签列的变换属于跨样本的无监督统计在本地实验中通常可以接受但在严格评估或线上场景里应该把它也塞进 Pipeline 的FunctionTransformer或自定义 transformer保证每一折都重新拟合。我的做法是把这一类操作分成两层结构性的、只依赖单行内容的变换比如抽称呼、算家庭规模、取票号前缀放在 DataFrame 层面一次做完依赖跨行统计的变换填充、缩放、编码一律进 Pipeline。这样既保住了效率也守住了不泄漏的底线。2. 缺失值不是所有空都能用同一个中位数填掉缺失值处理是这份数据集里最容易被草率对待的环节。我见过不少代码上来就是df.fillna(df.median())一行解决然后抱怨 Age 这一列加了跟没加一样。问题不在于填了而在于填的方式把这一列的信息抹平了。2.1 三列缺失的三种性质先把缺失情况排个序用df.isna().sum().sort_values(ascendingFalse)一行就能看到列名缺失数缺失比例缺失机制判断处理方式Cabin68777.1%大概率是记录流程导致非随机保留首字母缺失归为 Unknown 类Age17719.9%与舱位、性别、称呼相关属随机缺失分组中位数填充 缺失指示列Embarked20.2%完全随机可忽略众数填充Fare0 / 1测试集训练集 0测试集 1 条单条缺失按舱位中位数填充判断为什么缺这件事没有银弹但有个实用办法造一个Age_isnull的布尔列然后看它和标签、和其他字段的关系。我实测下来年龄缺失的人在低舱位里比例明显更高说明缺失本身就和乘客群体相关不是纯随机。既然如此把是否缺失作为一个特征保留下来是有价值的它相当于告诉模型这条记录的年龄是估出来的可信度不同。2.2 Age 的按组填充与缺失指示列直接填全局中位数28 岁左右的问题在于它会把一个头等舱女性真实中位年龄更接近 35 岁和一个三等舱男性真实中位年龄更接近 25 岁都填成同一个值本来能区分开的两个人被强行拉到一起。改进办法是按Pclass Sex Title分组求中位数import pandas as pd import numpy as np train pd.read_csv(train.csv) test pd.read_csv(test.csv) # 拼接前先打标记保证后面能拆回去 train[_is_train] 1 test[_is_train] 0 test[Survived] np.nan data pd.concat([train, test], ignore_indexTrue, sortFalse) # 先抽称呼供排序填充使用 data[Title] data[Name].str.extract(r ([A-Za-z])\., expandFalse) data[Title] data[Title].replace([Mlle, Ms], Miss) data[Title] data[Title].replace([Mme], Mrs) rare data[Title].value_counts() rare rare[rare 10].index data[Title] data[Title].replace(rare, Rare) # 缺失指示列必须在填充之前生成 data[Age_isnull] data[Age].isna().astype(int) # 分组中位数填充 age_median data.groupby([Pclass, Sex, Title])[Age].median() data[Age] data.apply( lambda r: age_median.get((r[Pclass], r[Sex], r[Title]), data[Age].median()) if pd.isna(r[Age]) else r[Age], axis1 )这里有个顺序陷阱Age_isnull一定要在填充之前生成填完再算就全是 0 了。我第一版就是写反了跑完发现这列方差为 0还以为是特征没用。分组填充完之后Age 的分布形状比全局中位数填充要自然得多尤其是尾部——全局填充会把分布压成一根尖刺分组填充保留了各个子群体的轮廓。2.3 Cabin 从几乎全空里榨出信息77% 缺失第一反应是删列这个判断不能说错但丢掉了一个免费信号。实操上做两件事就够了把缺失值统一填成字符串U然后取第一个字母作为甲板编号。data[Deck] data[Cabin].str[0].fillna(U)甲板编号和舱位等级高度相关A、B、C 开头的基本都是头等舱分布在船体上层编号靠后的多在底层。这份数据里甲板类别不多做独热编码后维度可控。另外有没有记录舱房号本身也有信息量——能记录到具体房间的乘客往往和同一批人同行这和家庭规模特征能互相印证。2.4 Embarked 那两条记录可以顺手多看一眼只有 2 条缺失用众数S 港填是最省事的做法。但我习惯多花两分钟看一眼这两行的其他字段它们的票价都不低属于头等舱价位而头等舱乘客从 C 港登船的比例明显更高。所以这两条我更倾向于填 C而不是众数 S。这个改动对最终分数的影响几乎为零毕竟只有 2 条。但养成填之前先看看这一行其他字段怎么说的习惯在处理缺失率 5% 到 20% 的列时收益就完全不一样了。这才是缺失值处理真正的技术含量所在。3. 特征工程把字符串里的信息挖出来预处理做到后面我发现真正决定上限的不是填充和缩放而是特征工程——能不能从看起来没用的字符串列里拆出模型能直接用的信号。这一节里的几个操作是我在这份数据集上收益最明显的部分。3.1 Name 里的称呼是最便宜的强特征Name原始值不能直接进模型但正则抽出来的称呼前缀信息量非常大。前面代码已经抽好了Title这里看它和标签的关系称呼样本数存活率约Mr51715.7%Miss18269.8%Mrs12579.2%Master4057.5%Rare各类稀有头衔合并2734.7%从 Mr 的 15.7% 到 Mrs 的 79.2%跨度超过 60 个百分点这比Sex单独一列提供的区分度还要细。为什么因为Sex只区分男女Title在性别基础上还叠加了年龄和婚姻状态——Master是未成年男性Miss多为未婚女性这两类的行为模式也就是获救优先级和成年已婚群体完全不同。稀有称呼的合并逻辑也要注意样本数少于 10 的类别全部归为Rare避免独热编码后出现几十个只有一两条样本的稀疏列那种列对模型只有干扰。3.2 Ticket 和 Cabin 的前缀藏着团体的线索Ticket原始值形如PC 17599、A/5 21171、STON/O2. 3101282纯数字票号直接丢弃前缀信息也没损失但带字母前缀的往往代表某种团体票或特定渠道的票。抽法很简单def ticket_prefix(t): if pd.isna(t): return MISSING t t.replace(., ).replace(/, ) parts t.split() if len(parts) 1: return NUM # 纯数字 return parts[0].upper() data[TicketPrefix] data[Ticket].apply(ticket_prefix)抽完之后再做一次稀有类别合并把出现次数少于 10 的前缀统一归到Rare。这个特征单独看解释性不强但和家庭规模、舱位组合起来能帮模型识别出同一批人一起出行、并且获救结果高度相关的情况。这类特征的价值不在单独贡献而在提供分组视角。3.3 家庭规模与同行人数的组合特征SibSp和Parch单独看都不太直观合成一个家庭规模就清楚了data[FamilySize] data[SibSp] data[Parch] 1 data[IsAlone] (data[FamilySize] 1).astype(int) data[IsSmallFamily] data[FamilySize].between(2, 4).astype(int)家庭规模和存活率的关系是一条明显的倒 U 形曲线独行的乘客存活率约 30%2 到 4 人的家庭存活率能到 55% 以上而 5 人以上的大家庭存活率掉到 20% 以下。为什么是倒 U中小规模家庭在疏散时能互相照应又不至于拖累速度大家庭往往要照顾老人小孩反而整体转移困难。这条非线性关系特别值得注意如果你只把FamilySize当连续变量喂给线性模型它只能拟合出一条直线完全抓不住倒 U。解决办法有两种一是做分箱pd.cut成 1 人、2-4 人、5 人以上三档二是树模型本身能切分。我两个都做了互为补充。另外还可以补一个FarePerPerson Fare / FamilySize理由是总票价高不代表这个人富裕头等舱一个人住和头等舱一家五口住人均支出差好几倍而人均支出才是真正刻画经济状况的量。3.4 分箱把连续变量切成模型更好啃的形状年龄做分箱除了缓解非线性还有一个附带好处——可以直接把缺失归成单独一类data[AgeBin] pd.cut( data[Age], bins[-1, 12, 18, 35, 60, 200], labels[Child, Teen, Adult, Middle, Senior] ) data[AgeBin] data[AgeBin].astype(object).fillna(Unknown)这里有个容易踩的类型坑pd.cut返回的是category类型的 Series直接fillna(Unknown)会报TypeError: boolean value of NA is ambiguous或者新值不在类别中的错。必须先.astype(object)转成普通对象类型再填充字符串顺序反了就跑不通。票价也值得做一次分位数分箱pd.qcut分成 4 到 5 档。分位数分箱的好处是每一档样本量均衡不会出现某一档只有几个样本的情况坏处是可解释性不如固定阈值。我个人习惯是两列都留原始Fare加对数变换后的一列再加一列分箱标签让模型自己挑。4. 编码、缩放与异常值三个最容易踩坑的环节这三件事在教程里通常各占一段实际做起来却是互相影响的。比如异常值处理方式会直接改变缩放器的选择编码方式又会决定维度规模。4.1 类别编码独热和序数的边界在哪先把字段按性质分一遍字段性质编码方式理由Sex二值名义独热或直接 0/1只有两类哪种都行Embarked三值名义独热港口之间无大小关系Title多值名义独热 稀有合并类别数控制在 6 以内Deck多值名义独热 稀有合并缺失单列一类 UTicketPrefix高基数名义独热 min_frequency不合并会炸维度Pclass有序保留数值1/2/3 单调对应等级AgeBin有序独热或序数编码两种都试过差异很小Pclass是个典型的有序变量保留数值形式1、2、3让模型直接利用单调性比独热更省维度。但如果你的模型是线性模型只保留数值可能不够——它只能拟合等级每升一级对数几率变化固定量而真实关系未必线性。我给线性模型的版本会额外加一份Pclass的独热编码两者并存。高基数字段一定要设min_frequencyfrom sklearn.preprocessing import OneHotEncoder OneHotEncoder(handle_unknownignore, min_frequency10, sparse_outputFalse)handle_unknownignore是必须的——验证折或测试集里可能出现训练折没见过的类别不设这个参数会直接抛错。min_frequency需要 sklearn 1.1 以上版本低于这个版本就用OrdinalEncoder手动合并或者自己写个value_counts().replace()。提示sparse_output参数在 sklearn 1.2 之前叫sparse写老代码迁移过来时会报unexpected keyword argument。看到这个错先查版本别急着改逻辑。4.2 为什么这里不该无脑上 StandardScalerStandardScaler干的事是减均值、除标准差前提假设是数据大致对称。Fare完全不符合这个前提中位数 14.45均值 32.2最大值 512.33。均值被极少数高价票拉得远高于中位数标准差也跟着虚高。后果是什么标准化之后绝大多数人的票价会被压到 -0.3 附近一小段区间里而那条 512 的极端值孤零零待在 5 以外。模型看到的特征分布极度偏斜树模型还好线性模型和基于距离的方法会明显受影响。我实测下来更稳的选择是RobustScaler它用中位数和四分位距IQR做缩放对极端值不敏感。另一种做法是先做log1p变换把长尾压平再标准化data[Fare_log] np.log1p(data[Fare]) data[FarePerPerson_log] np.log1p(data[FarePerPerson])log1p而不是log是因为Fare里存在 0 值直接取对数会变成负无穷。这个细节不注意跑出来满屏-inf接下来所有缩放全废。要不要对Age缩放技术上要因为它的量级和Fare_log差了十几倍。但如果最终用的是树模型缩放对结果几乎没有影响——树只看排序不看绝对距离。我在 Pipeline 里保留缩放主要是为了方便随时把模型换成逻辑回归做对照不用改流程。4.3 异常值按 3σ 删数据的做法在这份数据上是错的这份数据里有两类看起来像异常值的东西处理方式完全不同。第一类是Fare 0的记录训练集里有十几条。查一下会发现这些乘客多数在三等舱、多人同行票面价为 0 有可能是团体结算、赠票或者记录方式导致。删掉它们会损失真实的群体信息正确做法是保留同时加一个Fare_is_zero的指示列让模型知道这批人特殊。第二类是Age 0.42这类极小值——这是真实的婴儿年龄不是错误数据绝对不能删。这也是我不喜欢用 3σ 规则清洗数值列的原因它假设分布近似正态而这份数据里几乎所有数值列都是偏态的3σ 会把大量真实样本判成异常。对Fare的极端高价我的处理是分位数截断capping把超过 99% 分位的值压到 99% 分位q99 data[Fare].quantile(0.99) data[Fare] data[Fare].clip(upperq99)截断而不是删除是因为高价票本身携带头等舱、高社会层级的信号删掉等于抹掉了这个信号最强的一批样本。截断只是把它的数值影响压住标签关系保留下来。加上RobustScaler之后其实截断与否对结果影响很小我保留这一步更多是为了让特征分布图看起来不至于太吓人。5. 把它们组装成一条不会泄漏的流水线前面所有操作如果都散在脚本里三个月后回来看基本认不出自己在干嘛更不用说复用到测试集上。把所有变换收进ColumnTransformer加Pipeline是我认为在工程上收益最高的一步。5.1 ColumnTransformer 的分组设计思路是按处理方式把列分组同组内共享一个子流水线from sklearn.compose import ColumnTransformer from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer from sklearn.preprocessing import RobustScaler, OneHotEncoder num_cols [Age, Fare_log, FarePerPerson_log, SibSp, Parch, FamilySize] cat_cols [Sex, Embarked, Title, Deck, TicketPrefix, AgeBin] bin_cols [IsAlone, IsSmallFamily, Age_isnull, Fare_is_zero] ord_cols [Pclass] num_pipe Pipeline([ (imputer, SimpleImputer(strategymedian)), (scaler, RobustScaler()), ]) cat_pipe Pipeline([ (imputer, SimpleImputer(strategyconstant, fill_valueUnknown)), (onehot, OneHotEncoder(handle_unknownignore, min_frequency10, sparse_outputFalse)), ]) pre ColumnTransformer( transformers[ (num, num_pipe, num_cols), (cat, cat_pipe, cat_cols), (bin, passthrough, bin_cols), (ord, passthrough, ord_cols), ], remainderdrop, verbose_feature_names_outFalse, )remainderdrop很重要它保证PassengerId、Name、Ticket、Cabin、Survived这些不该进模型的原始列被自动丢掉不会因为疏忽漏进来。SimpleImputer放在这里看着有点冗余——前面手工填充过了Age 应该没有空值了才对。但我还是保留着原因是手工填充是在全量数据上做的如果哪天改成分折填充这里就是兜底另外测试集里Fare有 1 条缺失前面用舱位中位数填过一次万一漏了这里能接住不至于让整条流水线崩掉。5.2 完整 Pipeline 与关键参数from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import StratifiedKFold, cross_validate pipe Pipeline([ (pre, pre), (clf, RandomForestClassifier( n_estimators400, max_depth6, min_samples_leaf3, random_state42, n_jobs-1, )), ])max_depth6和min_samples_leaf3这两个参数是我在 891 条样本的规模下试出来的。树太深、叶子太小训练集准确率能刷到 0.95 以上交叉验证却只有 0.80典型的过拟合。样本量小的时候正则化要宁可严一点。n_estimators400是收益递减的拐点附近再多提升很有限训练时间却线性增长。5.3 分层抽样与交叉验证的固定写法标签正例占比 38.4%普通KFold随机切分可能切出某一折正例只有 33%、另一折 44%导致各折分数波动很大看起来像是模型不稳定其实是切分问题。用StratifiedKFold保证每折的正负比例和全集一致cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) scores cross_validate(pipe, X, y, cvcv, scoring[accuracy, f1, roc_auc], return_train_scoreTrue, n_jobs-1)这里有三点值得说。第一X和y必须是原始特征和标签所有变换都在pipe内部完成这样每一折的填充、缩放、编码都只在训练折上拟合。第二shuffleTrue要配固定的random_state不然每次跑出来的分数都不一样没法做对照实验。第三return_train_scoreTrue能同时看到训练分和验证分两者差距就是过拟合程度的直接指标。注意如果X里还留着Survived列交叉验证分数会接近 1.0别高兴太早先检查列。这个错误我在演示代码里见过不止一次包括我自己第一版。6. 实验结果对照与效果验证做了这么多改动总得拿出证据说明哪些真的有用。我设计了四组对照实验每组跑同一个随机种子的 5 折交叉验证结果如下。这组数字来自单机单次运行换随机种子会有正负 0.01 左右的波动看趋势比看绝对值更有意义。6.1 四组实验设计组别特征处理缺失值编码与缩放模型A只保留 6 个数值列删除含缺失的行无逻辑回归B同上中位数填充独热 StandardScaler逻辑回归C全部 12 列原始字段分组填充 众数独热 StandardScaler随机森林D加称呼、甲板、家庭规模、票号前缀等衍生列分组填充 指示列独热 RobustScaler 对数变换随机森林对应的参考结果大致是这样A 组准确率 0.76 左右删行之后只剩 714 条样本数据量本身就损失了 20%B 组 0.79 左右C 组 0.81 左右D 组 0.83 到 0.84 之间。F1 和 AUC 的走法基本一致AUC 从 0.83 一路涨到 0.88 附近。6.2 从 0.76 到 0.84每一步加了什么把差距拆开看最有价值的三个动作是第一个是别删行。A 组和 B 组之间差了 3 个百分点但这两组的唯一区别就是缺失值处理方式模型和特征都一样。删掉 177 条年龄缺失的记录看起来只损失 20% 的数据实际损失的是年龄未记录这个有信息的子群体。这 3 个点的教训很直接除非缺失率超过 60% 且毫无规律否则尽量不要用删除法。第二个是字符串特征的挖掘。B 组到 C 组涨了 2 个点主要来自Name、Cabin这些看起来该扔的列。这里要提醒一句C 组的提升不是简单地把这三列塞进模型而是把它们转换成了称呼、甲板这类低基数类别特征。直接对Name做独热维度爆炸效果反而会掉。第三个是缩放器和长尾处理。C 组到 D 组涨了 2 到 3 个点里面混了衍生特征和缩放方式两种改动我单独拆开跑过只换RobustScaler加对数变换大概涨 1 个点只加家庭规模和称呼相关特征大概涨 2 个点两个一起做有轻微的叠加效应。6.3 关于预处理能提升多少的理性预期有个说法叫数据和特征决定了上限模型只是逼近这个上限我认同前半句但想补一句更实际的在这类小规模表格数据上预处理做扎实通常能把基线模型拉高 5 到 8 个百分点再往上就很难了因为剩下的差距需要更多信息而不是更好的处理方式。反过来说如果你现在的分数已经到 0.85 以上继续在预处理上抠细节的边际收益会非常低不如去看看模型集成或者标签本身有没有问题。我见过有人为了从 0.84 提到 0.85 折腾了两周特征工程最后发现是某几行标签标错了。还有一点必须提醒这份数据集的测试集没有公开标签只能提交到评测平台看反馈反复根据反馈调参本质上是在对测试集过拟合。我自己的做法是本地只用交叉验证做决策测试集最多看两三次结果看完就停手。7. 常见问题与排查实录下面这些是我和身边人在这份数据上反复撞到的墙整理成速查表遇到问题先对一遍能省不少时间。7.1 高频报错与成因速查表现象大概率原因解决办法交叉验证准确率 0.99 以上标签列混进了特征划分X时显式排除Survived每折分数波动超过 0.05用了普通 KFold或样本太少换StratifiedKFold固定随机种子报feature_names mismatch训练和测试的独热维度不一致用OneHotEncoder(handle_unknownignore)别用pd.get_dummies分开处理TypeError: boolean value of NA is ambiguous对category类型直接fillna先.astype(object)再填满屏SettingWithCopyWarning链式赋值加.copy()或用.loc[:, col] ...结果里出现-inf对含 0 的列直接取log改用np.log1p训练分 0.95、验证分 0.80树太深或特征维度太高降max_depth提高min_samples_leaf加了某列之后分数反而降高基数类别没合并设min_frequency10或手动合并稀有类别feature_names mismatch这个错我要单独说一下。很多人习惯用pd.get_dummies分别对训练集和测试集做独热然后直接喂给模型。问题是两份数据的类别集合不一定相同——训练集里有 C 港测试集里恰好没有独热出来的列数就差了一列模型直接报错。解决办法有两个先把两份数据拼起来统一做独热再拆开或者干脆用OneHotEncoder放进 Pipeline让编码器在训练折上拟合一次之后对任何数据都用同一套列。后者更规范我推荐后者。7.2 几个不写在文档里的避坑技巧第一个技巧是分布对比图比分数更早发现问题。填充完年龄之后我会画一张填充前后的直方图叠在一起。如果填充后的分布变成一根尖锐的柱子说明填充方式把方差压没了这一列基本白加。分组填充的形状会自然很多一眼就能看出来。这件事花两分钟比调半小时超参数有用。第二个技巧是先做减法再做加法。我见过有人一上来就构造三四十个特征跑出来 0.81然后开始怀疑人生。实际上把特征数量砍到 15 个以内分数往往不掉甚至更高。我现在的流程是先跑一个只有 6 个核心特征的基线确认流程没 bug再一个一个加每加一个看交叉验证分数变化加完不回撤的直接删掉。第三个技巧是把编码器和流水线存下来。训练完用joblib.dump(pipe, pipe.pkl)存一份下次来新数据直接pipe.predict(df)就行。这一步在实验阶段容易被忽略等到要部署或者要给别人复现的时候才发现找不到当初那套编码规则只能从头再来一遍。第四个技巧是版本和随机种子写在脚本开头。sklearn 不同版本里OneHotEncoder的参数名、SimpleImputer对NaN和None的处理都有差异同一份代码在别人机器上跑出不同结果八成是版本问题。我现在习惯在脚本头部打印sklearn.__version__和pandas.__version__配合固定random_state复现起来省掉大量沟通成本。第五个技巧是留一列原始数据别动。做特征工程的时候我会保留一份未修改的data_raw副本所有衍生特征都基于它重新生成。这样某个操作把数据搞坏了能立刻回退对比不用重新读文件、重新拼表、重新抽称呼。这个习惯是被一次不可逆的原地修改坑出来的教训——那次我把Age直接覆盖了后来想验证填充效果只能重新跑一遍全部流程。最后分享一个我自己的体会这类经典数据集的价值不在于刷到多高的分数而在于它够小、够透明每一个决策的后果都能被清楚地观察到。同样是填缺失值在几万行的业务数据上你根本看不清分组填充和全局填充的差别但在 891 行上差 3 个百分点就是能实打实看到。把这些判断练成肌肉记忆换到真实项目里面对那些字段含义不明、缺失率不明、标签还有噪声的表格你至少知道该从哪几个角度先摸一遍。