在数据分析这个圈子里pythonminicondajupyter这套组合几乎成了标配。很多人第一次接触时习惯直接装Anaconda图省事觉得一次性打包了几百个库什么都有。但用过一段时间之后大多数老手会悄悄回到Miniconda原因很简单Anaconda实在太臃肿了。就拿我自己的经历来说装完Anaconda之后启动都要好几秒磁盘占用动辄几个G更别提不同项目之间的库版本互相打架有多头疼。这篇文章不打算讲教科书式的概念我直接带你把整个流程走一遍从Miniconda创建干净环境开始装好Jupyter Notebook导入一份模拟的用户消费数据依次完成数据清洗、分布查看、相关性分析最后解读结果背后的业务信号。整个链路跑通之后你会发现数据分析本身并不神秘可复用的分析套路就那些难的是在每一步里判断该做什么、为什么这么做。这篇内容适合刚入门Python数据分析的人也适合想系统地重新整理一遍分析流程的读者。看完之后你可以直接把这套流程复制到自己的数据上照猫画虎跑一遍基本就能应付绝大多数探索性分析的需求。1. 环境准备把基础打好再谈分析1.1 为什么我推荐Miniconda而不是Anaconda其实这两者一脉相承底层都是conda生态。Anaconda相当于一个全家桶默认装上几百个包安装包体积巨大Miniconda则只保留conda包管理器、Python解释器和最基础的依赖其他库需要什么装什么。很多人觉得Anaconda方便是因为不用自己操心装库但实际用起来版本冲突的问题反而更容易出现。举个例子。我某个项目用pandas 2.x跑得好好的另一个旧项目还依赖pandas 1.5的某些行为。如果都装在一个环境里升级一次可能全线崩溃。用Miniconda给每个项目单独建环境想用哪个版本就用哪个版本互不干扰。这种隔离能力对数据分析尤其重要因为数据分析项目通常堆了一堆第三方库库与库之间的兼容性往往是最容易被低估的隐性成本。1.2 创建干净环境与核心库安装Miniconda的安装包在官网上按操作系统选择即可安装过程基本是下一步下一步。装完之后打开终端执行以下命令conda create -n>conda install pandas numpy matplotlib seaborn jupyter scipy openpyxl这里稍微解释一下每个库的用途。pandas负责数据结构和表格操作numpy提供底层数值计算matplotlib是基础的绘图库seaborn是建立在matplotlib之上的统计可视化库scipy提供科学计算函数openpyxl用来读写Excel文件。如果你所在的网络安装速度很慢可以给conda配置国内镜像源速度会有明显提升。全部装完之后启动Notebookjupyter notebook浏览器会自动打开Jupyter页面。新建一个Notebook文件重命名为类似数据全流程分析.ipynb的名字接下来的所有操作都在这个文件里完成。1.3 Jupyter Notebook的几个实用技巧很多人把Jupyter Notebook当成一个高级文本编辑器其实它有几个技巧用好了效率翻倍。单元格分两种代码单元格Code和标记单元格Markdown。分析过程中的思路、结论用Markdown记录代码放在Code里这样整个分析过程带着思考痕迹别人看你的Notebook能直接理解每一步在做什么。快捷键ShiftEnter运行当前单元格并跳到下一个CtrlEnter只运行不跳转A在单元格上方插入B在下方插入连续按两次D删除单元格。在代码单元格里以感叹号开头可以执行shell命令比如!pip list可以查看已安装的包。但我不建议在Notebook里直接安装包环境管理最好还是在终端里用conda操作保持环境状态清晰可控。DataFrame放在单元格最后一行会以富文本表格形式展示比print输出的纯文本清晰得多建议养成最后一行直接写变量名的习惯。2. 数据加载与第一眼观察2.1 准备演示数据集为了演示完整的数据分析流程我们需要一份数据。现实中数据可能来自数据库导出、接口返回、Excel表格等最常见的落地格式就是CSV文件。我这里直接用代码生成一份模拟数据某零售平台的会员消费记录共1000条包含用户ID、年龄、注册天数、月消费金额、购买次数、平均订单金额、最近消费距今天数等字段。生成数据的代码如下import numpy as np import pandas as pd np.random.seed(42) n 1000 age np.random.normal(35, 10, n).round().astype(int) age np.clip(age, 18, 65) reg_days np.random.randint(1, 800, n) purchase_count np.random.poisson(8, n) avg_order_value np.random.lognormal(4.0, 0.5, n) monthly_spend (purchase_count * avg_order_value * np.random.uniform(0.8, 1.2, n)).round(2) recency np.random.randint(0, 90, n) df pd.DataFrame({ user_id: range(1, n 1), age: age, reg_days: reg_days, purchase_count: purchase_count, avg_order_value: avg_order_value.round(2), monthly_spend: monthly_spend, recency: recency }) df.head()这里有几个关键点。np.random.seed(42)是固定随机种子保证每次运行生成的数据一致方便复现整个分析过程。purchase_count用泊松分布模拟因为购买次数在现实里就是典型的计数分布avg_order_value用对数正态分布生成因为金额数据通常右偏直接使用正态分布会生成负数不符合业务直觉。为了让演示覆盖数据处理环节我在数据生成后人为加入一些缺失值df.loc[df.sample(50).index, age] np.nan df.loc[df.sample(30).index, recency] np.nan df.loc[df.sample(20).index, monthly_spend] np.nan这样后面处理缺失值才有实际素材可用。2.2 用info和describe快速摸底拿到数据之后第一步不要急着画图先站在全局看一眼。两个方法用起来df.info() df.describe().Tinfo会显示每一列的非空数量、数据类型。通过info我们可以很快发现age、recency、monthly_spend三列都有缺失值而且字段类型大体正确user_id是整数金额字段是浮点数。describe输出统计信息包括均值、标准差、最小值、四分位数、最大值。从这里往往就能看出端倪比如某一列的max值远远超出合理范围那大概率存在异常值需要进一步排查。用describe时有一点要特别注意它默认只统计数值列。如果你的数据里有大量分类字段先用df.dtypes或者df.select_dtypes确认哪些是数值列别被常规统计结果误导。2.3 先想清楚分析目标再看数据这一步看似务虚其实是最关键的。拿到一份数据之后先问自己我要回答什么问题是什么样的用户更爱消费还是消费金额受哪些因素影响不同目标决定了后续数据处理的侧重点。如果目标是用户分层那特征工程和聚类是重点如果目标是预测月消费金额那要严格做缺失值处理、异常值处理、特征相关性排查防止模型被个别极端样本带偏。这篇文章走的是探索性分析的路子侧重理解数据本身所以后面的清洗、分布查看和相关性分析都是围绕这个目标服务的。目标明确之后每一步操作都有了判断依据不会陷入为了处理而处理的误区。3. 数据处理别让脏数据毁了一切3.1 缺失值先判断类型再决定补还是删缺失值是数据分析遇到的第一个坎。处理缺失值之前先搞清楚两个问题缺失比例有多大缺失机制是什么对只有几条缺失的列比如monthly_spend缺了20条直接删除这20条即可对整体影响微乎其微。对缺失比例相对较高的列比如age缺了50条占比达到5%直接删除会浪费样本信息更好的做法是用中位数填充。为什么推荐中位数而不是均值因为均值对异常值敏感数据里一旦有极端值均值会被拉得偏离主体水平而中位数几乎不受影响。代码实现df[age] df[age].fillna(df[age].median()) df[recency] df[recency].fillna(df[recency].median()) df df.dropna(subset[monthly_spend])填完之后建议马上再跑一次df.info()确认缺失值已经清零。这个习惯看着简单实际能帮你省下大量排查问题的时间。3.2 异常值识别IQR和3σ法则异常值指明显偏离正常范围的值。处理异常值不是因为它们看起来奇怪而是因为它们会扭曲统计结果。比如某个月消费金额高达几万一个人的数据就能把均值拉得很高后面计算相关系数时这种极端值也可能把结果带偏。常用的识别方法有两种。IQR法基于四分位数Q1 df[monthly_spend].quantile(0.25) Q3 df[monthly_spend].quantile(0.75) IQR Q3 - Q1 lower Q1 - 1.5 * IQR upper Q3 1.5 * IQR df_clean df[(df[monthly_spend] lower) (df[monthly_spend] upper)]3σ法则基于均值和标准差mean df[monthly_spend].mean() std df[monthly_spend].std() df_clean df[(df[monthly_spend] mean - 3 * std) (df[monthly_spend] mean 3 * std)]这两种方法怎么选IQR对偏态分布更稳健因为四分位数本身对极端值不敏感3σ法则的前提是数据近似正态分布。所以实际操作中应该先看数据分布的形态再决定用哪种方法。我个人的习惯是先用describe看最大值和四分位间距再结合业务逻辑判断。比如monthly_spend如果出现上万的值在这个平台的消费场景里就很不合理应当剔除反过来如果数据本身是重尾分布大量看起来很大的值其实是正常的这时就要谨慎下手。3.3 类型转换与特征衍生数据处理还有一个重要环节确保每一列的数据类型都正确。常见的问题有两个。一是数字被读成了字符串。比如Excel导出的CSV文件里某些数字列前面带着空格或者数字列里混入了暂无这类文本pandas读取后整列会变成object类型。处理方式df[avg_order_value] pd.to_numeric(df[avg_order_value], errorscoerce)errorscoerce的意思是转换失败的地方置为NaN正好可以当作缺失值重新走一遍填充或删除流程。二是日期列存的是字符串。用pd.to_datetime统一转换转换失败的行会变成NaT同样归入缺失值处理。类型处理之外特征衍生经常被忽略。在探索性分析阶段可以基于现有字段创造一些有业务含义的新变量。比如把recency和purchase_count组合定义一个活跃度分层之类的字段。这类衍生特征在后续的相关性分析里往往能带来新的洞察。4. 数据分布摸清每个字段的脾气4.1 直方图一眼看出分布形态分布分析的核心目的是看数据长什么样对称的、右偏的、还是双峰的不同分布形态对应不同的后续处理方式。用matplotlib或seaborn画直方图都很方便seaborn的代码更短默认图形也更好看。绘图之前需要先设置中文字体否则图里的标题和轴标签会显示成方块import matplotlib.pyplot as plt import seaborn as sns plt.rcParams[font.sans-serif] [SimHei, WenQuanYi Micro Hei] plt.rcParams[axes.unicode_minus] False cols [age, reg_days, purchase_count, avg_order_value, monthly_spend, recency] fig, axes plt.subplots(2, 3, figsize(15, 8)) for ax, col in zip(axes.ravel(), cols): sns.histplot(df[col], kdeTrue, axax) plt.tight_layout() plt.show()从图上能很直观地看到purchase_count是泊松分布的形状集中在均值附近avg_order_value明显右偏长尾拖在右边monthly_spend也表现出右偏特征。这种直观印象在后面的量化指标里会得到印证。plt.rcParams[‘font.sans-serif’]设置字体时我的经验是写一个列表第一个字体不存在时matplotlib会自动尝试列表里的下一个。在Linux服务器上一般用[‘WenQuanYi Micro Hei’]Windows上SimHei基本能用。4.2 箱线图里的四分位信息箱线图是另一个看分布的工具它把数据的核心信息压缩成几个关键统计量最小值、下四分位数、中位数、上四分位数、最大值以及被标记为离群点的散点。fig, axes plt.subplots(2, 3, figsize(15, 8)) for ax, col in zip(axes.ravel(), cols): sns.boxplot(ydf[col], axax) plt.tight_layout() plt.show()看箱线图重点看三件事。一是中位数在箱子里的位置如果明显偏上或偏下说明分布不对称二是箱子的宽度宽说明数据比较分散窄说明集中三是看有没有大量圆圈散点在须线外面这些散点就是离群点。它们在前面的异常值处理中应该已经被清理过一遍如果清理之后仍有大量离群点要么是阈值设置太激进要么这个字段本身就属于重尾分布需要进一步用数据变换来处理。4.3 偏度峰度与数据变换直方图是看感觉偏度和峰度是给数字。偏度描述分布的不对称程度正偏表示右偏负偏表示左偏绝对值超过0.5一般就认为有明显偏斜。峰度描述分布尾部的厚度正态分布的峰度是0正数表示尖峰厚尾负数表示平坦散布。df[cols].skew() df[cols].kurtosis()对明显右偏的字段比如monthly_spend、avg_order_value可以考虑做对数变换压缩右尾让数据更接近正态df[log_spend] np.log1p(df[monthly_spend]) df[log_aov] np.log1p(df[avg_order_value])对数变换的意义在于后续做相关性分析时极端值的权重会被削弱相关系数能更真实地反映主体数据的关系。不用担心变换会破坏业务可解释性在相关性分析阶段变换后的变量和原始变量的趋势基本一致只是敏感度不同。实际项目里原始字段和变换字段可以同时保留按需取用。5. 相关性分析找到变量之间的秘密联系5.1 皮尔逊相关系数怎么读相关性分析回答的问题是两个变量之间存在什么方向的关系、关系强度如何。最常用的是皮尔逊相关系数取值范围在-1到1之间正数代表正相关负数代表负相关绝对值越接近1代表线性关系越强。df[[age, reg_days, purchase_count, avg_order_value, monthly_spend, recency]].corr()读相关矩阵有个顺序先看和你要回答的问题直接相关的行或列。比如分析月消费金额的驱动因素就看monthly_spend这一行与其他列的相关系数然后再看变量之间的共线性关系比如两个特征之间相关系数超过0.8后续如果要做建模这两个特征就不适合同时进入模型。在演示数据中我们大概能看到monthly_spend与purchase_count的相关系数很高因为月消费金额本身就是由购买次数和平均订单金额计算出来的monthly_spend与avg_order_value也有明显的正相关而purchase_count与avg_order_value之间往往呈现负相关——买得多的人通常单笔金额偏低这和现实中的消费习惯完全一致。5.2 用热力图把相关矩阵可视化数字表格看多了容易抓不住重点热力图是最直观的相关矩阵展示方式plt.figure(figsize(10, 8)) sns.heatmap(df.corr(), annotTrue, fmt.2f, cmapcoolwarm, center0) plt.show()annotTrue会在每个格子里显示数值fmt.2f指定保留两位小数cmap控制配色center0让0值显示为中间色。看热力图时一眼扫过去颜色深的地方就是关系密切的变量对。我习惯在热力图下面加两句注释直接把业务结论写下来比如购买次数与月消费金额强相关是驱动消费的核心变量。这样的图形带注释后续做汇报时可以直接引用省得临时回忆。有一个细节容易踩坑corr()默认只计算数值列如果你的DataFrame里包含字符串类型的字段结果里自然不会出现那些列。使用之前先用df.select_dtypes(include[‘number’])确认一下参与计算的字段列表。5.3 皮尔逊与斯皮尔曼的分寸皮尔逊相关系数衡量的是线性关系对异常值和分布形态比较敏感。当数据明显偏态时比如avg_order_value这种右偏严重的字段斯皮尔曼秩相关系数会更加稳健因为它只关心排序关系不关心具体数值之间的间距。df.corr(methodspearman)什么情况用斯皮尔曼我的判断标准是如果图形上两个变量的关系看起来单调但不是直线或者数据里有明显的离群值而且我不想剔除就用斯皮尔曼。把两种相关系数的结果放在一起对比如果差异很大说明变量之间的关系不是线性的需要进一步画散点图确认形态。sns.scatterplot(xpurchase_count, ymonthly_spend, datadf) plt.show()散点图能直接补上相关系数无法传达的细节两个变量之间是否存在明显的分段关系、是否有成簇的数据点、是否存在非线性趋势。相关分析从来不是只看一个数字就能下结论的事情图形和统计指标配合使用结论才站得住脚。6. 常见问题排查与实操心得6.1 高频报错与快速解法分享几个我实际项目中遇到过的报错每一条都浪费过不少时间。文件编码问题。pd.read_csv默认编码是utf-8但很多业务系统导出的CSV实际是gbk编码直接读会出现乱码甚至报错。解决办法是用encodinggbk或者encodingutf-8, errorsignore强行忽略错误。我的习惯是读取之前先问清楚数据来源或者在终端用file命令确认编码别猜。中文字体显示成方块。seaborn和matplotlib默认字体不含中文字符设置方法在第4章已经提到关键是以后每个Notebook开头都要写这两行配置不然画出来的图没法直接用于汇报。数据列全是object类型。通常是因为列里有文本或者缺失值表现得很特殊比如空字符串。解决办法是pd.to_numeric配合errorscoerce转换失败的地方自动变成NaN再走缺失值流程处理。Jupyter内核环境不对。在conda里创建了新环境启动jupyter却还在用旧环境的库这种问题经常出现。如果不想在conda环境里重新安装jupyter可以通过下面命令把环境注册为Notebook内核python -m ipykernel install --user --namedata-analysis然后在Notebook页面的Kernel菜单里切换内核问题立刻解决。6.2 几个实实在在的建议第一建立统一的代码习惯。处理数据前先写df.copy()避免在原始DataFrame上原地修改。数据清理过程来回调整很频繁保留一份原始数据的副本排查问题时能省很多心力。第二每一步操作后都回头看一眼验证结果。fillna之后马上跑df.info()确认缺失值清零dropna之后马上看行数确认删除比例在合理范围内。分析链路上每一步都可能出错越早发现越容易修正。把验证动作养成肌肉记忆比记住所有API都管用。第三Notebook里的Markdown不是摆设。给每一段代码补一两句话说明意图比如这里检测缺失值并决定填充策略两周之后回看这个文件还能立刻回忆起当时的想法。我自己就吃过这个亏当时觉得理所当然的操作隔了一段时间再看完全想不起为什么要这么做。第四相关性分析阶段要时刻提醒自己一句话相关不等于因果。两个变量相关系数高不等于一个变量导致另一个变量。在演示数据里月消费金额和购买次数相关性很强但这不一定是购买次数决定了月消费金额可能两个变量同时受用户活跃度这个隐藏变量驱动。做业务判断时这个分寸必须拿捏清楚。最后说一个我个人感受很深的事整个数据分析流程跑下来真正花时间最多的往往不是写代码而是不断回头看数据、确认每一个统计量是否符合业务直觉。分析这份模拟数据的时候我第一次跑完相关性矩阵看到purchase_count和avg_order_value是负相关第一反应是奇怪冷静下来想一想这个平台买得频繁的用户多数是日常小额消费正好解释了负相关的来源。数据本身不会说话但如果你对业务有足够的理解数据里的每个信号都会变得有迹可循。把流程跑通只是基本功能在每个环节都形成自己的判断才是真正拉开差距的地方。 
长河君 · 2026/10/24 0:06:37 · 阅读 1.2k Python数据分析全流程：Miniconda环境搭建与Jupyter实战
在数据分析这个圈子里pythonminicondajupyter这套组合几乎成了标配。很多人第一次接触时习惯直接装Anaconda图省事觉得一次性打包了几百个库什么都有。但用过一段时间之后大多数老手会悄悄回到Miniconda原因很简单Anaconda实在太臃肿了。就拿我自己的经历来说装完Anaconda之后启动都要好几秒磁盘占用动辄几个G更别提不同项目之间的库版本互相打架有多头疼。这篇文章不打算讲教科书式的概念我直接带你把整个流程走一遍从Miniconda创建干净环境开始装好Jupyter Notebook导入一份模拟的用户消费数据依次完成数据清洗、分布查看、相关性分析最后解读结果背后的业务信号。整个链路跑通之后你会发现数据分析本身并不神秘可复用的分析套路就那些难的是在每一步里判断该做什么、为什么这么做。这篇内容适合刚入门Python数据分析的人也适合想系统地重新整理一遍分析流程的读者。看完之后你可以直接把这套流程复制到自己的数据上照猫画虎跑一遍基本就能应付绝大多数探索性分析的需求。1. 环境准备把基础打好再谈分析1.1 为什么我推荐Miniconda而不是Anaconda其实这两者一脉相承底层都是conda生态。Anaconda相当于一个全家桶默认装上几百个包安装包体积巨大Miniconda则只保留conda包管理器、Python解释器和最基础的依赖其他库需要什么装什么。很多人觉得Anaconda方便是因为不用自己操心装库但实际用起来版本冲突的问题反而更容易出现。举个例子。我某个项目用pandas 2.x跑得好好的另一个旧项目还依赖pandas 1.5的某些行为。如果都装在一个环境里升级一次可能全线崩溃。用Miniconda给每个项目单独建环境想用哪个版本就用哪个版本互不干扰。这种隔离能力对数据分析尤其重要因为数据分析项目通常堆了一堆第三方库库与库之间的兼容性往往是最容易被低估的隐性成本。1.2 创建干净环境与核心库安装Miniconda的安装包在官网上按操作系统选择即可安装过程基本是下一步下一步。装完之后打开终端执行以下命令conda create -n>conda install pandas numpy matplotlib seaborn jupyter scipy openpyxl这里稍微解释一下每个库的用途。pandas负责数据结构和表格操作numpy提供底层数值计算matplotlib是基础的绘图库seaborn是建立在matplotlib之上的统计可视化库scipy提供科学计算函数openpyxl用来读写Excel文件。如果你所在的网络安装速度很慢可以给conda配置国内镜像源速度会有明显提升。全部装完之后启动Notebookjupyter notebook浏览器会自动打开Jupyter页面。新建一个Notebook文件重命名为类似数据全流程分析.ipynb的名字接下来的所有操作都在这个文件里完成。1.3 Jupyter Notebook的几个实用技巧很多人把Jupyter Notebook当成一个高级文本编辑器其实它有几个技巧用好了效率翻倍。单元格分两种代码单元格Code和标记单元格Markdown。分析过程中的思路、结论用Markdown记录代码放在Code里这样整个分析过程带着思考痕迹别人看你的Notebook能直接理解每一步在做什么。快捷键ShiftEnter运行当前单元格并跳到下一个CtrlEnter只运行不跳转A在单元格上方插入B在下方插入连续按两次D删除单元格。在代码单元格里以感叹号开头可以执行shell命令比如!pip list可以查看已安装的包。但我不建议在Notebook里直接安装包环境管理最好还是在终端里用conda操作保持环境状态清晰可控。DataFrame放在单元格最后一行会以富文本表格形式展示比print输出的纯文本清晰得多建议养成最后一行直接写变量名的习惯。2. 数据加载与第一眼观察2.1 准备演示数据集为了演示完整的数据分析流程我们需要一份数据。现实中数据可能来自数据库导出、接口返回、Excel表格等最常见的落地格式就是CSV文件。我这里直接用代码生成一份模拟数据某零售平台的会员消费记录共1000条包含用户ID、年龄、注册天数、月消费金额、购买次数、平均订单金额、最近消费距今天数等字段。生成数据的代码如下import numpy as np import pandas as pd np.random.seed(42) n 1000 age np.random.normal(35, 10, n).round().astype(int) age np.clip(age, 18, 65) reg_days np.random.randint(1, 800, n) purchase_count np.random.poisson(8, n) avg_order_value np.random.lognormal(4.0, 0.5, n) monthly_spend (purchase_count * avg_order_value * np.random.uniform(0.8, 1.2, n)).round(2) recency np.random.randint(0, 90, n) df pd.DataFrame({ user_id: range(1, n 1), age: age, reg_days: reg_days, purchase_count: purchase_count, avg_order_value: avg_order_value.round(2), monthly_spend: monthly_spend, recency: recency }) df.head()这里有几个关键点。np.random.seed(42)是固定随机种子保证每次运行生成的数据一致方便复现整个分析过程。purchase_count用泊松分布模拟因为购买次数在现实里就是典型的计数分布avg_order_value用对数正态分布生成因为金额数据通常右偏直接使用正态分布会生成负数不符合业务直觉。为了让演示覆盖数据处理环节我在数据生成后人为加入一些缺失值df.loc[df.sample(50).index, age] np.nan df.loc[df.sample(30).index, recency] np.nan df.loc[df.sample(20).index, monthly_spend] np.nan这样后面处理缺失值才有实际素材可用。2.2 用info和describe快速摸底拿到数据之后第一步不要急着画图先站在全局看一眼。两个方法用起来df.info() df.describe().Tinfo会显示每一列的非空数量、数据类型。通过info我们可以很快发现age、recency、monthly_spend三列都有缺失值而且字段类型大体正确user_id是整数金额字段是浮点数。describe输出统计信息包括均值、标准差、最小值、四分位数、最大值。从这里往往就能看出端倪比如某一列的max值远远超出合理范围那大概率存在异常值需要进一步排查。用describe时有一点要特别注意它默认只统计数值列。如果你的数据里有大量分类字段先用df.dtypes或者df.select_dtypes确认哪些是数值列别被常规统计结果误导。2.3 先想清楚分析目标再看数据这一步看似务虚其实是最关键的。拿到一份数据之后先问自己我要回答什么问题是什么样的用户更爱消费还是消费金额受哪些因素影响不同目标决定了后续数据处理的侧重点。如果目标是用户分层那特征工程和聚类是重点如果目标是预测月消费金额那要严格做缺失值处理、异常值处理、特征相关性排查防止模型被个别极端样本带偏。这篇文章走的是探索性分析的路子侧重理解数据本身所以后面的清洗、分布查看和相关性分析都是围绕这个目标服务的。目标明确之后每一步操作都有了判断依据不会陷入为了处理而处理的误区。3. 数据处理别让脏数据毁了一切3.1 缺失值先判断类型再决定补还是删缺失值是数据分析遇到的第一个坎。处理缺失值之前先搞清楚两个问题缺失比例有多大缺失机制是什么对只有几条缺失的列比如monthly_spend缺了20条直接删除这20条即可对整体影响微乎其微。对缺失比例相对较高的列比如age缺了50条占比达到5%直接删除会浪费样本信息更好的做法是用中位数填充。为什么推荐中位数而不是均值因为均值对异常值敏感数据里一旦有极端值均值会被拉得偏离主体水平而中位数几乎不受影响。代码实现df[age] df[age].fillna(df[age].median()) df[recency] df[recency].fillna(df[recency].median()) df df.dropna(subset[monthly_spend])填完之后建议马上再跑一次df.info()确认缺失值已经清零。这个习惯看着简单实际能帮你省下大量排查问题的时间。3.2 异常值识别IQR和3σ法则异常值指明显偏离正常范围的值。处理异常值不是因为它们看起来奇怪而是因为它们会扭曲统计结果。比如某个月消费金额高达几万一个人的数据就能把均值拉得很高后面计算相关系数时这种极端值也可能把结果带偏。常用的识别方法有两种。IQR法基于四分位数Q1 df[monthly_spend].quantile(0.25) Q3 df[monthly_spend].quantile(0.75) IQR Q3 - Q1 lower Q1 - 1.5 * IQR upper Q3 1.5 * IQR df_clean df[(df[monthly_spend] lower) (df[monthly_spend] upper)]3σ法则基于均值和标准差mean df[monthly_spend].mean() std df[monthly_spend].std() df_clean df[(df[monthly_spend] mean - 3 * std) (df[monthly_spend] mean 3 * std)]这两种方法怎么选IQR对偏态分布更稳健因为四分位数本身对极端值不敏感3σ法则的前提是数据近似正态分布。所以实际操作中应该先看数据分布的形态再决定用哪种方法。我个人的习惯是先用describe看最大值和四分位间距再结合业务逻辑判断。比如monthly_spend如果出现上万的值在这个平台的消费场景里就很不合理应当剔除反过来如果数据本身是重尾分布大量看起来很大的值其实是正常的这时就要谨慎下手。3.3 类型转换与特征衍生数据处理还有一个重要环节确保每一列的数据类型都正确。常见的问题有两个。一是数字被读成了字符串。比如Excel导出的CSV文件里某些数字列前面带着空格或者数字列里混入了暂无这类文本pandas读取后整列会变成object类型。处理方式df[avg_order_value] pd.to_numeric(df[avg_order_value], errorscoerce)errorscoerce的意思是转换失败的地方置为NaN正好可以当作缺失值重新走一遍填充或删除流程。二是日期列存的是字符串。用pd.to_datetime统一转换转换失败的行会变成NaT同样归入缺失值处理。类型处理之外特征衍生经常被忽略。在探索性分析阶段可以基于现有字段创造一些有业务含义的新变量。比如把recency和purchase_count组合定义一个活跃度分层之类的字段。这类衍生特征在后续的相关性分析里往往能带来新的洞察。4. 数据分布摸清每个字段的脾气4.1 直方图一眼看出分布形态分布分析的核心目的是看数据长什么样对称的、右偏的、还是双峰的不同分布形态对应不同的后续处理方式。用matplotlib或seaborn画直方图都很方便seaborn的代码更短默认图形也更好看。绘图之前需要先设置中文字体否则图里的标题和轴标签会显示成方块import matplotlib.pyplot as plt import seaborn as sns plt.rcParams[font.sans-serif] [SimHei, WenQuanYi Micro Hei] plt.rcParams[axes.unicode_minus] False cols [age, reg_days, purchase_count, avg_order_value, monthly_spend, recency] fig, axes plt.subplots(2, 3, figsize(15, 8)) for ax, col in zip(axes.ravel(), cols): sns.histplot(df[col], kdeTrue, axax) plt.tight_layout() plt.show()从图上能很直观地看到purchase_count是泊松分布的形状集中在均值附近avg_order_value明显右偏长尾拖在右边monthly_spend也表现出右偏特征。这种直观印象在后面的量化指标里会得到印证。plt.rcParams[‘font.sans-serif’]设置字体时我的经验是写一个列表第一个字体不存在时matplotlib会自动尝试列表里的下一个。在Linux服务器上一般用[‘WenQuanYi Micro Hei’]Windows上SimHei基本能用。4.2 箱线图里的四分位信息箱线图是另一个看分布的工具它把数据的核心信息压缩成几个关键统计量最小值、下四分位数、中位数、上四分位数、最大值以及被标记为离群点的散点。fig, axes plt.subplots(2, 3, figsize(15, 8)) for ax, col in zip(axes.ravel(), cols): sns.boxplot(ydf[col], axax) plt.tight_layout() plt.show()看箱线图重点看三件事。一是中位数在箱子里的位置如果明显偏上或偏下说明分布不对称二是箱子的宽度宽说明数据比较分散窄说明集中三是看有没有大量圆圈散点在须线外面这些散点就是离群点。它们在前面的异常值处理中应该已经被清理过一遍如果清理之后仍有大量离群点要么是阈值设置太激进要么这个字段本身就属于重尾分布需要进一步用数据变换来处理。4.3 偏度峰度与数据变换直方图是看感觉偏度和峰度是给数字。偏度描述分布的不对称程度正偏表示右偏负偏表示左偏绝对值超过0.5一般就认为有明显偏斜。峰度描述分布尾部的厚度正态分布的峰度是0正数表示尖峰厚尾负数表示平坦散布。df[cols].skew() df[cols].kurtosis()对明显右偏的字段比如monthly_spend、avg_order_value可以考虑做对数变换压缩右尾让数据更接近正态df[log_spend] np.log1p(df[monthly_spend]) df[log_aov] np.log1p(df[avg_order_value])对数变换的意义在于后续做相关性分析时极端值的权重会被削弱相关系数能更真实地反映主体数据的关系。不用担心变换会破坏业务可解释性在相关性分析阶段变换后的变量和原始变量的趋势基本一致只是敏感度不同。实际项目里原始字段和变换字段可以同时保留按需取用。5. 相关性分析找到变量之间的秘密联系5.1 皮尔逊相关系数怎么读相关性分析回答的问题是两个变量之间存在什么方向的关系、关系强度如何。最常用的是皮尔逊相关系数取值范围在-1到1之间正数代表正相关负数代表负相关绝对值越接近1代表线性关系越强。df[[age, reg_days, purchase_count, avg_order_value, monthly_spend, recency]].corr()读相关矩阵有个顺序先看和你要回答的问题直接相关的行或列。比如分析月消费金额的驱动因素就看monthly_spend这一行与其他列的相关系数然后再看变量之间的共线性关系比如两个特征之间相关系数超过0.8后续如果要做建模这两个特征就不适合同时进入模型。在演示数据中我们大概能看到monthly_spend与purchase_count的相关系数很高因为月消费金额本身就是由购买次数和平均订单金额计算出来的monthly_spend与avg_order_value也有明显的正相关而purchase_count与avg_order_value之间往往呈现负相关——买得多的人通常单笔金额偏低这和现实中的消费习惯完全一致。5.2 用热力图把相关矩阵可视化数字表格看多了容易抓不住重点热力图是最直观的相关矩阵展示方式plt.figure(figsize(10, 8)) sns.heatmap(df.corr(), annotTrue, fmt.2f, cmapcoolwarm, center0) plt.show()annotTrue会在每个格子里显示数值fmt.2f指定保留两位小数cmap控制配色center0让0值显示为中间色。看热力图时一眼扫过去颜色深的地方就是关系密切的变量对。我习惯在热力图下面加两句注释直接把业务结论写下来比如购买次数与月消费金额强相关是驱动消费的核心变量。这样的图形带注释后续做汇报时可以直接引用省得临时回忆。有一个细节容易踩坑corr()默认只计算数值列如果你的DataFrame里包含字符串类型的字段结果里自然不会出现那些列。使用之前先用df.select_dtypes(include[‘number’])确认一下参与计算的字段列表。5.3 皮尔逊与斯皮尔曼的分寸皮尔逊相关系数衡量的是线性关系对异常值和分布形态比较敏感。当数据明显偏态时比如avg_order_value这种右偏严重的字段斯皮尔曼秩相关系数会更加稳健因为它只关心排序关系不关心具体数值之间的间距。df.corr(methodspearman)什么情况用斯皮尔曼我的判断标准是如果图形上两个变量的关系看起来单调但不是直线或者数据里有明显的离群值而且我不想剔除就用斯皮尔曼。把两种相关系数的结果放在一起对比如果差异很大说明变量之间的关系不是线性的需要进一步画散点图确认形态。sns.scatterplot(xpurchase_count, ymonthly_spend, datadf) plt.show()散点图能直接补上相关系数无法传达的细节两个变量之间是否存在明显的分段关系、是否有成簇的数据点、是否存在非线性趋势。相关分析从来不是只看一个数字就能下结论的事情图形和统计指标配合使用结论才站得住脚。6. 常见问题排查与实操心得6.1 高频报错与快速解法分享几个我实际项目中遇到过的报错每一条都浪费过不少时间。文件编码问题。pd.read_csv默认编码是utf-8但很多业务系统导出的CSV实际是gbk编码直接读会出现乱码甚至报错。解决办法是用encodinggbk或者encodingutf-8, errorsignore强行忽略错误。我的习惯是读取之前先问清楚数据来源或者在终端用file命令确认编码别猜。中文字体显示成方块。seaborn和matplotlib默认字体不含中文字符设置方法在第4章已经提到关键是以后每个Notebook开头都要写这两行配置不然画出来的图没法直接用于汇报。数据列全是object类型。通常是因为列里有文本或者缺失值表现得很特殊比如空字符串。解决办法是pd.to_numeric配合errorscoerce转换失败的地方自动变成NaN再走缺失值流程处理。Jupyter内核环境不对。在conda里创建了新环境启动jupyter却还在用旧环境的库这种问题经常出现。如果不想在conda环境里重新安装jupyter可以通过下面命令把环境注册为Notebook内核python -m ipykernel install --user --namedata-analysis然后在Notebook页面的Kernel菜单里切换内核问题立刻解决。6.2 几个实实在在的建议第一建立统一的代码习惯。处理数据前先写df.copy()避免在原始DataFrame上原地修改。数据清理过程来回调整很频繁保留一份原始数据的副本排查问题时能省很多心力。第二每一步操作后都回头看一眼验证结果。fillna之后马上跑df.info()确认缺失值清零dropna之后马上看行数确认删除比例在合理范围内。分析链路上每一步都可能出错越早发现越容易修正。把验证动作养成肌肉记忆比记住所有API都管用。第三Notebook里的Markdown不是摆设。给每一段代码补一两句话说明意图比如这里检测缺失值并决定填充策略两周之后回看这个文件还能立刻回忆起当时的想法。我自己就吃过这个亏当时觉得理所当然的操作隔了一段时间再看完全想不起为什么要这么做。第四相关性分析阶段要时刻提醒自己一句话相关不等于因果。两个变量相关系数高不等于一个变量导致另一个变量。在演示数据里月消费金额和购买次数相关性很强但这不一定是购买次数决定了月消费金额可能两个变量同时受用户活跃度这个隐藏变量驱动。做业务判断时这个分寸必须拿捏清楚。最后说一个我个人感受很深的事整个数据分析流程跑下来真正花时间最多的往往不是写代码而是不断回头看数据、确认每一个统计量是否符合业务直觉。分析这份模拟数据的时候我第一次跑完相关性矩阵看到purchase_count和avg_order_value是负相关第一反应是奇怪冷静下来想一想这个平台买得频繁的用户多数是日常小额消费正好解释了负相关的来源。数据本身不会说话但如果你对业务有足够的理解数据里的每个信号都会变得有迹可循。把流程跑通只是基本功能在每个环节都形成自己的判断才是真正拉开差距的地方。