K-Means这个算法几乎是每个搞机器学习的人绕不开的第一个无监督模型我也是从它入的门。早几年做用户行为分析的时候业务方丢给我一堆后台日志问“这些人能不能分分组看看”我当时第一个想到的就是K-Means因为它足够直观、足够快讲给业务听也容易理解。后来项目一路换从用户分群到异常流量识别K-Means一直没退出过我的工具箱。但它真不是“调一个fit就完事”的东西初始化怎么选、K怎么定、特征怎么预处理每一步都有讲究。这篇文章我就把这些年用K-Means踩过的坑、摸透的原理、能直接复用的代码一次性整理出来适合刚接触聚类的新手也适合想回头把原理补扎实的从业者。1. 整体设计与思路拆解1.1 无监督学习里的“硬划分”思路先理清一个基本概念聚类是典型的无监督学习训练数据只有特征、没有标签。也就是说我们不知道“正确答案”长什么样只是想把数据按内在结构分成一堆一堆的。K-Means做的事情非常朴素——给定一个整数K把样本分成K个簇让同一个簇里的样本尽量相似不同簇之间尽量不同。这里的“相似”在K-Means里被量化成了欧氏距离。算法会把每个簇的“中心点”定为簇内所有样本的均值样本与最近中心的距离之和用一个目标函数来衡量。你要做的其实是去优化这个目标函数找到一组中心点让整体误差最小。这个“无监督”的属性带来一个经常被忽略的结果聚类的结果没有绝对的好坏只有“对业务上有没有帮助”的判断。很多时候你会发现算法分出的簇跟业务上想的“人群标签”对不上这不一定是算法错了可能是特征没选对也可能你心里那个“正确答案”本来就是有监督的分类问题硬用聚类去做结果自然不对。1.2 为什么经典还能打K-Means能火几十年核心原因是三个“好”好用、好懂、好扩展。好用指的是时间复杂度和效果之间的平衡。算法复杂度接近O(N·K·I)N是样本数K是簇数I是迭代次数。几百万条样本在普通配置上跑一遍也就是几十秒的事这个性能在聚类里几乎没有对手。好懂说的是概念门槛低聚类中心取均值样本归属取最近两步迭代循环完全没有复杂推导。好扩展则体现在变体非常成熟K-Means、Mini-Batch K-Means、K-Medoids都能在原始框架上针对特定问题做修正。对比DBSCAN这类基于密度的算法K-Means实现简单得多但代价是它对簇形状有硬性假设——只擅长找“球形”的簇。如果你的数据是月牙形、S形、螺旋形K-Means的结果会非常离谱。所以后来我给项目选型的时候会先问自己一句这些簇在特征空间里有没有可能近似球状有K-Means没有老老实实换算法。2. 核心原理与算法细节解析2.1 目标函数一切优化都盯着它K-Means的损失函数叫簇内平方和Within-Cluster Sum of SquaresWCSS公式长这样J Σ(k1 to K) Σ(i1 to N_k) ||x_i - μ_k||²其中μ_k是第k个簇的质心即簇内所有样本的均值N_k是第k个簇的样本数。这个函数衡量的是每个样本到它所属簇中心距离的平方和。J越小簇内越紧凑聚类效果越好。为什么要用平方而不是直接用距离两个原因。第一平方放大了离群点的惩罚力度离中心远的样本会被“拽”回来促使质心更贴近数据主体。第二平方形式在数学上友好对μ_k求导可以得到闭式解直接令导数为零得到μ_k应该取簇内均值。特别注意目标函数使用的是欧氏距离这意味着特征之间量纲不一致时数值范围大的特征会直接主导距离计算。后面讲预处理时我会专门展开这是K-Means使用中翻车率最高的点。2.2 从EM视角看K-Means的迭代很多人把K-Means看成单纯的循环其实它本质上是EM算法期望最大化的一个特例。EM是处理含隐变量问题的通用框架K-Means里的“隐变量”就是每个样本到底属于哪个簇。整个迭代过程分两步循环往复E步Expectation固定质心位置把每个样本分配给距离最近的质心即“在已知中心的前提下求出最优归属”。M步Maximization固定样本归属重新计算每个簇的中心即“在已知归属的前提下求出最优质心”。每一次E步和M步的组合都能保证目标函数不增。原因在于分配步骤把样本分给最近的质心单看这一项WCSS必然下降或不变更新步骤用均值替代原质心数学上可以证明均值是簇内平方和的最小值点因此这一步也不会让WCSS上升。两步都单调不增整体算法自然收敛。需要提醒的是收敛到局部最优不代表全局最优。目标函数J是一个非凸函数局部极小值点很多。从不同的初始质心出发算法很可能收敛到完全不同的结果。解决思路是多次随机初始化、挑WCSS最小的结果或者用K-Means做更聪明的初始化。2.3 初始化与变体别只会random原始的K-Means采用完全随机的初始质心遇到分布不均衡的数据时很容易收敛到局部最优。K-Means的思路很直接第一个质心随机选之后的每个质心选择时给距离已有质心远的样本更大的权重。这样初始质心就能尽量分散开开局就避开大部分劣质解。sklearn里默认就是K-Means我建议没有特殊原因不要改回random。数据量很大时每轮迭代计算全部样本与所有质心的距离会成为瓶颈。Mini-Batch K-Means的做法是每轮只采样一小批样本来更新质心速度能快一个数量级但结果稳定性会稍差适合上亿级别样本的粗跑场景。还有一个变体叫K-Means II通过多次采样的方式近似K-Means的初始化效果在超大规模数据上表现更好。常见变体对比如下变体改进点适用场景K-Means原始算法随机初始化小数据量、教学理解K-Means优化初始化策略质心分散默认首选通用场景Mini-Batch K-Means每轮采样部分样本更新大数据量、粗聚类K-Medoids用簇内真实样本点做中心有离群点、距离度量非欧氏时3. 实操前的关键准备特征和工具3.1 特征标准化不做必翻车这是K-Means实战里最重要、最常被跳过的一步。为什么必须标准化因为K-Means用欧氏距离计算相似度而欧氏距离对特征的量纲极其敏感。举个例子某用户特征包含“年龄0~100”和“年消费金额0~100000”。计算两个用户的距离时年龄最多贡献100的差消费金额却能贡献几万甚至十几万的差。最终距离几乎完全由消费金额决定年龄相当于隐型了。这样的聚类结果本质只是在“按消费金额切分”其余特征全部浪费。解决办法很简单特征标准化。常用的方式有两种Z-score标准化和Min-Max归一化。Z-score标准化把特征变成均值为0、方差为1的分布z (x - μ) / σMin-Max归一化把特征线性缩放至[0,1]区间x_norm (x - min) / (max - min)如果特征分布近似正态用Z-score如果特征有明确上下界比如像素值0~255、评分0~5分用Min-Max。我在实际项目中倾向于先把分布画出来看一眼再决定盲选也可以但至少要选一个做。提示标准化之后聚类结果的特征解读方式会改变。比如“年龄”标准化后就变成了“相对均值的一个标准差距离”给业务方解释时得注意措辞不要直接说“28岁被分到了这类”更准确的说法是“年龄偏年轻”。3.2 离散特征和哑变量都是暗坑K-Means是为连续数值特征设计的这决定了它天生不擅长处理分类变量。但实际业务数据里性别、城市、设备型号这些离散特征到处都是不做处理又不行。常见的错误操作把离散特征直接编码成整数比如“苹果1华为2小米3”然后丢进K-Means。后果很严重因为K-Means认为数字2和3比1和2“更接近”但手机品牌之间根本没有这种顺序关系。还有一种常见做法是把类别变量转成哑变量one-hot然后标准化——这又会引入新问题经过Z-score之后哑变量会分裂成两个数据点簇原本“男性”“女性”两个取值会被强行拉远反而扭曲了距离结构。我的处理经验是能不用K-Means处理离散特征尽量不用必须用时优先考虑把离散特征和其他特征分开做加权距离或者对离散特征单独做计数统计比如“该用户偏好XX的比例”把它转换成连续特征。如果数据里离散特征占据主导不要硬套K-Means直接去看K-Modes算法更合适。3.3 工具选型手写还是调用库工具选择取决于你的目的我分三类给出建议。第一类学习原理。强烈建议手写一遍K-Means代码二三十行就能写完。手写的价值在于你会真正理解E步M步的循环、理解收敛条件、理解为什么初始质心影响这么大。直接调库会让这些细节变成黑盒。第二类日常中小规模任务。直接用scikit-learn的KMeans实现稳定、快、参数齐全。几十万行数据、几十个特征默认参数基本能扛住只需要把n_init设大一点。第三类海量数据。超过单机内存的数据可以用Spark MLlib里的KMeans实现或者Mini-Batch版本。单独一台机器跑不动的时候分布式是必然选择但这时对特征工程和K值的选择要求更高因为调参成本上去了。4. K值选择与效果评估实操4.1 肘部法则先看趋势再找拐点K-Means必须先手动指定K这是它被诟病最多的地方也是实际生产中最让人纠结的决策。最经典的方法是肘部法则。做法很简单把K从1开始递增到某个上限比如10对每个K分别跑K-Means记录WCSS值然后画出“K-WCSS”折线图。随着K增大WCSS必然不断下降——因为簇越多每个簇内必然更紧密。关键看曲线哪里出现“拐点”在这个点之前增加K能显著降低WCSS之后曲线趋平说明再加簇已经没有实质收益了这个拐点处对应的K就是“肘部”。光看描述会觉得很好用但现实中拐点经常是“钝角”的不明显不同人画的图能看出不同的拐点。我的习惯是同时计算每个K下相邻两点WCSS下降幅度下降率首次低于10%的那个点作为候选K再结合业务语境定最终值。具体到代码实现伪代码如下import numpy as np from sklearn.cluster import KMeans import matplotlib.pyplot as plt wcss [] K_range range(1, 11) for k in K_range: model KMeans(n_clustersk, n_init10, random_state42) model.fit(X) wcss.append(model.inertia_) # inertia就是WCSS plt.plot(K_range, wcss, markero) plt.xlabel(K) plt.ylabel(WCSS) plt.show()4.2 轮廓系数量化聚类质量肘部法则只告诉我们簇内紧密度没告诉我们簇间分离度。轮廓系数Silhouette Coefficient是一个同时考虑“簇内紧密度”和“簇间分离度”的指标每个样本的取值在[-1, 1]之间。计算思路很简单对样本i记a(i)为它到同簇其他样本的平均距离b(i)为它到最近的其他簇内所有样本的平均距离。轮廓系数s(i) (b(i) - a(i)) / max(a(i), b(i))。s(i)接近1说明这个样本与同簇样本很近、与异簇样本很远分类合理接近0说明样本位于两个簇的边界上模棱两可接近-1说明这样本可能被分错了簇。全局轮廓系数就是所有样本s(i)的平均值。实际操作时我会对每个候选K都计算一次平均轮廓系数再结合肘部法则的WCSS曲线做交叉验证。如果肘部法则说K4轮廓系数也显示K4的平均轮廓值最高那这个K就相当稳了。计算代码from sklearn.metrics import silhouette_score silhouette_scores [] for k in K_range: model KMeans(n_clustersk, n_init10, random_state42) labels model.fit_predict(X) sil silhouette_score(X, labels) silhouette_scores.append(sil) best_k K_range[np.argmax(silhouette_scores)] print(f轮廓系数最优K值: {best_k})提示样本量很大时轮廓系数计算会非常非常慢因为它要算两两距离复杂度接近O(N²)。超过十万条样本建议先用Mini-Batch降采样或用k-means的inertia做判断别傻等。4.3 业务判断和其他辅助手段指标永远只是辅助真正的K值得看业务上下文。如果聚类目的是做用户分群那每个“群”要能被业务方理解、能针对性地制定运营策略。K8从数据上讲很完美但如果8个群有3个群找不出差异化特征这个K就是不可落地的。我常用的一个“先验探路法”对数据先跑一遍层次聚类凝聚式画出树状图从树状图的分层结构可以直接看出数据大体分成几簇是合理的再把这个估计值作为K传入K-Means。层次聚类不 
长河君 · 2026/10/22 16:56:08 · 阅读 1.2k K-Means聚类原理与实战：从算法本质到应用细节
K-Means这个算法几乎是每个搞机器学习的人绕不开的第一个无监督模型我也是从它入的门。早几年做用户行为分析的时候业务方丢给我一堆后台日志问“这些人能不能分分组看看”我当时第一个想到的就是K-Means因为它足够直观、足够快讲给业务听也容易理解。后来项目一路换从用户分群到异常流量识别K-Means一直没退出过我的工具箱。但它真不是“调一个fit就完事”的东西初始化怎么选、K怎么定、特征怎么预处理每一步都有讲究。这篇文章我就把这些年用K-Means踩过的坑、摸透的原理、能直接复用的代码一次性整理出来适合刚接触聚类的新手也适合想回头把原理补扎实的从业者。1. 整体设计与思路拆解1.1 无监督学习里的“硬划分”思路先理清一个基本概念聚类是典型的无监督学习训练数据只有特征、没有标签。也就是说我们不知道“正确答案”长什么样只是想把数据按内在结构分成一堆一堆的。K-Means做的事情非常朴素——给定一个整数K把样本分成K个簇让同一个簇里的样本尽量相似不同簇之间尽量不同。这里的“相似”在K-Means里被量化成了欧氏距离。算法会把每个簇的“中心点”定为簇内所有样本的均值样本与最近中心的距离之和用一个目标函数来衡量。你要做的其实是去优化这个目标函数找到一组中心点让整体误差最小。这个“无监督”的属性带来一个经常被忽略的结果聚类的结果没有绝对的好坏只有“对业务上有没有帮助”的判断。很多时候你会发现算法分出的簇跟业务上想的“人群标签”对不上这不一定是算法错了可能是特征没选对也可能你心里那个“正确答案”本来就是有监督的分类问题硬用聚类去做结果自然不对。1.2 为什么经典还能打K-Means能火几十年核心原因是三个“好”好用、好懂、好扩展。好用指的是时间复杂度和效果之间的平衡。算法复杂度接近O(N·K·I)N是样本数K是簇数I是迭代次数。几百万条样本在普通配置上跑一遍也就是几十秒的事这个性能在聚类里几乎没有对手。好懂说的是概念门槛低聚类中心取均值样本归属取最近两步迭代循环完全没有复杂推导。好扩展则体现在变体非常成熟K-Means、Mini-Batch K-Means、K-Medoids都能在原始框架上针对特定问题做修正。对比DBSCAN这类基于密度的算法K-Means实现简单得多但代价是它对簇形状有硬性假设——只擅长找“球形”的簇。如果你的数据是月牙形、S形、螺旋形K-Means的结果会非常离谱。所以后来我给项目选型的时候会先问自己一句这些簇在特征空间里有没有可能近似球状有K-Means没有老老实实换算法。2. 核心原理与算法细节解析2.1 目标函数一切优化都盯着它K-Means的损失函数叫簇内平方和Within-Cluster Sum of SquaresWCSS公式长这样J Σ(k1 to K) Σ(i1 to N_k) ||x_i - μ_k||²其中μ_k是第k个簇的质心即簇内所有样本的均值N_k是第k个簇的样本数。这个函数衡量的是每个样本到它所属簇中心距离的平方和。J越小簇内越紧凑聚类效果越好。为什么要用平方而不是直接用距离两个原因。第一平方放大了离群点的惩罚力度离中心远的样本会被“拽”回来促使质心更贴近数据主体。第二平方形式在数学上友好对μ_k求导可以得到闭式解直接令导数为零得到μ_k应该取簇内均值。特别注意目标函数使用的是欧氏距离这意味着特征之间量纲不一致时数值范围大的特征会直接主导距离计算。后面讲预处理时我会专门展开这是K-Means使用中翻车率最高的点。2.2 从EM视角看K-Means的迭代很多人把K-Means看成单纯的循环其实它本质上是EM算法期望最大化的一个特例。EM是处理含隐变量问题的通用框架K-Means里的“隐变量”就是每个样本到底属于哪个簇。整个迭代过程分两步循环往复E步Expectation固定质心位置把每个样本分配给距离最近的质心即“在已知中心的前提下求出最优归属”。M步Maximization固定样本归属重新计算每个簇的中心即“在已知归属的前提下求出最优质心”。每一次E步和M步的组合都能保证目标函数不增。原因在于分配步骤把样本分给最近的质心单看这一项WCSS必然下降或不变更新步骤用均值替代原质心数学上可以证明均值是簇内平方和的最小值点因此这一步也不会让WCSS上升。两步都单调不增整体算法自然收敛。需要提醒的是收敛到局部最优不代表全局最优。目标函数J是一个非凸函数局部极小值点很多。从不同的初始质心出发算法很可能收敛到完全不同的结果。解决思路是多次随机初始化、挑WCSS最小的结果或者用K-Means做更聪明的初始化。2.3 初始化与变体别只会random原始的K-Means采用完全随机的初始质心遇到分布不均衡的数据时很容易收敛到局部最优。K-Means的思路很直接第一个质心随机选之后的每个质心选择时给距离已有质心远的样本更大的权重。这样初始质心就能尽量分散开开局就避开大部分劣质解。sklearn里默认就是K-Means我建议没有特殊原因不要改回random。数据量很大时每轮迭代计算全部样本与所有质心的距离会成为瓶颈。Mini-Batch K-Means的做法是每轮只采样一小批样本来更新质心速度能快一个数量级但结果稳定性会稍差适合上亿级别样本的粗跑场景。还有一个变体叫K-Means II通过多次采样的方式近似K-Means的初始化效果在超大规模数据上表现更好。常见变体对比如下变体改进点适用场景K-Means原始算法随机初始化小数据量、教学理解K-Means优化初始化策略质心分散默认首选通用场景Mini-Batch K-Means每轮采样部分样本更新大数据量、粗聚类K-Medoids用簇内真实样本点做中心有离群点、距离度量非欧氏时3. 实操前的关键准备特征和工具3.1 特征标准化不做必翻车这是K-Means实战里最重要、最常被跳过的一步。为什么必须标准化因为K-Means用欧氏距离计算相似度而欧氏距离对特征的量纲极其敏感。举个例子某用户特征包含“年龄0~100”和“年消费金额0~100000”。计算两个用户的距离时年龄最多贡献100的差消费金额却能贡献几万甚至十几万的差。最终距离几乎完全由消费金额决定年龄相当于隐型了。这样的聚类结果本质只是在“按消费金额切分”其余特征全部浪费。解决办法很简单特征标准化。常用的方式有两种Z-score标准化和Min-Max归一化。Z-score标准化把特征变成均值为0、方差为1的分布z (x - μ) / σMin-Max归一化把特征线性缩放至[0,1]区间x_norm (x - min) / (max - min)如果特征分布近似正态用Z-score如果特征有明确上下界比如像素值0~255、评分0~5分用Min-Max。我在实际项目中倾向于先把分布画出来看一眼再决定盲选也可以但至少要选一个做。提示标准化之后聚类结果的特征解读方式会改变。比如“年龄”标准化后就变成了“相对均值的一个标准差距离”给业务方解释时得注意措辞不要直接说“28岁被分到了这类”更准确的说法是“年龄偏年轻”。3.2 离散特征和哑变量都是暗坑K-Means是为连续数值特征设计的这决定了它天生不擅长处理分类变量。但实际业务数据里性别、城市、设备型号这些离散特征到处都是不做处理又不行。常见的错误操作把离散特征直接编码成整数比如“苹果1华为2小米3”然后丢进K-Means。后果很严重因为K-Means认为数字2和3比1和2“更接近”但手机品牌之间根本没有这种顺序关系。还有一种常见做法是把类别变量转成哑变量one-hot然后标准化——这又会引入新问题经过Z-score之后哑变量会分裂成两个数据点簇原本“男性”“女性”两个取值会被强行拉远反而扭曲了距离结构。我的处理经验是能不用K-Means处理离散特征尽量不用必须用时优先考虑把离散特征和其他特征分开做加权距离或者对离散特征单独做计数统计比如“该用户偏好XX的比例”把它转换成连续特征。如果数据里离散特征占据主导不要硬套K-Means直接去看K-Modes算法更合适。3.3 工具选型手写还是调用库工具选择取决于你的目的我分三类给出建议。第一类学习原理。强烈建议手写一遍K-Means代码二三十行就能写完。手写的价值在于你会真正理解E步M步的循环、理解收敛条件、理解为什么初始质心影响这么大。直接调库会让这些细节变成黑盒。第二类日常中小规模任务。直接用scikit-learn的KMeans实现稳定、快、参数齐全。几十万行数据、几十个特征默认参数基本能扛住只需要把n_init设大一点。第三类海量数据。超过单机内存的数据可以用Spark MLlib里的KMeans实现或者Mini-Batch版本。单独一台机器跑不动的时候分布式是必然选择但这时对特征工程和K值的选择要求更高因为调参成本上去了。4. K值选择与效果评估实操4.1 肘部法则先看趋势再找拐点K-Means必须先手动指定K这是它被诟病最多的地方也是实际生产中最让人纠结的决策。最经典的方法是肘部法则。做法很简单把K从1开始递增到某个上限比如10对每个K分别跑K-Means记录WCSS值然后画出“K-WCSS”折线图。随着K增大WCSS必然不断下降——因为簇越多每个簇内必然更紧密。关键看曲线哪里出现“拐点”在这个点之前增加K能显著降低WCSS之后曲线趋平说明再加簇已经没有实质收益了这个拐点处对应的K就是“肘部”。光看描述会觉得很好用但现实中拐点经常是“钝角”的不明显不同人画的图能看出不同的拐点。我的习惯是同时计算每个K下相邻两点WCSS下降幅度下降率首次低于10%的那个点作为候选K再结合业务语境定最终值。具体到代码实现伪代码如下import numpy as np from sklearn.cluster import KMeans import matplotlib.pyplot as plt wcss [] K_range range(1, 11) for k in K_range: model KMeans(n_clustersk, n_init10, random_state42) model.fit(X) wcss.append(model.inertia_) # inertia就是WCSS plt.plot(K_range, wcss, markero) plt.xlabel(K) plt.ylabel(WCSS) plt.show()4.2 轮廓系数量化聚类质量肘部法则只告诉我们簇内紧密度没告诉我们簇间分离度。轮廓系数Silhouette Coefficient是一个同时考虑“簇内紧密度”和“簇间分离度”的指标每个样本的取值在[-1, 1]之间。计算思路很简单对样本i记a(i)为它到同簇其他样本的平均距离b(i)为它到最近的其他簇内所有样本的平均距离。轮廓系数s(i) (b(i) - a(i)) / max(a(i), b(i))。s(i)接近1说明这个样本与同簇样本很近、与异簇样本很远分类合理接近0说明样本位于两个簇的边界上模棱两可接近-1说明这样本可能被分错了簇。全局轮廓系数就是所有样本s(i)的平均值。实际操作时我会对每个候选K都计算一次平均轮廓系数再结合肘部法则的WCSS曲线做交叉验证。如果肘部法则说K4轮廓系数也显示K4的平均轮廓值最高那这个K就相当稳了。计算代码from sklearn.metrics import silhouette_score silhouette_scores [] for k in K_range: model KMeans(n_clustersk, n_init10, random_state42) labels model.fit_predict(X) sil silhouette_score(X, labels) silhouette_scores.append(sil) best_k K_range[np.argmax(silhouette_scores)] print(f轮廓系数最优K值: {best_k})提示样本量很大时轮廓系数计算会非常非常慢因为它要算两两距离复杂度接近O(N²)。超过十万条样本建议先用Mini-Batch降采样或用k-means的inertia做判断别傻等。4.3 业务判断和其他辅助手段指标永远只是辅助真正的K值得看业务上下文。如果聚类目的是做用户分群那每个“群”要能被业务方理解、能针对性地制定运营策略。K8从数据上讲很完美但如果8个群有3个群找不出差异化特征这个K就是不可落地的。我常用的一个“先验探路法”对数据先跑一遍层次聚类凝聚式画出树状图从树状图的分层结构可以直接看出数据大体分成几簇是合理的再把这个估计值作为K传入K-Means。层次聚类不