入门机器学习绕不开两个东西k近邻算法KNN和鸢尾花数据集。前者是被很多人称为“最不讲道理”的分类算法后者则是模型拟合实验中最常出现在各种教程里的样本数据。如果你正准备开始学机器学习或者已经看过不少理论但没真正动手跑过代码这篇文章就是照着做的。我尽量用说人话的方式把KNN和鸢尾花数据集的每个细节都拆开从数据长什么样到算法内部怎么决策再到手写一个KNN分类器最后聊聊那些只有实际跑过才会遇到的坑。先感受一下标题里“查看”这个词的重量。鸢尾花数据集不是拿来“跑完”就扔的它更适合用来“看清楚”——看清楚数据分布、看清楚特征尺度差异、看清楚算法决策边界。理解了这层后面所有代码操作都会顺理成章。1. 鸢尾花数据集机器学习界的“Hello World”凭什么是它1.1 数据集的历史与结构鸢尾花数据集最早出现在1936年的一篇统计分类论文里后来被整理成机器学习和统计学教材里的常客。它包含150条样本每条样本对应一种鸢尾花记录4个特征类别一共3种。具体结构如下特征名称含义数值范围约sepal length (cm)花萼长度4.3 ~ 7.9sepal width (cm)花萼宽度2.0 ~ 4.4petal length (cm)花瓣长度1.0 ~ 6.9petal width (cm)花瓣宽度0.1 ~ 2.53个类别分别是setosa山鸢尾、versicolor变色鸢尾和virginica弗吉尼亚鸢尾每个类别正好50条样本。这个数据集之所以经典不是因为它有多复杂恰恰是因为它简单得恰到好处样本量小150条数据训练再慢的算法都秒出结果方便初学者反复试验。维度适中4个特征不算多但已经足够让“二维散点图看分布”“三维图看分离度”这些可视化操作发挥价值。类别分布均匀每类50条不用考虑类别不平衡问题入门阶段可以少操一份心。部分线性可分setosa这个类别和另外两类在特征空间里基本可以一刀切开但versicolor和virginica之间存在部分重叠。这种“有点难但又不完全难”的局面最适合观察算法在边界上的表现。1.2 数据在特征空间里的真实分布第一次接触这个数据集时很多人会以为三类花朵形态差异巨大应该很容易区分。实际用散点图看过后会发现setosa确实独成一派但versicolor和virginica在花萼长度、花萼宽度这两个维度上重合得很厉害纯粹靠“目测”很难分开。这也是为什么在“查看”数据时要多看几张图而不是只看某两个特征的组合。花萼尺寸区分不开两个类别不代表花瓣尺寸也区分不开。用花瓣长度和花瓣宽度画散点图versicolor和virginica的重叠区域就会明显缩小。这种“换一个视角数据就变清晰”的体验比记住任何API都更有价值。可以做一个简单的对比实验只用sepal length和sepal width这两个特征训练KNN再用petal length和petal width训练KNN。后者在测试集上的准确率通常比前者高好几个百分点。原因就在于花萼参数在两类样本上的分布重叠太多能提供的区分信息有限。这个结论不是猜的自己跑一遍就能复现。1.3 为什么入门选它最合适很多人刚开始学机器学习一上来就用几十万条的真实业务数据练手代码跑得慢不说出了问题也很难定位是数据问题还是算法问题。鸢尾花数据集数据量小、结构清晰、出错成本低更适合用来建立“先看数据再选算法最后调参”的完整心智模型。对KNN这种依赖距离计算的算法来说鸢尾花数据集还有一个额外的好处特征数值范围适中没有极端离群值数据质量高。这样初学者可以先把注意力放在理解算法本身再慢慢接触数据清洗、特征工程、异常值处理这些更贴近真实业务的环节。2. KNN为什么一学就会惰性学习与邻居投票的直觉2.1 三步走参数、距离、投票k近邻算法的中文名字已经把它做的事情说得比较清楚“k个最近的邻居”。给定一条待预测的样本算法做三件事设定K值也就是要参考多少个邻居。计算待预测样本与所有已知样本的距离找到距离最近的K个样本。让这K个邻居投票票数最多的类别就是预测结果。举个例子。你要判断一个“不知道品种”的鸢尾花是三种里的哪一种就把这条未知样本的特征和已有150条样本逐一比较找出特征最相似的K个“已知身份”的样本。如果选出来的5个邻居里有4个是versicolor1个是virginica那就预测为versicolor。整个过程没有任何复杂的数学推导这就是KNN“不讲道理”的地方。它不试图学习特征和标签之间的函数关系而是把训练数据原封不动地存下来等预测时直接靠记忆比对。2.2 惰性学习与急切学习的关键差异机器学习算法按“学习方式”可以粗略分成两类。像线性回归、SVM、神经网络训练阶段会利用训练数据拟合出一套参数预测时直接拿参数计算这类叫急切学习Eager Learner。而KNN训练阶段几乎什么都不做只是把所有训练数据存起来真正的计算发生在预测阶段这类叫惰性学习Lazy Learner。惰性学习听起来简单省事代价也很明显预测阶段慢训练样本多、特征维度高时每预测一条样本都要遍历全部训练数据算距离耗时随数据量线性增长。存储开销大必须把原始训练数据全部留在内存里不像神经网络那样学完参数之后可以丢掉训练集。对高维数据敏感维数灾难会让距离趋同KNN在高维空间里的表现常常不理想。在150条、4个特征的鸢尾花数据集上这些缺点基本感知不到所以作为入门体验刚刚好。等以后用KNN处理更大规模的数据时再考虑用KD树、球树这类加速结构或者干脆换一个更合适的算法。2.3 K值选择与距离度量的直觉K值的意义非常直白K设得太小模型只参考极少数的邻居容易对噪声样本敏感出现过拟合K设得太大则会引入大量距离较远的“远方邻居”分类边界变得平滑但可能丢失局部细节。距离度量最常用的是欧氏距离$$d(x_1, x_2) \sqrt{\sum_{i1}^{n}(x_{1i} - x_{2i})^2}$$把两个样本的每一维特征相减、平方、求和、再开根号得到的就是它们在特征空间里的直线距离。除此之外还有曼哈顿距离、闵可夫斯基距离、余弦相似度等变体适用的场景各不相同距离度量适用场景直觉解释欧氏距离特征连续、量纲一致时直线距离曼哈顿距离特征含义彼此独立、注重逐维差值城市街区距离余弦相似度文本、向量方向比长度更关键夹角余弦值鸢尾花数据集的特征都是连续数值量纲也基本一致用欧氏距离就能得到不错的结果。不过这里有一个隐藏的疑问花萼长度单位是厘米、花瓣宽度单位也是厘米看起来量纲一致为什么后面还要做标准化这个问题我会在第5节详细讲它也是KNN入门时最容易被忽略的细节之一。3. 动手“查看”鸢尾花完整数据探索代码与可视化3.1 环境和依赖本文所有代码都基于Python所用到的库都是机器学习入门标配numpy数值计算基础库pandas数据加载和表格操作matplotlib基础绘图seaborn基于matplotlib的统计可视化增强库scikit-learn机器学习算法库安装命令非常简单pip install numpy pandas matplotlib seaborn scikit-learn如果用的是Anaconda环境这些库大概率已经内置。建议创建独立虚拟环境再安装避免依赖冲突。3.2 加载数据与基础统计首先把数据载入进来看看原始结构。import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from sklearn.datasets import load_iris iris load_iris() # 转成DataFrame方便查看 df pd.DataFrame(datairis.data, columnsiris.feature_names) df[species] iris.target df[species] df[species].map({0: setosa, 1: versicolor, 2: virginica}) print(df.head()) print(df.info()) print(df.describe().T)输出结果能让你直观看到数据的基本统计每条样本有没有缺失值均值、标准差、最小值、最大值分别是什么。df.describe().T特别有用能快速发现三个类别的特征分布是否重叠。有一个小习惯值得养成把species标签从数字映射成字符串来显示这样画图时图例上显示的是“setosa”“versicolor”“virginica”而不是0、1、2不容易看错。3.3 用成对散点图看清三类分布查看数据集最直观的方式是画成对散点图。seaborn的pairplot可以同时绘制所有特征的两两组合一张图就能看全分布情况。sns.pairplot(df, huespecies, diag_kindkde) plt.show()运行之后能看到setosa山鸢尾在所有特征组合里都明显分离和另外两类很少重叠。versicolor和virginica在花萼尺寸相关图中重叠严重在花瓣尺寸相关图中重叠相对较小。对角线上的核密度曲线显示三个类别各自的大致分布形态setosa的单峰区间和其他两类有明显偏移。这张图其实是理解后续模型表现最好的依据。拿KNN的分类结果对比这张图你会更清楚为什么有些样本会被错分——它们本来就落在两个类别的重叠区算法要强行给出一个答案自然容易出错。如果想看更聚合的视角可以绘制PCA降维后的散点图把4维特征压缩到2维再展示三类簇的分布结构会更加清楚。可视化“查看”数据本身就是建模的第一步。4. 手写KNN分类器不借助框架理解每个细节4.1 完整代码实现scikit-learn里的一行KNeighborsClassifier确实方便但如果想真正理解KNN还是应该先手写一遍。用numpy实现一个KNN分类器大约只需要几十行代码。import numpy as np from collections import Counter class KNN: def __init__(self, k3): self.k k def fit(self, X, y): 训练阶段KNN是惰性学习这里只保存数据。 X: 训练特征, y: 训练标签 self.X_train np.asarray(X) self.y_train np.asarray(y) def predict(self, X): X np.asarray(X) y_pred [self._predict_one(x) for x in X] return np.array(y_pred) def _predict_one(self, x): # 计算 x 与所有训练样本的欧氏距离 distances np.sqrt(np.sum((self.X_train - x) ** 2, axis1)) # 取距离最近的前 k 个样本的索引 k_idx np.argsort(distances)[:self.k] # 这些邻居对应的标签 k_labels self.y_train[k_idx] # 投票选出出现次数最多的标签 most_common Counter(k_labels).most_common(1)[0][0] return most_common配合鸢尾花数据集的完整调用如下from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split X, y load_iris(return_X_yTrue) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy ) knn KNN(k3) knn.fit(X_train, y_train) y_pred knn.predict(X_test) accuracy np.mean(y_pred y_test) print(f手写KNN准确率: {accuracy:.4f})在random_state42这个划分下准确率通常在0.9667左右。换不同随机种子结果会在0.93到1.0之间浮动这个现象本身也值得思考——后面讲交叉验证时还会提到。4.2 代码的逐步拆解手写KNN的代码虽然短但每一行都有对应原理。1. fit方法为什么只保存数据因为KNN是惰性学习训练阶段的“学习”本质上就是记住所有样本。它没有系数、没有权重不需要迭代优化。这也是KNN实现起来几乎零调试成本的原因。2. 距离计算那行怎么理解self.X_train - x利用了numpy的广播机制把一条待预测样本一次性与训练集全部样本做差值运算得到一个二维数组。随后**2对差值取平方axis1按行求和得到每个训练样本与待测样本的平方距离最后开根号就是欧氏距离。这一步就是KNN的核心计算。3. 取K个邻居后如何投票np.argsort(distances)返回按距离从小到大的索引数组取前K个就是最近邻的索引。再用这些索引从y_train取出对应标签用Counter.most_common(1)找出出现次数最多的一项就得到投票结果。这段代码看似简单却是理解后面所有KNN优化方向的基础。比如“用样本权重投票”“用KD树加速最近邻搜索”这些进阶操作本质上都是在这三段逻辑上做改进。4.3 手写版与sklearn版的结果对比为了确认手写代码没有出错可以把结果和scikit-learn里的KNN做对比。from sklearn.neighbors import KNeighborsClassifier sk_knn KNeighborsClassifier(n_neighbors3) sk_knn.fit(X_train, y_train) sk_pred sk_knn.predict(X_test) print(手写KNN和sklearn预测是否一致:, np.mean(y_pred sk_pred)) print(sklearn准确率:, np.mean(sk_pred y_test))如果数据划分完全一致两个模型的预测结果应该是完全相同的。从零实现一遍用现成库验证一遍这件事的价值在于当以后遇到“sklearn的KNN为什么给我分错了”这类问题时你能亲自拆开工具箱看里面的工作原理而不是一头雾水。5. 调优不能只调K交叉验证与网格搜索的正确姿势5.1 单K值暴力测试初学者调K的常见做法是循环遍历K值看哪个K准确率最高。代码如下acc_list [] for k in range(1, 21): knn KNeighborsClassifier(n_neighborsk) knn.fit(X_train, y_train) acc knn.score(X_test, y_test) acc_list.append(acc) best_k np.argmax(acc_list) 1 print(最佳K值:, best_k) print(对应准确率:, max(acc_list))这种方法可以快速得到一个大致的K值范围但存在一个问题单纯按照某一个划分的测试集表现选择K很容易过拟合到那一次随机划分上。换一组随机种子最佳K可能就从3变成5。要克服这个问题就得用交叉验证。把数据切成多份轮流让每份当验证集最终对K值的选择更有说服力。5.2 k折交叉验证的正确用法scikit-learn提供了GridSearchCV配合KFold完成这件事。以鸢尾花数据集为例常用的设置是5折交叉验证from sklearn.model_selection import GridSearchCV, KFold from sklearn.neighbors import KNeighborsClassifier param_grid { n_neighbors: list(range(1, 21)), weights: [uniform, distance] } cv KFold(n_splits5, shuffleTrue, random_state42) grid GridSearchCV( KNeighborsClassifier(), param_grid, cvcv, scoringaccuracy ) grid.fit(X, y) print(最优参数:, grid.best_params_) print(最优平均交叉验证准确率:, grid.best_score_)使用5折交叉验证跑下来的结果通常最优K落在3到7之间的一个值并且weightsdistance在某些K下会比uniform略好。5.3 从交叉验证结果反推模型的短板单次划分测试集和交叉验证得分之间的差距能反映模型的稳定性。这里有几个实用判断如果交叉验证均值明显低于单次测试集分数说明模型对数据划分方式敏感选K时要更保守。当K从1升到3准确率显著上升说明K1时过拟合严重局部噪声在主导决策。当K增加到15以上准确率缓慢下降说明平滑过度类别边界细节被忽略。对于鸢尾花数据集最佳K通常不会太大因为数据量只有150条特征只有4个。更大的K意味着要考虑大量“远方邻居”把类别边界抹成一条模糊带。5.4 数据标准化对调参结果的影响训练KNN之前是否做标准化是影响结果的关键选择值得单独说清楚。花萼长度的范围是4.3~7.9花瓣宽度的范围是0.1~2.5。如果不做任何处理在欧氏距离里花萼长度因为数值大对距离的贡献天然会比花瓣宽度更大。这就有问题距离计算本应公平对待每个特征但因为量纲不同某些特征被无形“加权”了。标准化常用的方法是Z-score标准化也就是让每个特征变成均值0、标准差1的分布from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test)注意一个常见错误先用整个数据集的统计信息做标准化再进行数据划分这会造成信息泄露。正确做法是先划分训练集和测试集再用训练集的均值、标准差去转换测试集。实测下来在鸢尾花数据集上标准化对最终准确率可能只有一两个百分点的波动但这个问题放到特征量纲差异更大的数据集上影响会是天壤之别。养成先划分、后标准化的习惯比记住这个数据集上的结果更重要。我自己的体会是如果特征数值范围天然接近标准化对结果影响小如果特征里混着“年龄”和“年薪”这种量纲悬殊的字段不标准化的话KNN基本会把小数值特征全部忽略。既然scikit-learn里标准化的成本只要两行代码那就没有理由不做的道理。6. 我在这条入门路上踩过的坑KNN与数据集相关的几个经典翻车现场6.1 直接用原始数据跑模型准确率卡在上不去第一次跑KNN时我拿到数据后直接训练发现准确率在0.93左右徘徊。当时觉得“算法是不是有问题”后来打印出每个特征的范围才反应过来花萼长度和花瓣宽度差了将近一个数量级。虽然这四个特征的单位都是厘米但数值分布差异足够让距离计算被花萼特征主导。做了标准化之后同样参数下准确率提了约3个百分点。这个坑之所以隐蔽是因为单独看每个特征都觉得“看起来没问题”只有把所有特征的均值、标准差列在一起比一下才能发现问题。6.2 用训练集自己预测自己收到一份虚高的成绩单还有一个低级错误值得警惕写模型评估时不小心把训练集同时当成测试集喂进predict。这时KNN找最近邻时其中距离为0的样本就是自己本身预测结果几乎必然正确准确率可能直接蹦到0.99甚至1.0。这在模型调试时会给你一种“我的模型已经完美了”的错觉。避免方法很简单确认训练和评估用的数据不是同一个对象或者至少留心一下传入predict的是X_train还是X_test。手写KNN代码时尤其容易踩这个坑因为k_idx[0]会先选中自己。6.3 划分数据时没有分层抽样小数据集翻车更明显一开始我直接用了train_test_split(..., test_size0.3)没有加stratify参数。鸢尾花数据本身是三类各50条、按顺序排列的如果随机划分恰好把某一类样本的一部分全划进测试集另一类样本又可能在测试集中过少模型准确率波动会非常剧烈。加上stratifyy以后划分时会尽量保持训练集和测试集中各类别比例一致。对于样本量只有150条的鸢尾花数据集这一步影响很明显。以后处理不平衡数据集时这个参数同样值得养成习惯。6.4 只盯着准确率指标忽视误分类的具体对象训练完成、准确率达标后很多人就不再往下看了。但更好的习惯是再打印一次混淆矩阵看看到底是哪些样本被分错。from sklearn.metrics import confusion_matrix, classification_report print(confusion_matrix(y_test, y_pred)) print(classification_report(y_test, y_pred, target_namesiris.target_names))在鸢尾花数据集上你会发现被错分的样本几乎全部集中在versicolor和virginica之间setosa几乎不会出错。对照之前的pairplot散点图这些样本往往就落在两类重叠区内。这种“可视化分布—算法表现—错分对象”的闭环理解比单纯刷准确率有价值得多。6.5 不要迷信K越大越好也别让K小到失去容错说了这么多最后把K的选择浓缩成一句个人经验先在3~5之间选一个默认值跑通流程再用交叉验证微调不要一开始就在K上花太多时间。对鸢尾花这类小数据集来说K3和K5的结果差异通常很小对更大的数据集来说K太小会导致决策边界细碎K太大会让边界过度平滑。理解K值从过拟合到欠拟合的演变过程比背下任何一个“最佳K”更有价值。这个小项目跑完后还能做很多扩展。比如把KNN换成决策树或逻辑回归对比不同算法的分类表现或者给数据加上噪声特征观察KNN准确率下降的速率也可以把鸢尾花数据集换成更真实的多分类数据体会数据量变大会让KNN预测变慢的瓶颈。每次扩展都可能踩到新的坑但基础打扎实了排坑的思路是相通的。 
长河君 · 2026/10/14 1:34:24 · 阅读 1.2k 机器学习入门：手写KNN分类器与鸢尾花数据集全解析
入门机器学习绕不开两个东西k近邻算法KNN和鸢尾花数据集。前者是被很多人称为“最不讲道理”的分类算法后者则是模型拟合实验中最常出现在各种教程里的样本数据。如果你正准备开始学机器学习或者已经看过不少理论但没真正动手跑过代码这篇文章就是照着做的。我尽量用说人话的方式把KNN和鸢尾花数据集的每个细节都拆开从数据长什么样到算法内部怎么决策再到手写一个KNN分类器最后聊聊那些只有实际跑过才会遇到的坑。先感受一下标题里“查看”这个词的重量。鸢尾花数据集不是拿来“跑完”就扔的它更适合用来“看清楚”——看清楚数据分布、看清楚特征尺度差异、看清楚算法决策边界。理解了这层后面所有代码操作都会顺理成章。1. 鸢尾花数据集机器学习界的“Hello World”凭什么是它1.1 数据集的历史与结构鸢尾花数据集最早出现在1936年的一篇统计分类论文里后来被整理成机器学习和统计学教材里的常客。它包含150条样本每条样本对应一种鸢尾花记录4个特征类别一共3种。具体结构如下特征名称含义数值范围约sepal length (cm)花萼长度4.3 ~ 7.9sepal width (cm)花萼宽度2.0 ~ 4.4petal length (cm)花瓣长度1.0 ~ 6.9petal width (cm)花瓣宽度0.1 ~ 2.53个类别分别是setosa山鸢尾、versicolor变色鸢尾和virginica弗吉尼亚鸢尾每个类别正好50条样本。这个数据集之所以经典不是因为它有多复杂恰恰是因为它简单得恰到好处样本量小150条数据训练再慢的算法都秒出结果方便初学者反复试验。维度适中4个特征不算多但已经足够让“二维散点图看分布”“三维图看分离度”这些可视化操作发挥价值。类别分布均匀每类50条不用考虑类别不平衡问题入门阶段可以少操一份心。部分线性可分setosa这个类别和另外两类在特征空间里基本可以一刀切开但versicolor和virginica之间存在部分重叠。这种“有点难但又不完全难”的局面最适合观察算法在边界上的表现。1.2 数据在特征空间里的真实分布第一次接触这个数据集时很多人会以为三类花朵形态差异巨大应该很容易区分。实际用散点图看过后会发现setosa确实独成一派但versicolor和virginica在花萼长度、花萼宽度这两个维度上重合得很厉害纯粹靠“目测”很难分开。这也是为什么在“查看”数据时要多看几张图而不是只看某两个特征的组合。花萼尺寸区分不开两个类别不代表花瓣尺寸也区分不开。用花瓣长度和花瓣宽度画散点图versicolor和virginica的重叠区域就会明显缩小。这种“换一个视角数据就变清晰”的体验比记住任何API都更有价值。可以做一个简单的对比实验只用sepal length和sepal width这两个特征训练KNN再用petal length和petal width训练KNN。后者在测试集上的准确率通常比前者高好几个百分点。原因就在于花萼参数在两类样本上的分布重叠太多能提供的区分信息有限。这个结论不是猜的自己跑一遍就能复现。1.3 为什么入门选它最合适很多人刚开始学机器学习一上来就用几十万条的真实业务数据练手代码跑得慢不说出了问题也很难定位是数据问题还是算法问题。鸢尾花数据集数据量小、结构清晰、出错成本低更适合用来建立“先看数据再选算法最后调参”的完整心智模型。对KNN这种依赖距离计算的算法来说鸢尾花数据集还有一个额外的好处特征数值范围适中没有极端离群值数据质量高。这样初学者可以先把注意力放在理解算法本身再慢慢接触数据清洗、特征工程、异常值处理这些更贴近真实业务的环节。2. KNN为什么一学就会惰性学习与邻居投票的直觉2.1 三步走参数、距离、投票k近邻算法的中文名字已经把它做的事情说得比较清楚“k个最近的邻居”。给定一条待预测的样本算法做三件事设定K值也就是要参考多少个邻居。计算待预测样本与所有已知样本的距离找到距离最近的K个样本。让这K个邻居投票票数最多的类别就是预测结果。举个例子。你要判断一个“不知道品种”的鸢尾花是三种里的哪一种就把这条未知样本的特征和已有150条样本逐一比较找出特征最相似的K个“已知身份”的样本。如果选出来的5个邻居里有4个是versicolor1个是virginica那就预测为versicolor。整个过程没有任何复杂的数学推导这就是KNN“不讲道理”的地方。它不试图学习特征和标签之间的函数关系而是把训练数据原封不动地存下来等预测时直接靠记忆比对。2.2 惰性学习与急切学习的关键差异机器学习算法按“学习方式”可以粗略分成两类。像线性回归、SVM、神经网络训练阶段会利用训练数据拟合出一套参数预测时直接拿参数计算这类叫急切学习Eager Learner。而KNN训练阶段几乎什么都不做只是把所有训练数据存起来真正的计算发生在预测阶段这类叫惰性学习Lazy Learner。惰性学习听起来简单省事代价也很明显预测阶段慢训练样本多、特征维度高时每预测一条样本都要遍历全部训练数据算距离耗时随数据量线性增长。存储开销大必须把原始训练数据全部留在内存里不像神经网络那样学完参数之后可以丢掉训练集。对高维数据敏感维数灾难会让距离趋同KNN在高维空间里的表现常常不理想。在150条、4个特征的鸢尾花数据集上这些缺点基本感知不到所以作为入门体验刚刚好。等以后用KNN处理更大规模的数据时再考虑用KD树、球树这类加速结构或者干脆换一个更合适的算法。2.3 K值选择与距离度量的直觉K值的意义非常直白K设得太小模型只参考极少数的邻居容易对噪声样本敏感出现过拟合K设得太大则会引入大量距离较远的“远方邻居”分类边界变得平滑但可能丢失局部细节。距离度量最常用的是欧氏距离$$d(x_1, x_2) \sqrt{\sum_{i1}^{n}(x_{1i} - x_{2i})^2}$$把两个样本的每一维特征相减、平方、求和、再开根号得到的就是它们在特征空间里的直线距离。除此之外还有曼哈顿距离、闵可夫斯基距离、余弦相似度等变体适用的场景各不相同距离度量适用场景直觉解释欧氏距离特征连续、量纲一致时直线距离曼哈顿距离特征含义彼此独立、注重逐维差值城市街区距离余弦相似度文本、向量方向比长度更关键夹角余弦值鸢尾花数据集的特征都是连续数值量纲也基本一致用欧氏距离就能得到不错的结果。不过这里有一个隐藏的疑问花萼长度单位是厘米、花瓣宽度单位也是厘米看起来量纲一致为什么后面还要做标准化这个问题我会在第5节详细讲它也是KNN入门时最容易被忽略的细节之一。3. 动手“查看”鸢尾花完整数据探索代码与可视化3.1 环境和依赖本文所有代码都基于Python所用到的库都是机器学习入门标配numpy数值计算基础库pandas数据加载和表格操作matplotlib基础绘图seaborn基于matplotlib的统计可视化增强库scikit-learn机器学习算法库安装命令非常简单pip install numpy pandas matplotlib seaborn scikit-learn如果用的是Anaconda环境这些库大概率已经内置。建议创建独立虚拟环境再安装避免依赖冲突。3.2 加载数据与基础统计首先把数据载入进来看看原始结构。import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from sklearn.datasets import load_iris iris load_iris() # 转成DataFrame方便查看 df pd.DataFrame(datairis.data, columnsiris.feature_names) df[species] iris.target df[species] df[species].map({0: setosa, 1: versicolor, 2: virginica}) print(df.head()) print(df.info()) print(df.describe().T)输出结果能让你直观看到数据的基本统计每条样本有没有缺失值均值、标准差、最小值、最大值分别是什么。df.describe().T特别有用能快速发现三个类别的特征分布是否重叠。有一个小习惯值得养成把species标签从数字映射成字符串来显示这样画图时图例上显示的是“setosa”“versicolor”“virginica”而不是0、1、2不容易看错。3.3 用成对散点图看清三类分布查看数据集最直观的方式是画成对散点图。seaborn的pairplot可以同时绘制所有特征的两两组合一张图就能看全分布情况。sns.pairplot(df, huespecies, diag_kindkde) plt.show()运行之后能看到setosa山鸢尾在所有特征组合里都明显分离和另外两类很少重叠。versicolor和virginica在花萼尺寸相关图中重叠严重在花瓣尺寸相关图中重叠相对较小。对角线上的核密度曲线显示三个类别各自的大致分布形态setosa的单峰区间和其他两类有明显偏移。这张图其实是理解后续模型表现最好的依据。拿KNN的分类结果对比这张图你会更清楚为什么有些样本会被错分——它们本来就落在两个类别的重叠区算法要强行给出一个答案自然容易出错。如果想看更聚合的视角可以绘制PCA降维后的散点图把4维特征压缩到2维再展示三类簇的分布结构会更加清楚。可视化“查看”数据本身就是建模的第一步。4. 手写KNN分类器不借助框架理解每个细节4.1 完整代码实现scikit-learn里的一行KNeighborsClassifier确实方便但如果想真正理解KNN还是应该先手写一遍。用numpy实现一个KNN分类器大约只需要几十行代码。import numpy as np from collections import Counter class KNN: def __init__(self, k3): self.k k def fit(self, X, y): 训练阶段KNN是惰性学习这里只保存数据。 X: 训练特征, y: 训练标签 self.X_train np.asarray(X) self.y_train np.asarray(y) def predict(self, X): X np.asarray(X) y_pred [self._predict_one(x) for x in X] return np.array(y_pred) def _predict_one(self, x): # 计算 x 与所有训练样本的欧氏距离 distances np.sqrt(np.sum((self.X_train - x) ** 2, axis1)) # 取距离最近的前 k 个样本的索引 k_idx np.argsort(distances)[:self.k] # 这些邻居对应的标签 k_labels self.y_train[k_idx] # 投票选出出现次数最多的标签 most_common Counter(k_labels).most_common(1)[0][0] return most_common配合鸢尾花数据集的完整调用如下from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split X, y load_iris(return_X_yTrue) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy ) knn KNN(k3) knn.fit(X_train, y_train) y_pred knn.predict(X_test) accuracy np.mean(y_pred y_test) print(f手写KNN准确率: {accuracy:.4f})在random_state42这个划分下准确率通常在0.9667左右。换不同随机种子结果会在0.93到1.0之间浮动这个现象本身也值得思考——后面讲交叉验证时还会提到。4.2 代码的逐步拆解手写KNN的代码虽然短但每一行都有对应原理。1. fit方法为什么只保存数据因为KNN是惰性学习训练阶段的“学习”本质上就是记住所有样本。它没有系数、没有权重不需要迭代优化。这也是KNN实现起来几乎零调试成本的原因。2. 距离计算那行怎么理解self.X_train - x利用了numpy的广播机制把一条待预测样本一次性与训练集全部样本做差值运算得到一个二维数组。随后**2对差值取平方axis1按行求和得到每个训练样本与待测样本的平方距离最后开根号就是欧氏距离。这一步就是KNN的核心计算。3. 取K个邻居后如何投票np.argsort(distances)返回按距离从小到大的索引数组取前K个就是最近邻的索引。再用这些索引从y_train取出对应标签用Counter.most_common(1)找出出现次数最多的一项就得到投票结果。这段代码看似简单却是理解后面所有KNN优化方向的基础。比如“用样本权重投票”“用KD树加速最近邻搜索”这些进阶操作本质上都是在这三段逻辑上做改进。4.3 手写版与sklearn版的结果对比为了确认手写代码没有出错可以把结果和scikit-learn里的KNN做对比。from sklearn.neighbors import KNeighborsClassifier sk_knn KNeighborsClassifier(n_neighbors3) sk_knn.fit(X_train, y_train) sk_pred sk_knn.predict(X_test) print(手写KNN和sklearn预测是否一致:, np.mean(y_pred sk_pred)) print(sklearn准确率:, np.mean(sk_pred y_test))如果数据划分完全一致两个模型的预测结果应该是完全相同的。从零实现一遍用现成库验证一遍这件事的价值在于当以后遇到“sklearn的KNN为什么给我分错了”这类问题时你能亲自拆开工具箱看里面的工作原理而不是一头雾水。5. 调优不能只调K交叉验证与网格搜索的正确姿势5.1 单K值暴力测试初学者调K的常见做法是循环遍历K值看哪个K准确率最高。代码如下acc_list [] for k in range(1, 21): knn KNeighborsClassifier(n_neighborsk) knn.fit(X_train, y_train) acc knn.score(X_test, y_test) acc_list.append(acc) best_k np.argmax(acc_list) 1 print(最佳K值:, best_k) print(对应准确率:, max(acc_list))这种方法可以快速得到一个大致的K值范围但存在一个问题单纯按照某一个划分的测试集表现选择K很容易过拟合到那一次随机划分上。换一组随机种子最佳K可能就从3变成5。要克服这个问题就得用交叉验证。把数据切成多份轮流让每份当验证集最终对K值的选择更有说服力。5.2 k折交叉验证的正确用法scikit-learn提供了GridSearchCV配合KFold完成这件事。以鸢尾花数据集为例常用的设置是5折交叉验证from sklearn.model_selection import GridSearchCV, KFold from sklearn.neighbors import KNeighborsClassifier param_grid { n_neighbors: list(range(1, 21)), weights: [uniform, distance] } cv KFold(n_splits5, shuffleTrue, random_state42) grid GridSearchCV( KNeighborsClassifier(), param_grid, cvcv, scoringaccuracy ) grid.fit(X, y) print(最优参数:, grid.best_params_) print(最优平均交叉验证准确率:, grid.best_score_)使用5折交叉验证跑下来的结果通常最优K落在3到7之间的一个值并且weightsdistance在某些K下会比uniform略好。5.3 从交叉验证结果反推模型的短板单次划分测试集和交叉验证得分之间的差距能反映模型的稳定性。这里有几个实用判断如果交叉验证均值明显低于单次测试集分数说明模型对数据划分方式敏感选K时要更保守。当K从1升到3准确率显著上升说明K1时过拟合严重局部噪声在主导决策。当K增加到15以上准确率缓慢下降说明平滑过度类别边界细节被忽略。对于鸢尾花数据集最佳K通常不会太大因为数据量只有150条特征只有4个。更大的K意味着要考虑大量“远方邻居”把类别边界抹成一条模糊带。5.4 数据标准化对调参结果的影响训练KNN之前是否做标准化是影响结果的关键选择值得单独说清楚。花萼长度的范围是4.3~7.9花瓣宽度的范围是0.1~2.5。如果不做任何处理在欧氏距离里花萼长度因为数值大对距离的贡献天然会比花瓣宽度更大。这就有问题距离计算本应公平对待每个特征但因为量纲不同某些特征被无形“加权”了。标准化常用的方法是Z-score标准化也就是让每个特征变成均值0、标准差1的分布from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test)注意一个常见错误先用整个数据集的统计信息做标准化再进行数据划分这会造成信息泄露。正确做法是先划分训练集和测试集再用训练集的均值、标准差去转换测试集。实测下来在鸢尾花数据集上标准化对最终准确率可能只有一两个百分点的波动但这个问题放到特征量纲差异更大的数据集上影响会是天壤之别。养成先划分、后标准化的习惯比记住这个数据集上的结果更重要。我自己的体会是如果特征数值范围天然接近标准化对结果影响小如果特征里混着“年龄”和“年薪”这种量纲悬殊的字段不标准化的话KNN基本会把小数值特征全部忽略。既然scikit-learn里标准化的成本只要两行代码那就没有理由不做的道理。6. 我在这条入门路上踩过的坑KNN与数据集相关的几个经典翻车现场6.1 直接用原始数据跑模型准确率卡在上不去第一次跑KNN时我拿到数据后直接训练发现准确率在0.93左右徘徊。当时觉得“算法是不是有问题”后来打印出每个特征的范围才反应过来花萼长度和花瓣宽度差了将近一个数量级。虽然这四个特征的单位都是厘米但数值分布差异足够让距离计算被花萼特征主导。做了标准化之后同样参数下准确率提了约3个百分点。这个坑之所以隐蔽是因为单独看每个特征都觉得“看起来没问题”只有把所有特征的均值、标准差列在一起比一下才能发现问题。6.2 用训练集自己预测自己收到一份虚高的成绩单还有一个低级错误值得警惕写模型评估时不小心把训练集同时当成测试集喂进predict。这时KNN找最近邻时其中距离为0的样本就是自己本身预测结果几乎必然正确准确率可能直接蹦到0.99甚至1.0。这在模型调试时会给你一种“我的模型已经完美了”的错觉。避免方法很简单确认训练和评估用的数据不是同一个对象或者至少留心一下传入predict的是X_train还是X_test。手写KNN代码时尤其容易踩这个坑因为k_idx[0]会先选中自己。6.3 划分数据时没有分层抽样小数据集翻车更明显一开始我直接用了train_test_split(..., test_size0.3)没有加stratify参数。鸢尾花数据本身是三类各50条、按顺序排列的如果随机划分恰好把某一类样本的一部分全划进测试集另一类样本又可能在测试集中过少模型准确率波动会非常剧烈。加上stratifyy以后划分时会尽量保持训练集和测试集中各类别比例一致。对于样本量只有150条的鸢尾花数据集这一步影响很明显。以后处理不平衡数据集时这个参数同样值得养成习惯。6.4 只盯着准确率指标忽视误分类的具体对象训练完成、准确率达标后很多人就不再往下看了。但更好的习惯是再打印一次混淆矩阵看看到底是哪些样本被分错。from sklearn.metrics import confusion_matrix, classification_report print(confusion_matrix(y_test, y_pred)) print(classification_report(y_test, y_pred, target_namesiris.target_names))在鸢尾花数据集上你会发现被错分的样本几乎全部集中在versicolor和virginica之间setosa几乎不会出错。对照之前的pairplot散点图这些样本往往就落在两类重叠区内。这种“可视化分布—算法表现—错分对象”的闭环理解比单纯刷准确率有价值得多。6.5 不要迷信K越大越好也别让K小到失去容错说了这么多最后把K的选择浓缩成一句个人经验先在3~5之间选一个默认值跑通流程再用交叉验证微调不要一开始就在K上花太多时间。对鸢尾花这类小数据集来说K3和K5的结果差异通常很小对更大的数据集来说K太小会导致决策边界细碎K太大会让边界过度平滑。理解K值从过拟合到欠拟合的演变过程比背下任何一个“最佳K”更有价值。这个小项目跑完后还能做很多扩展。比如把KNN换成决策树或逻辑回归对比不同算法的分类表现或者给数据加上噪声特征观察KNN准确率下降的速率也可以把鸢尾花数据集换成更真实的多分类数据体会数据量变大会让KNN预测变慢的瓶颈。每次扩展都可能踩到新的坑但基础打扎实了排坑的思路是相通的。