人工智能这个词现在几乎成了日常聊天的标配但真正动手学过一阵子的人都知道从“听说过”到“能上手做点东西”之间隔着一道不浅的沟。我写这个系列的学习随笔就是想把自己从零散翻资料、跑通第一个小模型、再到慢慢摸清门道的整个过程记录下来。这里面没有什么高深的理论推导更多是一个普通学习者踩过的坑、绕过的弯路以及那些当时没人告诉我、后来自己撞出来的经验。如果你也是刚接触人工智能、想找个方向入门或者学了一阵子却总觉得知识点是散的、串不起来那这些随笔应该能帮上点忙。我会尽量把每个概念讲成人话把每个操作写成能照着做的步骤让不同基础的人都能从中拿到对自己有用的东西。1. 我为什么选择从这条路径切入人工智能1.1 先搞清楚人工智能学习到底在学什么很多人一上来就问“学人工智能要学什么”这个问题其实太大了大到没法回答。就像问“学做饭要学什么”一样答案取决于你是想煮碗面还是想开餐厅。人工智能这个领域往大了说包含机器学习、深度学习、自然语言处理、计算机视觉、强化学习等一堆分支往小了说核心就是一件事让机器从数据里找出规律然后用这个规律去处理新数据。我刚开始学的时候最大的困惑不是某个算法看不懂而是不知道这些算法在整个版图里处于什么位置。后来我强迫自己做了一件事拿一张纸把“数据”“模型”“训练”“推理”“评估”这几个词画成一条线然后每学一个新概念就把它挂到这条线的某个位置上。这个笨办法帮我理清了大量零散知识。比如“损失函数”挂在“训练”环节“准确率”挂在“评估”环节“过拟合”则是训练和评估之间那个需要警惕的陷阱。所以如果你现在也觉得知识点是散的不妨先别急着往下学新东西花半小时把这条主线画出来。这个动作本身比多看两篇教程有用得多。1.2 为什么我建议新手从“跑通一个完整流程”开始我见过太多人卡在“准备阶段”了。买了好几本书收藏了几十个教程环境装了一半报错就放下了然后过两周又从头开始循环往复。我自己也这样耗过一段时间后来发现问题的根源在于我把“学人工智能”当成了一个必须先学完基础知识才能动手的事情但实际上它更像学游泳你得先下水。我的建议是不管你基础如何先找一个最小的、能跑通的完整流程走一遍。什么叫完整流程就是从拿到一份数据开始做简单的清洗选一个最简单的模型训练它看它的输出评估一下效果然后尝试调整一两个参数再看结果变化。这个流程可能只需要几十行代码用的也是最基础的算法但它能让你对“人工智能到底是怎么工作的”有一个具象的感知。这个感知非常重要。因为之后你学的所有理论都是在给这个流程里的某个环节做优化。没有这个具象的锚点理论学起来就是飘的。1.3 工具选型为什么我最终选了这套组合工具选择这件事我走过一些弯路。最开始我想“一步到位”直接上了比较重的框架结果光是理解它的抽象概念就花了很多时间真正动手写逻辑的时间反而很少。后来我换了个思路先用最轻的工具把流程跑通等流程熟了再逐步替换成更专业的工具。具体来说我建议新手阶段用 Python 加几个基础库就够了。数据处理用 NumPy 和 Pandas这两个几乎是绕不开的。模型方面如果只是做传统机器学习scikit-learn 非常合适它的 API 设计统一文档也清楚适合建立对“训练-预测-评估”这个循环的直觉。等到要接触深度学习再上 PyTorch 或 TensorFlow这时候你已经有了前面的直觉学起来会顺很多。这里有个细节值得说不要同时学两个深度学习框架。我试过一边看 PyTorch 的教程一边翻 TensorFlow 的文档结果两边的概念在脑子里打架效率极低。选定一个把它用熟另一个等有需要再看迁移成本其实很低。2. 核心概念拆解把抽象词翻译成人话2.1 模型、参数和训练到底是什么关系这三个词是人工智能里出现频率最高的但很多人对它们的理解是模糊的。我用一个类比来说把模型想象成一个函数比如 y ax b。这里的 a 和 b 就是参数x 是输入y 是输出。所谓“训练”就是找出一组最好的 a 和 b让这个函数在已知数据上表现最好。那“学习”发生在哪里发生在调整 a 和 b 的过程中。机器一开始不知道 a 和 b 应该是多少它先随便猜一个然后用数据去检验输入 x看输出的 y 和真实值差多少。这个差距就是损失。然后它根据损失去微调 a 和 b让下次的差距小一点。反复这个过程参数就慢慢逼近了合适的值。理解了这个你就明白为什么“数据质量”这么重要了。如果数据本身是错的或者噪声太大那机器学到的参数就是错的。它不会质疑数据只会忠实地拟合。这也是为什么实际项目中数据清洗和准备往往要占掉一大半时间。2.2 训练集、验证集、测试集为什么要分开这个问题我当初也困惑过既然数据是用来学习的为什么不能全拿来训练答案涉及到“评估的诚实性”。如果你用训练过的数据去评估模型那模型表现好是理所当然的就像考试前把答案给学生背了一遍考满分说明不了任何问题。所以标准做法是把数据分成三份。训练集用来调整参数验证集用来在训练过程中做选择比如选哪个模型、调哪个超参数测试集则留到最后只用一次用来给出一个相对客观的最终评价。这三者的比例没有绝对标准常见的是 6:2:2 或 8:1:1具体看数据量大小。这里有个容易犯的错误反复用测试集去调模型。一旦你根据测试集的结果去改模型测试集就“泄漏”了它不再是客观的。我早期就干过这事看着测试集准确率一点点涨还挺高兴后来才意识到那个数字已经不可信了。2.3 过拟合和欠拟合模型的两个极端过拟合和欠拟合是模型训练中最常见的两个问题理解它们对调参至关重要。欠拟合是模型太简单连训练数据里的规律都没抓住表现就是训练集和测试集的效果都差。过拟合则相反模型太复杂把训练数据里的噪声也当成了规律表现是训练集效果很好但测试集效果明显差一截。用一个生活化的例子你要教一个孩子认识猫。欠拟合就像你只告诉他“猫是动物”这个描述太宽泛他见到狗也说是猫。过拟合就像你给他看了十张橘猫的照片他从此认为只有橘色的才是猫见到黑猫就不认识了。理想的状态是他学到了“猫”的本质特征既能认出各种猫又不会把别的动物认成猫。解决过拟合的常见手段有几种增加数据量、降低模型复杂度、使用正则化、早停等。解决欠拟合则相反可以增加模型复杂度、增加特征、减少正则化强度。这些手段背后的逻辑都是让模型的复杂度与数据的复杂度相匹配。2.4 损失函数模型怎么知道自己错了损失函数是训练过程中的指南针它告诉模型当前的预测离真实值有多远。不同的任务用不同的损失函数。回归任务常用均方误差分类任务常用交叉熵。你不需要一上来就理解每个损失函数的数学推导但需要知道它的作用把“预测得好不好”这件事量化成一个数字这样模型才能通过优化这个数字来改进自己。我当初犯的一个错误是看到损失函数下降就以为模型在变好。实际上损失下降只说明模型在训练数据上拟合得更好了它可能在过拟合。所以看损失曲线时一定要同时看验证集上的损失。如果训练损失持续下降但验证损失开始上升那就是过拟合的信号该考虑早停了。3. 动手实操从零跑通第一个完整流程3.1 环境准备与依赖安装先把环境弄干净。我强烈建议用虚拟环境不要直接在系统 Python 里装一堆包不然后面版本冲突会让你很头疼。用 venv 或者 conda 都行我个人习惯 conda因为它在处理科学计算相关的包时比较省心。conda create -n ai-learn python3.10 conda activate ai-learn pip install numpy pandas scikit-learn matplotlib这几行命令做了几件事创建了一个叫 ai-learn 的独立环境指定 Python 版本为 3.10然后装了四个基础库。NumPy 负责数值计算Pandas 负责表格数据处理scikit-learn 提供模型和评估工具matplotlib 用来画图看结果。注意Python 版本不要选太新的有些库对新版本的支持会滞后。3.10 目前是比较稳妥的选择。如果你用的是 Apple Silicon 的机器装包时留意一下是否有架构相关的报错必要时用 conda 而不是 pip 来装。装完之后验证一下import numpy as np import pandas as pd import sklearn print(np.__version__, pd.__version__, sklearn.__version__)能正常打印版本号就说明环境没问题了。3.2 数据准备与初步观察我用一个经典的公开数据集来演示这里用鸢尾花数据集scikit-learn 自带不需要额外下载。这个数据集有 150 条样本4 个特征3 个类别非常适合入门。from sklearn.datasets import load_iris import pandas as pd iris load_iris() df pd.DataFrame(iris.data, columnsiris.feature_names) df[target] iris.target print(df.head()) print(df[target].value_counts())拿到数据后不要急着建模先看一眼。看什么看数据的规模、特征的类型、有没有缺失值、类别是否均衡。这几步花不了几分钟但能帮你避免很多低级错误。比如如果某个特征全是空值你直接丢进模型里肯定会报错。print(df.isnull().sum()) print(df.describe())isnull().sum()看缺失值describe()看每个特征的均值、标准差、最大最小值。如果某个特征的取值范围和其他特征差了好几个数量级可能就需要做标准化。鸢尾花这个数据集比较干净特征量纲也接近所以这一步可以跳过但实际项目中这一步几乎是必须的。3.3 划分数据集与模型训练接下来划分数据。前面说过要分训练集和测试集这里为了简单先分两份验证集的部分用交叉验证来替代。from sklearn.model_selection import train_test_split X df.drop(target, axis1) y df[target] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy )test_size0.2表示留出 20% 做测试random_state42是固定随机种子保证每次运行划分结果一致方便复现。stratifyy是分层抽样保证训练集和测试集里各类别的比例和原始数据一致。这个参数在类别不均衡时特别重要我早期经常忘记加导致某次测试集里某个类别一条样本都没有评估结果完全没法看。然后选模型训练。入门阶段用逻辑回归或者决策树都很合适这里用逻辑回归from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline model make_pipeline( StandardScaler(), LogisticRegression(max_iter200) ) model.fit(X_train, y_train)这里用了一个 Pipeline把标准化和模型串在一起。这样做的好处是标准化时用到的均值和方差只从训练集计算然后应用到测试集避免了数据泄漏。如果手动分两步做很容易不小心用全量数据去算标准化参数那就错了。max_iter200是增加迭代次数因为逻辑回归默认的迭代次数有时不够会报警告说没收敛。这个参数调大一点通常没坏处但也不能无限大如果调到很大还不收敛那可能是数据本身有问题。3.4 模型评估与结果解读训练完了要看效果。分类任务最常用的指标是准确率但准确率不是万能的尤其在类别不均衡时。from sklearn.metrics import accuracy_score, classification_report, confusion_matrix y_pred model.predict(X_test) print(准确率:, accuracy_score(y_test, y_pred)) print(classification_report(y_test, y_pred)) print(confusion_matrix(y_test, y_pred))classification_report会输出每个类别的精确率、召回率和 F1 值。精确率是“预测为某类的样本里有多少是真的”召回率是“某类的真实样本里有多少被找出来了”。这两个指标往往需要权衡。比如在疾病筛查中我们更看重召回率宁可误报也不能漏报在垃圾邮件过滤中我们更看重精确率宁可漏掉几封也不能把正常邮件误判。混淆矩阵则直观地展示了每个类别被分对和分错的情况。看混淆矩阵时重点看对角线上的数字分对的和非对角线上的数字分错的。如果某两类之间经常互相混淆说明这两个类在特征空间里比较接近可能需要增加区分度更高的特征。4. 实操中踩过的坑与排查经验4.1 环境与版本相关的典型问题环境问题是新手最容易卡住的地方而且这类问题往往和人工智能本身无关纯粹是工具链的问题。我遇到最多的就是包版本冲突。比如某个库依赖 NumPy 的旧版本另一个库要求新版本装在一起就崩了。解决办法就是用虚拟环境隔离每个项目一个环境互不干扰。另一个常见问题是路径问题。在 Windows 上路径用反斜杠在 Linux 和 macOS 上用正斜杠代码里如果写死了路径换台机器就跑不了。我现在的习惯是用os.path.join或者pathlib来拼接路径这样跨平台不会出问题。还有一个坑是编码问题。读 CSV 文件时如果遇到中文可能会报编码错误。这时候需要指定encodingutf-8或者encodinggbk具体用哪个取决于文件本身的编码。我一般先用chardet检测一下或者干脆用utf-8-sig试试。4.2 模型训练不收敛或效果差的排查思路模型训练效果差原因可能有很多。我总结了一个排查顺序从简单到复杂排查项检查方法常见原因数据标签打印标签分布标签错位、类别不均衡特征质量看缺失值和异常值缺失值未处理、异常值干扰特征量纲看各特征取值范围未标准化导致某些特征主导学习率看损失曲线过大导致震荡过小导致收敛慢模型复杂度对比训练和测试效果过拟合或欠拟合迭代次数看是否收敛警告迭代不够参数未收敛这个表我基本每次遇到问题都会过一遍大部分情况在前三项就能找到原因。数据问题永远比模型问题更常见这是我踩了很多坑之后最深的体会。4.3 评估指标选择的常见误区准确率是最直观的指标但它在类别不均衡时会严重误导。举个例子如果 95% 的样本是负类5% 是正类那模型只要全部预测为负类准确率就有 95%但这个模型毫无用处。这时候应该看召回率、精确率或者 AUC。另一个误区是只看一个指标。不同指标反映的是模型不同方面的表现需要结合起来看。我现在的习惯是至少看三个准确率、召回率和 F1。如果这三个指标都还不错那模型基本是靠谱的。如果它们之间差异很大那就需要深入分析原因。还有一个容易被忽略的点是评估的方差。如果测试集很小一次评估的结果可能波动很大。这时候可以用交叉验证把数据分成多份轮流做验证取平均值结果更稳定。scikit-learn 的cross_val_score用起来很方便几行代码就能做。5. 学习路径与后续扩展方向5.1 从传统机器学习过渡到深度学习跑通了上面的流程之后你其实已经掌握了机器学习的基本范式准备数据、选模型、训练、评估、调参。深度学习只是把这个范式里的“模型”换成了神经网络其他环节的逻辑是一样的。过渡的时候我建议先不要急着上大模型而是用一个小型神经网络去解决同样的问题。比如用 PyTorch 搭一个两层的全连接网络去分类鸢尾花。这样你能直观地看到神经网络和传统模型在用法上的异同而不是一上来就被各种新概念淹没。import torch import torch.nn as nn class SimpleNet(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super().__init__() self.fc1 nn.Linear(input_dim, hidden_dim) self.relu nn.ReLU() self.fc2 nn.Linear(hidden_dim, output_dim) def forward(self, x): x self.fc1(x) x self.relu(x) x self.fc2(x) return x这个网络结构很简单但包含了深度学习的核心要素层、激活函数、前向传播。把它跑通你就有了继续深入的基础。5.2 如何建立持续学习的习惯人工智能这个领域变化很快新东西层出不穷所以持续学习的能力比掌握某个具体技术更重要。我的做法是保持一个“最小学习循环”每周花固定时间看一点新东西不求多但求持续。看的时候不追求全部理解先建立印象等实际用到的时候再深入。另一个习惯是记录。我建了一个自己的知识库每次学到新东西就用自己的话写一遍不复制粘贴。写的过程就是理解的过程很多模糊的地方一写就暴露出来了。这个知识库现在成了我最有价值的资产之一比任何教程都管用。还有一点是动手。看十篇教程不如自己跑通一个例子。我现在的学习流程是看到一个感兴趣的东西先找个最小的例子跑起来跑通了再去看原理这样理解得更深也记得更牢。5.3 后续可以深入的方向跑通基础流程之后可以根据兴趣选择深入的方向。如果对图像感兴趣可以学卷积神经网络如果对文本感兴趣可以学循环神经网络和注意力机制如果对结构化数据感兴趣可以学梯度提升树和特征工程。每个方向都有大量的实践空间。我的建议是不要贪多先选一个方向扎进去做出几个能拿得出手的小项目再考虑扩展。深度比广度更重要尤其是在学习初期。一个做透了的项目比十个浅尝辄止的项目更能提升能力也更能让你在需要展示的时候有东西可讲。我自己在这个阶段最大的收获不是学会了某个具体算法而是建立了一套面对新问题时的思考框架先看数据再选模型然后训练评估最后根据结果迭代。这套框架适用于几乎所有人工智能问题也是我后续继续深入的基础。 
长河君 · 2026/10/21 1:01:09 · 阅读 1.2k 人工智能入门实战：从零跑通第一个机器学习完整流程
人工智能这个词现在几乎成了日常聊天的标配但真正动手学过一阵子的人都知道从“听说过”到“能上手做点东西”之间隔着一道不浅的沟。我写这个系列的学习随笔就是想把自己从零散翻资料、跑通第一个小模型、再到慢慢摸清门道的整个过程记录下来。这里面没有什么高深的理论推导更多是一个普通学习者踩过的坑、绕过的弯路以及那些当时没人告诉我、后来自己撞出来的经验。如果你也是刚接触人工智能、想找个方向入门或者学了一阵子却总觉得知识点是散的、串不起来那这些随笔应该能帮上点忙。我会尽量把每个概念讲成人话把每个操作写成能照着做的步骤让不同基础的人都能从中拿到对自己有用的东西。1. 我为什么选择从这条路径切入人工智能1.1 先搞清楚人工智能学习到底在学什么很多人一上来就问“学人工智能要学什么”这个问题其实太大了大到没法回答。就像问“学做饭要学什么”一样答案取决于你是想煮碗面还是想开餐厅。人工智能这个领域往大了说包含机器学习、深度学习、自然语言处理、计算机视觉、强化学习等一堆分支往小了说核心就是一件事让机器从数据里找出规律然后用这个规律去处理新数据。我刚开始学的时候最大的困惑不是某个算法看不懂而是不知道这些算法在整个版图里处于什么位置。后来我强迫自己做了一件事拿一张纸把“数据”“模型”“训练”“推理”“评估”这几个词画成一条线然后每学一个新概念就把它挂到这条线的某个位置上。这个笨办法帮我理清了大量零散知识。比如“损失函数”挂在“训练”环节“准确率”挂在“评估”环节“过拟合”则是训练和评估之间那个需要警惕的陷阱。所以如果你现在也觉得知识点是散的不妨先别急着往下学新东西花半小时把这条主线画出来。这个动作本身比多看两篇教程有用得多。1.2 为什么我建议新手从“跑通一个完整流程”开始我见过太多人卡在“准备阶段”了。买了好几本书收藏了几十个教程环境装了一半报错就放下了然后过两周又从头开始循环往复。我自己也这样耗过一段时间后来发现问题的根源在于我把“学人工智能”当成了一个必须先学完基础知识才能动手的事情但实际上它更像学游泳你得先下水。我的建议是不管你基础如何先找一个最小的、能跑通的完整流程走一遍。什么叫完整流程就是从拿到一份数据开始做简单的清洗选一个最简单的模型训练它看它的输出评估一下效果然后尝试调整一两个参数再看结果变化。这个流程可能只需要几十行代码用的也是最基础的算法但它能让你对“人工智能到底是怎么工作的”有一个具象的感知。这个感知非常重要。因为之后你学的所有理论都是在给这个流程里的某个环节做优化。没有这个具象的锚点理论学起来就是飘的。1.3 工具选型为什么我最终选了这套组合工具选择这件事我走过一些弯路。最开始我想“一步到位”直接上了比较重的框架结果光是理解它的抽象概念就花了很多时间真正动手写逻辑的时间反而很少。后来我换了个思路先用最轻的工具把流程跑通等流程熟了再逐步替换成更专业的工具。具体来说我建议新手阶段用 Python 加几个基础库就够了。数据处理用 NumPy 和 Pandas这两个几乎是绕不开的。模型方面如果只是做传统机器学习scikit-learn 非常合适它的 API 设计统一文档也清楚适合建立对“训练-预测-评估”这个循环的直觉。等到要接触深度学习再上 PyTorch 或 TensorFlow这时候你已经有了前面的直觉学起来会顺很多。这里有个细节值得说不要同时学两个深度学习框架。我试过一边看 PyTorch 的教程一边翻 TensorFlow 的文档结果两边的概念在脑子里打架效率极低。选定一个把它用熟另一个等有需要再看迁移成本其实很低。2. 核心概念拆解把抽象词翻译成人话2.1 模型、参数和训练到底是什么关系这三个词是人工智能里出现频率最高的但很多人对它们的理解是模糊的。我用一个类比来说把模型想象成一个函数比如 y ax b。这里的 a 和 b 就是参数x 是输入y 是输出。所谓“训练”就是找出一组最好的 a 和 b让这个函数在已知数据上表现最好。那“学习”发生在哪里发生在调整 a 和 b 的过程中。机器一开始不知道 a 和 b 应该是多少它先随便猜一个然后用数据去检验输入 x看输出的 y 和真实值差多少。这个差距就是损失。然后它根据损失去微调 a 和 b让下次的差距小一点。反复这个过程参数就慢慢逼近了合适的值。理解了这个你就明白为什么“数据质量”这么重要了。如果数据本身是错的或者噪声太大那机器学到的参数就是错的。它不会质疑数据只会忠实地拟合。这也是为什么实际项目中数据清洗和准备往往要占掉一大半时间。2.2 训练集、验证集、测试集为什么要分开这个问题我当初也困惑过既然数据是用来学习的为什么不能全拿来训练答案涉及到“评估的诚实性”。如果你用训练过的数据去评估模型那模型表现好是理所当然的就像考试前把答案给学生背了一遍考满分说明不了任何问题。所以标准做法是把数据分成三份。训练集用来调整参数验证集用来在训练过程中做选择比如选哪个模型、调哪个超参数测试集则留到最后只用一次用来给出一个相对客观的最终评价。这三者的比例没有绝对标准常见的是 6:2:2 或 8:1:1具体看数据量大小。这里有个容易犯的错误反复用测试集去调模型。一旦你根据测试集的结果去改模型测试集就“泄漏”了它不再是客观的。我早期就干过这事看着测试集准确率一点点涨还挺高兴后来才意识到那个数字已经不可信了。2.3 过拟合和欠拟合模型的两个极端过拟合和欠拟合是模型训练中最常见的两个问题理解它们对调参至关重要。欠拟合是模型太简单连训练数据里的规律都没抓住表现就是训练集和测试集的效果都差。过拟合则相反模型太复杂把训练数据里的噪声也当成了规律表现是训练集效果很好但测试集效果明显差一截。用一个生活化的例子你要教一个孩子认识猫。欠拟合就像你只告诉他“猫是动物”这个描述太宽泛他见到狗也说是猫。过拟合就像你给他看了十张橘猫的照片他从此认为只有橘色的才是猫见到黑猫就不认识了。理想的状态是他学到了“猫”的本质特征既能认出各种猫又不会把别的动物认成猫。解决过拟合的常见手段有几种增加数据量、降低模型复杂度、使用正则化、早停等。解决欠拟合则相反可以增加模型复杂度、增加特征、减少正则化强度。这些手段背后的逻辑都是让模型的复杂度与数据的复杂度相匹配。2.4 损失函数模型怎么知道自己错了损失函数是训练过程中的指南针它告诉模型当前的预测离真实值有多远。不同的任务用不同的损失函数。回归任务常用均方误差分类任务常用交叉熵。你不需要一上来就理解每个损失函数的数学推导但需要知道它的作用把“预测得好不好”这件事量化成一个数字这样模型才能通过优化这个数字来改进自己。我当初犯的一个错误是看到损失函数下降就以为模型在变好。实际上损失下降只说明模型在训练数据上拟合得更好了它可能在过拟合。所以看损失曲线时一定要同时看验证集上的损失。如果训练损失持续下降但验证损失开始上升那就是过拟合的信号该考虑早停了。3. 动手实操从零跑通第一个完整流程3.1 环境准备与依赖安装先把环境弄干净。我强烈建议用虚拟环境不要直接在系统 Python 里装一堆包不然后面版本冲突会让你很头疼。用 venv 或者 conda 都行我个人习惯 conda因为它在处理科学计算相关的包时比较省心。conda create -n ai-learn python3.10 conda activate ai-learn pip install numpy pandas scikit-learn matplotlib这几行命令做了几件事创建了一个叫 ai-learn 的独立环境指定 Python 版本为 3.10然后装了四个基础库。NumPy 负责数值计算Pandas 负责表格数据处理scikit-learn 提供模型和评估工具matplotlib 用来画图看结果。注意Python 版本不要选太新的有些库对新版本的支持会滞后。3.10 目前是比较稳妥的选择。如果你用的是 Apple Silicon 的机器装包时留意一下是否有架构相关的报错必要时用 conda 而不是 pip 来装。装完之后验证一下import numpy as np import pandas as pd import sklearn print(np.__version__, pd.__version__, sklearn.__version__)能正常打印版本号就说明环境没问题了。3.2 数据准备与初步观察我用一个经典的公开数据集来演示这里用鸢尾花数据集scikit-learn 自带不需要额外下载。这个数据集有 150 条样本4 个特征3 个类别非常适合入门。from sklearn.datasets import load_iris import pandas as pd iris load_iris() df pd.DataFrame(iris.data, columnsiris.feature_names) df[target] iris.target print(df.head()) print(df[target].value_counts())拿到数据后不要急着建模先看一眼。看什么看数据的规模、特征的类型、有没有缺失值、类别是否均衡。这几步花不了几分钟但能帮你避免很多低级错误。比如如果某个特征全是空值你直接丢进模型里肯定会报错。print(df.isnull().sum()) print(df.describe())isnull().sum()看缺失值describe()看每个特征的均值、标准差、最大最小值。如果某个特征的取值范围和其他特征差了好几个数量级可能就需要做标准化。鸢尾花这个数据集比较干净特征量纲也接近所以这一步可以跳过但实际项目中这一步几乎是必须的。3.3 划分数据集与模型训练接下来划分数据。前面说过要分训练集和测试集这里为了简单先分两份验证集的部分用交叉验证来替代。from sklearn.model_selection import train_test_split X df.drop(target, axis1) y df[target] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy )test_size0.2表示留出 20% 做测试random_state42是固定随机种子保证每次运行划分结果一致方便复现。stratifyy是分层抽样保证训练集和测试集里各类别的比例和原始数据一致。这个参数在类别不均衡时特别重要我早期经常忘记加导致某次测试集里某个类别一条样本都没有评估结果完全没法看。然后选模型训练。入门阶段用逻辑回归或者决策树都很合适这里用逻辑回归from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline model make_pipeline( StandardScaler(), LogisticRegression(max_iter200) ) model.fit(X_train, y_train)这里用了一个 Pipeline把标准化和模型串在一起。这样做的好处是标准化时用到的均值和方差只从训练集计算然后应用到测试集避免了数据泄漏。如果手动分两步做很容易不小心用全量数据去算标准化参数那就错了。max_iter200是增加迭代次数因为逻辑回归默认的迭代次数有时不够会报警告说没收敛。这个参数调大一点通常没坏处但也不能无限大如果调到很大还不收敛那可能是数据本身有问题。3.4 模型评估与结果解读训练完了要看效果。分类任务最常用的指标是准确率但准确率不是万能的尤其在类别不均衡时。from sklearn.metrics import accuracy_score, classification_report, confusion_matrix y_pred model.predict(X_test) print(准确率:, accuracy_score(y_test, y_pred)) print(classification_report(y_test, y_pred)) print(confusion_matrix(y_test, y_pred))classification_report会输出每个类别的精确率、召回率和 F1 值。精确率是“预测为某类的样本里有多少是真的”召回率是“某类的真实样本里有多少被找出来了”。这两个指标往往需要权衡。比如在疾病筛查中我们更看重召回率宁可误报也不能漏报在垃圾邮件过滤中我们更看重精确率宁可漏掉几封也不能把正常邮件误判。混淆矩阵则直观地展示了每个类别被分对和分错的情况。看混淆矩阵时重点看对角线上的数字分对的和非对角线上的数字分错的。如果某两类之间经常互相混淆说明这两个类在特征空间里比较接近可能需要增加区分度更高的特征。4. 实操中踩过的坑与排查经验4.1 环境与版本相关的典型问题环境问题是新手最容易卡住的地方而且这类问题往往和人工智能本身无关纯粹是工具链的问题。我遇到最多的就是包版本冲突。比如某个库依赖 NumPy 的旧版本另一个库要求新版本装在一起就崩了。解决办法就是用虚拟环境隔离每个项目一个环境互不干扰。另一个常见问题是路径问题。在 Windows 上路径用反斜杠在 Linux 和 macOS 上用正斜杠代码里如果写死了路径换台机器就跑不了。我现在的习惯是用os.path.join或者pathlib来拼接路径这样跨平台不会出问题。还有一个坑是编码问题。读 CSV 文件时如果遇到中文可能会报编码错误。这时候需要指定encodingutf-8或者encodinggbk具体用哪个取决于文件本身的编码。我一般先用chardet检测一下或者干脆用utf-8-sig试试。4.2 模型训练不收敛或效果差的排查思路模型训练效果差原因可能有很多。我总结了一个排查顺序从简单到复杂排查项检查方法常见原因数据标签打印标签分布标签错位、类别不均衡特征质量看缺失值和异常值缺失值未处理、异常值干扰特征量纲看各特征取值范围未标准化导致某些特征主导学习率看损失曲线过大导致震荡过小导致收敛慢模型复杂度对比训练和测试效果过拟合或欠拟合迭代次数看是否收敛警告迭代不够参数未收敛这个表我基本每次遇到问题都会过一遍大部分情况在前三项就能找到原因。数据问题永远比模型问题更常见这是我踩了很多坑之后最深的体会。4.3 评估指标选择的常见误区准确率是最直观的指标但它在类别不均衡时会严重误导。举个例子如果 95% 的样本是负类5% 是正类那模型只要全部预测为负类准确率就有 95%但这个模型毫无用处。这时候应该看召回率、精确率或者 AUC。另一个误区是只看一个指标。不同指标反映的是模型不同方面的表现需要结合起来看。我现在的习惯是至少看三个准确率、召回率和 F1。如果这三个指标都还不错那模型基本是靠谱的。如果它们之间差异很大那就需要深入分析原因。还有一个容易被忽略的点是评估的方差。如果测试集很小一次评估的结果可能波动很大。这时候可以用交叉验证把数据分成多份轮流做验证取平均值结果更稳定。scikit-learn 的cross_val_score用起来很方便几行代码就能做。5. 学习路径与后续扩展方向5.1 从传统机器学习过渡到深度学习跑通了上面的流程之后你其实已经掌握了机器学习的基本范式准备数据、选模型、训练、评估、调参。深度学习只是把这个范式里的“模型”换成了神经网络其他环节的逻辑是一样的。过渡的时候我建议先不要急着上大模型而是用一个小型神经网络去解决同样的问题。比如用 PyTorch 搭一个两层的全连接网络去分类鸢尾花。这样你能直观地看到神经网络和传统模型在用法上的异同而不是一上来就被各种新概念淹没。import torch import torch.nn as nn class SimpleNet(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super().__init__() self.fc1 nn.Linear(input_dim, hidden_dim) self.relu nn.ReLU() self.fc2 nn.Linear(hidden_dim, output_dim) def forward(self, x): x self.fc1(x) x self.relu(x) x self.fc2(x) return x这个网络结构很简单但包含了深度学习的核心要素层、激活函数、前向传播。把它跑通你就有了继续深入的基础。5.2 如何建立持续学习的习惯人工智能这个领域变化很快新东西层出不穷所以持续学习的能力比掌握某个具体技术更重要。我的做法是保持一个“最小学习循环”每周花固定时间看一点新东西不求多但求持续。看的时候不追求全部理解先建立印象等实际用到的时候再深入。另一个习惯是记录。我建了一个自己的知识库每次学到新东西就用自己的话写一遍不复制粘贴。写的过程就是理解的过程很多模糊的地方一写就暴露出来了。这个知识库现在成了我最有价值的资产之一比任何教程都管用。还有一点是动手。看十篇教程不如自己跑通一个例子。我现在的学习流程是看到一个感兴趣的东西先找个最小的例子跑起来跑通了再去看原理这样理解得更深也记得更牢。5.3 后续可以深入的方向跑通基础流程之后可以根据兴趣选择深入的方向。如果对图像感兴趣可以学卷积神经网络如果对文本感兴趣可以学循环神经网络和注意力机制如果对结构化数据感兴趣可以学梯度提升树和特征工程。每个方向都有大量的实践空间。我的建议是不要贪多先选一个方向扎进去做出几个能拿得出手的小项目再考虑扩展。深度比广度更重要尤其是在学习初期。一个做透了的项目比十个浅尝辄止的项目更能提升能力也更能让你在需要展示的时候有东西可讲。我自己在这个阶段最大的收获不是学会了某个具体算法而是建立了一套面对新问题时的思考框架先看数据再选模型然后训练评估最后根据结果迭代。这套框架适用于几乎所有人工智能问题也是我后续继续深入的基础。