1. 为什么单独拎出这一章来讲如果你正在啃人工智能方向的数学基础翻到第十八章的时候大概率会有一种前面十七章白学了的错觉。这一章通常不会像线性代数那样给你一堆矩阵运算也不会像概率论那样让你算条件概率它更像是一个总装车间——把前面散落一地的零件拼成一台能跑起来的机器。我前后带过几批做机器学习入门的朋友发现一个特别普遍的现象单独看梯度下降懂单独看矩阵分解懂单独看概率图模型也懂。但一到为什么这个损失函数要这么设计为什么这个正则项能防止过拟合为什么这个模型的可解释性来自这个数学结构就卡住了。第十八章存在的意义恰恰就是解决这种零件都会、整机不会的问题。这一章的核心内容围绕的是数学工具在人工智能系统中的综合应用。它不教你新的数学分支而是教你如何把微积分、线性代数、概率统计、优化理论这几样东西在一个具体的人工智能问题里协同起来。适合谁来读我的判断是三类人第一类是做算法工程但数学底子不扎实、想补课的第二类是数学专业转人工智能、需要建立数学到工程映射关系的第三类是做技术管理或产品、需要理解模型行为边界在哪的。我个人的体会是这一章的价值不在于多学了什么而在于终于知道前面学的东西该往哪儿放。下面我按自己的理解把这一章拆成几个可操作的模块来讲尽量做到你看完能直接对应到自己手头的项目上。2. 这一章到底在讲什么核心脉络拆解2.1 从数学分支到系统组件的视角转换大部分数学教材是按分支组织的第一章讲极限第二章讲导数第三章讲积分。这种组织方式的好处是逻辑严密坏处是读者很难建立跨分支的联系。第十八章的做法不一样它是按人工智能系统需要什么来组织的。一个典型的人工智能系统从数学角度看至少包含四个层次表示层数据用什么数学对象表示、模型层假设空间用什么函数族描述、优化层怎么找到最好的那个函数、评估层怎么判断找得好不好。这四个层次分别对应线性代数、微积分与概率论、优化理论、统计推断。我见过很多初学者把这几层混在一起想结果就是调参的时候不知道自己在调表示层还是优化层换模型的时候不知道换的是假设空间还是损失函数。第十八章的第一个贡献就是帮你把这几层在脑子里分开。提示读这一章的时候建议你手边开一个自己熟悉的项目每读一个数学工具就问自己这个工具在我这个项目里对应哪一层。这个习惯比做课后题有用得多。2.2 为什么这一章强调综合而不是深入有人可能会问既然前面十七章已经把各个分支讲过了第十八章为什么不干脆讲点更深的专题比如测度论或者随机微分方程我的理解是人工智能这个领域对数学的需求广度优先于深度。举个具体的例子。你做推荐系统需要用到矩阵分解但不需要用到矩阵分析里关于奇异值扰动的精细估计你做自然语言处理需要用到概率图模型但不需要用到测度论里关于可测函数的严格定义。真正卡住你的往往不是某个分支不够深而是你不知道该用哪个分支的工具、以及怎么把两个分支的工具接起来。第十八章的设计逻辑就是每个工具都讲到够用为止但重点讲工具之间的接口。比如它会把梯度这个微积分概念和参数更新这个优化操作接起来再把参数更新和泛化误差这个统计概念接起来。这种接法才是工程里真正需要的能力。2.3 这一章的知识地图四个必抓的核心模块我把这一章的内容归纳成四个模块你可以对照检查自己哪块最弱模块核心数学工具对应的人工智能问题常见卡点表示与变换线性代数、矩阵分解特征提取、降维、嵌入分不清特征值和奇异值的物理意义学习与优化微积分、凸优化参数估计、模型训练不知道损失函数为什么这样设计不确定性与推断概率论、贝叶斯方法分类、生成、决策混淆先验、后验、似然评估与泛化统计学习理论模型选择、正则化不理解泛化误差的分解这四个模块不是孤立的。表示层决定了优化层的难度比如非凸性往往来自表示的非线性优化层的结果又影响评估层的结论比如优化没收敛泛化误差的估计就不可信。第十八章的价值就是把这四条线织成一张网。3. 核心细节解析每个模块的实操要点3.1 表示与变换矩阵分解到底在分解什么线性代数在人工智能里最核心的应用就是矩阵分解。但很多人学的时候只记住了公式没记住为什么分解。我用一个生活化的类比来解释矩阵分解就像把一道复杂的菜拆成几道简单的半成品。你直接炒那道复杂的菜容易糊但如果你先把半成品做好最后组装成功率就高很多。以奇异值分解为例一个数据矩阵 X 可以写成 UΣV^T。这里的三个部分各有物理意义U 描述的是样本之间的关系V 描述的是特征之间的关系Σ 描述的是每个潜在方向的重要性。你做降维的时候本质上就是保留 Σ 里最大的那几个值把小的丢掉。实操中有一个特别容易踩的坑中心化。很多人做 PCA 的时候直接对原始数据做奇异值分解结果第一主成分总是指向均值方向完全没意义。正确的做法是先减去均值再做分解。这个细节教材上往往一笔带过但工程里不做就是错的。注意做矩阵分解之前先检查数据的量纲。如果一列是身高厘米一列是收入元不做标准化的话收入那一列会完全主导分解结果。标准化不是可选项是必选项。3.2 学习与优化损失函数不是拍脑袋定的微积分在人工智能里的核心应用是求导但求导本身不难难的是知道该对什么求导。这就涉及损失函数的设计。很多人以为损失函数是约定俗成的其实每一个损失函数背后都有概率解释。比如均方误差它等价于假设噪声服从高斯分布时的最大似然估计交叉熵损失它等价于假设标签服从伯努利分布或类别分布时的最大似然估计。你理解了这层对应关系就能自己推导出新的损失函数而不是只会套用现成的。优化部分的核心是梯度下降及其变体。这里我想强调一个常被忽略的点学习率不是超参数是优化问题的一部分。学习率太大你会跳过最优点学习率太小你会卡在鞍点附近。实践中我通常先用一个较大的学习率跑几十步观察损失曲线的形状再决定最终的学习率。优化器适用场景学习率建议注意事项批量梯度下降小数据集、凸问题0.01-0.1计算量大但稳定随机梯度下降大数据集、非凸问题0.001-0.01震荡大需调学习率衰减动量法有峡谷形损失面的问题0.001-0.01动量系数通常取0.9自适应方法稀疏特征、不同尺度参数0.0001-0.001可能收敛到次优点3.3 不确定性与推断贝叶斯不是玄学概率论在人工智能里的地位这几年越来越高。原因很简单现实世界充满不确定性而贝叶斯方法提供了一套系统处理不确定性的框架。但很多人学贝叶斯的时候被先验、后验、似然这几个词绕晕了。我用一个具体例子来说明。假设你在做一个垃圾邮件分类器。先验概率 P(垃圾) 是你还没看邮件内容时对它是垃圾邮件的判断似然 P(内容|垃圾) 是如果它是垃圾邮件出现这些词的概率后验 P(垃圾|内容) 是你看了内容之后对它是垃圾邮件的判断。贝叶斯公式做的就是用数据更新判断这件事。实操中最大的坑是先验的选择。很多人随便选一个均匀先验结果在小样本情况下效果很差。正确的做法是如果你对问题有领域知识就用信息先验如果没有再用弱信息先验。均匀先验不是无信息它本身就是一种信息。3.4 评估与泛化为什么你的模型在测试集上崩了统计学习理论这部分核心是理解泛化误差的分解。一个模型的期望误差可以分解为三部分偏差、方差、噪声。偏差来自模型假设空间太小方差来自模型对训练数据太敏感噪声是数据本身固有的无法消除。这个分解的实操意义在于当你发现模型效果不好时先判断是偏差问题还是方差问题。如果是偏差问题训练误差和测试误差都高你需要增加模型复杂度如果是方差问题训练误差低但测试误差高你需要正则化或增加数据。搞反了方向调参就是白费力气。提示判断偏差和方差的一个简单方法是画学习曲线。横轴是训练样本数纵轴是误差。如果两条曲线很快收敛到一起且误差都高是偏差问题如果两条曲线之间有很大间隙是方差问题。4. 实操过程把这一章的知识用到一个具体项目里4.1 项目设定与数学建模假设我们要做一个用户流失预测系统。输入是用户的行为特征登录频率、使用时长、功能使用种类等输出是未来一个月是否流失的概率。这个项目不大但足够把第十八章的四个模块都用上。第一步是数学建模。我们把每个用户表示为一个特征向量 x标签 y 取 0 或 1。模型假设为一个逻辑回归函数P(y1|x) σ(w^T x b)其中 σ 是 sigmoid 函数。这个假设空间的选择对应的是表示层和模型层。为什么选逻辑回归而不是更复杂的模型因为我们要的是可解释性。逻辑回归的权重 w 直接告诉我们每个特征对流失概率的影响方向和大小。如果换成深度网络虽然可能效果更好但你就说不清为什么这个用户会流失了。这个取舍就是第十八章强调的数学工具服务于问题的体现。4.2 数据预处理中的数学细节数据预处理这一步数学含量其实很高但很多人把它当成脏活随便做。我列几个关键点缺失值处理。如果缺失是随机的可以用均值填充如果缺失和标签相关就需要建模缺失机制。后者在流失预测里很常见——不活跃的用户往往很多字段是空的这时候直接填充会引入偏差。特征标准化。逻辑回归对特征尺度敏感因为梯度下降的收敛速度取决于损失面的条件数。标准化之后条件数改善收敛更快。具体做法是减去均值、除以标准差。类别特征编码。独热编码是最常用的但要注意维度爆炸问题。如果某个类别特征有几千个取值独热编码会产生几千维的稀疏向量。这时候可以考虑目标编码或嵌入方法。import numpy as np def standardize(X): mean np.mean(X, axis0) std np.std(X, axis0) std[std 0] 1 # 防止除零 return (X - mean) / std def add_bias(X): return np.hstack([np.ones((X.shape[0], 1)), X])上面这段代码看起来简单但有两个细节值得说。第一std[std 0] 1这行是防止某个特征所有取值相同导致除零。第二add_bias把偏置项合并进权重向量这样后续更新公式可以统一写成向量形式代码更简洁。4.3 模型训练与参数更新逻辑回归的训练本质是最小化负对数似然损失。损失函数对权重的梯度有一个非常简洁的形式grad X^T (σ(Xw) - y) / N。这个形式的推导用到了 sigmoid 函数的导数性质是微积分和线性代数的结合。我实际训练的时候通常用全批量梯度下降因为流失预测的数据量一般不会太大几十万条以内全批量更稳定。学习率我一般从 0.1 开始试如果损失震荡就减半如果收敛太慢就加倍。def train_logistic(X, y, lr0.1, epochs1000): N, D X.shape w np.zeros(D) losses [] for epoch in range(epochs): z X w p 1 / (1 np.exp(-z)) grad X.T (p - y) / N w - lr * grad loss -np.mean(y * np.log(p 1e-9) (1-y) * np.log(1-p 1e-9)) losses.append(loss) return w, losses这段代码里1e-9是防止 log(0) 的数值技巧。实际工程中这种小细节往往决定代码能不能跑通。另外我建议把每次迭代的损失存下来画出来看收敛情况这比盲目调参有效得多。4.4 模型评估与泛化分析训练完之后评估不能只看准确率。流失预测通常是不平衡数据流失用户占比可能只有5%这时候准确率会严重误导。我一般看三个指标AUC、召回率、以及校准曲线。AUC 衡量的是模型排序能力不受阈值影响召回率衡量的是该抓的流失用户抓到了多少校准曲线衡量的是预测概率是否可信。这三个指标分别对应统计学习理论里的不同侧面结合起来才能全面判断模型好坏。如果发现过拟合训练AUC远高于验证AUC我会先加 L2 正则化。L2 正则化的数学本质是在损失函数里加一项 λ||w||^2等价于对权重施加高斯先验。这个贝叶斯解释就是第十八章把优化和概率接起来的地方。5. 常见问题与排查技巧实录5.1 梯度消失与梯度爆炸的排查这是优化层最常见的问题。梯度消失的表现是损失几乎不下降权重更新量极小。梯度爆炸的表现是损失变成 NaN 或剧烈震荡。排查思路先打印每一层的梯度范数。如果梯度范数随层数指数衰减就是消失如果指数增长就是爆炸。解决方法梯度消失可以用 ReLU 激活函数或残差连接梯度爆炸可以用梯度裁剪。注意梯度裁剪的阈值不是越大越好。阈值太大等于没裁剪太小会破坏梯度方向。我一般先用梯度范数的中位数作为阈值再微调。5.2 过拟合与欠拟合的判断判断方法我前面提过学习曲线这里补充一个更快的判断比较训练误差和验证误差的差距。差距大是过拟合差距小但都高是欠拟合。但有一个陷阱验证集太小的时候验证误差本身噪声很大这时候的差距可能不可信。我的经验是验证集至少要有几千个样本否则交叉验证更可靠。5.3 数值稳定性问题速查表问题现象可能原因解决方法损失变成 NaN学习率太大、log(0)减小学习率、加 epsilon损失震荡不收敛学习率太大、批量太小减小学习率、增大批量收敛太慢学习率太小、未标准化增大学习率、标准化特征权重增长失控未加正则化加 L2 正则化、权重衰减概率输出全为0或1sigmoid 饱和检查输入尺度、加正则化5.4 几个我踩过的坑第一个坑把标准化参数在训练集和测试集上分别计算。这是数据泄露的典型形式。正确做法是在训练集上计算均值和标准差然后应用到测试集。第二个坑用准确率选模型。在不平衡数据上一个把所有样本都预测为多数的模型准确率可能很高但毫无用处。一定要用 AUC 或 F1。第三个坑忽略特征的相关性。逻辑回归的权重解释在特征相关时会失真。如果两个特征高度相关它们的权重可能一个很大一个很小甚至符号相反但这不代表其中一个不重要。第四个坑正则化系数直接套用默认值。λ 的选择应该通过交叉验证确定不同数据集的最优 λ 可能差几个数量级。6. 这一章的知识怎么迁移到其他项目第十八章讲的是数学基础但它的价值在于可迁移性。我举几个迁移场景。做计算机视觉的时候卷积操作的数学本质是稀疏矩阵乘法池化操作的数学本质是降采样。你理解了这一点就能自己设计新的卷积结构而不是只会用现成的。做自然语言处理的时候词嵌入的数学本质是矩阵分解注意力机制的数学本质是加权平均。你理解了这一点就能自己推导 Transformer 的计算复杂度而不是只会调包。做强化学习的时候值函数的数学本质是期望策略梯度的数学本质是似然比。你理解了这一点就能自己推导新的策略梯度算法而不是只会用 PPO。我个人的体会是数学基础扎实的人学新模型的速度快得多因为新模型往往只是旧数学工具的新组合。反过来数学基础不扎实的人每学一个新模型都像从零开始。最后分享一个我自己的学习方法每学完一个数学工具强迫自己用三句话总结——它解决什么问题、它的核心假设是什么、它的计算代价是什么。这三句话能说清楚才算真懂了。说不清楚就回去重读。这个方法我用到现在比刷题有用得多。 
长河君 · 2026/10/26 20:08:50 · 阅读 1.2k 人工智能数学基础第十八章：数学工具在AI系统中的综合应用与工程实践
1. 为什么单独拎出这一章来讲如果你正在啃人工智能方向的数学基础翻到第十八章的时候大概率会有一种前面十七章白学了的错觉。这一章通常不会像线性代数那样给你一堆矩阵运算也不会像概率论那样让你算条件概率它更像是一个总装车间——把前面散落一地的零件拼成一台能跑起来的机器。我前后带过几批做机器学习入门的朋友发现一个特别普遍的现象单独看梯度下降懂单独看矩阵分解懂单独看概率图模型也懂。但一到为什么这个损失函数要这么设计为什么这个正则项能防止过拟合为什么这个模型的可解释性来自这个数学结构就卡住了。第十八章存在的意义恰恰就是解决这种零件都会、整机不会的问题。这一章的核心内容围绕的是数学工具在人工智能系统中的综合应用。它不教你新的数学分支而是教你如何把微积分、线性代数、概率统计、优化理论这几样东西在一个具体的人工智能问题里协同起来。适合谁来读我的判断是三类人第一类是做算法工程但数学底子不扎实、想补课的第二类是数学专业转人工智能、需要建立数学到工程映射关系的第三类是做技术管理或产品、需要理解模型行为边界在哪的。我个人的体会是这一章的价值不在于多学了什么而在于终于知道前面学的东西该往哪儿放。下面我按自己的理解把这一章拆成几个可操作的模块来讲尽量做到你看完能直接对应到自己手头的项目上。2. 这一章到底在讲什么核心脉络拆解2.1 从数学分支到系统组件的视角转换大部分数学教材是按分支组织的第一章讲极限第二章讲导数第三章讲积分。这种组织方式的好处是逻辑严密坏处是读者很难建立跨分支的联系。第十八章的做法不一样它是按人工智能系统需要什么来组织的。一个典型的人工智能系统从数学角度看至少包含四个层次表示层数据用什么数学对象表示、模型层假设空间用什么函数族描述、优化层怎么找到最好的那个函数、评估层怎么判断找得好不好。这四个层次分别对应线性代数、微积分与概率论、优化理论、统计推断。我见过很多初学者把这几层混在一起想结果就是调参的时候不知道自己在调表示层还是优化层换模型的时候不知道换的是假设空间还是损失函数。第十八章的第一个贡献就是帮你把这几层在脑子里分开。提示读这一章的时候建议你手边开一个自己熟悉的项目每读一个数学工具就问自己这个工具在我这个项目里对应哪一层。这个习惯比做课后题有用得多。2.2 为什么这一章强调综合而不是深入有人可能会问既然前面十七章已经把各个分支讲过了第十八章为什么不干脆讲点更深的专题比如测度论或者随机微分方程我的理解是人工智能这个领域对数学的需求广度优先于深度。举个具体的例子。你做推荐系统需要用到矩阵分解但不需要用到矩阵分析里关于奇异值扰动的精细估计你做自然语言处理需要用到概率图模型但不需要用到测度论里关于可测函数的严格定义。真正卡住你的往往不是某个分支不够深而是你不知道该用哪个分支的工具、以及怎么把两个分支的工具接起来。第十八章的设计逻辑就是每个工具都讲到够用为止但重点讲工具之间的接口。比如它会把梯度这个微积分概念和参数更新这个优化操作接起来再把参数更新和泛化误差这个统计概念接起来。这种接法才是工程里真正需要的能力。2.3 这一章的知识地图四个必抓的核心模块我把这一章的内容归纳成四个模块你可以对照检查自己哪块最弱模块核心数学工具对应的人工智能问题常见卡点表示与变换线性代数、矩阵分解特征提取、降维、嵌入分不清特征值和奇异值的物理意义学习与优化微积分、凸优化参数估计、模型训练不知道损失函数为什么这样设计不确定性与推断概率论、贝叶斯方法分类、生成、决策混淆先验、后验、似然评估与泛化统计学习理论模型选择、正则化不理解泛化误差的分解这四个模块不是孤立的。表示层决定了优化层的难度比如非凸性往往来自表示的非线性优化层的结果又影响评估层的结论比如优化没收敛泛化误差的估计就不可信。第十八章的价值就是把这四条线织成一张网。3. 核心细节解析每个模块的实操要点3.1 表示与变换矩阵分解到底在分解什么线性代数在人工智能里最核心的应用就是矩阵分解。但很多人学的时候只记住了公式没记住为什么分解。我用一个生活化的类比来解释矩阵分解就像把一道复杂的菜拆成几道简单的半成品。你直接炒那道复杂的菜容易糊但如果你先把半成品做好最后组装成功率就高很多。以奇异值分解为例一个数据矩阵 X 可以写成 UΣV^T。这里的三个部分各有物理意义U 描述的是样本之间的关系V 描述的是特征之间的关系Σ 描述的是每个潜在方向的重要性。你做降维的时候本质上就是保留 Σ 里最大的那几个值把小的丢掉。实操中有一个特别容易踩的坑中心化。很多人做 PCA 的时候直接对原始数据做奇异值分解结果第一主成分总是指向均值方向完全没意义。正确的做法是先减去均值再做分解。这个细节教材上往往一笔带过但工程里不做就是错的。注意做矩阵分解之前先检查数据的量纲。如果一列是身高厘米一列是收入元不做标准化的话收入那一列会完全主导分解结果。标准化不是可选项是必选项。3.2 学习与优化损失函数不是拍脑袋定的微积分在人工智能里的核心应用是求导但求导本身不难难的是知道该对什么求导。这就涉及损失函数的设计。很多人以为损失函数是约定俗成的其实每一个损失函数背后都有概率解释。比如均方误差它等价于假设噪声服从高斯分布时的最大似然估计交叉熵损失它等价于假设标签服从伯努利分布或类别分布时的最大似然估计。你理解了这层对应关系就能自己推导出新的损失函数而不是只会套用现成的。优化部分的核心是梯度下降及其变体。这里我想强调一个常被忽略的点学习率不是超参数是优化问题的一部分。学习率太大你会跳过最优点学习率太小你会卡在鞍点附近。实践中我通常先用一个较大的学习率跑几十步观察损失曲线的形状再决定最终的学习率。优化器适用场景学习率建议注意事项批量梯度下降小数据集、凸问题0.01-0.1计算量大但稳定随机梯度下降大数据集、非凸问题0.001-0.01震荡大需调学习率衰减动量法有峡谷形损失面的问题0.001-0.01动量系数通常取0.9自适应方法稀疏特征、不同尺度参数0.0001-0.001可能收敛到次优点3.3 不确定性与推断贝叶斯不是玄学概率论在人工智能里的地位这几年越来越高。原因很简单现实世界充满不确定性而贝叶斯方法提供了一套系统处理不确定性的框架。但很多人学贝叶斯的时候被先验、后验、似然这几个词绕晕了。我用一个具体例子来说明。假设你在做一个垃圾邮件分类器。先验概率 P(垃圾) 是你还没看邮件内容时对它是垃圾邮件的判断似然 P(内容|垃圾) 是如果它是垃圾邮件出现这些词的概率后验 P(垃圾|内容) 是你看了内容之后对它是垃圾邮件的判断。贝叶斯公式做的就是用数据更新判断这件事。实操中最大的坑是先验的选择。很多人随便选一个均匀先验结果在小样本情况下效果很差。正确的做法是如果你对问题有领域知识就用信息先验如果没有再用弱信息先验。均匀先验不是无信息它本身就是一种信息。3.4 评估与泛化为什么你的模型在测试集上崩了统计学习理论这部分核心是理解泛化误差的分解。一个模型的期望误差可以分解为三部分偏差、方差、噪声。偏差来自模型假设空间太小方差来自模型对训练数据太敏感噪声是数据本身固有的无法消除。这个分解的实操意义在于当你发现模型效果不好时先判断是偏差问题还是方差问题。如果是偏差问题训练误差和测试误差都高你需要增加模型复杂度如果是方差问题训练误差低但测试误差高你需要正则化或增加数据。搞反了方向调参就是白费力气。提示判断偏差和方差的一个简单方法是画学习曲线。横轴是训练样本数纵轴是误差。如果两条曲线很快收敛到一起且误差都高是偏差问题如果两条曲线之间有很大间隙是方差问题。4. 实操过程把这一章的知识用到一个具体项目里4.1 项目设定与数学建模假设我们要做一个用户流失预测系统。输入是用户的行为特征登录频率、使用时长、功能使用种类等输出是未来一个月是否流失的概率。这个项目不大但足够把第十八章的四个模块都用上。第一步是数学建模。我们把每个用户表示为一个特征向量 x标签 y 取 0 或 1。模型假设为一个逻辑回归函数P(y1|x) σ(w^T x b)其中 σ 是 sigmoid 函数。这个假设空间的选择对应的是表示层和模型层。为什么选逻辑回归而不是更复杂的模型因为我们要的是可解释性。逻辑回归的权重 w 直接告诉我们每个特征对流失概率的影响方向和大小。如果换成深度网络虽然可能效果更好但你就说不清为什么这个用户会流失了。这个取舍就是第十八章强调的数学工具服务于问题的体现。4.2 数据预处理中的数学细节数据预处理这一步数学含量其实很高但很多人把它当成脏活随便做。我列几个关键点缺失值处理。如果缺失是随机的可以用均值填充如果缺失和标签相关就需要建模缺失机制。后者在流失预测里很常见——不活跃的用户往往很多字段是空的这时候直接填充会引入偏差。特征标准化。逻辑回归对特征尺度敏感因为梯度下降的收敛速度取决于损失面的条件数。标准化之后条件数改善收敛更快。具体做法是减去均值、除以标准差。类别特征编码。独热编码是最常用的但要注意维度爆炸问题。如果某个类别特征有几千个取值独热编码会产生几千维的稀疏向量。这时候可以考虑目标编码或嵌入方法。import numpy as np def standardize(X): mean np.mean(X, axis0) std np.std(X, axis0) std[std 0] 1 # 防止除零 return (X - mean) / std def add_bias(X): return np.hstack([np.ones((X.shape[0], 1)), X])上面这段代码看起来简单但有两个细节值得说。第一std[std 0] 1这行是防止某个特征所有取值相同导致除零。第二add_bias把偏置项合并进权重向量这样后续更新公式可以统一写成向量形式代码更简洁。4.3 模型训练与参数更新逻辑回归的训练本质是最小化负对数似然损失。损失函数对权重的梯度有一个非常简洁的形式grad X^T (σ(Xw) - y) / N。这个形式的推导用到了 sigmoid 函数的导数性质是微积分和线性代数的结合。我实际训练的时候通常用全批量梯度下降因为流失预测的数据量一般不会太大几十万条以内全批量更稳定。学习率我一般从 0.1 开始试如果损失震荡就减半如果收敛太慢就加倍。def train_logistic(X, y, lr0.1, epochs1000): N, D X.shape w np.zeros(D) losses [] for epoch in range(epochs): z X w p 1 / (1 np.exp(-z)) grad X.T (p - y) / N w - lr * grad loss -np.mean(y * np.log(p 1e-9) (1-y) * np.log(1-p 1e-9)) losses.append(loss) return w, losses这段代码里1e-9是防止 log(0) 的数值技巧。实际工程中这种小细节往往决定代码能不能跑通。另外我建议把每次迭代的损失存下来画出来看收敛情况这比盲目调参有效得多。4.4 模型评估与泛化分析训练完之后评估不能只看准确率。流失预测通常是不平衡数据流失用户占比可能只有5%这时候准确率会严重误导。我一般看三个指标AUC、召回率、以及校准曲线。AUC 衡量的是模型排序能力不受阈值影响召回率衡量的是该抓的流失用户抓到了多少校准曲线衡量的是预测概率是否可信。这三个指标分别对应统计学习理论里的不同侧面结合起来才能全面判断模型好坏。如果发现过拟合训练AUC远高于验证AUC我会先加 L2 正则化。L2 正则化的数学本质是在损失函数里加一项 λ||w||^2等价于对权重施加高斯先验。这个贝叶斯解释就是第十八章把优化和概率接起来的地方。5. 常见问题与排查技巧实录5.1 梯度消失与梯度爆炸的排查这是优化层最常见的问题。梯度消失的表现是损失几乎不下降权重更新量极小。梯度爆炸的表现是损失变成 NaN 或剧烈震荡。排查思路先打印每一层的梯度范数。如果梯度范数随层数指数衰减就是消失如果指数增长就是爆炸。解决方法梯度消失可以用 ReLU 激活函数或残差连接梯度爆炸可以用梯度裁剪。注意梯度裁剪的阈值不是越大越好。阈值太大等于没裁剪太小会破坏梯度方向。我一般先用梯度范数的中位数作为阈值再微调。5.2 过拟合与欠拟合的判断判断方法我前面提过学习曲线这里补充一个更快的判断比较训练误差和验证误差的差距。差距大是过拟合差距小但都高是欠拟合。但有一个陷阱验证集太小的时候验证误差本身噪声很大这时候的差距可能不可信。我的经验是验证集至少要有几千个样本否则交叉验证更可靠。5.3 数值稳定性问题速查表问题现象可能原因解决方法损失变成 NaN学习率太大、log(0)减小学习率、加 epsilon损失震荡不收敛学习率太大、批量太小减小学习率、增大批量收敛太慢学习率太小、未标准化增大学习率、标准化特征权重增长失控未加正则化加 L2 正则化、权重衰减概率输出全为0或1sigmoid 饱和检查输入尺度、加正则化5.4 几个我踩过的坑第一个坑把标准化参数在训练集和测试集上分别计算。这是数据泄露的典型形式。正确做法是在训练集上计算均值和标准差然后应用到测试集。第二个坑用准确率选模型。在不平衡数据上一个把所有样本都预测为多数的模型准确率可能很高但毫无用处。一定要用 AUC 或 F1。第三个坑忽略特征的相关性。逻辑回归的权重解释在特征相关时会失真。如果两个特征高度相关它们的权重可能一个很大一个很小甚至符号相反但这不代表其中一个不重要。第四个坑正则化系数直接套用默认值。λ 的选择应该通过交叉验证确定不同数据集的最优 λ 可能差几个数量级。6. 这一章的知识怎么迁移到其他项目第十八章讲的是数学基础但它的价值在于可迁移性。我举几个迁移场景。做计算机视觉的时候卷积操作的数学本质是稀疏矩阵乘法池化操作的数学本质是降采样。你理解了这一点就能自己设计新的卷积结构而不是只会用现成的。做自然语言处理的时候词嵌入的数学本质是矩阵分解注意力机制的数学本质是加权平均。你理解了这一点就能自己推导 Transformer 的计算复杂度而不是只会调包。做强化学习的时候值函数的数学本质是期望策略梯度的数学本质是似然比。你理解了这一点就能自己推导新的策略梯度算法而不是只会用 PPO。我个人的体会是数学基础扎实的人学新模型的速度快得多因为新模型往往只是旧数学工具的新组合。反过来数学基础不扎实的人每学一个新模型都像从零开始。最后分享一个我自己的学习方法每学完一个数学工具强迫自己用三句话总结——它解决什么问题、它的核心假设是什么、它的计算代价是什么。这三句话能说清楚才算真懂了。说不清楚就回去重读。这个方法我用到现在比刷题有用得多。