第一次翻开《统计学习方法》的第一章时我其实有点失望。那时刚从一份范式的编程工作转过来抱着赶紧学会SVM、学会集成学习的心态看到概论两个字就想快速划过去。结果就是朴素贝叶斯勉强能套公式决策树也说得出个大概但每当要跟别人解释为什么这个模型要配这个损失函数为什么过拟合一定发生我就会卡壳。等到第二遍认真读第一章才意识到这本教材的每一章本质上都在反复使用同一个框架而这套框架在最开始一章就一次性和盘托出了。这篇笔记就是从过来人的角度把我读统计学习方法概论这章时真正想通的、画过图的、踩过坑的内容全部摊开。它适合两类人一是刚翻开这本书、觉得概论章像目录一样没必要细读的初学者二是已经学完若干算法但感觉知识是散点、想用一条线把全书串起来的人。这一章读明白了后面十章等于有了导航。1. 概论章为什么值得逐句读它不是你想象的那种前言1.1 全书的骨架其实是第一章画出来的《统计学习方法》后面的章节从感知机到条件随机场每一章基本都按照一个固定节奏推进先定义模型再给出学习策略然后推导求解算法最后分析泛化能力。这个节奏的源头就在第一章的统计学习方法三要素——模型、策略、算法。你可能觉得这三要素听起来很简单但它真的是我在后文所有章节里反复用到的地图。举个例子学感知机时模型是分离超平面 w·xb0策略是误分类点到超平面的距离之和最小化算法是随机梯度下降。学SVM时模型还是分离超平面但策略变成了间隔最大化算法变成了求解凸二次规划或者用拉格朗日对偶转成对偶问题。学逻辑回归时模型是条件概率分布 P(Y|X)策略是极大似然估计也就是负对数似然最小化算法是梯度下降或拟牛顿法。有没有发现只要把模型、策略、算法三个问题摆在面前任何一章的核心都能在五分钟内被压缩成三句话。第一章做的就是这个事情它先把所有后续章节共享的元结构写在你面前只是当时我还看不懂它的分量。1.2 第一章里其实还悄悄给出了评价方法这条暗线除了三要素概论章还花了不少篇幅讲监督学习的两个重要环节模型选择与泛化能力。这一块在第一遍读的时候几乎被我忽略因为当时觉得过拟合不过是一个常识性名词交叉验证大概也就是拿一部分数据做验证。真正吃亏之后才意识到这一小节是整个机器学习里最容易被低估的部分。它其实回答了三个环环相扣的问题训练误差小代表模型好吗模型复杂度高了会发生什么怎么在有限样本上判断一个模型的未来表现书里给出了正则化、交叉验证、泛化误差上界这些工具。后面每一章最后讨论算法的优缺点时参考的都是这套评价体系。可以说第一章不只是在介绍统计学常识它是在提前给整本书安排验收标准。1.3 我的具体读法先粗读学完一章再回来重读一次我后来总结了一个笨但有效的方法第一遍读概论章时只看三要素是什么损失函数有哪些交叉验证怎么做这些名词让自己有个印象然后每学完后面一章就回来翻对应的概论内容。比如学完朴素贝叶斯回到损失函数那节看对数损失学完SVM回到结构风险那节看正则化。这样做的好处是概论章里每句话都会在不同章节的语境下被激活一次内容自然就刻进脑子里了。如果你正在第一遍学习我给的建议是不要试图在第一次读时就把这一章彻底背下来但一定不要把模型、策略、算法以及经验风险最小化/结构风险最小化这两个核心概念一带而过。它们是后面所有推导的锚点。2. 统计学习三要素模型、策略、算法如何各司其职2.1 模型你的搜索边界在哪里三要素里的第一个是模型。书里的定义很清晰模型就是所要学习的条件概率分布或者决策函数它的集合称为假设空间。换句话说模型决定了两件事——你准备用什么样的函数形式去逼近真实映射以及你准备在这组函数里搜索哪一个作为最终答案。假设空间这个概念特别重要。我经常跟朋友用一个类比找房子。假设空间就是你预先圈定的候选小区列表。如果你把搜索范围定在离公司步行30分钟内的小区那最终无论如何都不可能住到1公里外市中心如果你把备选方案限定为三居室那你就自动放弃了住大开间的可能性。模型也是同理线性模型假设空间里的函数都是线性的哪怕真实关系是二次曲线你在线性空间里怎么调参也不可能精确拟合出来。这也解释了为什么后来会出现核技巧、深层神经网络这类手段——本质上就是把假设空间扩大让搜索范围能够覆盖更复杂的映射关系。书中把模型分成了两大类。一类是决策函数也就是非概率模型直接输出一个预测值比如感知机、SVM的决策面另一类是条件概率分布 P(Y|X)也就是概率模型比如朴素贝叶斯、逻辑回归、隐马尔可夫模型。这两种建模方式各有各的评价口径决策函数用误分类率等指标好理解条件概率模型则可以直接用负对数似然这类概率指标。至少在后文阅读里我会时刻注意当前这章的模型到底属于哪一类因为后续的策略和算法设计往往跟这个分类绑定得很紧。2.2 策略怎样才算好的模型有了模型集合还不够你还需要一个标准来判断在这个集合里哪个模型更好。这个标准就是策略它通过损失函数和风险函数来体现。损失函数 L(y, f(x)) 衡量的是对单个样本 (x, y) 来说模型预测值 f(x) 与真实值 y 之间的差异程度。风险函数也叫期望损失则是损失函数关于联合分布 P(X,Y) 的期望即R_exp(f) E[L(Y, f(X))]理想情况下我们应该最小化这个期望风险因为它是模型在所有可能数据上的平均损失。但问题是真实的联合分布 P(X,Y) 是未知的我们手里只有有限的训练样本。于是从这个理想出发才有了后面要展开的经验风险最小化和结构风险最小化两个现实替代方案。可以这么理解策略就是给出一个打分公式告诉优化器往哪个方向调整参数的引力最大。选对了策略模型训练就是在做一件目标明确的事选错了策略后面算法再好也只会朝着错误的方向用力。2.3 算法从公式可解到真的能算出来三要素里最容易被初学者当成主角、但其实只是最后一公里的是算法。算法解决的问题是给定模型集合和评价策略之后具体用什么方式把最优模型找出来。书里策略部分提到的目标函数往往是可写的但真正求解时不可能靠暴力枚举所有可能的函数参数。于是需要各种数值优化方法梯度下降法、牛顿法、拟牛顿法、坐标下降法、拉格朗日对偶、EM算法的迭代求解等。第一章里并不会深入展开这些算法的数学细节但它反复强调了一点统计学习方法 模型 策略 算法缺一个都不完整。我在刚学的时候犯过一个很典型的错误把模型和算法混为一谈。比如把逻辑回归直接当成一种算法。但准确地说逻辑回归的模型是条件概率分布策略是负对数似然最小化算法才可以用梯度下降法或者牛顿法。同样的模型加同样的策略完全可以选择不同的求解算法得到的最优解是一样的但计算效率可能差很多。理解了这个区分后面看到书上说用拟牛顿法求解逻辑回归时就不会觉得是又出现了一个新模型。3. 损失函数与风险最小化每一类损失都有它的脾气3.1 常见损失函数的适用场景与几何直觉原书第一章很快就过了一遍几种常见损失函数0-1损失、平方损失、绝对损失、对数损失。我第一遍读的时候把他们当公式记忆后面实践多了才发现每一种损失背后都是一种坏结果代价的假设。0-1损失分类错了记1分类对了记0。它最直观但函数不连续、不可导直接优化很困难所以实际训练里经常用它的凸替代物比如合页损失或者对数损失。平方损失常用于回归y 和 f(x) 的差平方。它放大离群点的惩罚因为差值越大平方后惩罚增长越快。数据里离群点多时平方损失容易被个别异常样本牵着走。绝对损失同样是回归但不平方对离群点的敏感度低一些只是它在零点不可导优化时不如平方损失平滑。对数损失就是负对数似然常用于概率模型。它跟极大似然估计直接对应数学性质很好训练时通常也更稳定。合页损失用在最大间隔类模型里可以理解为只要分类正确且置信度够高就不额外产生损失这也是SVM间隔思想的损失函数形式。需要注意的一点是书里举这些损失函数时并不打算让你立刻选型而是要让你理解模型选择的策略不同本质上是评价错得有多严重的方式不同。我自己的体会是实际项目中选损失函数其实是在回答一个业务问题你觉得哪种错误代价更高被误判为风险用户的代价和被漏掉的真实风险用户的代价两种代价不一样就应该设计不一样的损失。3.2 经验风险最小化用样本来近似分布因为真实联合分布未知我们退而求其次用训练样本上的平均损失代替期望损失这就得到了经验风险R_emp(f) (1/N) Σ_{i1..N} L(y_i, f(x_i))经验风险最小化ERM就是让训练集上的平均损失尽量小。很大程度上我们平时做的模型训练——最小化损失函数——本质上就是在做经验风险最小化。比如极大似然估计就是在某些模型假设下做经验风险最小化最小二乘法也可以看作平方损失下的经验风险最小化。但是单纯做ERM有一个非常直观的陷阱训练集只是真实分布的一个抽样最小化训练集上的损失不一定能保证真实分布上的期望损失也小。你把模型训练到在训练样本上损失为0只能说明它记住了这批样本并不代表它学到了数据背后的规律。于是就需要结构风险最小化。3.3 结构风险最小化主动给复杂度踩刹车结构风险最小化SRM就是在经验风险后面加一个正则化项R_srm(f) (1/N) Σ L(y_i, f(x_i)) λ J(f)这里的 J(f) 表示模型的复杂度λ 是平衡系数。这个式子的哲学来源其实就是奥卡姆剃刀在能解释已有数据的前提下模型越简单越可能泛化。正则化项的作用就是给复杂的模型增加额外代价让优化算法在拟合数据和保持简单之间寻找平衡。这个思想在全书里会不断出现。线性回归里的岭回归就是L2正则Lasso是L1正则SVM里的软间隔也会用到类似的思想。我在读第一章时对λ越大模型越简单这句话没什么感觉后来调参时才发现如果把λ设得太大模型会过度保守连训练集上的基本模式都学不到设得太小又接近于纯ERM过拟合风险上升。λ的选择本质上是在偏差和方差之间找一个自己业务能接受的中间点。4. 过拟合与模型选择为什么更复杂的模型反而更脆弱4.1 过拟合不是偶然而是复杂度换来的必然过拟合这个概念放在第一章去讲原因是它牵扯到整个模型选择问题的核心。书里专门画了一张图M次多项式拟合散点数据。M1时是一条直线欠拟合M3时拟合得很好趋势也合理M9时误差为零完美穿过每一个训练点但曲线形状却剧烈震荡。我当时第一次看到这张图最深的感触是过拟合不是代码写错了导致的偶然事故而是模型容量增加后必然会出现的趋势——当假设空间足够大总能找到一个函数把所有训练样本记住。问题在于记忆不等于规律。真实数据总是带噪声的训练样本里的很多特征是抽样噪声带来的偶然模式复杂模型有能力把这些偶然模式也拟合进参数里结果一遇到新数据这些参数就变成了噪声放大器。4.2 正则化怎么起作用给参数戴上枷锁正则化在上一节已经提过但这里想补充一个操作层面的理解。L2正则是对参数向量的平方和做惩罚它倾向于让参数整体变小但不容易变成精确的0L1正则则会让不少参数变成0产生稀疏解所以在特征很多、希望自动筛选特征时特别好用。你可以把正则化理解为允许模型在拟合数据的同时必须付出复杂度税越复杂的参数组合税越重。实际调参时我一般先定模型结构再扫描λ。扫描时有一个常见误区用测试集来选λ。这样做会让测试集失去独立评估的意义因为你已经用测试集的信息指导了模型选择最后拿同一个测试集上报性能数字其实是作弊式反馈。正确的做法是再从训练集里切一个验证集出来选超参数或者直接走交叉验证。4.3 交叉验证在有限的样本里循环利用数据交叉验证解决的核心问题是数据量不够又想估算模型在陌生数据上的表现。书上介绍了三种方式简单交叉验证、S折交叉验证、留一交叉验证。我最常用的是S折交叉验证。做法是把数据集随机分成S份每次用S-1份训练、剩下1份验证轮流S次最后把S次验证误差平均。S取多少书上和业界惯例通常会折中S太小训练数据少偏差大S太大比如留一法每次只留一个样本做验证几乎用了全部数据训练偏差小但计算量随样本量线性上升。对中小规模数据集S5或10是比较经济的默认选择。需要注意分折时要尽量保持类别比例否则某一折里可能恰好没有某个类别验证指标就会失真。5. 泛化能力真正重要的是没见过的数据上的表现5.1 泛化误差上界的直觉样本量是有用的第一章后半部分讨论了泛化能力也就是模型对未知数据预测的能力。书中引入了泛化误差上界的概念在一定的概率保证下模型的泛化误差可以被限制在训练误差 一个与样本量、假设空间复杂度相关的项范围内。这个概念第一次读会觉得有些抽象但其实可以很通俗地理解。如果我们把假设空间看作一个巨大的候选池候选池越大我们越容易找到一个在训练集上表现很好、但实际上只是碰巧记住训练集模式的模型。换句话说你的搜索范围越大出现虚假好模型的概率就越高。为了让真实泛化风险不大要么增加样本量——让虚假模型露馅要么缩小假设空间——降低搜索范围。书中给出的泛化误差上界数学形式恰恰把这两个因素表达在同一个公式里上界会随着训练样本量N的增大而变小同时随假设空间容量d的增大而增大。这个结论给了我两个日常调参时可用的判断依据数据量够不够模型容量是不是超了。当测试集表现明显差于训练集时先看看其中一个方向是不是已经失衡。也可以从PAC学习的视角看这件事我们要求的只是一个概率保证——至少有1-δ的把握泛化误差小于某个ε。这个框架帮我理解了一个反直觉的事实就算训练误差很小泛化误差也可能很大因为小训练误差可能只是运气好抽到了好样本而不是模型学到了真规律。5.2 分类、回归与标注三种任务不是三个名字概论章最后一部分把监督学习分成几类。分类是输出离散的类别回归是输出连续值标注是输出一个序列的标签。标注问题和分类问题容易混淆但本质上有差别标注不只是对单个样本打标签而是对输入序列的每个位置给出标记标记之间往往有依赖关系。后面学隐马尔可夫模型和条件随机场时就会明白标注问题的重点正是序列上下文里的联合推断而不能简单地用多个独立分类器来做。第一章里还带了监督学习里每个环节的说明数据怎么组织、学习系统怎么训练、评估怎么进行。这些内容第一遍看会觉得都是常识但我在做真实项目时最常补课的恰好就是这些常识。比如数据划分时如果直接偷看测试集后面所有评估数字都失真再比如训练集中各类别比例和真实场景不一致模型上线后准确率会变脸。概论章的很多枯燥列表其实是在帮你建立一套严谨的实验纪律。6. 把概论章变成自己的我的笔记方法、误区与扩展思考6.1 用一个三要素表格吃透后续每一章学完第一章之后我做了一个特别简单的笔记模板每学一个后续算法都用三要素这个框架把内容压缩成一张表格。下面是一个示意你可以自己在笔记里建一张类似的结构章节/算法模型假设空间策略损失/目标算法求解方式感知机分离超平面 w·x b 0误分类点到超平面距离之和最小化随机梯度下降k近邻训练样本附近的局部类别分布多数表决0-1损失下的最近邻规则距离计算 排序无显式训练参数朴素贝叶斯条件概率分布特征独立假设极大似然估计对数损失最小化先验 条件概率的计数估计决策树树状划分区域叶节点给出决策信息增益/基尼指数最小化递归特征选择与分裂SVM分离超平面间隔最大化合页损失 正则化结构风险凸二次规划 / SMO对偶求解逻辑回归P(YX) 的对数线性模型负对数似然最小化这张表对我最有价值的地方在于它逼着我用同一把尺子量所有算法。只要发现某个算法在其中一格是空着的或者描述得很含糊说明我还没看懂它。比如k近邻这个例子它其实是惰性学习没有显式训练参数策略就是k近邻多数表决如果你把它放进三要素框架里就会自然注意到这一点而不会老老实实跟其他算法一样走训练-预测的流程。6.2 几个常见的理解误区和避坑经验学完概论章之后我和几个同阶段学习的朋友交流发现有几个误区出现频率很高在这里一并排掉。第一个误区是把经验风险最小化当成训练集准确率最大化。严格说准确率对应的是0-1损失但它不可导实际训练用的多是它的平滑替代。所以你在训练时看到loss下降不代表准确率一定同步上升两者在优化目标上并不是同一件事。项目中我习惯同时盯着loss曲线和评估指标曲线避免只看一个。第二个误区是忽略模型、策略、算法中策略与算法的边界。很多人觉得我用梯度下降训练了一个模型是完整描述但梯度下降只是算法你需要说清楚模型是什么、目标函数是什么。如果你还没想清楚目标函数梯度下降就是在盲人摸象。第三个误区是用测试集反复调参而不自知。第一章里强调训练、验证、测试的划分逻辑但实际中你很容易一不留神就把验证集的信息带进了模型选择过程。我的经验是一旦做了任何基于测试集结果的调整那这个测试集就不能再作为公平第三方来出最终报告了。最稳妥的做法是数据充足时直接切出三份数据不足时用S折交叉验证选择模型最后只在保留的测试集上跑一次。6.3 概论章还能怎么向外延伸第一章提到的很多概念原书后续并没有展开全部数学细节但如果你想把地基打得再牢一点有两个方向值得顺手延伸。一个方向是去了解偏差-方差分解。训练误差小但泛化差到底是偏差造成的还是方差造成的偏差-方差权衡会告诉你模型太简单时偏差占主导欠拟合模型太复杂时方差占主导过拟合。正则化、交叉验证本质上都是在调这个平衡点。另一个方向是PAC学习的数学化表达。书里给了泛化误差上界的结论如果你能完整看一遍它的推导过程——用Hoeffding不等式处理样本误差和期望误差之间的偏差——你对样本量、模型复杂度、置信度三角关系的理解会彻底不一样。我自己在第一遍读概论章时其实没读懂泛化误差上界那一段跳过之后后面也没遇到明显的障碍。但当我第二遍开始补理论想去理解为什么深度学习也能有泛化保证时才发现自己欠下的债都是第一章埋下的。这也是我把这篇笔记写得这么细的原因概论章不是一座需要快速跨越的桥而是整座房子的地基。最后说说我在实践中对第一章整体方法论的感受。如果你暂时看不懂第一部分统计学习三要素之前的抽象描述完全可以先往下学学到感知机或者朴素贝叶斯再回头。但有三样东西我建议无论如何都要在第一遍时捞出来带走第一每个算法都能拆成模型、策略、算法三个问题第二训练误差低不等于泛化能力好第三交叉验证和正则化是模型选择的两个基本武器。把这三点烙印在脑子里哪怕后面的数学推导暂时跟不上你也已经在用统计学习的思维方式思考问题了。 
长河君 · 2026/10/14 14:27:50 · 阅读 1.2k 统计学习方法三要素与模型选择：从过拟合到交叉验证
第一次翻开《统计学习方法》的第一章时我其实有点失望。那时刚从一份范式的编程工作转过来抱着赶紧学会SVM、学会集成学习的心态看到概论两个字就想快速划过去。结果就是朴素贝叶斯勉强能套公式决策树也说得出个大概但每当要跟别人解释为什么这个模型要配这个损失函数为什么过拟合一定发生我就会卡壳。等到第二遍认真读第一章才意识到这本教材的每一章本质上都在反复使用同一个框架而这套框架在最开始一章就一次性和盘托出了。这篇笔记就是从过来人的角度把我读统计学习方法概论这章时真正想通的、画过图的、踩过坑的内容全部摊开。它适合两类人一是刚翻开这本书、觉得概论章像目录一样没必要细读的初学者二是已经学完若干算法但感觉知识是散点、想用一条线把全书串起来的人。这一章读明白了后面十章等于有了导航。1. 概论章为什么值得逐句读它不是你想象的那种前言1.1 全书的骨架其实是第一章画出来的《统计学习方法》后面的章节从感知机到条件随机场每一章基本都按照一个固定节奏推进先定义模型再给出学习策略然后推导求解算法最后分析泛化能力。这个节奏的源头就在第一章的统计学习方法三要素——模型、策略、算法。你可能觉得这三要素听起来很简单但它真的是我在后文所有章节里反复用到的地图。举个例子学感知机时模型是分离超平面 w·xb0策略是误分类点到超平面的距离之和最小化算法是随机梯度下降。学SVM时模型还是分离超平面但策略变成了间隔最大化算法变成了求解凸二次规划或者用拉格朗日对偶转成对偶问题。学逻辑回归时模型是条件概率分布 P(Y|X)策略是极大似然估计也就是负对数似然最小化算法是梯度下降或拟牛顿法。有没有发现只要把模型、策略、算法三个问题摆在面前任何一章的核心都能在五分钟内被压缩成三句话。第一章做的就是这个事情它先把所有后续章节共享的元结构写在你面前只是当时我还看不懂它的分量。1.2 第一章里其实还悄悄给出了评价方法这条暗线除了三要素概论章还花了不少篇幅讲监督学习的两个重要环节模型选择与泛化能力。这一块在第一遍读的时候几乎被我忽略因为当时觉得过拟合不过是一个常识性名词交叉验证大概也就是拿一部分数据做验证。真正吃亏之后才意识到这一小节是整个机器学习里最容易被低估的部分。它其实回答了三个环环相扣的问题训练误差小代表模型好吗模型复杂度高了会发生什么怎么在有限样本上判断一个模型的未来表现书里给出了正则化、交叉验证、泛化误差上界这些工具。后面每一章最后讨论算法的优缺点时参考的都是这套评价体系。可以说第一章不只是在介绍统计学常识它是在提前给整本书安排验收标准。1.3 我的具体读法先粗读学完一章再回来重读一次我后来总结了一个笨但有效的方法第一遍读概论章时只看三要素是什么损失函数有哪些交叉验证怎么做这些名词让自己有个印象然后每学完后面一章就回来翻对应的概论内容。比如学完朴素贝叶斯回到损失函数那节看对数损失学完SVM回到结构风险那节看正则化。这样做的好处是概论章里每句话都会在不同章节的语境下被激活一次内容自然就刻进脑子里了。如果你正在第一遍学习我给的建议是不要试图在第一次读时就把这一章彻底背下来但一定不要把模型、策略、算法以及经验风险最小化/结构风险最小化这两个核心概念一带而过。它们是后面所有推导的锚点。2. 统计学习三要素模型、策略、算法如何各司其职2.1 模型你的搜索边界在哪里三要素里的第一个是模型。书里的定义很清晰模型就是所要学习的条件概率分布或者决策函数它的集合称为假设空间。换句话说模型决定了两件事——你准备用什么样的函数形式去逼近真实映射以及你准备在这组函数里搜索哪一个作为最终答案。假设空间这个概念特别重要。我经常跟朋友用一个类比找房子。假设空间就是你预先圈定的候选小区列表。如果你把搜索范围定在离公司步行30分钟内的小区那最终无论如何都不可能住到1公里外市中心如果你把备选方案限定为三居室那你就自动放弃了住大开间的可能性。模型也是同理线性模型假设空间里的函数都是线性的哪怕真实关系是二次曲线你在线性空间里怎么调参也不可能精确拟合出来。这也解释了为什么后来会出现核技巧、深层神经网络这类手段——本质上就是把假设空间扩大让搜索范围能够覆盖更复杂的映射关系。书中把模型分成了两大类。一类是决策函数也就是非概率模型直接输出一个预测值比如感知机、SVM的决策面另一类是条件概率分布 P(Y|X)也就是概率模型比如朴素贝叶斯、逻辑回归、隐马尔可夫模型。这两种建模方式各有各的评价口径决策函数用误分类率等指标好理解条件概率模型则可以直接用负对数似然这类概率指标。至少在后文阅读里我会时刻注意当前这章的模型到底属于哪一类因为后续的策略和算法设计往往跟这个分类绑定得很紧。2.2 策略怎样才算好的模型有了模型集合还不够你还需要一个标准来判断在这个集合里哪个模型更好。这个标准就是策略它通过损失函数和风险函数来体现。损失函数 L(y, f(x)) 衡量的是对单个样本 (x, y) 来说模型预测值 f(x) 与真实值 y 之间的差异程度。风险函数也叫期望损失则是损失函数关于联合分布 P(X,Y) 的期望即R_exp(f) E[L(Y, f(X))]理想情况下我们应该最小化这个期望风险因为它是模型在所有可能数据上的平均损失。但问题是真实的联合分布 P(X,Y) 是未知的我们手里只有有限的训练样本。于是从这个理想出发才有了后面要展开的经验风险最小化和结构风险最小化两个现实替代方案。可以这么理解策略就是给出一个打分公式告诉优化器往哪个方向调整参数的引力最大。选对了策略模型训练就是在做一件目标明确的事选错了策略后面算法再好也只会朝着错误的方向用力。2.3 算法从公式可解到真的能算出来三要素里最容易被初学者当成主角、但其实只是最后一公里的是算法。算法解决的问题是给定模型集合和评价策略之后具体用什么方式把最优模型找出来。书里策略部分提到的目标函数往往是可写的但真正求解时不可能靠暴力枚举所有可能的函数参数。于是需要各种数值优化方法梯度下降法、牛顿法、拟牛顿法、坐标下降法、拉格朗日对偶、EM算法的迭代求解等。第一章里并不会深入展开这些算法的数学细节但它反复强调了一点统计学习方法 模型 策略 算法缺一个都不完整。我在刚学的时候犯过一个很典型的错误把模型和算法混为一谈。比如把逻辑回归直接当成一种算法。但准确地说逻辑回归的模型是条件概率分布策略是负对数似然最小化算法才可以用梯度下降法或者牛顿法。同样的模型加同样的策略完全可以选择不同的求解算法得到的最优解是一样的但计算效率可能差很多。理解了这个区分后面看到书上说用拟牛顿法求解逻辑回归时就不会觉得是又出现了一个新模型。3. 损失函数与风险最小化每一类损失都有它的脾气3.1 常见损失函数的适用场景与几何直觉原书第一章很快就过了一遍几种常见损失函数0-1损失、平方损失、绝对损失、对数损失。我第一遍读的时候把他们当公式记忆后面实践多了才发现每一种损失背后都是一种坏结果代价的假设。0-1损失分类错了记1分类对了记0。它最直观但函数不连续、不可导直接优化很困难所以实际训练里经常用它的凸替代物比如合页损失或者对数损失。平方损失常用于回归y 和 f(x) 的差平方。它放大离群点的惩罚因为差值越大平方后惩罚增长越快。数据里离群点多时平方损失容易被个别异常样本牵着走。绝对损失同样是回归但不平方对离群点的敏感度低一些只是它在零点不可导优化时不如平方损失平滑。对数损失就是负对数似然常用于概率模型。它跟极大似然估计直接对应数学性质很好训练时通常也更稳定。合页损失用在最大间隔类模型里可以理解为只要分类正确且置信度够高就不额外产生损失这也是SVM间隔思想的损失函数形式。需要注意的一点是书里举这些损失函数时并不打算让你立刻选型而是要让你理解模型选择的策略不同本质上是评价错得有多严重的方式不同。我自己的体会是实际项目中选损失函数其实是在回答一个业务问题你觉得哪种错误代价更高被误判为风险用户的代价和被漏掉的真实风险用户的代价两种代价不一样就应该设计不一样的损失。3.2 经验风险最小化用样本来近似分布因为真实联合分布未知我们退而求其次用训练样本上的平均损失代替期望损失这就得到了经验风险R_emp(f) (1/N) Σ_{i1..N} L(y_i, f(x_i))经验风险最小化ERM就是让训练集上的平均损失尽量小。很大程度上我们平时做的模型训练——最小化损失函数——本质上就是在做经验风险最小化。比如极大似然估计就是在某些模型假设下做经验风险最小化最小二乘法也可以看作平方损失下的经验风险最小化。但是单纯做ERM有一个非常直观的陷阱训练集只是真实分布的一个抽样最小化训练集上的损失不一定能保证真实分布上的期望损失也小。你把模型训练到在训练样本上损失为0只能说明它记住了这批样本并不代表它学到了数据背后的规律。于是就需要结构风险最小化。3.3 结构风险最小化主动给复杂度踩刹车结构风险最小化SRM就是在经验风险后面加一个正则化项R_srm(f) (1/N) Σ L(y_i, f(x_i)) λ J(f)这里的 J(f) 表示模型的复杂度λ 是平衡系数。这个式子的哲学来源其实就是奥卡姆剃刀在能解释已有数据的前提下模型越简单越可能泛化。正则化项的作用就是给复杂的模型增加额外代价让优化算法在拟合数据和保持简单之间寻找平衡。这个思想在全书里会不断出现。线性回归里的岭回归就是L2正则Lasso是L1正则SVM里的软间隔也会用到类似的思想。我在读第一章时对λ越大模型越简单这句话没什么感觉后来调参时才发现如果把λ设得太大模型会过度保守连训练集上的基本模式都学不到设得太小又接近于纯ERM过拟合风险上升。λ的选择本质上是在偏差和方差之间找一个自己业务能接受的中间点。4. 过拟合与模型选择为什么更复杂的模型反而更脆弱4.1 过拟合不是偶然而是复杂度换来的必然过拟合这个概念放在第一章去讲原因是它牵扯到整个模型选择问题的核心。书里专门画了一张图M次多项式拟合散点数据。M1时是一条直线欠拟合M3时拟合得很好趋势也合理M9时误差为零完美穿过每一个训练点但曲线形状却剧烈震荡。我当时第一次看到这张图最深的感触是过拟合不是代码写错了导致的偶然事故而是模型容量增加后必然会出现的趋势——当假设空间足够大总能找到一个函数把所有训练样本记住。问题在于记忆不等于规律。真实数据总是带噪声的训练样本里的很多特征是抽样噪声带来的偶然模式复杂模型有能力把这些偶然模式也拟合进参数里结果一遇到新数据这些参数就变成了噪声放大器。4.2 正则化怎么起作用给参数戴上枷锁正则化在上一节已经提过但这里想补充一个操作层面的理解。L2正则是对参数向量的平方和做惩罚它倾向于让参数整体变小但不容易变成精确的0L1正则则会让不少参数变成0产生稀疏解所以在特征很多、希望自动筛选特征时特别好用。你可以把正则化理解为允许模型在拟合数据的同时必须付出复杂度税越复杂的参数组合税越重。实际调参时我一般先定模型结构再扫描λ。扫描时有一个常见误区用测试集来选λ。这样做会让测试集失去独立评估的意义因为你已经用测试集的信息指导了模型选择最后拿同一个测试集上报性能数字其实是作弊式反馈。正确的做法是再从训练集里切一个验证集出来选超参数或者直接走交叉验证。4.3 交叉验证在有限的样本里循环利用数据交叉验证解决的核心问题是数据量不够又想估算模型在陌生数据上的表现。书上介绍了三种方式简单交叉验证、S折交叉验证、留一交叉验证。我最常用的是S折交叉验证。做法是把数据集随机分成S份每次用S-1份训练、剩下1份验证轮流S次最后把S次验证误差平均。S取多少书上和业界惯例通常会折中S太小训练数据少偏差大S太大比如留一法每次只留一个样本做验证几乎用了全部数据训练偏差小但计算量随样本量线性上升。对中小规模数据集S5或10是比较经济的默认选择。需要注意分折时要尽量保持类别比例否则某一折里可能恰好没有某个类别验证指标就会失真。5. 泛化能力真正重要的是没见过的数据上的表现5.1 泛化误差上界的直觉样本量是有用的第一章后半部分讨论了泛化能力也就是模型对未知数据预测的能力。书中引入了泛化误差上界的概念在一定的概率保证下模型的泛化误差可以被限制在训练误差 一个与样本量、假设空间复杂度相关的项范围内。这个概念第一次读会觉得有些抽象但其实可以很通俗地理解。如果我们把假设空间看作一个巨大的候选池候选池越大我们越容易找到一个在训练集上表现很好、但实际上只是碰巧记住训练集模式的模型。换句话说你的搜索范围越大出现虚假好模型的概率就越高。为了让真实泛化风险不大要么增加样本量——让虚假模型露馅要么缩小假设空间——降低搜索范围。书中给出的泛化误差上界数学形式恰恰把这两个因素表达在同一个公式里上界会随着训练样本量N的增大而变小同时随假设空间容量d的增大而增大。这个结论给了我两个日常调参时可用的判断依据数据量够不够模型容量是不是超了。当测试集表现明显差于训练集时先看看其中一个方向是不是已经失衡。也可以从PAC学习的视角看这件事我们要求的只是一个概率保证——至少有1-δ的把握泛化误差小于某个ε。这个框架帮我理解了一个反直觉的事实就算训练误差很小泛化误差也可能很大因为小训练误差可能只是运气好抽到了好样本而不是模型学到了真规律。5.2 分类、回归与标注三种任务不是三个名字概论章最后一部分把监督学习分成几类。分类是输出离散的类别回归是输出连续值标注是输出一个序列的标签。标注问题和分类问题容易混淆但本质上有差别标注不只是对单个样本打标签而是对输入序列的每个位置给出标记标记之间往往有依赖关系。后面学隐马尔可夫模型和条件随机场时就会明白标注问题的重点正是序列上下文里的联合推断而不能简单地用多个独立分类器来做。第一章里还带了监督学习里每个环节的说明数据怎么组织、学习系统怎么训练、评估怎么进行。这些内容第一遍看会觉得都是常识但我在做真实项目时最常补课的恰好就是这些常识。比如数据划分时如果直接偷看测试集后面所有评估数字都失真再比如训练集中各类别比例和真实场景不一致模型上线后准确率会变脸。概论章的很多枯燥列表其实是在帮你建立一套严谨的实验纪律。6. 把概论章变成自己的我的笔记方法、误区与扩展思考6.1 用一个三要素表格吃透后续每一章学完第一章之后我做了一个特别简单的笔记模板每学一个后续算法都用三要素这个框架把内容压缩成一张表格。下面是一个示意你可以自己在笔记里建一张类似的结构章节/算法模型假设空间策略损失/目标算法求解方式感知机分离超平面 w·x b 0误分类点到超平面距离之和最小化随机梯度下降k近邻训练样本附近的局部类别分布多数表决0-1损失下的最近邻规则距离计算 排序无显式训练参数朴素贝叶斯条件概率分布特征独立假设极大似然估计对数损失最小化先验 条件概率的计数估计决策树树状划分区域叶节点给出决策信息增益/基尼指数最小化递归特征选择与分裂SVM分离超平面间隔最大化合页损失 正则化结构风险凸二次规划 / SMO对偶求解逻辑回归P(YX) 的对数线性模型负对数似然最小化这张表对我最有价值的地方在于它逼着我用同一把尺子量所有算法。只要发现某个算法在其中一格是空着的或者描述得很含糊说明我还没看懂它。比如k近邻这个例子它其实是惰性学习没有显式训练参数策略就是k近邻多数表决如果你把它放进三要素框架里就会自然注意到这一点而不会老老实实跟其他算法一样走训练-预测的流程。6.2 几个常见的理解误区和避坑经验学完概论章之后我和几个同阶段学习的朋友交流发现有几个误区出现频率很高在这里一并排掉。第一个误区是把经验风险最小化当成训练集准确率最大化。严格说准确率对应的是0-1损失但它不可导实际训练用的多是它的平滑替代。所以你在训练时看到loss下降不代表准确率一定同步上升两者在优化目标上并不是同一件事。项目中我习惯同时盯着loss曲线和评估指标曲线避免只看一个。第二个误区是忽略模型、策略、算法中策略与算法的边界。很多人觉得我用梯度下降训练了一个模型是完整描述但梯度下降只是算法你需要说清楚模型是什么、目标函数是什么。如果你还没想清楚目标函数梯度下降就是在盲人摸象。第三个误区是用测试集反复调参而不自知。第一章里强调训练、验证、测试的划分逻辑但实际中你很容易一不留神就把验证集的信息带进了模型选择过程。我的经验是一旦做了任何基于测试集结果的调整那这个测试集就不能再作为公平第三方来出最终报告了。最稳妥的做法是数据充足时直接切出三份数据不足时用S折交叉验证选择模型最后只在保留的测试集上跑一次。6.3 概论章还能怎么向外延伸第一章提到的很多概念原书后续并没有展开全部数学细节但如果你想把地基打得再牢一点有两个方向值得顺手延伸。一个方向是去了解偏差-方差分解。训练误差小但泛化差到底是偏差造成的还是方差造成的偏差-方差权衡会告诉你模型太简单时偏差占主导欠拟合模型太复杂时方差占主导过拟合。正则化、交叉验证本质上都是在调这个平衡点。另一个方向是PAC学习的数学化表达。书里给了泛化误差上界的结论如果你能完整看一遍它的推导过程——用Hoeffding不等式处理样本误差和期望误差之间的偏差——你对样本量、模型复杂度、置信度三角关系的理解会彻底不一样。我自己在第一遍读概论章时其实没读懂泛化误差上界那一段跳过之后后面也没遇到明显的障碍。但当我第二遍开始补理论想去理解为什么深度学习也能有泛化保证时才发现自己欠下的债都是第一章埋下的。这也是我把这篇笔记写得这么细的原因概论章不是一座需要快速跨越的桥而是整座房子的地基。最后说说我在实践中对第一章整体方法论的感受。如果你暂时看不懂第一部分统计学习三要素之前的抽象描述完全可以先往下学学到感知机或者朴素贝叶斯再回头。但有三样东西我建议无论如何都要在第一遍时捞出来带走第一每个算法都能拆成模型、策略、算法三个问题第二训练误差低不等于泛化能力好第三交叉验证和正则化是模型选择的两个基本武器。把这三点烙印在脑子里哪怕后面的数学推导暂时跟不上你也已经在用统计学习的思维方式思考问题了。