凌晨两点的自习室里我对着《深度学习》教材的目录发呆。还有三天考试老师划的重点里赫然写着简答题若干可整本书都是知识点到底哪几个概念会被拎出来考我把过去三届的期末真题、课堂提问和实验课报告翻了个遍又对着热搜词里的高频考点一个个对照整理出这份按考频排序的简答题攻略。不吹不黑我最后靠着这份清单把课程从挂科边缘拉到了85分。分享出来给同样被HBU深度学习期末折磨的你。1. 这门课的考试重点其实就这几块先说结论HBU的深度学习简答题无论题目怎么换皮核心考点永远逃不出四个模块——基础概念辨析、CNN结构与原理、反向传播与优化、过拟合与正则化。我把近三年的考题统计了一下这四个模块加起来占了简答题分值的90%以上。很多人复习时喜欢从第一章开始逐页背结果背到第三章的激活函数就把前面的BP算法忘干净了。正确的策略是倒着复习先抓住反复出现的核心概念再回头补充细节。老师出简答题的目的从来不是考你背书有多熟而是考察你有没有真正理解这个模型为什么要这样设计。考场上的简答题有个规律越是看似简单的基础概念越容易被追问为什么。比如什么是卷积神经网络几乎年年考但如果只答一种包含卷积层的神经网络3分题顶多给你1分。正确答案必须包含卷积操作的本质、权值共享和局部连接这两个核心思想、以及它解决了什么问题这三个层次。另外提醒一下HBU的简答题通常分布在卷面第二到第四大题每题5到8分答案字数一般要求150到300字。太短拿不全分太长浪费时间。结构上必须分点作答老师按点给分①②③式的答题格式比一大段话占便宜得多。2. 概念辨析题型最容易拿分也最容易丢分2.1 什么是深度学习与传统机器学习的区别在哪里这是全课最基础的问题也是所有学校都爱考的第一题。标准答法分三部分定义、核心驱动力、与传统方法的区别。深度学习是一类基于多层神经网络的学习方法通过堆叠多个隐藏层自动从原始数据中逐层提取特征从底层边缘特征到高层语义特征最终完成分类或回归任务。它的核心优势是不需要人工设计特征特征提取环节由网络自己完成。传统机器学习则需要专业人员手工设计特征比如SIFT、HOG特征的好坏直接决定模型上限而深度学习将特征工程变成了网络架构设计。三个关键区别必须写全特征提取方式不同人工 vs 自动、对数据量的要求不同传统方法少量数据可用深度学习大数据量才能发挥优势、模型表达能力不同深层网络拟合复杂函数的能力远超浅层模型。最后补一句深度学习的深度指隐藏层数量多而非算法上的深奥。2.2 什么是神经网络中的神经元画出结构并说明计算过程有的年份这道题会升级为感知机与神经元的关系但核心计算逻辑不变。一个神经元接受多个输入信号每个输入乘以对应的权重加上偏置项再送入激活函数做非线性变换后输出。公式是 y f(w1x1 w2x2 ... wnxn b)。答题时必须强调两点权重w是网络需要学习的参数激活函数f是引入非线性的关键。如果没有激活函数无论网络叠多少层都等价于一个线性变换那深度学习就毫无意义了。可以对比说明感知机用的是阶跃函数输出非0即1而现代神经元用ReLU、Sigmoid等连续可导函数这是为了能用梯度下降训练。HBU的老师还喜欢加一问神经元个数怎么确定答案是没有固定公式一般从64、128、256这些常见取值做起根据过拟合和欠拟合情况调整。这一问属于开放题答出经验值实验验证的逻辑就能拿分。2.3 激活函数总结Sigmoid、Tanh、ReLU的优缺点对比这道题几乎是必考题而且经常给你一个具体场景问该选哪个激活函数。我的记忆方法是画一张对比表函数公式优点缺点适用场景Sigmoid1/(1e^(-x))输出范围(0,1)可解释为概率饱和区梯度近似0易梯度消失输出非零中心收敛慢二分类输出层Tanh(e^x-e^(-x))/(e^xe^(-x))输出范围(-1,1)零中心仍存在饱和区梯度消失问题全连接隐藏层早期ReLUmax(0,x)计算简单正区间梯度恒为1收敛快负区间梯度为0神经元可能死亡卷积层和隐藏层首选答题的最后一定不能忘了ReLU是当前默认选择以及变体LeakyReLU可以缓解神经元死亡这两句补充。这里有个高频追问为什么ReLU在x0时梯度为0还能用因为实际训练中每个神经元接收的输入分布不同一部分负值神经元死掉反而让网络更稀疏计算更快只要不是全部死亡就不影响整体效果。2.4 什么是损失函数常见的损失函数有哪些这个考点经常和你训练模型时用的损失函数是什么结合在一起。基本定义损失函数是衡量模型预测值与真实值之间差异的函数训练过程就是不断最小化损失函数。常见的必须会写四个均方误差MSE常用于回归任务对异常点敏感因为差值平方会放大大的误差。交叉熵损失常用于分类任务配合Softmax使用。注意回答时说明为什么分类不用MSE——MSE对概率输出求梯度时含有的Sigmoid导数项容易导致梯度消失而交叉熵和Softmax的组合梯度形式干净收敛更快。Hinge损失用于SVM和最大间隔分类。自定义损失根据业务需求设计比如目标检测里结合分类和回归的复合损失。补充一个加分点训练过程中监测的指标准确率、F1等和损失函数不完全是一回事损失函数是可微的、用来做梯度下降的而指标是用来评估模型最终效果的两者可以不一致。3. CNN专题结构题和原理题占简答题半壁江山3.1 卷积神经网络的基本结构及各层作用CNN的标准结构流程是输入层 → [卷积层 → 激活函数 → 池化层]*N → 全连接层 → Softmax输出层。每层的作用要写得准确这是基础分卷积层用卷积核在输入上滑动做加权求和提取局部特征。关键性质是权值共享同一个卷积核扫遍全图和局部连接每个输出只和输入的局部区域相关这大大减少了参数量。激活层引入非线性。池化层下采样降低特征图尺寸减少计算量同时提取局部区域内最显著的特征最大池化取最大值平均池化取均值。全连接层把卷积池化提取到的高层特征展开经过若干全连接层做分类或回归。Softmax层把输出转为概率分布多分类任务标配。答结构题时最好带一句靠前面的层提取边缘、纹理等低级特征靠后面的层提取物体部件、整体语义等高级特征这会让老师觉得你对CNN有整体理解。3.2 为什么卷积核尺寸通常选择3x3或5x5而不是大尺寸这是近年来越来越爱考的原理题因为HBU的课后作业里有一道VGG相关的分析题。核心逻辑围绕感受野和参数量的权衡展开。两个3x3卷积堆叠的感受野等于一个5x5卷积三个3x3堆叠相当于一个7x7卷积但参数量却只有后者的约一半假设输入输出通道相同时3×3×C×C×3 7×7×C×C。同时更多层的堆叠意味着中间层多了非线性激活函数模型的表达能力反而更强。所以现代网络普遍用小卷积核加深网络而不是大卷积核加浅网络。还要提到1x1卷积的作用改变通道数以实现特征降维或升维实现跨通道的信息融合同时几乎不增加参数量。这个点如果题目问的是1x1卷积有什么用就是标准答案。3.3 什么是感受野如何计算感受野的定义是输出特征图上一个像素点对应输入图像上的区域大小。直觉理解就是这个神经元在看原图的哪一块。计算公式从后往前递推对于第k层输出其感受野大小RF_k RF_{k-1} (kernel_size_k - 1) × stride_1 × stride_2 × ... × stride_{k-1}其中stride是指之前所有层的步长乘积。实际考试经常给一个三层小网络让你算最后一层的感受野。这种题分值不高但属于计算简答题必须动手算一遍。一个容易错的点空洞卷积Dilated Convolution会增大感受野但不增加参数量原理是在卷积核元素之间插入空洞。这个属于中档提分内容写出来能和其他人拉开差距。3.4 经典网络结构简答LeNet、AlexNet、VGG、ResNetHBU的简答题一般不会让你默写网络的全部层数而是考某个网络的核心创新点是什么。我把高频问题整理成了四个方向LeNet-5第一个成功应用的CNN用于手写数字识别确立了卷积池化全连接的基本范式。AlexNet深度学习引爆点首次在ImageNet上大幅超越传统方法。创新点ReLU激活加速收敛、Dropout防过拟合、最大池化、GPU并行训练、数据增强。VGG证明小卷积核加深网络有效结构规整全部3x3卷积2x2池化通用性强常做迁移学习的骨干网络。ResNet解决深层网络退化问题不是过拟合而是随着深度增加准确率饱和甚至下降提出的残差学习框架。核心思想是让网络去拟合残差F(x)H(x)-x当恒等映射是最优时网络只需把残差学成0比直接学习恒等映射更容易。用跳跃连接Shortcut Connection实现。关于ResNet还要多背一句残差结构让梯度可以跨层传播缓解了深层网络的梯度消失问题所以ResNet能训练几十层甚至上千层。4. 反向传播与优化算法计算推导题的重点区域4.1 简述反向传播算法的基本原理反向传播是深度学习训练的核心机制这个题年年考。答题要按前向传播反向传播两条线组织前向传播输入数据经过各层线性变换和激活函数逐层计算得到输出与真实标签算出损失值。反向传播利用链式法则从输出层开始向后逐层计算损失函数对各层权重和偏置的梯度。核心是求每一层的误差项δ然后通过δ快速求出权重梯度∂L/∂w。从数学上看如果直接对每个权重分别计算梯度计算量爆炸反向传播通过复用中间结果把复杂度从O(W²)降到O(W)。完整答案的最后要提一句得到梯度后用梯度下降法更新参数 w w - η∂L/∂w不断迭代直到收敛。反向传播是算法梯度下降是优化策略这组概念辨析写上去也加分。4.2 梯度消失与梯度爆炸原因、后果、解决方案这道题的难度在于不能只背答案得理解背后的数学机制。我当时的理解是反向传播时梯度是逐层相乘的。如果网络很深且每层的梯度范数都小于1多层相乘后梯度会指数级衰减到接近于0远离输出层的权重几乎得不到更新——这就是梯度消失。反之如果每层梯度范数都大于1梯度会指数级爆炸。原因通常有三个使用了饱和激活函数Sigmoid/Tanh导数最大只有0.25和1、网络层数过深、权重初始化不当。解决方案要分点写全改用ReLU等非饱和激活函数正区间梯度恒为1梯度能顺利回传。合理的权重初始化如Xavier初始化配合Tanh和He初始化配合ReLU让每层输出的方差保持稳定。批归一化Batch Normalization把每层输入拉回到标准正态分布附近避免陷入饱和区。残差连接ResNet为梯度提供高速公路。梯度裁剪Gradient Clipping直接限制梯度范围专门对付梯度爆炸。使用LSTM等带门控机制的结构针对RNN场景。4.3 什么是Epoch、Batch、Iteration三者有什么区别这个热搜词出现频率极高说明很多人在这个基础概念上栽过。区分清楚是一劳永逸的事Epoch整个训练集完整过一遍网络。比如数据集有10000张图一个Epoch就是把这10000张图全部前向反向一次。BatchBatch Size每次迭代喂给网络的样本数量。Batch Size等于10000时就是全量梯度下降Batch Gradient Descent等于1时就是随机梯度下降SGD介于之间是Mini-batch梯度下降也是实际中最常用的。Iteration迭代次数一个Epoch内参数更新的次数等于训练样本总数除以Batch Size。举个具体例子有10000张训练图Batch Size设为100那么一个Epoch有100个Iteration参数更新100次。通常训练说训练50个Epoch意思是把整个数据集重复喂给网络50遍。为什么不用全量梯度下降因为数据集太大时一次性计算所有样本梯度的代价太高而且全量梯度是确定性的容易陷入局部最优。Mini-batch的随机性反而有助于跳出鞍点配合合适的学习率通常收敛更快。4.4 学习率的影响及常见优化器对比这道题有两问第一问回答学习率的影响相对简单学习率过大参数更新幅度大损失函数震荡甚至发散学习率过小收敛速度极慢还可能困在局部最优。实际训练常用学习率预热余弦退火等策略但这部分展开讲可能超纲简答题写清影响即可。第二问对比优化器是拉分关键。我建议用核心思想一句话优缺点的方式记SGD随机梯度下降每次用一个小批量样本估计梯度计算快但震荡大、容易卡在鞍点。Momentum动量法在SGD基础上引入动量项让参数更新方向是历史梯度方向的指数加权平均加速收敛并减少震荡。直观理解小球滚下山坡时具有惯性不会因局部小坑就停下。AdaGrad根据参数历史梯度的平方和自动调整学习率对频繁更新的参数减小学习率对稀疏参数增大学习率。缺点是历史梯度平方和单调增大学习率会衰减到0。RMSProp用指数加权移动平均替代历史梯度平方和解决了AdaGrad学习率单调衰减的问题。AdamMomentum和RMSProp的结合同时考虑梯度的一阶矩动量和二阶矩梯度平方的移动平均是目前默认使用的优化器。它自适应调整每个参数的学习率训练速度快且稳定。最后补一句Adam不是万能的有些任务特别是需要精细调学习率的CV任务SGDMomentum效果反而更稳遇到具体问题还是要做实验对比。5. 过拟合与正则化理论题的必考阵地5.1 什么是过拟合和欠拟合如何判断和解决过拟合的定义必须一字不差模型在训练集上表现很好但在验证集/测试集上表现差说明模型把训练数据中的噪声也学到了泛化能力差。欠拟合相反模型连训练集都拟合不好损失值降不下去。判断方法看训练集和验证集的损失曲线训练损失低、验证损失高是过拟合两边损失都高是欠拟合。这里有个经验值如果训练损失持续下降但验证损失在某个Epoch后开始反弹说明从那个点开始过拟合可以据此选择早停Early Stopping的时机。解决过拟合的手段要分六大类答每类写一两句数据层面数据增强翻转、裁剪、加噪声、收集更多数据。模型层面降低模型容量减少层数或神经元数、权重衰减正则化。训练策略早停、Dropout。结构设计Batch Normalization有轻微正则化效果。集成方法多次训练取平均。迁移学习用预训练模型在小数据集上微调。解决欠拟合就反向操作增加模型复杂度、训练更长时间、降低正则化强度、检查特征工程和数据清洗是否有问题。5.2 L1与L2正则化的区别为什么L1能产生稀疏解这个题在热搜词机器学习数学理论:泛化误差界里也有体现属于理论基础类简答题。L2正则化权重衰减是在损失函数上加权重的平方和项L1正则化加的是绝对值之和。目标都是在最小化原始损失的同时让权重尽量小。为什么L1产生稀疏解这是需要画图解释的点。用等高线图理解最直观原始损失函数的等值线是椭圆L1约束是个菱形在二维情况下顶点在坐标轴上L2约束是个圆。最优点取在等值线和约束区域相切的位置菱形容易和椭圆相切在顶点上顶点处某个权重为0圆形边界光滑相切点大概率不在坐标轴上所以权重只是变小而非变为0。更通俗的理解L1对接近0的权重的惩罚是线性增加的而L2对接近0的权重的惩罚是平方增加的。当权重在0附近时L1比L2的梯度更大更容易把权重推到0。答题的最后一分要落在意义上稀疏解实现了特征选择让模型自动去掉不重要的特征提高可解释性同时参数少了也更不容易过拟合。L2无法删除特征只能让权重变小且均匀化。5.3 Dropout的原理和为什么有效Dropout在训练时按一定概率一般0.2到0.5随机丢弃部分神经元及其连接让网络不再依赖某些特定神经元相当于训练了很多个子网络的集成ensemble测试时使用完整的网络但权重乘以保留概率。解释为什么有效要落到集成学习和减轻神经元共适应上每个Batch训练的随机丢弃方案都不同相当于每次训练了一个不同的瘦身版网络最后使用时是所有子网络的投票结果这和随机森林靠多棵树投票提升泛化能力是一个道理。同时Dropout迫使网络学到更鲁棒的特征某些特征丢失了其他特征也能顶上。注意简答题要写清楚训练阶段和测试阶段的区别这是老师最爱挖的细节测试阶段没有随机丢弃而是使用了完整的网络结构且需要按保留概率缩放权重Inverted Dropout实现。5.4 什么是Batch Normalization它解决了什么问题Batch Normalization批归一化对每一层通常放在线性变换之后、激活函数之前的输入做归一化使其均值接近0、方差接近1然后用两个可学习参数做缩放和平移恢复必要的表达能力。解决的问题按顺序写缓解内部协变量偏移每层输入分布更稳定训练更顺畅。允许使用更大的学习率收敛速度更快。降低对权重初始化的敏感程度。有轻微正则化效果有时可以替代Dropout因为每个Batch的统计量不同给网络带来了一点噪声。训练阶段用当前Batch的均值和方差测试阶段用训练阶段积累的全局统计量这个区别也建议写上。5.5 偏差与方差的区别以及它们和过拟合欠拟合的对应关系这道题属于机器学习数学理论考点在深度学习简答题里的投射。偏差Bias是模型预测值的期望与真实值的差距衡量的是模型本身的拟合能力方差Variance是不同训练集上模型预测值的波动程度衡量的是模型对数据扰动的敏感程度。简单记高偏差欠拟合模型太简单压根学不动高方差过拟合模型太灵活换一批数据结果就差很多。训练中有一个偏差-方差权衡Bias-Variance Tradeoff——模型越复杂偏差越低但方差越高越简单方差越低但偏差越高。深度学习的正则化本质上就是在控制方差的同时尽量不牺牲偏差。如果题目要求说明泛化误差界可以把泛化误差分解为偏差方差噪声三部分噪声是数据本身带来的、不可约减。这个说法在热搜词里出现频率高建议背熟。6. 简答题的三个急救模板背下来直接套用复习到最后我总结出了三个通用答题模板任何一道简答题往里填内容就行。这些模板帮我解决了一看题目会一写就卡壳的问题。模板一概念公式意义三段式。适用于任何定义类题目比如什么是X。第一段用一两句话说出X的核心定义第二段写出X的数学表达式或结构图的关键步骤第三段阐述X在深度学习中的角色/解决了什么问题。三段加起来大约200字。模板二原理为什么这么做的好处逻辑链。适用于为什么要用X或X有什么优点这类题目。先说原理X是怎么运作的再说为什么这个原理能起作用对比没有X的情况最后说实际带来的好处。比如Dropout题原理是随机丢弃神经元→为什么有效因为相当于集成学习和减少共适应→好处是减轻过拟合提升泛化能力。模板三是什么→怎么用→注意事项实操式。适用于怎么选/怎么做类题目。比如选择优化器是什么各优化器的核心机制和区别→怎么用在什么场景用哪种优化器→注意事项Adam在小数据集上可能不如SGDMomentum稳等。我当时的做法是每道整理出来的高频考点先自己在空白纸上按模板写一遍答案卡时间再对照标准答案逐条核对漏了哪几个得分点。HBU的简答题评分是按点给分的多写一个采分点就是多一分。7. 考前一周的复习节奏把精力花在刀刃上如果你现在只有一周时间我的建议是分三阶段突击前三天按本文的章节顺序过一遍高频考点每道题动手写一遍答案不要只在脑子里过。写的重要性远超你想象因为考试时手写的速度比打字慢平时不练考场上会发现自己笔速跟不上思维。写得潦草没关系要点清晰就行。第四、五天集中做两件事拿前两年的真题找学长学姐要计时模拟一次完整答卷严格控制简答题每题15分钟内完成然后对照教材把真题参考答案里出现但你没背到的知识点补充进自己的笔记。最后两天回归基础重新过一遍什么是XX这类基础题这些题分值不高但稳定性最高背了就有分。CNN结构和反向传播这类大热点如果还没吃透就优先背本文第3章和第4章的内容其他冷门考点比如生成对抗网络GAN或者Transformer的细节HBU历年考得少可以战略性放弃不必贪多求全。我最后放一道自测题你能在两分钟内在脑海中把答案组织成三段式什么是反向传播为什么深层网络需要它它与梯度下降是什么关系如果能清晰答出来说明基础概念这一关你过了如果有点含糊再回看第4章。祝考试顺利。 
长河君 · 2026/9/29 4:49:12 · 阅读 1.2k 深度学习期末简答题高频考点梳理：从CNN到反向传播的复习攻略
凌晨两点的自习室里我对着《深度学习》教材的目录发呆。还有三天考试老师划的重点里赫然写着简答题若干可整本书都是知识点到底哪几个概念会被拎出来考我把过去三届的期末真题、课堂提问和实验课报告翻了个遍又对着热搜词里的高频考点一个个对照整理出这份按考频排序的简答题攻略。不吹不黑我最后靠着这份清单把课程从挂科边缘拉到了85分。分享出来给同样被HBU深度学习期末折磨的你。1. 这门课的考试重点其实就这几块先说结论HBU的深度学习简答题无论题目怎么换皮核心考点永远逃不出四个模块——基础概念辨析、CNN结构与原理、反向传播与优化、过拟合与正则化。我把近三年的考题统计了一下这四个模块加起来占了简答题分值的90%以上。很多人复习时喜欢从第一章开始逐页背结果背到第三章的激活函数就把前面的BP算法忘干净了。正确的策略是倒着复习先抓住反复出现的核心概念再回头补充细节。老师出简答题的目的从来不是考你背书有多熟而是考察你有没有真正理解这个模型为什么要这样设计。考场上的简答题有个规律越是看似简单的基础概念越容易被追问为什么。比如什么是卷积神经网络几乎年年考但如果只答一种包含卷积层的神经网络3分题顶多给你1分。正确答案必须包含卷积操作的本质、权值共享和局部连接这两个核心思想、以及它解决了什么问题这三个层次。另外提醒一下HBU的简答题通常分布在卷面第二到第四大题每题5到8分答案字数一般要求150到300字。太短拿不全分太长浪费时间。结构上必须分点作答老师按点给分①②③式的答题格式比一大段话占便宜得多。2. 概念辨析题型最容易拿分也最容易丢分2.1 什么是深度学习与传统机器学习的区别在哪里这是全课最基础的问题也是所有学校都爱考的第一题。标准答法分三部分定义、核心驱动力、与传统方法的区别。深度学习是一类基于多层神经网络的学习方法通过堆叠多个隐藏层自动从原始数据中逐层提取特征从底层边缘特征到高层语义特征最终完成分类或回归任务。它的核心优势是不需要人工设计特征特征提取环节由网络自己完成。传统机器学习则需要专业人员手工设计特征比如SIFT、HOG特征的好坏直接决定模型上限而深度学习将特征工程变成了网络架构设计。三个关键区别必须写全特征提取方式不同人工 vs 自动、对数据量的要求不同传统方法少量数据可用深度学习大数据量才能发挥优势、模型表达能力不同深层网络拟合复杂函数的能力远超浅层模型。最后补一句深度学习的深度指隐藏层数量多而非算法上的深奥。2.2 什么是神经网络中的神经元画出结构并说明计算过程有的年份这道题会升级为感知机与神经元的关系但核心计算逻辑不变。一个神经元接受多个输入信号每个输入乘以对应的权重加上偏置项再送入激活函数做非线性变换后输出。公式是 y f(w1x1 w2x2 ... wnxn b)。答题时必须强调两点权重w是网络需要学习的参数激活函数f是引入非线性的关键。如果没有激活函数无论网络叠多少层都等价于一个线性变换那深度学习就毫无意义了。可以对比说明感知机用的是阶跃函数输出非0即1而现代神经元用ReLU、Sigmoid等连续可导函数这是为了能用梯度下降训练。HBU的老师还喜欢加一问神经元个数怎么确定答案是没有固定公式一般从64、128、256这些常见取值做起根据过拟合和欠拟合情况调整。这一问属于开放题答出经验值实验验证的逻辑就能拿分。2.3 激活函数总结Sigmoid、Tanh、ReLU的优缺点对比这道题几乎是必考题而且经常给你一个具体场景问该选哪个激活函数。我的记忆方法是画一张对比表函数公式优点缺点适用场景Sigmoid1/(1e^(-x))输出范围(0,1)可解释为概率饱和区梯度近似0易梯度消失输出非零中心收敛慢二分类输出层Tanh(e^x-e^(-x))/(e^xe^(-x))输出范围(-1,1)零中心仍存在饱和区梯度消失问题全连接隐藏层早期ReLUmax(0,x)计算简单正区间梯度恒为1收敛快负区间梯度为0神经元可能死亡卷积层和隐藏层首选答题的最后一定不能忘了ReLU是当前默认选择以及变体LeakyReLU可以缓解神经元死亡这两句补充。这里有个高频追问为什么ReLU在x0时梯度为0还能用因为实际训练中每个神经元接收的输入分布不同一部分负值神经元死掉反而让网络更稀疏计算更快只要不是全部死亡就不影响整体效果。2.4 什么是损失函数常见的损失函数有哪些这个考点经常和你训练模型时用的损失函数是什么结合在一起。基本定义损失函数是衡量模型预测值与真实值之间差异的函数训练过程就是不断最小化损失函数。常见的必须会写四个均方误差MSE常用于回归任务对异常点敏感因为差值平方会放大大的误差。交叉熵损失常用于分类任务配合Softmax使用。注意回答时说明为什么分类不用MSE——MSE对概率输出求梯度时含有的Sigmoid导数项容易导致梯度消失而交叉熵和Softmax的组合梯度形式干净收敛更快。Hinge损失用于SVM和最大间隔分类。自定义损失根据业务需求设计比如目标检测里结合分类和回归的复合损失。补充一个加分点训练过程中监测的指标准确率、F1等和损失函数不完全是一回事损失函数是可微的、用来做梯度下降的而指标是用来评估模型最终效果的两者可以不一致。3. CNN专题结构题和原理题占简答题半壁江山3.1 卷积神经网络的基本结构及各层作用CNN的标准结构流程是输入层 → [卷积层 → 激活函数 → 池化层]*N → 全连接层 → Softmax输出层。每层的作用要写得准确这是基础分卷积层用卷积核在输入上滑动做加权求和提取局部特征。关键性质是权值共享同一个卷积核扫遍全图和局部连接每个输出只和输入的局部区域相关这大大减少了参数量。激活层引入非线性。池化层下采样降低特征图尺寸减少计算量同时提取局部区域内最显著的特征最大池化取最大值平均池化取均值。全连接层把卷积池化提取到的高层特征展开经过若干全连接层做分类或回归。Softmax层把输出转为概率分布多分类任务标配。答结构题时最好带一句靠前面的层提取边缘、纹理等低级特征靠后面的层提取物体部件、整体语义等高级特征这会让老师觉得你对CNN有整体理解。3.2 为什么卷积核尺寸通常选择3x3或5x5而不是大尺寸这是近年来越来越爱考的原理题因为HBU的课后作业里有一道VGG相关的分析题。核心逻辑围绕感受野和参数量的权衡展开。两个3x3卷积堆叠的感受野等于一个5x5卷积三个3x3堆叠相当于一个7x7卷积但参数量却只有后者的约一半假设输入输出通道相同时3×3×C×C×3 7×7×C×C。同时更多层的堆叠意味着中间层多了非线性激活函数模型的表达能力反而更强。所以现代网络普遍用小卷积核加深网络而不是大卷积核加浅网络。还要提到1x1卷积的作用改变通道数以实现特征降维或升维实现跨通道的信息融合同时几乎不增加参数量。这个点如果题目问的是1x1卷积有什么用就是标准答案。3.3 什么是感受野如何计算感受野的定义是输出特征图上一个像素点对应输入图像上的区域大小。直觉理解就是这个神经元在看原图的哪一块。计算公式从后往前递推对于第k层输出其感受野大小RF_k RF_{k-1} (kernel_size_k - 1) × stride_1 × stride_2 × ... × stride_{k-1}其中stride是指之前所有层的步长乘积。实际考试经常给一个三层小网络让你算最后一层的感受野。这种题分值不高但属于计算简答题必须动手算一遍。一个容易错的点空洞卷积Dilated Convolution会增大感受野但不增加参数量原理是在卷积核元素之间插入空洞。这个属于中档提分内容写出来能和其他人拉开差距。3.4 经典网络结构简答LeNet、AlexNet、VGG、ResNetHBU的简答题一般不会让你默写网络的全部层数而是考某个网络的核心创新点是什么。我把高频问题整理成了四个方向LeNet-5第一个成功应用的CNN用于手写数字识别确立了卷积池化全连接的基本范式。AlexNet深度学习引爆点首次在ImageNet上大幅超越传统方法。创新点ReLU激活加速收敛、Dropout防过拟合、最大池化、GPU并行训练、数据增强。VGG证明小卷积核加深网络有效结构规整全部3x3卷积2x2池化通用性强常做迁移学习的骨干网络。ResNet解决深层网络退化问题不是过拟合而是随着深度增加准确率饱和甚至下降提出的残差学习框架。核心思想是让网络去拟合残差F(x)H(x)-x当恒等映射是最优时网络只需把残差学成0比直接学习恒等映射更容易。用跳跃连接Shortcut Connection实现。关于ResNet还要多背一句残差结构让梯度可以跨层传播缓解了深层网络的梯度消失问题所以ResNet能训练几十层甚至上千层。4. 反向传播与优化算法计算推导题的重点区域4.1 简述反向传播算法的基本原理反向传播是深度学习训练的核心机制这个题年年考。答题要按前向传播反向传播两条线组织前向传播输入数据经过各层线性变换和激活函数逐层计算得到输出与真实标签算出损失值。反向传播利用链式法则从输出层开始向后逐层计算损失函数对各层权重和偏置的梯度。核心是求每一层的误差项δ然后通过δ快速求出权重梯度∂L/∂w。从数学上看如果直接对每个权重分别计算梯度计算量爆炸反向传播通过复用中间结果把复杂度从O(W²)降到O(W)。完整答案的最后要提一句得到梯度后用梯度下降法更新参数 w w - η∂L/∂w不断迭代直到收敛。反向传播是算法梯度下降是优化策略这组概念辨析写上去也加分。4.2 梯度消失与梯度爆炸原因、后果、解决方案这道题的难度在于不能只背答案得理解背后的数学机制。我当时的理解是反向传播时梯度是逐层相乘的。如果网络很深且每层的梯度范数都小于1多层相乘后梯度会指数级衰减到接近于0远离输出层的权重几乎得不到更新——这就是梯度消失。反之如果每层梯度范数都大于1梯度会指数级爆炸。原因通常有三个使用了饱和激活函数Sigmoid/Tanh导数最大只有0.25和1、网络层数过深、权重初始化不当。解决方案要分点写全改用ReLU等非饱和激活函数正区间梯度恒为1梯度能顺利回传。合理的权重初始化如Xavier初始化配合Tanh和He初始化配合ReLU让每层输出的方差保持稳定。批归一化Batch Normalization把每层输入拉回到标准正态分布附近避免陷入饱和区。残差连接ResNet为梯度提供高速公路。梯度裁剪Gradient Clipping直接限制梯度范围专门对付梯度爆炸。使用LSTM等带门控机制的结构针对RNN场景。4.3 什么是Epoch、Batch、Iteration三者有什么区别这个热搜词出现频率极高说明很多人在这个基础概念上栽过。区分清楚是一劳永逸的事Epoch整个训练集完整过一遍网络。比如数据集有10000张图一个Epoch就是把这10000张图全部前向反向一次。BatchBatch Size每次迭代喂给网络的样本数量。Batch Size等于10000时就是全量梯度下降Batch Gradient Descent等于1时就是随机梯度下降SGD介于之间是Mini-batch梯度下降也是实际中最常用的。Iteration迭代次数一个Epoch内参数更新的次数等于训练样本总数除以Batch Size。举个具体例子有10000张训练图Batch Size设为100那么一个Epoch有100个Iteration参数更新100次。通常训练说训练50个Epoch意思是把整个数据集重复喂给网络50遍。为什么不用全量梯度下降因为数据集太大时一次性计算所有样本梯度的代价太高而且全量梯度是确定性的容易陷入局部最优。Mini-batch的随机性反而有助于跳出鞍点配合合适的学习率通常收敛更快。4.4 学习率的影响及常见优化器对比这道题有两问第一问回答学习率的影响相对简单学习率过大参数更新幅度大损失函数震荡甚至发散学习率过小收敛速度极慢还可能困在局部最优。实际训练常用学习率预热余弦退火等策略但这部分展开讲可能超纲简答题写清影响即可。第二问对比优化器是拉分关键。我建议用核心思想一句话优缺点的方式记SGD随机梯度下降每次用一个小批量样本估计梯度计算快但震荡大、容易卡在鞍点。Momentum动量法在SGD基础上引入动量项让参数更新方向是历史梯度方向的指数加权平均加速收敛并减少震荡。直观理解小球滚下山坡时具有惯性不会因局部小坑就停下。AdaGrad根据参数历史梯度的平方和自动调整学习率对频繁更新的参数减小学习率对稀疏参数增大学习率。缺点是历史梯度平方和单调增大学习率会衰减到0。RMSProp用指数加权移动平均替代历史梯度平方和解决了AdaGrad学习率单调衰减的问题。AdamMomentum和RMSProp的结合同时考虑梯度的一阶矩动量和二阶矩梯度平方的移动平均是目前默认使用的优化器。它自适应调整每个参数的学习率训练速度快且稳定。最后补一句Adam不是万能的有些任务特别是需要精细调学习率的CV任务SGDMomentum效果反而更稳遇到具体问题还是要做实验对比。5. 过拟合与正则化理论题的必考阵地5.1 什么是过拟合和欠拟合如何判断和解决过拟合的定义必须一字不差模型在训练集上表现很好但在验证集/测试集上表现差说明模型把训练数据中的噪声也学到了泛化能力差。欠拟合相反模型连训练集都拟合不好损失值降不下去。判断方法看训练集和验证集的损失曲线训练损失低、验证损失高是过拟合两边损失都高是欠拟合。这里有个经验值如果训练损失持续下降但验证损失在某个Epoch后开始反弹说明从那个点开始过拟合可以据此选择早停Early Stopping的时机。解决过拟合的手段要分六大类答每类写一两句数据层面数据增强翻转、裁剪、加噪声、收集更多数据。模型层面降低模型容量减少层数或神经元数、权重衰减正则化。训练策略早停、Dropout。结构设计Batch Normalization有轻微正则化效果。集成方法多次训练取平均。迁移学习用预训练模型在小数据集上微调。解决欠拟合就反向操作增加模型复杂度、训练更长时间、降低正则化强度、检查特征工程和数据清洗是否有问题。5.2 L1与L2正则化的区别为什么L1能产生稀疏解这个题在热搜词机器学习数学理论:泛化误差界里也有体现属于理论基础类简答题。L2正则化权重衰减是在损失函数上加权重的平方和项L1正则化加的是绝对值之和。目标都是在最小化原始损失的同时让权重尽量小。为什么L1产生稀疏解这是需要画图解释的点。用等高线图理解最直观原始损失函数的等值线是椭圆L1约束是个菱形在二维情况下顶点在坐标轴上L2约束是个圆。最优点取在等值线和约束区域相切的位置菱形容易和椭圆相切在顶点上顶点处某个权重为0圆形边界光滑相切点大概率不在坐标轴上所以权重只是变小而非变为0。更通俗的理解L1对接近0的权重的惩罚是线性增加的而L2对接近0的权重的惩罚是平方增加的。当权重在0附近时L1比L2的梯度更大更容易把权重推到0。答题的最后一分要落在意义上稀疏解实现了特征选择让模型自动去掉不重要的特征提高可解释性同时参数少了也更不容易过拟合。L2无法删除特征只能让权重变小且均匀化。5.3 Dropout的原理和为什么有效Dropout在训练时按一定概率一般0.2到0.5随机丢弃部分神经元及其连接让网络不再依赖某些特定神经元相当于训练了很多个子网络的集成ensemble测试时使用完整的网络但权重乘以保留概率。解释为什么有效要落到集成学习和减轻神经元共适应上每个Batch训练的随机丢弃方案都不同相当于每次训练了一个不同的瘦身版网络最后使用时是所有子网络的投票结果这和随机森林靠多棵树投票提升泛化能力是一个道理。同时Dropout迫使网络学到更鲁棒的特征某些特征丢失了其他特征也能顶上。注意简答题要写清楚训练阶段和测试阶段的区别这是老师最爱挖的细节测试阶段没有随机丢弃而是使用了完整的网络结构且需要按保留概率缩放权重Inverted Dropout实现。5.4 什么是Batch Normalization它解决了什么问题Batch Normalization批归一化对每一层通常放在线性变换之后、激活函数之前的输入做归一化使其均值接近0、方差接近1然后用两个可学习参数做缩放和平移恢复必要的表达能力。解决的问题按顺序写缓解内部协变量偏移每层输入分布更稳定训练更顺畅。允许使用更大的学习率收敛速度更快。降低对权重初始化的敏感程度。有轻微正则化效果有时可以替代Dropout因为每个Batch的统计量不同给网络带来了一点噪声。训练阶段用当前Batch的均值和方差测试阶段用训练阶段积累的全局统计量这个区别也建议写上。5.5 偏差与方差的区别以及它们和过拟合欠拟合的对应关系这道题属于机器学习数学理论考点在深度学习简答题里的投射。偏差Bias是模型预测值的期望与真实值的差距衡量的是模型本身的拟合能力方差Variance是不同训练集上模型预测值的波动程度衡量的是模型对数据扰动的敏感程度。简单记高偏差欠拟合模型太简单压根学不动高方差过拟合模型太灵活换一批数据结果就差很多。训练中有一个偏差-方差权衡Bias-Variance Tradeoff——模型越复杂偏差越低但方差越高越简单方差越低但偏差越高。深度学习的正则化本质上就是在控制方差的同时尽量不牺牲偏差。如果题目要求说明泛化误差界可以把泛化误差分解为偏差方差噪声三部分噪声是数据本身带来的、不可约减。这个说法在热搜词里出现频率高建议背熟。6. 简答题的三个急救模板背下来直接套用复习到最后我总结出了三个通用答题模板任何一道简答题往里填内容就行。这些模板帮我解决了一看题目会一写就卡壳的问题。模板一概念公式意义三段式。适用于任何定义类题目比如什么是X。第一段用一两句话说出X的核心定义第二段写出X的数学表达式或结构图的关键步骤第三段阐述X在深度学习中的角色/解决了什么问题。三段加起来大约200字。模板二原理为什么这么做的好处逻辑链。适用于为什么要用X或X有什么优点这类题目。先说原理X是怎么运作的再说为什么这个原理能起作用对比没有X的情况最后说实际带来的好处。比如Dropout题原理是随机丢弃神经元→为什么有效因为相当于集成学习和减少共适应→好处是减轻过拟合提升泛化能力。模板三是什么→怎么用→注意事项实操式。适用于怎么选/怎么做类题目。比如选择优化器是什么各优化器的核心机制和区别→怎么用在什么场景用哪种优化器→注意事项Adam在小数据集上可能不如SGDMomentum稳等。我当时的做法是每道整理出来的高频考点先自己在空白纸上按模板写一遍答案卡时间再对照标准答案逐条核对漏了哪几个得分点。HBU的简答题评分是按点给分的多写一个采分点就是多一分。7. 考前一周的复习节奏把精力花在刀刃上如果你现在只有一周时间我的建议是分三阶段突击前三天按本文的章节顺序过一遍高频考点每道题动手写一遍答案不要只在脑子里过。写的重要性远超你想象因为考试时手写的速度比打字慢平时不练考场上会发现自己笔速跟不上思维。写得潦草没关系要点清晰就行。第四、五天集中做两件事拿前两年的真题找学长学姐要计时模拟一次完整答卷严格控制简答题每题15分钟内完成然后对照教材把真题参考答案里出现但你没背到的知识点补充进自己的笔记。最后两天回归基础重新过一遍什么是XX这类基础题这些题分值不高但稳定性最高背了就有分。CNN结构和反向传播这类大热点如果还没吃透就优先背本文第3章和第4章的内容其他冷门考点比如生成对抗网络GAN或者Transformer的细节HBU历年考得少可以战略性放弃不必贪多求全。我最后放一道自测题你能在两分钟内在脑海中把答案组织成三段式什么是反向传播为什么深层网络需要它它与梯度下降是什么关系如果能清晰答出来说明基础概念这一关你过了如果有点含糊再回看第4章。祝考试顺利。