带读到第二十一篇其实是件挺微妙的事。CS231n这门课看视频的人很多真正能一讲一讲跟到收官阶段的少。我算是硬着头皮坚持下来的那批人但说实话前二十讲我一直在追这个网络长什么样、那个损失函数为什么这么设计直到这一阶段的内容出现我才意识到自己漏掉了一个关键维度从论文到能跑的模型中间隔着的不是天赋而是一大堆枯燥但绕不开的工程现实。这篇笔记记录的就是收官阶段课程里最让我受用的部分——课程团队在最后几节课里不再重点讲新的网络结构而是把视线转向了开源数据集、建模工具的工作方式以及一套可以被复制的模型落地流程。正因为如此这期笔记我会把重点放在怎么把模型真正跑起来这件事上而不是继续堆叠新的模型名词。1. 收官阶段的课从模型原理转向工程落地的分水岭CS231n的前半段注意力几乎都集中在网络结构、卷积层怎么堆、激活函数怎么选、反向传播怎么推导上。这是必要的因为不把误差传播和卷积的计算逻辑弄清楚后面看任何模型都会是雾里看花。可到了收官阶段你会发现课程讨论的重心悄悄变了不再问这个结构为什么有效而是开始反复处理一个问题给你一篇论文、一个数据集、一台电脑你怎么在有限时间内得到一个符合预期的实验结果这个转变非常关键。它意味着这门课对学习者的要求从看懂变成了做出来。我自己记笔记的方式也跟着变了。前期的笔记大量篇幅是结构图和公式推导恨不得把每一层都画出来。到了这个阶段笔记里反而多了很多检查项和流程图式的文字比如数据下好了吗标签文件路径对不对均值文件是不是从训练集算的在验证集上有没有做数据增强。这些内容听起来不高级但真正坐下来跑代码的时候每一行都是能救命的东西。第七期带读班里大家的学习背景差距很大。有搞过几年工程的也有从零开始看视频的。我观察到一个很有意思的现象工程经验多一些的同学进入这个阶段明显顺畅因为他们本来就很熟悉环境、数据、调试这套工作流而和我一样偏理论入门的往往会在配置环境、下载数据、对齐格式这些环节卡住一卡就是一下午进而开始怀疑自己是不是不适合学这个。其实不是不适合是没有人告诉你算法课的最后一公里本来就是工程课。这也是我为什么要专门把这一阶段的笔记单独整理成一篇。它不是新模型的讲解而是一套可以反复翻阅的落地操作手册。对正准备跟课的人来说这一篇的重要性不亚于前二十讲里任何一讲。2. 数据不是模型的配角常用公开数据集与预处理课程讲到这一阶段所有案例都离不开公开数据集。你去看任何一篇计算机视觉的论文实验部分一定有一张表列出在某个数据集上的准确率、召回率或均值精度。这些数字之所以能相互比较是因为大家都在同一批数据上测试。没有公开数据集论文里的指标就是自说自话。所以动手复现任何模型之前先要把数据集这门功课补齐。2.1 常用数据集的面貌与选择逻辑我在笔记里整理了一个对比表把课程中反复出现的几个数据集放在一起方便以后按任务类型快速选用数据集规模概览常见任务标签形式ImageNet约128万张训练图1000个类别图像分类、迁移学习类别索引如wnidCOCO约33万张图80个物体类别目标检测、实例分割、关键点多边形标注边界框类别PASCAL VOC约1万张图20个类别目标检测、分割边界框类别标注轻量Places场景类别数百类图量大场景分类、场景属性类别标签CIFAR-10/1006万张32x32小图基础分类实验单标签如果你的目标是快速验证一个模型结构是否合理CIFAR级别的小数据集是最合适的训练快、调试方便。而如果你的目标是感受真实图像分布、做迁移学习预训练那么ImageNet几乎是绕不开的基准。COCO和PASCAL VOC则属于检测与分割任务的标配。区别在于COCO对物体实例的标注更精细边界框和分割掩码都很讲究评测指标也更严格PASCAL VOC则轻巧很多适合第一轮跑通流程。2.2 预处理不是走流程是给网络翻译数据很多第一次跑完整流程的人最痛苦的往往不是模型代码而是数据怎么从一堆图片文件变成网络能吃进去的张量。这个环节我本科阶段整整吃过三天的苦头后来把步骤固定下来就好了。课程其实也隐含了这些步骤只是没有单独列成清单这里我把它补全统一尺寸不同数据集的原始图片尺寸差异巨大而绝大多数网络要求固定的输入尺寸。常见做法是缩放短边到目标尺寸后再中心裁剪或者直接变形到固定分辨率。变形会破坏宽高比中心裁剪则可能丢失边缘信息两者要按任务取舍。归一化图像像素的范围通常是0到255但网络训练时希望输入分布稳定。一般采用通道级均值相减和方差归一化让各通道的数值大致落在以0为中心的范围内。均值要从训练集统计不能随手拍脑袋估计。标签对齐很多分类数据集的标签不是连续整数ImageNet的类别就是一个字符串编号。你需要建一个映射文件把字符串编号映射成0到999的连续整数否则损失函数根本没法计算。数据划分严格区分训练集、验证集和测试集每个集合上的预处理可能存在差异尤其要注意验证集和测试集不能使用基于训练集统计的数据增强。我在这条清单旁边还批了四个字顺序不能乱。先处理数据再调网络不然出了问题你根本不知道是数据错了还是模型错了。这是我这段时间踩坑后最深刻的体会。3. Caffe的配置文件思维为什么定义网络可以比写出代码更清晰早年的深度学习框架caffe现在用的人不多了。但我在整理这一篇笔记时依然觉得把它单独拿出来写很有必要因为它的建模思路影响了一代框架的设计哲学而且在课程收官阶段的案例里频繁出现。caffe的网络不是靠到处写def forward来搭的而是用一个纯文本的配置文件定义每一层。这个文件以.prototxt结尾里面从上到下按顺序列出输入层、卷积层、池化层、全连接层和损失层。3.1 配置文件里的一层长什么样拿一个最朴素的卷积层举例我当时笔记里抄过这么一段示例layer { name: conv1 type: Convolution bottom: data top: conv1 convolution_param { num_output: 32 kernel_size: 5 stride: 1 pad: 0 } }这段配置的含义可以换成大白话这一层叫conv1它接收名为data的输入输出名为conv1的矩阵结果。这一层做的是卷积操作输出通道32个卷积核尺寸5乘5步长1不做边缘填充。用这种方式定义一个网络网络结构变成了一篇可以直接阅读的文本谁拿到这份配置谁就能还原出完全相同的模型。当时我看到这个设计的第一反应是这么朴素的办法为什么能流行那么久后来才明白它的好处不在于代码有多优雅而在于可读性和可复现性这两个词被发挥到了极致。论文里说我们用了5层卷积每层后面接ReLU落到配置文件里就是几十行直白的描述审稿人看起来不费力工程实现的人照着就能对齐。3.2 配置文件思维留下的遗产这也解释了为什么后来的框架虽然换了一套语法却依然保留了模型结构应该成为一种可分享的轻量描述这种思想。今天你用很多工具导出的模型结构文件某种程度上就是当年的配置文件换了件衣服。当然caffe在使用中也暴露了一些痛点比如动态控制流程很别扭、改损失函数要写额外的代码、调试时打印中间变量不如脚本语言方便。后来出现的基于动态图思想的框架正是在这些地方做了革命性的改进把编模型又变回了写代码同时保留了结构清晰、易分享的优点。读这一部分的时候不要抱着学老框架的心态去背命令而是要理解工具迭代的内在逻辑每一种设计都在灵活和规整之间做取舍没有绝对的最优解。我个人的体会是如果你只是为了跑通课程里的实验完全可以跳过老框架的技术细节但如果你以后打算长期做模型落地花半小时读一读配置文件的范例会对网络结构到底由哪些部件组成建立起更踏实的感知。4. 完整复现一个模型的现场流程读论文、写配置、盯损失课程这个阶段最务实的地方在于它把复现论文这件事拆成了可执行的步骤。我把它简称为三步法读、写、盯。4.1 第一步把论文读成三句话很多人拿到论文习惯从第一页细读到最后一页这当然没有错。但要复现模型的时候不需要一开始就陷进所有细节。当时课上给出的建议是读到能回答三个问题为止输入是什么尺寸多少、通道数多少、有没有额外预处理中间经过怎样的变换哪几个模块是网络的骨架输出是什么用什么损失函数、用什么指标评价结果这三个问题回答完你对一个模型的理解框架就搭起来了。剩下那些为什么这里用3乘3而不是5乘5的讨论可以在跑通之后再回头细读。先建立骨架再填充血和肉效率会高很多。这里有一个很重要的心态调整复现不是逐行背代码而是用代码表达你对论文的理解。如果某篇论文额外用了一个学习率调整技巧你先朴素地把学习率固定住跑一遍很多时候也能得到差不多的结论差异只是收敛速度和最终精度略有差别。先把主体骨架跑通再去追求全套细节是初学者最稳健的路。4.2 第二步把模型定义写出来并盯住损失曲线无论你最终选择什么工具模型的主体结构无非就是卷积、池化、全连接、激活、标准化、损失这几类组件的组合。写出来的代码能不能直接跑主要取决于三件事张量维度对不对、数据加载对不对、损失函数类型与标签格式匹不匹配。我当时的做法是每写完一层就在脑内推一遍张量形状。卷积层输入是(N, C, H, W)输出通道、卷积核、步长和填充决定了输出尺寸池化层同理。这一遍推完很多低级错误根本不会进入训练环节。网络能跑起来之后最需要盯住的是损失曲线。我当时在笔记里给自己列了一个小诊断表后续多次派上用场现象大概率原因优先排查项损失完全不变学习率过低、梯度链断裂、标签错乱检查前向输出与标签是否对齐损失飞速乱跳学习率过高、数据未归一化调低学习率、检查输入像素范围训练损失很低验证指标很差过拟合加数据增强、加正则、减小模型容量损失停在某个值附近降不下去学习率衰减策略缺失或模型容量不足尝试更大网络或调整优化器参数这张表不算高深但它提供了一条排查的顺序让你在最容易慌乱的时刻依然知道下一步该看哪里。4.3 一个完整的实操梳理我记录的检查点写到这里我想以一套很朴素的流程为例——基于一个小型卷积网络在中小规模分类数据上做训练把当时的操作流水线完整写出来给你一份可以直接对照的走法。下载数据集划分训练和验证并按比例留存一部分数据作为最终测试。把训练图片统一缩放到64乘64并计算训练集各通道均值保存为一份均值文件。定义网络结构三组卷积加池化再展平接全连接最后输出类别数目的向量配合交叉熵损失。配置优化器学习率先设为0.01批次大小定为64每跑完一个完整遍历后记录一次训练损失和验证集top-1准确率。训练过程中保留最近的三份权重检查点防止训练中途崩溃丢进度。训练结束后在测试集上重新加载最优权重做最终评估。我给自己设定了一个朴素期望在小数据集上这个网络能达到的top-1准确率应该落在60%到70%的区间。为什么是这个区间因为数据量不大、模型也不复杂如果结果明显低于这个区间说明流程里大概率有环节出了问题如果明显高于这个区间反而要检查是否在验证集上意外引入了数据泄露。这套基准期望的思考方式很重要。它不是凭空拍脑袋而是来自课程中的一个核心理念先明确一个合理的参考区间再对比实际结果决定是否需要排查流程而不是看到一个数字就盲目调参。4.4 最容易忽视的两个工程习惯这个阶段实践下来我觉得有两个习惯价值极高值得单独记下来。第一个是保存中间输出。很多人训练时只盯着最终精度中途模型长什么样完全不清楚。我后来每轮迭代会挑几张固定的验证图像把它们的预测概率分布打出来看一看。模型对某一类一直给出高频误判说明这类样本的特征你没学好或者训练样本里它本来就稀缺。这种观察是纯数字指标给不到的。第二个是锁定随机种子。数据打乱、初始化都会引入随机性。复现实验的时候如果不固定在同一个随机状态两次训练结果不同你就永远无法判断某个改动是真实的改进还是随机波动。哪怕只固定一次训练也可以给后续实验排除大量干扰因素。5. 学完这门课究竟留下什么三张笔记的迭代说到这一阶段课程带给我的转变我觉得可以浓缩成三张笔记的形态变化。第一阶段的笔记画满了网络结构图每层都标注参数像一本解剖图册。第二阶段的笔记开始出现大量公式推导反向传播、梯度更新一页一页全是手写过程。到了第三阶段也就是现在记录的这二十一篇笔记的形态变成了流程清单、诊断表格、排查顺序和工程习惯。这三张笔记的变化恰好对应了我对深度学习从看热闹到摸门道的理解升级。结构图告诉你模型长什么样公式告诉你模型为什么能学习而工程清单告诉你的是要怎么把一个想法稳定地变成一个可重复的实验结果。三者缺一不可只是不同阶段侧重点不同。在这个阶段我也慢慢意识到课程里反复出现的一个词其实是可控性。一个合格的实验过程是每一步都可回溯的数据从哪来、预处理参数是多少、网络用什么结构、训练跑了几轮、权重保存在哪、评估用什么指标。这些细节看上去琐碎但正是它们构成了实验结果可信度的全部基础。我印象很深的是带读班里有一位同学在群里提问说模型训练出来的准确率始终上不去问了半天才发现他在验证阶段也顺手应用了随机裁剪和随机翻转。测试时加入这类随机增强会让同一个模型在同一张图上每次输出都可能不同。这种错误在书面上几乎不会出现但在实践中极其容易犯。它不涉及你懂不懂公式只涉及你对整个数据生命周期的掌控。收官阶段的课程内容恰恰把这条数据生命周期完完整整地梳理了一遍。它让我意识到一件事深度学习实验的复杂度从来不在模型结构这一头而在数据、环境、框架、调试这些看似不起眼的环节里。模型结构可以照着论文抄但让整个系统稳定地运转、高效地产出结果靠的是这套工程功底的积累。这些内容通常不会写进论文也很少出现在各路课程的重点章节里但任何一次成功的实验复现都离不开它们。对我来说这是学完CS231n之后最值得沉淀的收获。也是因为这些缘故我自己后来在跑任何新的实验时都习惯先花十分钟把整条数据流水线画一遍再考虑模型怎么改。这十分钟看似不产生任何新东西却能在后续的几十个小时里反复帮到我。如果这篇笔记对你也有类似帮助那就再好不过了。 
长河君 · 2026/10/13 16:29:14 · 阅读 1.2k CS231n收官笔记：从模型原理到工程落地的完整复现流程
带读到第二十一篇其实是件挺微妙的事。CS231n这门课看视频的人很多真正能一讲一讲跟到收官阶段的少。我算是硬着头皮坚持下来的那批人但说实话前二十讲我一直在追这个网络长什么样、那个损失函数为什么这么设计直到这一阶段的内容出现我才意识到自己漏掉了一个关键维度从论文到能跑的模型中间隔着的不是天赋而是一大堆枯燥但绕不开的工程现实。这篇笔记记录的就是收官阶段课程里最让我受用的部分——课程团队在最后几节课里不再重点讲新的网络结构而是把视线转向了开源数据集、建模工具的工作方式以及一套可以被复制的模型落地流程。正因为如此这期笔记我会把重点放在怎么把模型真正跑起来这件事上而不是继续堆叠新的模型名词。1. 收官阶段的课从模型原理转向工程落地的分水岭CS231n的前半段注意力几乎都集中在网络结构、卷积层怎么堆、激活函数怎么选、反向传播怎么推导上。这是必要的因为不把误差传播和卷积的计算逻辑弄清楚后面看任何模型都会是雾里看花。可到了收官阶段你会发现课程讨论的重心悄悄变了不再问这个结构为什么有效而是开始反复处理一个问题给你一篇论文、一个数据集、一台电脑你怎么在有限时间内得到一个符合预期的实验结果这个转变非常关键。它意味着这门课对学习者的要求从看懂变成了做出来。我自己记笔记的方式也跟着变了。前期的笔记大量篇幅是结构图和公式推导恨不得把每一层都画出来。到了这个阶段笔记里反而多了很多检查项和流程图式的文字比如数据下好了吗标签文件路径对不对均值文件是不是从训练集算的在验证集上有没有做数据增强。这些内容听起来不高级但真正坐下来跑代码的时候每一行都是能救命的东西。第七期带读班里大家的学习背景差距很大。有搞过几年工程的也有从零开始看视频的。我观察到一个很有意思的现象工程经验多一些的同学进入这个阶段明显顺畅因为他们本来就很熟悉环境、数据、调试这套工作流而和我一样偏理论入门的往往会在配置环境、下载数据、对齐格式这些环节卡住一卡就是一下午进而开始怀疑自己是不是不适合学这个。其实不是不适合是没有人告诉你算法课的最后一公里本来就是工程课。这也是我为什么要专门把这一阶段的笔记单独整理成一篇。它不是新模型的讲解而是一套可以反复翻阅的落地操作手册。对正准备跟课的人来说这一篇的重要性不亚于前二十讲里任何一讲。2. 数据不是模型的配角常用公开数据集与预处理课程讲到这一阶段所有案例都离不开公开数据集。你去看任何一篇计算机视觉的论文实验部分一定有一张表列出在某个数据集上的准确率、召回率或均值精度。这些数字之所以能相互比较是因为大家都在同一批数据上测试。没有公开数据集论文里的指标就是自说自话。所以动手复现任何模型之前先要把数据集这门功课补齐。2.1 常用数据集的面貌与选择逻辑我在笔记里整理了一个对比表把课程中反复出现的几个数据集放在一起方便以后按任务类型快速选用数据集规模概览常见任务标签形式ImageNet约128万张训练图1000个类别图像分类、迁移学习类别索引如wnidCOCO约33万张图80个物体类别目标检测、实例分割、关键点多边形标注边界框类别PASCAL VOC约1万张图20个类别目标检测、分割边界框类别标注轻量Places场景类别数百类图量大场景分类、场景属性类别标签CIFAR-10/1006万张32x32小图基础分类实验单标签如果你的目标是快速验证一个模型结构是否合理CIFAR级别的小数据集是最合适的训练快、调试方便。而如果你的目标是感受真实图像分布、做迁移学习预训练那么ImageNet几乎是绕不开的基准。COCO和PASCAL VOC则属于检测与分割任务的标配。区别在于COCO对物体实例的标注更精细边界框和分割掩码都很讲究评测指标也更严格PASCAL VOC则轻巧很多适合第一轮跑通流程。2.2 预处理不是走流程是给网络翻译数据很多第一次跑完整流程的人最痛苦的往往不是模型代码而是数据怎么从一堆图片文件变成网络能吃进去的张量。这个环节我本科阶段整整吃过三天的苦头后来把步骤固定下来就好了。课程其实也隐含了这些步骤只是没有单独列成清单这里我把它补全统一尺寸不同数据集的原始图片尺寸差异巨大而绝大多数网络要求固定的输入尺寸。常见做法是缩放短边到目标尺寸后再中心裁剪或者直接变形到固定分辨率。变形会破坏宽高比中心裁剪则可能丢失边缘信息两者要按任务取舍。归一化图像像素的范围通常是0到255但网络训练时希望输入分布稳定。一般采用通道级均值相减和方差归一化让各通道的数值大致落在以0为中心的范围内。均值要从训练集统计不能随手拍脑袋估计。标签对齐很多分类数据集的标签不是连续整数ImageNet的类别就是一个字符串编号。你需要建一个映射文件把字符串编号映射成0到999的连续整数否则损失函数根本没法计算。数据划分严格区分训练集、验证集和测试集每个集合上的预处理可能存在差异尤其要注意验证集和测试集不能使用基于训练集统计的数据增强。我在这条清单旁边还批了四个字顺序不能乱。先处理数据再调网络不然出了问题你根本不知道是数据错了还是模型错了。这是我这段时间踩坑后最深刻的体会。3. Caffe的配置文件思维为什么定义网络可以比写出代码更清晰早年的深度学习框架caffe现在用的人不多了。但我在整理这一篇笔记时依然觉得把它单独拿出来写很有必要因为它的建模思路影响了一代框架的设计哲学而且在课程收官阶段的案例里频繁出现。caffe的网络不是靠到处写def forward来搭的而是用一个纯文本的配置文件定义每一层。这个文件以.prototxt结尾里面从上到下按顺序列出输入层、卷积层、池化层、全连接层和损失层。3.1 配置文件里的一层长什么样拿一个最朴素的卷积层举例我当时笔记里抄过这么一段示例layer { name: conv1 type: Convolution bottom: data top: conv1 convolution_param { num_output: 32 kernel_size: 5 stride: 1 pad: 0 } }这段配置的含义可以换成大白话这一层叫conv1它接收名为data的输入输出名为conv1的矩阵结果。这一层做的是卷积操作输出通道32个卷积核尺寸5乘5步长1不做边缘填充。用这种方式定义一个网络网络结构变成了一篇可以直接阅读的文本谁拿到这份配置谁就能还原出完全相同的模型。当时我看到这个设计的第一反应是这么朴素的办法为什么能流行那么久后来才明白它的好处不在于代码有多优雅而在于可读性和可复现性这两个词被发挥到了极致。论文里说我们用了5层卷积每层后面接ReLU落到配置文件里就是几十行直白的描述审稿人看起来不费力工程实现的人照着就能对齐。3.2 配置文件思维留下的遗产这也解释了为什么后来的框架虽然换了一套语法却依然保留了模型结构应该成为一种可分享的轻量描述这种思想。今天你用很多工具导出的模型结构文件某种程度上就是当年的配置文件换了件衣服。当然caffe在使用中也暴露了一些痛点比如动态控制流程很别扭、改损失函数要写额外的代码、调试时打印中间变量不如脚本语言方便。后来出现的基于动态图思想的框架正是在这些地方做了革命性的改进把编模型又变回了写代码同时保留了结构清晰、易分享的优点。读这一部分的时候不要抱着学老框架的心态去背命令而是要理解工具迭代的内在逻辑每一种设计都在灵活和规整之间做取舍没有绝对的最优解。我个人的体会是如果你只是为了跑通课程里的实验完全可以跳过老框架的技术细节但如果你以后打算长期做模型落地花半小时读一读配置文件的范例会对网络结构到底由哪些部件组成建立起更踏实的感知。4. 完整复现一个模型的现场流程读论文、写配置、盯损失课程这个阶段最务实的地方在于它把复现论文这件事拆成了可执行的步骤。我把它简称为三步法读、写、盯。4.1 第一步把论文读成三句话很多人拿到论文习惯从第一页细读到最后一页这当然没有错。但要复现模型的时候不需要一开始就陷进所有细节。当时课上给出的建议是读到能回答三个问题为止输入是什么尺寸多少、通道数多少、有没有额外预处理中间经过怎样的变换哪几个模块是网络的骨架输出是什么用什么损失函数、用什么指标评价结果这三个问题回答完你对一个模型的理解框架就搭起来了。剩下那些为什么这里用3乘3而不是5乘5的讨论可以在跑通之后再回头细读。先建立骨架再填充血和肉效率会高很多。这里有一个很重要的心态调整复现不是逐行背代码而是用代码表达你对论文的理解。如果某篇论文额外用了一个学习率调整技巧你先朴素地把学习率固定住跑一遍很多时候也能得到差不多的结论差异只是收敛速度和最终精度略有差别。先把主体骨架跑通再去追求全套细节是初学者最稳健的路。4.2 第二步把模型定义写出来并盯住损失曲线无论你最终选择什么工具模型的主体结构无非就是卷积、池化、全连接、激活、标准化、损失这几类组件的组合。写出来的代码能不能直接跑主要取决于三件事张量维度对不对、数据加载对不对、损失函数类型与标签格式匹不匹配。我当时的做法是每写完一层就在脑内推一遍张量形状。卷积层输入是(N, C, H, W)输出通道、卷积核、步长和填充决定了输出尺寸池化层同理。这一遍推完很多低级错误根本不会进入训练环节。网络能跑起来之后最需要盯住的是损失曲线。我当时在笔记里给自己列了一个小诊断表后续多次派上用场现象大概率原因优先排查项损失完全不变学习率过低、梯度链断裂、标签错乱检查前向输出与标签是否对齐损失飞速乱跳学习率过高、数据未归一化调低学习率、检查输入像素范围训练损失很低验证指标很差过拟合加数据增强、加正则、减小模型容量损失停在某个值附近降不下去学习率衰减策略缺失或模型容量不足尝试更大网络或调整优化器参数这张表不算高深但它提供了一条排查的顺序让你在最容易慌乱的时刻依然知道下一步该看哪里。4.3 一个完整的实操梳理我记录的检查点写到这里我想以一套很朴素的流程为例——基于一个小型卷积网络在中小规模分类数据上做训练把当时的操作流水线完整写出来给你一份可以直接对照的走法。下载数据集划分训练和验证并按比例留存一部分数据作为最终测试。把训练图片统一缩放到64乘64并计算训练集各通道均值保存为一份均值文件。定义网络结构三组卷积加池化再展平接全连接最后输出类别数目的向量配合交叉熵损失。配置优化器学习率先设为0.01批次大小定为64每跑完一个完整遍历后记录一次训练损失和验证集top-1准确率。训练过程中保留最近的三份权重检查点防止训练中途崩溃丢进度。训练结束后在测试集上重新加载最优权重做最终评估。我给自己设定了一个朴素期望在小数据集上这个网络能达到的top-1准确率应该落在60%到70%的区间。为什么是这个区间因为数据量不大、模型也不复杂如果结果明显低于这个区间说明流程里大概率有环节出了问题如果明显高于这个区间反而要检查是否在验证集上意外引入了数据泄露。这套基准期望的思考方式很重要。它不是凭空拍脑袋而是来自课程中的一个核心理念先明确一个合理的参考区间再对比实际结果决定是否需要排查流程而不是看到一个数字就盲目调参。4.4 最容易忽视的两个工程习惯这个阶段实践下来我觉得有两个习惯价值极高值得单独记下来。第一个是保存中间输出。很多人训练时只盯着最终精度中途模型长什么样完全不清楚。我后来每轮迭代会挑几张固定的验证图像把它们的预测概率分布打出来看一看。模型对某一类一直给出高频误判说明这类样本的特征你没学好或者训练样本里它本来就稀缺。这种观察是纯数字指标给不到的。第二个是锁定随机种子。数据打乱、初始化都会引入随机性。复现实验的时候如果不固定在同一个随机状态两次训练结果不同你就永远无法判断某个改动是真实的改进还是随机波动。哪怕只固定一次训练也可以给后续实验排除大量干扰因素。5. 学完这门课究竟留下什么三张笔记的迭代说到这一阶段课程带给我的转变我觉得可以浓缩成三张笔记的形态变化。第一阶段的笔记画满了网络结构图每层都标注参数像一本解剖图册。第二阶段的笔记开始出现大量公式推导反向传播、梯度更新一页一页全是手写过程。到了第三阶段也就是现在记录的这二十一篇笔记的形态变成了流程清单、诊断表格、排查顺序和工程习惯。这三张笔记的变化恰好对应了我对深度学习从看热闹到摸门道的理解升级。结构图告诉你模型长什么样公式告诉你模型为什么能学习而工程清单告诉你的是要怎么把一个想法稳定地变成一个可重复的实验结果。三者缺一不可只是不同阶段侧重点不同。在这个阶段我也慢慢意识到课程里反复出现的一个词其实是可控性。一个合格的实验过程是每一步都可回溯的数据从哪来、预处理参数是多少、网络用什么结构、训练跑了几轮、权重保存在哪、评估用什么指标。这些细节看上去琐碎但正是它们构成了实验结果可信度的全部基础。我印象很深的是带读班里有一位同学在群里提问说模型训练出来的准确率始终上不去问了半天才发现他在验证阶段也顺手应用了随机裁剪和随机翻转。测试时加入这类随机增强会让同一个模型在同一张图上每次输出都可能不同。这种错误在书面上几乎不会出现但在实践中极其容易犯。它不涉及你懂不懂公式只涉及你对整个数据生命周期的掌控。收官阶段的课程内容恰恰把这条数据生命周期完完整整地梳理了一遍。它让我意识到一件事深度学习实验的复杂度从来不在模型结构这一头而在数据、环境、框架、调试这些看似不起眼的环节里。模型结构可以照着论文抄但让整个系统稳定地运转、高效地产出结果靠的是这套工程功底的积累。这些内容通常不会写进论文也很少出现在各路课程的重点章节里但任何一次成功的实验复现都离不开它们。对我来说这是学完CS231n之后最值得沉淀的收获。也是因为这些缘故我自己后来在跑任何新的实验时都习惯先花十分钟把整条数据流水线画一遍再考虑模型怎么改。这十分钟看似不产生任何新东西却能在后续的几十个小时里反复帮到我。如果这篇笔记对你也有类似帮助那就再好不过了。