1. 卷积层与池化层的核心工作原理解读1.1 卷积层到底在做什么一个生活视角在正式敲代码之前我想先和你一起把卷积层这件事彻底想明白。回到系列前几篇我们已经解决了怎么用线性层激活函数搭出一个能跑的网络的问题但那种全连接网络在处理图像时会遇到一个尴尬局面一张很小的图比如 32x32 的彩色图拉平后就是 3072 个像素值如果第一个隐藏层有 512 个神经元那光这一层就有 150 万个权重参数。如果是 224x224 的普通照片拉平后是 15 万个输入再配上几个隐藏层参数量动辄几千万上亿训练起来不光慢还极度容易过拟合。卷积层的思路完全不同它不要求每个神经元都看到整张图的全部像素只要求它在局部窗口内做计算。你可以把卷积核想象成一个手电筒光束光束本身有固定尺寸比如 3x3 或 5x5它从图片左上角开始按一定步长向右滑动每到一个位置就点亮这个局部区域做一次加权求和计算得到一个新值。等光束扫过整张图你就得到了一张新的特征图。这个过程至少带来了两个根本性改变。第一是参数共享同一个卷积核在整个图上滑动不管图像多大这个核的权重就那一组比如 3x3 卷积核加一个偏置总共 10 个参数和图像尺寸完全无关。这就是为什么卷积网络能处理不同尺寸的输入。第二是局部感知图像里的一些基本特征比如边缘、角点、颜色渐变都具有局部性某个像素的位置只影响它附近区域的语义卷积结构正好和这种特性匹配。卷积层中每个卷积核实际上是在寻找一种特定模式。第一个卷积层往往只能捕捉最基础的东西比如横边、竖边、斜边、色块。第二层则是在这些基础上组合出稍微复杂一点的结构比如圆弧、交叉线。层数越深每个卷积核看到的概念越抽象比如到了深层可能就对应着眼睛、车轮、人脸局部这些高级语义。这个特性在你后续设计网络结构时非常有用第一层卷积核数量不用太多后面逐层加深符合先细粒度、后抽象的信息聚合规律。1.2 为什么CNN坚决不推荐全连接处理图像你可能会问前面说全连接参数爆炸那我减少全连接的神经元数量不就行了这个问题我当年也有过困惑但真正让我放弃全连接处理图像的是它缺少平移不变性。所谓平移不变性就是一只猫不管出现在图片的左上角还是右下角它都应该是一只猫。但全连接网络做不到这一点图像中的一个像素被移到另一个位置在展平后的向量里就是完全不同的特征位网络必须重新学习这个新位置对应的是什么。同一只猫在不同位置对全连接网络来说就是两个完全不同的样本需要大量数据才能勉强学会。而卷积核是滑动的无论目标出现在哪个区域同一个卷积核都会作用到它上面天然具备平移等变性。还有一个容易忽略的点图像的二维空间结构。像素之间的位置关系是有意义的左边、右边、上边、下边都代表空间上的相对位置。全连接网络把图像拉平后这种二维邻接关系就被破坏了网络只能靠权重慢慢猜出这些关系。卷积层通过二维滑窗保留了局部空间结构这是图像任务上比全连接更强的重要原因。后面当你做目标检测、语义分割这类更需要空间位置信息的任务时卷积层的优势会体现得更彻底。1.3 池化层的动机降维也是学习的一部分池化层常被形容为压缩采样本质上是在做一种带先验知识的下采样。最常用的是最大池化比如 2x2 窗口、步长为 2把每 2x2 区域内的最大值作为输出这意味着图像尺寸直接缩一半通道数不变。为什么取最大值而不是平均值因为最大值代表的是这个局部区域中最强烈的响应当某个卷积核在这个区域检测到了它关心的特征无论特征出现在窗口的哪个位置最大值都能把它保留下来。这再次强化了平移不变性特征的精确位置不再重要只要它出现在窗口内就会被捕捉。平均池化也有它的用处它对背景平滑更友好不至于让某个极端响应主导整个区域但整体上在卷积层后做下采样时最大池化是默认首选。池化的好处体现在三个层面计算开销减少参数总量降低全局感受野变大。图像经过一次池化尺寸减半下一层卷积的计算量直接降到原来的四分之一。感受野变大也很好理解前面刚做完一层卷积每个输出像素看到的是输入图上 3x3 窗口经过池化缩小后下一层再用 3x3 卷积核它实际对应到原始图像的覆盖范围就更大了这样网络能在不加卷积核尺寸的情况下看到更大的上下文区域。不过池化并非没有代价。2x2 最大池化会让特征图分辨率一次损失一半这对一些像素级精确输出任务并不友好比如语义分割需要逐像素分类图像生成需要保持分辨率因此现代很多网络会用步长为 2 的卷积来替代池化做下采样效果类似但更平滑。这是后话了零基础阶段先把池化层的角色理解到位后续学替代方案时你会感谢现在打下的基础。2. 卷积层与池化层的核心参数和输出尺寸计算2.1 卷积层的参数逐个拆解现在进入实操前最重要的理论准备PyTorch 中torch.nn.Conv2d的核心参数。我见过太多零基础同学直接复制别人的卷积层代码结果改一个参数就报维度错误根本原因是没把这几个参数吃透。in_channels和out_channels比较好理解in_channels是输入特征图的通道数比如 RGB 图像就是 3上一层卷积有 16 个卷积核输出 16 个通道那这一层的in_channels就是 16out_channels是你想在这一层用多少个卷积核输出多少个通道。这里有个细节每个卷积核的空间尺寸是kernel_size x kernel_size但它的深度不是kernel_size x kernel_size而是和输入通道数一致。也就是说上一层有 16 个通道这一层一个 3x3 卷积核实际参数量是 3x3x161后面那个 1 是偏置。这个细节搞清楚了你才算真正理解卷积的计算过程。kernel_size是最常见的超参数3x3 是当下几乎所有主流网络的默认选择。为什么大家偏爱 3x3一个 7x7 卷积核的效果理论上可以用两层 3x3 卷积叠加出来但两层 3x3 的参数量是 2x918而一层 7x7 的参数量是 49参数量降低了一大截同时两层卷积之间还多了一次激活函数非线性表达能力更强。所以如果你的模型性能不够第一反应不应该是加大卷积核而应该堆更多 3x3 卷积层。stride是卷积核每次滑动的步长默认 1。步长为 1 时输出特征图尺寸通常和输入差不多取决于 padding步长为 2 时输出尺寸缩小一半左右这是一种自带下采样效果的卷积方式。padding是在输入图像四周补零的操作主要目的是控制输出尺寸。如果输入 32x32、卷积核 5x5、步长 1、不补零输出是 28x28图像尺寸变小了多层卷积之后特征图会迅速萎缩。补了一圈零后尺寸保持 32x32 不变。dilation参数平时用得少但要了解。它控制卷积核各元素之间的空隙空隙越大卷积核实际覆盖范围越大而不增加参数量。后面学习语义分割时你会经常遇到它零基础阶段只需要知道有这个参数存在。bias默认 True基本不用动。还有一个groups参数默认 1 代表普通卷积大于 1 时做分组卷积例如 MobileNet 里的深度可分离卷积就是这么实现的这一步你可以先不深入后续需要时再看。2.2 输出尺寸计算公式与手算实例卷积层输出尺寸的计算公式是输出尺寸 (输入尺寸 2 x padding - kernel_size) 除以 stride 后的值再向下取整最后加 1。用符号写就是out floor((W - K 2P) / S) 1W 是输入尺寸K 是卷积核尺寸P 是 paddingS 是 stride。我建议你别只背公式而是亲手算几个实例这样报错时你能一眼看出问题出在哪。例一输入 32x32Conv2d(3, 16, kernel_size5)stride 默认 1padding 默认 0。输出尺寸 (32 - 5 0) / 1 1 28所以输出是 16 通道的 28x28 特征图。例二输入 32x32Conv2d(3, 16, kernel_size3, padding1, stride1)。输出尺寸 (32 2x1 - 3) / 1 1 32可见 padding 设为 1 且卷积核 3x3 时输出尺寸和输入一致。这类组合在搭建网络时很常用省心不会让特征图尺寸越变越小。例三输入 28x28Conv2d(16, 32, kernel_size3, stride2, padding1)。输出尺寸 (28 2 - 3) / 2 1 13.5向下取整为 13再加 1 等于 14。所以输出是 32 通道的 14x14 特征图尺寸刚好减半。注意这里 27/2 是 13.5先取整再加 1。池化层输出尺寸也可以用同样公式计算但更常见的是直接用整除的概念。2x2 最大池化、步长 2输入 28x28输出就是 14x14。如果输入尺寸是奇数比如 15x152x2 池化后是 7x7因为窗口覆盖不到的部分直接舍弃了这个行为偶尔会影响模型精度所以设计网络时要注意特征图尺寸尽量是偶数或保持整除关系。2.3 padding 和 stride 的选型经验选型问题上我给零基础读者的建议是前几个卷积层用kernel_size3, padding1, stride1让特征图尺寸保持不变只在需要缩小尺寸时用池化或stride2的卷积。这样设计的网络结构稳定维度容易估算调试时也不容易出现尺寸没算对导致的报错。等到你熟悉了这些操作再尝试更激进的组合比如stride2的 3x3 卷积直接替换池化层或者用空洞卷积增大感受野。我见过不少新手喜欢把padding写成paddingsame在 PyTorch 里这是允许的它会自动帮你计算 padding 让输出尺寸等于输入尺寸除以 stride。但我不太建议零基础阶段用这种写法因为一旦要手动计算某个中间特征图尺寸自动 padding 反而让你失去了心算能力后面排查维度错误时会比较被动。一开始老老实实写数字反而更稳妥。还有一个容易踩坑的点kernel_size和padding的搭配。如果stride1且想让输出尺寸不变padding必须等于(kernel_size - 1) / 2。卷积核 3x3 时 padding 是 15x5 时 padding 是 27x7 时 padding 是 3。奇数尺寸卷积核的好处就在这里padding 左右对称特征图不会偏。所以实际工程里大家都用奇数核很少有人用 2x2 或 4x4 卷积核这跟 SAME padding 的对称性有关。3. 基于 PyTorch 的卷积层与池化层实操3.1 设计一个手写数字识别的卷积网络理论铺垫够了现在我们来搭一个能跑完整的卷积神经网络。我选公开的手写数字数据集作为示例它包含 28x28 的灰度图像正好适合零基础起步因为图像小、类别少、CPU 几分钟就能训练完。网络结构我设计如下第一层卷积Conv2d(1, 16, kernel_size3, padding1)输入只有 1 个通道是因为灰度图输出 16 个通道尺寸仍然是 28x28。接着 ReLU 激活函数然后 2x2 最大池化尺寸变成 14x14。第二层卷积Conv2d(16, 32, kernel_size3, padding1)输出 32 通道尺寸仍是 14x14ReLU 后再池化一次变成 7x7。最后把特征图展平变成 32x491568 个值接一个全连接层输出 10 个类别。这套结构是经典的卷积块加池化下采样模式通道数 16 到 32相当于特征数量逐层翻倍而空间尺寸逐层减半这是卷积网络最常见的信息挤压策略。信息流的整体趋势是空间分辨率降低通道数增加每个空间位置携带的高层语义信息越来越丰富。我特别提醒一点全连接层输入维度的计算。展平后的维度不是想当然的要手动算清楚。上面例子中最后一次池化输出 7x7通道 32展平就是 7x7x321568。很多初学者在这里最容易报错后面我会在排查部分专门讲。3.2 完整可运行的训练代码下面这段代码我是按零基础能独立跑通的标准写的没有冗余的封装每一步都做了注释。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms # 数据预处理转张量 归一化到 [0, 1] transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) # 公开的手写数字数据集第一次运行会自动下载 train_set datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_set datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) train_loader DataLoader(train_set, batch_size64, shuffleTrue) test_loader DataLoader(test_set, batch_size64, shuffleFalse) # 定义一个卷积神经网络 class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 16, kernel_size3, padding1) self.conv2 nn.Conv2d(16, 32, kernel_size3, padding1) self.relu nn.ReLU() self.pool nn.MaxPool2d(2) self.fc nn.Linear(32 * 7 * 7, 10) def forward(self, x): x self.pool(self.relu(self.conv1(x))) # 28x28 - 14x14 x self.pool(self.relu(self.conv2(x))) # 14x14 - 7x7 x x.view(x.size(0), -1) # 展平 x self.fc(x) return x model SimpleCNN() criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001) def train(model, loader, optimizer, criterion, epochs5): for epoch in range(epochs): model.train() total_loss 0 for images, labels in loader: optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() print(fEpoch {epoch1}/{epochs}, Loss: {total_loss / len(loader):.4f}) def evaluate(model, loader): model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in loader: outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() print(fAccuracy: {correct / total * 100:.2f}%) train(model, train_loader, optimizer, criterion, epochs5) evaluate(model, test_loader)这段代码跑完后测试集准确率一般能到 98% 以上。训练过程在纯 CPU 上也很快每个 epoch 大概十来秒。你不需要高配机器拿自己的笔记本就能复现。3.3 关键代码背后的设计逻辑很多人写网络时只关注forward里的计算流程却忽略了一个非常重要的设计原则让数据维度在每一层之间都严格匹配。你可以在forward里加一行打印x.shape的调试语句然后观察数据流第一次经过卷积层输出 64x16x28x2864 是 batch size16 是通道数28x28 是宽高。池化后变成 64x16x14x14。第二次卷积输出 64x32x14x14池化后是 64x32x7x7。展平后是 64x1568。最后全连接层输出 64x10。每一步都对得上才能保证不会运行时突然冒出size mismatch之类的报错。为什么第一层用 16 个卷积核而不是 3 个或 100 个这是工程经验16 个核对手写数字这种简单任务已经足够提取初级特征同时计算开销小训练稳定。你要是把第一个卷积层改成 32 个核准确率可能提高零点几个百分点但训练时间可能翻倍。零基础阶段我建议你把重点放在让网络先跑起来而不是盲目追求精度。这里还有个值得注意的细节torch.max(outputs, 1)返回两个值第一个是每一行最大值第二个是最大值对应的索引也就是预测的类别。predicted取的是索引。很多新手在这一行容易把两个返回值搞混导致算出的准确率很低甚至报错。我的建议是你可以在调试时打印一下outputs的形状和predicted的前几个值眼见为实。4. 卷积层与池化层的常见问题排查与避坑经验4.1 维度报错是新手第一道坎我在陪跑零基础同学的过程中发现维度报错占到所有 bug 的六成以上。这里我把最典型的几个报错场景整理出来你可以直接对号入座。第一种是输入通道数不匹配。比如你用 RGB 彩色图数据形状是 3x224x224却写了Conv2d(1, 16, ...)PyTorch 会报期望输入是 1 个通道但实际给了 3 个通道。排查方法很简单在第一个卷积层前打印输入数据的shape看清楚到底几个通道。第二种是输入尺寸计算错误。比如Conv2d输出 13x13 的特征图你却按照 14x14 去算全连接层输入维度跑 forward 的时候就报多维张量无法匹配。这类错误最适合用打印每个中间层输出形状的方式定位。第三种错误是mat1 and mat2 shapes cannot be multiplied。出现这个报错通常是因为view(x.size(0), -1)展平后的维度和你fc层的输入维度不一致。比如你写的fc nn.Linear(512, 10)但展平后实际是 1568 维那矩阵乘法当然做不了。我的经验是网络结构刚写完时随手写一段测试代码用一张随机初始化的 28x28 图像过一遍forward直接打印输出形状发现不对就马上改别等到训练时再排查。4.2 池化层带来的隐性风险池化层本身实现简单但它的副作用容易被忽略。前面提到过2x2 最大池化会让特征图尺寸减半如果输入尺寸是奇数比如第二层卷积输出 15x15 特征图池化后变成 7x7损失了边缘上一行的信息。这种信息损失在某些任务上可以忽略但在需要精细位置信息的分割、检测任务上就不能随便用。更隐蔽的一个风险是池化让模型丢失了位置的精确信息。如果任务只需要知道图片里有没有猫这个行为没问题但如果要精确框出猫的位置最大池化就会成为阻碍。这也是为什么现在的检测网络通常只在骨干特征提取部分用池化而保留某种高分辨率的特征分支。零基础阶段你不太会遇到这类场景但一旦你开始接触检测或分割一定要回头重新审视池化层的取舍。另外我建议你在调参时不要随便把池化窗口从 2x2 改成 3x3 或更大。窗口越大信息丢失越严重直接反映在验证集准确率可能下降 0.5% 到 1%。如果觉得模型训练太慢优先考虑备选方案减少卷积核数量、减小 batch size或者在网络结构上把两个卷积层之间去掉一层而不是盲目加大池化窗口。4.3 训练不收敛时先检查哪里有一种常见情况Loss 从一开始就不下降或者准确率一直保持在 10% 左右多分类问题有 10 个类随机猜测是 10%。出现这种情况我优先按下面顺序排查先检查数据预处理。灰度图是否归一化到了 0 到 1或者做了均值方差归一化。如果像素值停留在 0 到 255 的原始范围数值过大训练初期导数也大权重更新容易抖到不收敛。第二看学习率。用 Adam 默认的 0.001 通常没问题但如果数据没归一化且学习率又大Loss 可能直接变成 NaN。第三看网络结构确认最后一层没有激活函数因为CrossEntropyLoss内部已经包含了 softmax如果你在最后一层又手动加了 ReLU 或者 softmax效果会打折扣。还有一点容易被忽略数据集标签是从 0 到 9 的整数而CrossEntropyLoss要求目标值是这个类型的整数张量不需要你做独热编码。如果你在数据预处理时把标签转成了 float 类型或者做了 one-hot 编码都会导致报错或 loss 计算异常。这一点说多了都是泪每次我都会提醒身边的人先确认这一步。4.4 训练尽快见效的三个小技巧如果你担心手写数字识别这个样例太简单想让它尽快跑出结果可以尝试下面三个微调。第一个技巧是有意识地观察每层输出的变化。在第一层卷积后打印特征图的最大值、最小值、均值你会看到经过 ReLU 后所有负值变成 0这个观察能帮你建立对网络行为的直观感知。第二个技巧是先用小数据集试跑比如只取 1000 张图片训练确认网络和代码都能跑通再用全部数据训练。第三个技巧是设置随机种子保证每次运行结果可复现这样调参时每次改动都能归因到具体参数变化上。def set_seed(seed42): torch.manual_seed(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False这段代码放在训练脚本最前面后续调试会轻松很多。4.5 观察特征图的实战经验训练完成之后我强烈推荐你做一件事把第一层卷积的 16 个卷积核可视化出来。你可以直接读取model.conv1.weight它的形状是 16x1x3x3把每个 3x3 的权重数值画成一个小方块。你会发现其中一些核对应横边检测一些对应竖边一些对应斜边这是非常直观的卷积核到底学到了什么的演示。你还可以随机取一张测试图片分别查看经过第一层卷积后 16 个通道的特征图高亮区域正好对应原图中的边角位置。这些实验对你理解卷积网络的内在机制非常有帮助。很多人一开始把卷积核当成玄学真正可视化之后就会发现它学的是图像的局部边缘和纹理模式这比任何文字描述都更有说服力。我在给零基础朋友讲这个的时候他们看完特征图说了一句原来它真的是在看图的局部结构那一刻我就知道这个概念已经进入了他们的长期记忆。建议你也动手跑一下这个可视化视觉上的冲击比纯理论大得多。5. 从卷积块到大网络下一步该怎么走跑通上面的例子后你的能力已经跨过了一个重要分水岭从只能处理一维向量到能处理二维图像结构。这个能力上的跃迁比任何指标都重要因为后续很多模型都是在这个基础上做文章。接下来我建议你按顺序尝试三件事。第一把网络加深一点改成三个卷积块加两个全连接层观察加深之后训练速度是否变慢、准确率有没有提升以此体会深度带来的收益和代价。第二尝试用nn.Sequential把卷积、ReLU、池化封装成一个模块然后复用到多个位置代码会清爽不少。第三件是最值得做的找一个几百张图片的小型二分类数据集把自己写的手写数字分类器改一改把第一层的in_channels改成 3如果是彩色图最后一层的输出改成 1二分类用 1 个 logit 加BCEWithLogitsLoss或者改成 2 类用CrossEntropyLoss然后训练试试。这个练习会逼你去面对真实数据处理、过拟合、训练曲线观察等更复杂的问题比反复跑已有数据集更能锻炼你独立解决问题的能力。我自己带过的零基础学习者里凡是认认真真把上面三件事做完的之后接触目标检测、语义分割甚至 Transformer 这类结构时理解速度都明显快很多。因为它们本质上都是对信息流的控制而你已经能熟练地掌控信息从像素到语义的流动过程。最后说一个我在实操中的体会很多人总觉得模型的准确率不够高第一反应是换更先进的网络结构。但以我自己的经验在数据量不大、问题不极端复杂时把手上的卷积网络调稳把输入处理、学习率、通道数这些基本功做到位收益往往比盲目换结构更大。卷积层加池化层这套组合是你亲手搭建的第一套真正具备视觉理解能力的系统把这套基本功打扎实后面不管是继续深挖 CNN 还是切换到新架构你都会走得更稳。 
长河君 · 2026/10/13 21:49:28 · 阅读 1.2k CNN卷积层与池化层原理详解：从参数计算到PyTorch实战
1. 卷积层与池化层的核心工作原理解读1.1 卷积层到底在做什么一个生活视角在正式敲代码之前我想先和你一起把卷积层这件事彻底想明白。回到系列前几篇我们已经解决了怎么用线性层激活函数搭出一个能跑的网络的问题但那种全连接网络在处理图像时会遇到一个尴尬局面一张很小的图比如 32x32 的彩色图拉平后就是 3072 个像素值如果第一个隐藏层有 512 个神经元那光这一层就有 150 万个权重参数。如果是 224x224 的普通照片拉平后是 15 万个输入再配上几个隐藏层参数量动辄几千万上亿训练起来不光慢还极度容易过拟合。卷积层的思路完全不同它不要求每个神经元都看到整张图的全部像素只要求它在局部窗口内做计算。你可以把卷积核想象成一个手电筒光束光束本身有固定尺寸比如 3x3 或 5x5它从图片左上角开始按一定步长向右滑动每到一个位置就点亮这个局部区域做一次加权求和计算得到一个新值。等光束扫过整张图你就得到了一张新的特征图。这个过程至少带来了两个根本性改变。第一是参数共享同一个卷积核在整个图上滑动不管图像多大这个核的权重就那一组比如 3x3 卷积核加一个偏置总共 10 个参数和图像尺寸完全无关。这就是为什么卷积网络能处理不同尺寸的输入。第二是局部感知图像里的一些基本特征比如边缘、角点、颜色渐变都具有局部性某个像素的位置只影响它附近区域的语义卷积结构正好和这种特性匹配。卷积层中每个卷积核实际上是在寻找一种特定模式。第一个卷积层往往只能捕捉最基础的东西比如横边、竖边、斜边、色块。第二层则是在这些基础上组合出稍微复杂一点的结构比如圆弧、交叉线。层数越深每个卷积核看到的概念越抽象比如到了深层可能就对应着眼睛、车轮、人脸局部这些高级语义。这个特性在你后续设计网络结构时非常有用第一层卷积核数量不用太多后面逐层加深符合先细粒度、后抽象的信息聚合规律。1.2 为什么CNN坚决不推荐全连接处理图像你可能会问前面说全连接参数爆炸那我减少全连接的神经元数量不就行了这个问题我当年也有过困惑但真正让我放弃全连接处理图像的是它缺少平移不变性。所谓平移不变性就是一只猫不管出现在图片的左上角还是右下角它都应该是一只猫。但全连接网络做不到这一点图像中的一个像素被移到另一个位置在展平后的向量里就是完全不同的特征位网络必须重新学习这个新位置对应的是什么。同一只猫在不同位置对全连接网络来说就是两个完全不同的样本需要大量数据才能勉强学会。而卷积核是滑动的无论目标出现在哪个区域同一个卷积核都会作用到它上面天然具备平移等变性。还有一个容易忽略的点图像的二维空间结构。像素之间的位置关系是有意义的左边、右边、上边、下边都代表空间上的相对位置。全连接网络把图像拉平后这种二维邻接关系就被破坏了网络只能靠权重慢慢猜出这些关系。卷积层通过二维滑窗保留了局部空间结构这是图像任务上比全连接更强的重要原因。后面当你做目标检测、语义分割这类更需要空间位置信息的任务时卷积层的优势会体现得更彻底。1.3 池化层的动机降维也是学习的一部分池化层常被形容为压缩采样本质上是在做一种带先验知识的下采样。最常用的是最大池化比如 2x2 窗口、步长为 2把每 2x2 区域内的最大值作为输出这意味着图像尺寸直接缩一半通道数不变。为什么取最大值而不是平均值因为最大值代表的是这个局部区域中最强烈的响应当某个卷积核在这个区域检测到了它关心的特征无论特征出现在窗口的哪个位置最大值都能把它保留下来。这再次强化了平移不变性特征的精确位置不再重要只要它出现在窗口内就会被捕捉。平均池化也有它的用处它对背景平滑更友好不至于让某个极端响应主导整个区域但整体上在卷积层后做下采样时最大池化是默认首选。池化的好处体现在三个层面计算开销减少参数总量降低全局感受野变大。图像经过一次池化尺寸减半下一层卷积的计算量直接降到原来的四分之一。感受野变大也很好理解前面刚做完一层卷积每个输出像素看到的是输入图上 3x3 窗口经过池化缩小后下一层再用 3x3 卷积核它实际对应到原始图像的覆盖范围就更大了这样网络能在不加卷积核尺寸的情况下看到更大的上下文区域。不过池化并非没有代价。2x2 最大池化会让特征图分辨率一次损失一半这对一些像素级精确输出任务并不友好比如语义分割需要逐像素分类图像生成需要保持分辨率因此现代很多网络会用步长为 2 的卷积来替代池化做下采样效果类似但更平滑。这是后话了零基础阶段先把池化层的角色理解到位后续学替代方案时你会感谢现在打下的基础。2. 卷积层与池化层的核心参数和输出尺寸计算2.1 卷积层的参数逐个拆解现在进入实操前最重要的理论准备PyTorch 中torch.nn.Conv2d的核心参数。我见过太多零基础同学直接复制别人的卷积层代码结果改一个参数就报维度错误根本原因是没把这几个参数吃透。in_channels和out_channels比较好理解in_channels是输入特征图的通道数比如 RGB 图像就是 3上一层卷积有 16 个卷积核输出 16 个通道那这一层的in_channels就是 16out_channels是你想在这一层用多少个卷积核输出多少个通道。这里有个细节每个卷积核的空间尺寸是kernel_size x kernel_size但它的深度不是kernel_size x kernel_size而是和输入通道数一致。也就是说上一层有 16 个通道这一层一个 3x3 卷积核实际参数量是 3x3x161后面那个 1 是偏置。这个细节搞清楚了你才算真正理解卷积的计算过程。kernel_size是最常见的超参数3x3 是当下几乎所有主流网络的默认选择。为什么大家偏爱 3x3一个 7x7 卷积核的效果理论上可以用两层 3x3 卷积叠加出来但两层 3x3 的参数量是 2x918而一层 7x7 的参数量是 49参数量降低了一大截同时两层卷积之间还多了一次激活函数非线性表达能力更强。所以如果你的模型性能不够第一反应不应该是加大卷积核而应该堆更多 3x3 卷积层。stride是卷积核每次滑动的步长默认 1。步长为 1 时输出特征图尺寸通常和输入差不多取决于 padding步长为 2 时输出尺寸缩小一半左右这是一种自带下采样效果的卷积方式。padding是在输入图像四周补零的操作主要目的是控制输出尺寸。如果输入 32x32、卷积核 5x5、步长 1、不补零输出是 28x28图像尺寸变小了多层卷积之后特征图会迅速萎缩。补了一圈零后尺寸保持 32x32 不变。dilation参数平时用得少但要了解。它控制卷积核各元素之间的空隙空隙越大卷积核实际覆盖范围越大而不增加参数量。后面学习语义分割时你会经常遇到它零基础阶段只需要知道有这个参数存在。bias默认 True基本不用动。还有一个groups参数默认 1 代表普通卷积大于 1 时做分组卷积例如 MobileNet 里的深度可分离卷积就是这么实现的这一步你可以先不深入后续需要时再看。2.2 输出尺寸计算公式与手算实例卷积层输出尺寸的计算公式是输出尺寸 (输入尺寸 2 x padding - kernel_size) 除以 stride 后的值再向下取整最后加 1。用符号写就是out floor((W - K 2P) / S) 1W 是输入尺寸K 是卷积核尺寸P 是 paddingS 是 stride。我建议你别只背公式而是亲手算几个实例这样报错时你能一眼看出问题出在哪。例一输入 32x32Conv2d(3, 16, kernel_size5)stride 默认 1padding 默认 0。输出尺寸 (32 - 5 0) / 1 1 28所以输出是 16 通道的 28x28 特征图。例二输入 32x32Conv2d(3, 16, kernel_size3, padding1, stride1)。输出尺寸 (32 2x1 - 3) / 1 1 32可见 padding 设为 1 且卷积核 3x3 时输出尺寸和输入一致。这类组合在搭建网络时很常用省心不会让特征图尺寸越变越小。例三输入 28x28Conv2d(16, 32, kernel_size3, stride2, padding1)。输出尺寸 (28 2 - 3) / 2 1 13.5向下取整为 13再加 1 等于 14。所以输出是 32 通道的 14x14 特征图尺寸刚好减半。注意这里 27/2 是 13.5先取整再加 1。池化层输出尺寸也可以用同样公式计算但更常见的是直接用整除的概念。2x2 最大池化、步长 2输入 28x28输出就是 14x14。如果输入尺寸是奇数比如 15x152x2 池化后是 7x7因为窗口覆盖不到的部分直接舍弃了这个行为偶尔会影响模型精度所以设计网络时要注意特征图尺寸尽量是偶数或保持整除关系。2.3 padding 和 stride 的选型经验选型问题上我给零基础读者的建议是前几个卷积层用kernel_size3, padding1, stride1让特征图尺寸保持不变只在需要缩小尺寸时用池化或stride2的卷积。这样设计的网络结构稳定维度容易估算调试时也不容易出现尺寸没算对导致的报错。等到你熟悉了这些操作再尝试更激进的组合比如stride2的 3x3 卷积直接替换池化层或者用空洞卷积增大感受野。我见过不少新手喜欢把padding写成paddingsame在 PyTorch 里这是允许的它会自动帮你计算 padding 让输出尺寸等于输入尺寸除以 stride。但我不太建议零基础阶段用这种写法因为一旦要手动计算某个中间特征图尺寸自动 padding 反而让你失去了心算能力后面排查维度错误时会比较被动。一开始老老实实写数字反而更稳妥。还有一个容易踩坑的点kernel_size和padding的搭配。如果stride1且想让输出尺寸不变padding必须等于(kernel_size - 1) / 2。卷积核 3x3 时 padding 是 15x5 时 padding 是 27x7 时 padding 是 3。奇数尺寸卷积核的好处就在这里padding 左右对称特征图不会偏。所以实际工程里大家都用奇数核很少有人用 2x2 或 4x4 卷积核这跟 SAME padding 的对称性有关。3. 基于 PyTorch 的卷积层与池化层实操3.1 设计一个手写数字识别的卷积网络理论铺垫够了现在我们来搭一个能跑完整的卷积神经网络。我选公开的手写数字数据集作为示例它包含 28x28 的灰度图像正好适合零基础起步因为图像小、类别少、CPU 几分钟就能训练完。网络结构我设计如下第一层卷积Conv2d(1, 16, kernel_size3, padding1)输入只有 1 个通道是因为灰度图输出 16 个通道尺寸仍然是 28x28。接着 ReLU 激活函数然后 2x2 最大池化尺寸变成 14x14。第二层卷积Conv2d(16, 32, kernel_size3, padding1)输出 32 通道尺寸仍是 14x14ReLU 后再池化一次变成 7x7。最后把特征图展平变成 32x491568 个值接一个全连接层输出 10 个类别。这套结构是经典的卷积块加池化下采样模式通道数 16 到 32相当于特征数量逐层翻倍而空间尺寸逐层减半这是卷积网络最常见的信息挤压策略。信息流的整体趋势是空间分辨率降低通道数增加每个空间位置携带的高层语义信息越来越丰富。我特别提醒一点全连接层输入维度的计算。展平后的维度不是想当然的要手动算清楚。上面例子中最后一次池化输出 7x7通道 32展平就是 7x7x321568。很多初学者在这里最容易报错后面我会在排查部分专门讲。3.2 完整可运行的训练代码下面这段代码我是按零基础能独立跑通的标准写的没有冗余的封装每一步都做了注释。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms # 数据预处理转张量 归一化到 [0, 1] transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) # 公开的手写数字数据集第一次运行会自动下载 train_set datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_set datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) train_loader DataLoader(train_set, batch_size64, shuffleTrue) test_loader DataLoader(test_set, batch_size64, shuffleFalse) # 定义一个卷积神经网络 class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 16, kernel_size3, padding1) self.conv2 nn.Conv2d(16, 32, kernel_size3, padding1) self.relu nn.ReLU() self.pool nn.MaxPool2d(2) self.fc nn.Linear(32 * 7 * 7, 10) def forward(self, x): x self.pool(self.relu(self.conv1(x))) # 28x28 - 14x14 x self.pool(self.relu(self.conv2(x))) # 14x14 - 7x7 x x.view(x.size(0), -1) # 展平 x self.fc(x) return x model SimpleCNN() criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001) def train(model, loader, optimizer, criterion, epochs5): for epoch in range(epochs): model.train() total_loss 0 for images, labels in loader: optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() print(fEpoch {epoch1}/{epochs}, Loss: {total_loss / len(loader):.4f}) def evaluate(model, loader): model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in loader: outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() print(fAccuracy: {correct / total * 100:.2f}%) train(model, train_loader, optimizer, criterion, epochs5) evaluate(model, test_loader)这段代码跑完后测试集准确率一般能到 98% 以上。训练过程在纯 CPU 上也很快每个 epoch 大概十来秒。你不需要高配机器拿自己的笔记本就能复现。3.3 关键代码背后的设计逻辑很多人写网络时只关注forward里的计算流程却忽略了一个非常重要的设计原则让数据维度在每一层之间都严格匹配。你可以在forward里加一行打印x.shape的调试语句然后观察数据流第一次经过卷积层输出 64x16x28x2864 是 batch size16 是通道数28x28 是宽高。池化后变成 64x16x14x14。第二次卷积输出 64x32x14x14池化后是 64x32x7x7。展平后是 64x1568。最后全连接层输出 64x10。每一步都对得上才能保证不会运行时突然冒出size mismatch之类的报错。为什么第一层用 16 个卷积核而不是 3 个或 100 个这是工程经验16 个核对手写数字这种简单任务已经足够提取初级特征同时计算开销小训练稳定。你要是把第一个卷积层改成 32 个核准确率可能提高零点几个百分点但训练时间可能翻倍。零基础阶段我建议你把重点放在让网络先跑起来而不是盲目追求精度。这里还有个值得注意的细节torch.max(outputs, 1)返回两个值第一个是每一行最大值第二个是最大值对应的索引也就是预测的类别。predicted取的是索引。很多新手在这一行容易把两个返回值搞混导致算出的准确率很低甚至报错。我的建议是你可以在调试时打印一下outputs的形状和predicted的前几个值眼见为实。4. 卷积层与池化层的常见问题排查与避坑经验4.1 维度报错是新手第一道坎我在陪跑零基础同学的过程中发现维度报错占到所有 bug 的六成以上。这里我把最典型的几个报错场景整理出来你可以直接对号入座。第一种是输入通道数不匹配。比如你用 RGB 彩色图数据形状是 3x224x224却写了Conv2d(1, 16, ...)PyTorch 会报期望输入是 1 个通道但实际给了 3 个通道。排查方法很简单在第一个卷积层前打印输入数据的shape看清楚到底几个通道。第二种是输入尺寸计算错误。比如Conv2d输出 13x13 的特征图你却按照 14x14 去算全连接层输入维度跑 forward 的时候就报多维张量无法匹配。这类错误最适合用打印每个中间层输出形状的方式定位。第三种错误是mat1 and mat2 shapes cannot be multiplied。出现这个报错通常是因为view(x.size(0), -1)展平后的维度和你fc层的输入维度不一致。比如你写的fc nn.Linear(512, 10)但展平后实际是 1568 维那矩阵乘法当然做不了。我的经验是网络结构刚写完时随手写一段测试代码用一张随机初始化的 28x28 图像过一遍forward直接打印输出形状发现不对就马上改别等到训练时再排查。4.2 池化层带来的隐性风险池化层本身实现简单但它的副作用容易被忽略。前面提到过2x2 最大池化会让特征图尺寸减半如果输入尺寸是奇数比如第二层卷积输出 15x15 特征图池化后变成 7x7损失了边缘上一行的信息。这种信息损失在某些任务上可以忽略但在需要精细位置信息的分割、检测任务上就不能随便用。更隐蔽的一个风险是池化让模型丢失了位置的精确信息。如果任务只需要知道图片里有没有猫这个行为没问题但如果要精确框出猫的位置最大池化就会成为阻碍。这也是为什么现在的检测网络通常只在骨干特征提取部分用池化而保留某种高分辨率的特征分支。零基础阶段你不太会遇到这类场景但一旦你开始接触检测或分割一定要回头重新审视池化层的取舍。另外我建议你在调参时不要随便把池化窗口从 2x2 改成 3x3 或更大。窗口越大信息丢失越严重直接反映在验证集准确率可能下降 0.5% 到 1%。如果觉得模型训练太慢优先考虑备选方案减少卷积核数量、减小 batch size或者在网络结构上把两个卷积层之间去掉一层而不是盲目加大池化窗口。4.3 训练不收敛时先检查哪里有一种常见情况Loss 从一开始就不下降或者准确率一直保持在 10% 左右多分类问题有 10 个类随机猜测是 10%。出现这种情况我优先按下面顺序排查先检查数据预处理。灰度图是否归一化到了 0 到 1或者做了均值方差归一化。如果像素值停留在 0 到 255 的原始范围数值过大训练初期导数也大权重更新容易抖到不收敛。第二看学习率。用 Adam 默认的 0.001 通常没问题但如果数据没归一化且学习率又大Loss 可能直接变成 NaN。第三看网络结构确认最后一层没有激活函数因为CrossEntropyLoss内部已经包含了 softmax如果你在最后一层又手动加了 ReLU 或者 softmax效果会打折扣。还有一点容易被忽略数据集标签是从 0 到 9 的整数而CrossEntropyLoss要求目标值是这个类型的整数张量不需要你做独热编码。如果你在数据预处理时把标签转成了 float 类型或者做了 one-hot 编码都会导致报错或 loss 计算异常。这一点说多了都是泪每次我都会提醒身边的人先确认这一步。4.4 训练尽快见效的三个小技巧如果你担心手写数字识别这个样例太简单想让它尽快跑出结果可以尝试下面三个微调。第一个技巧是有意识地观察每层输出的变化。在第一层卷积后打印特征图的最大值、最小值、均值你会看到经过 ReLU 后所有负值变成 0这个观察能帮你建立对网络行为的直观感知。第二个技巧是先用小数据集试跑比如只取 1000 张图片训练确认网络和代码都能跑通再用全部数据训练。第三个技巧是设置随机种子保证每次运行结果可复现这样调参时每次改动都能归因到具体参数变化上。def set_seed(seed42): torch.manual_seed(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False这段代码放在训练脚本最前面后续调试会轻松很多。4.5 观察特征图的实战经验训练完成之后我强烈推荐你做一件事把第一层卷积的 16 个卷积核可视化出来。你可以直接读取model.conv1.weight它的形状是 16x1x3x3把每个 3x3 的权重数值画成一个小方块。你会发现其中一些核对应横边检测一些对应竖边一些对应斜边这是非常直观的卷积核到底学到了什么的演示。你还可以随机取一张测试图片分别查看经过第一层卷积后 16 个通道的特征图高亮区域正好对应原图中的边角位置。这些实验对你理解卷积网络的内在机制非常有帮助。很多人一开始把卷积核当成玄学真正可视化之后就会发现它学的是图像的局部边缘和纹理模式这比任何文字描述都更有说服力。我在给零基础朋友讲这个的时候他们看完特征图说了一句原来它真的是在看图的局部结构那一刻我就知道这个概念已经进入了他们的长期记忆。建议你也动手跑一下这个可视化视觉上的冲击比纯理论大得多。5. 从卷积块到大网络下一步该怎么走跑通上面的例子后你的能力已经跨过了一个重要分水岭从只能处理一维向量到能处理二维图像结构。这个能力上的跃迁比任何指标都重要因为后续很多模型都是在这个基础上做文章。接下来我建议你按顺序尝试三件事。第一把网络加深一点改成三个卷积块加两个全连接层观察加深之后训练速度是否变慢、准确率有没有提升以此体会深度带来的收益和代价。第二尝试用nn.Sequential把卷积、ReLU、池化封装成一个模块然后复用到多个位置代码会清爽不少。第三件是最值得做的找一个几百张图片的小型二分类数据集把自己写的手写数字分类器改一改把第一层的in_channels改成 3如果是彩色图最后一层的输出改成 1二分类用 1 个 logit 加BCEWithLogitsLoss或者改成 2 类用CrossEntropyLoss然后训练试试。这个练习会逼你去面对真实数据处理、过拟合、训练曲线观察等更复杂的问题比反复跑已有数据集更能锻炼你独立解决问题的能力。我自己带过的零基础学习者里凡是认认真真把上面三件事做完的之后接触目标检测、语义分割甚至 Transformer 这类结构时理解速度都明显快很多。因为它们本质上都是对信息流的控制而你已经能熟练地掌控信息从像素到语义的流动过程。最后说一个我在实操中的体会很多人总觉得模型的准确率不够高第一反应是换更先进的网络结构。但以我自己的经验在数据量不大、问题不极端复杂时把手上的卷积网络调稳把输入处理、学习率、通道数这些基本功做到位收益往往比盲目换结构更大。卷积层加池化层这套组合是你亲手搭建的第一套真正具备视觉理解能力的系统把这套基本功打扎实后面不管是继续深挖 CNN 还是切换到新架构你都会走得更稳。