我在一个图像识别项目上栽过跟头当时用全连接网络去分类一张张图片折腾了好几天训练损失怎么都降不下去。后来经一位前辈提醒我才意识到问题出在哪——我把图片拉平成了长长的一维向量像素和像素之间的空间关系被彻底打散了。换上卷积神经网络之后效果立刻不一样收敛也快了很多。这篇文章就想把这些经验拆开来讲为什么图像任务离不开卷积卷积核到底在做什么训练卷积网络时有哪些坑以及什么场景下不该用卷积神经网络。适合刚接触深度学习、想把卷积神经网络真正想明白的人也适合已经跑过几个模型但遇到瓶颈、想回头补原理的同学。1. 从全连接栽的跟头说起为什么图像识别非要用卷积1.1 一张图和一万个参数全连接网络处理图像的尴尬先算一笔账。假设输入是一张 100×100 的灰度图每个像素是一个数值把整张图拉平之后就是一个 10000 维的向量。如果你在这个向量后面接一个全连接层这一层有 256 个神经元那这一层的参数就是 10000×256也就是 256 万个参数。这还只是一层。层数一多参数规模直接冲到千万级别。我当时天真地以为“参数多模型能力强”结果训练集上的准确率还行一到验证集就垮掉典型的过拟合。问题的根源不在参数数量而在全连接网络的结构。全连接网络把每一个像素当成完全独立的特征它不知道这个像素和它旁边的像素是一块皮肤、一条边缘还是背景噪点。但图像的语义几乎从来不藏在单个像素里而是藏在像素的排列方式里。比如一条竖边其实就是“左边暗、右边亮”的局部渐变一个圆就是某个方向上连续变化的弧形纹理。你要是把这些信息拉平成向量局部关系就没了网络只能靠硬记像素组合来“背答案”。1.2 图像的三个天然属性局部相关、平移不变、特征复用要设计一个适合图像的模型得先看清楚图像本身有什么规律。我总结下来主要有三条。第一条是局部相关性。一个像素和离它近的像素关系最紧密和离它很远的像素几乎没什么直接关系。你看一张照片里的猫脸眼睛、鼻子、胡须都是一个个局部图案拼起来的没有人会通过“第 1 个像素和第 50000 个像素的亮度差”来判断这是不是猫。第二条是平移不变性。猫在图片的左上角是猫在右下角也还是猫。我们真正关心的是“这个局部图案长什么样”而不是它出现在画面的哪个坐标。换句话说同一个识别模板应该能在全图任意位置复用而不是每个位置都单独学一套参数。第三条是特征层级。先有边缘边缘组成纹理纹理组成眼睛、耳朵这样的局部部件局部部件再组合成完整的物体。识别过程天然是层层递进的低层看细节高层看结构。全连接网络三条一条都不满足所以它处理图像才会又慢又差。卷积神经网络能成为图像领域的标配就是因为它的结构天生契合这三条规律。1.3 卷积怎么把这三个属性变成网络结构卷积层做的事其实很朴素准备一个固定大小的小矩阵比如 3×3这个矩阵叫卷积核然后在输入图像上从左到右、从上到下滑动每滑到一个位置就把小矩阵和对应位置的像素做内积得到一个新的数值。滑完整个图像就得到一张响应图也叫特征图。响应图上某个位置的值越大说明这个位置的局部图案和卷积核越像。一个卷积核只在局部窗口内做计算这天然实现了局部连接。一个卷积核扫遍全图参数是共享的这就实现了平移不变性。你不用为每个位置单独准备一组参数模型只需要学习“什么样的局部模式是有用的”。如果你还是觉得抽象可以想象在一张大地图上找人你不会一次性盯住整张地图而是拿一个放大镜在一个小窗口里滑动窗口里出现的图案和你记忆中的人脸相似就记下来然后继续滑。人脸在左边还是右边不影响你的判断因为你在每个位置用的是同一个“模板”。多个卷积核一起用就得到多张特征图也叫多个通道。低层卷积核通常学到的是边缘、角点高层卷积核学到的是纹理、局部部件。这种“层层抽象”的能力正是从卷积层的堆叠中长出来的。2. 卷积核“看”图像的方式和你的直觉可能不太一样2.1 一个卷积核就是一组小模板以边缘检测为例很多人一开始觉得卷积公式难懂其实可以换个视角卷积核就是一组小模板网络在学习模板长什么样。举个最直观的例子一个用于检测垂直边缘的 3×3 核数值大概长这样-1 0 1 -1 0 1 -1 0 1把这个核放到图像的某个位置如果左边一列像素暗、右边一列像素亮内积的结果就会是一个很大的正数说明这里有一条从左到右的明暗分界也就是垂直边缘。如果局部区域平坦内积结果接近 0说明这里没有边缘。训练过程中你不需要手动设计这些数字。反向传播会不断调整卷积核里的数值最终让它们逼近各种有用的模板。我经常劝初学者别死记卷积的数学定义而是去想想网络看到一张响应图就是在回答“这个区域像不像我记忆中的某种局部模式”。这样理解后面再看残差连接、注意力机制都会顺畅很多。2.2 步长、补零和输出尺寸的计算关系卷积核滑动不是随便滑的有两个关键参数步长和补零。步长stride是每次滑动多少个像素。步长1相邻输出位置对应的输入窗口只平移 1 个像素特征图尺寸基本不变步长2输出尺寸大约缩小一半相当于一边卷积一边下采样。下采样能减少计算量但也会丢弃空间细节。我在一个细小组件检测项目里一开始为了省显存把步长设成 2结果小目标在特征图上几乎看不见了后来改回步长 1 并在早期保持高分辨率问题才解决。补零padding是在输入外围填充一圈数值通常填 0。它有两个作用一是控制输出尺寸让卷积不会越卷越小二是让边缘位置的像素也能被卷积核“看”到足够多次。很多人误以为补零能让卷积核更好地利用边缘信息其实它更主要的作用只是尺寸控制边缘像素参与计算的次数确实变多了但并不会因此获得什么特殊“注意力”。输出尺寸的计算公式是out floor((in - k 2p) / s) 1其中 in 是输入边长k 是卷积核边长p 是单边补零尺寸s 是步长。举几个常见组合输入尺寸卷积核补零步长输出尺寸32×323×30130×3032×323×31132×3232×323×31216×1632×325×52132×32我习惯先把公式写在草稿纸上再跑一个小实验验证因为框架的“padding 规则”在不同库里有细微差别只靠记忆容易翻车。2.3 堆叠多个卷积核到底在堆什么单看一层卷积它只是在提取局部模板。真正有表达力的是层与层的组合。第一层有 32 个卷积核就会输出 32 张特征图。第二层的卷积核并不是直接在原图上做卷积而是在这 32 张特征图上再做卷积。也就是说第二层的每个卷积核是一个三维的小矩阵空间上是 3×3深度上覆盖了上一层的所有通道。它在空间上滑动同时对上一层所有通道做加权组合。这个细节太重要了我见过不少初学者把第二层的卷积核想象成“还在跟原图卷积”于是怎么都想不通为什么高层特征这么抽象。换个说法第二层学到的东西已经不单纯是某种边缘或纹理而是“多种底层模板的组合模式”。当你堆到第 5 层、第 10 层时一个输出单元看到的是原图中很大一块区域的复杂语义。所以深度卷积网络的表达能力来自“跨通道组合 空间局部聚合”的反复叠加。单纯加宽某一层而不加深效果往往有限单纯加深而每层通道太少表达力又不足。怎么平衡我们接下来专门讲。3. 那些决定模型上限的隐藏细节感受野与层数设计3.1 感受野一个输出像素到底看到了原图的哪一块感受野是我认为理解卷积网络最重要的一个概念没有之一。一个 3×3 卷积核第一层输出的每个像素只看过原图一个 3×3 的区域。再叠一层 3×3 卷积第二层输出的每个像素会看到第一层特征图上一个 3×3 的区域而这个区域里的每个值都来自原图 3×3 的窗口。综合下来第二层输出像素对应的原图范围是 5×5。也就是说两层 3×3 卷积的感受野等于一层 5×5 卷积。这个等价关系能解释很多设计选择。比如某个任务里目标很小只有 8×8 像素如果网络第一层就用了步长 2 的下采样感受野一下子就跳到了十几个像素小目标的细节在早期就被糊掉了。反过来如果任务要求看全图关系你的网络深度不够感受野覆盖不到整个画面模型就会“只见树木不见森林”。我一般会在设计网络时先画一张感受野变化表从输入开始每一层输出尺寸是多少感受野是多少画完之后基本能判断这个结构适不适合当前任务。磨刀不误砍柴工这个步骤真的值得做。3.2 小卷积核串起来为什么比一个大卷积核省参数很多刚接触卷积的人会问既然两层 3×3 等价于一层 5×5为什么不直接用 5×5层数还少一些关键在参数数量。假设输入输出通道都是 C两层 3×3 的参数量是2 × 3 × 3 × C × C也就是 18C²一层 5×5 的参数量是5 × 5 × C × C也就是 25C²。前者参数更少而且中间还多了一次非线性激活表达能力反而更强。这个结论我实测过很多次只要网络深度够3×3 堆叠几乎总是比直接用大卷积核性价比高。大卷积核当然也有它的位置比如某些需要快速扩大感受野的场合或者计算资源极其有限、只能做单层卷积的时候。但作为默认选择小卷积核堆叠永远是更稳妥的方案。不过也要提醒一句小卷积核堆叠意味着层数更多特征图的中间缓存更占显存。我遇到过通道数设到 512 之后显存直接报警的情况。这时候可以适当减少通道数或者在某些阶段用步长 2 下采样压缩特征图尺寸。3.3 反直觉的经验不是层数越多越好也不是越宽越好我见过一些同学一上来就堆一个 30 层的网络结果训练根本不收敛还以为是数据有问题。其实网络太深梯度经过多层反向传播后会变得越来越小前几层的参数几乎得不到有效更新这就是所谓梯度消失。后来的残差连接思路——把某层的输入直接加到输出上——就是为了让梯度能有一条“近路”传回浅层这才让训练几十层甚至上百层成为可能。但我想说的是结构先进不代表你现阶段就该用。我自己的习惯是先搭一个能跑通的小网络差不多 5 到 8 层确认训练流程、数据管线都没有问题然后再一层一层加深每次只改一个变量观察验证集的变化。如果你一上来就复现一个超大网络出了 bug 根本不知道怎么定位。宽度也是一样。通道数太宽模型容量大在小数据集上几乎必然过拟合通道数太窄又学不动。我常用的策略是“先窄后宽”先从一个较小的通道数开始跑通后再放大。4. 训练卷积网络的实战备忘录从初始化到过拟合4.1 学习率、批大小与权重初始化的“三角关系”不少人的第一个卷积网络跑出来的损失是 NaN大概率是学习率太大或者权重初始化不合适。权重初始化我推荐按“方差缩放”的初始化方式配合 ReLU 这类激活函数使用。判断初始化是否合适有个笨办法初始化后直接跑一次前向看各层输出的均值、方差是否大致稳定。如果方差迅速变成 0 或爆炸到几千说明初始化有问题。学习率方面用自适应学习率的优化器比如 Adam时我一般从 1e-3 左右开始用随机梯度下降SGD时常用 1e-2 到 1e-1。这里没有绝对标准我习惯先做一个小实验从 1e-4 开始每隔几个迭代把学习率翻倍观察损失是否下降。损失的下降速度就是学习率是否合适的晴雨表。批大小的影响容易被低估。批大小太小比如 4每个 batch 的梯度噪声很大训练会抖来抖去批大小太大比如 128梯度会更平滑但有时候泛化效果反而一般。受显存限制很多人会习惯性把 batch 调到最大我不建议这么做。我会优先保证训练稳定再去看显存利用率。4.2 数据增强一个几乎免费的“正则项”卷积网络有个特点参数多、容量大但样本有限时特别容易过拟合。数据增强几乎是成本最低的缓解手段。水平翻转、随机裁剪、颜色抖动、小角度旋转这些都是常用操作。为什么有效因为卷积网络在学像素分布规律而增强相当于告诉模型翻转之后猫还是猫、裁剪一点之后纹理还是那种纹理。模型见过的“不变模式”越多就越不会死记硬背某几张训练图。但数据增强不是无脑堆。方向敏感的任务千万别乱旋转。我做过一个文字识别项目一开始把旋转范围设成 90 度结果“6”和“9”经常被搞混错误率反而上升。后来把旋转范围严格限制在 ±15 度以内问题就消失了。增强策略务必结合具体任务不能照搬。另一个几乎每次都会用的组件是批归一化。它能把每层的激活值拉回到稳定范围大幅加快收敛速度还带一点正则效果。需要注意推理模式下要使用训练阶段累计的全局统计量而不是当前 batch 的统计量否则预测结果会波动。4.3 踩过的坑Loss 变成 NaN、收敛停滞、过拟合我自己在多个项目里总结了一套排障顺序。先说损失变成 NaN。我首先检查输入数据有没有异常值比如读入的图像有没有全黑、全白或者标签有没有越界然后逐步降低学习率大概率是梯度过大冲崩了。再说收敛停滞。如果训练损失还在下降、验证损失不动甚至上升这是典型的过拟合信号。我的首选操作是降低学习率然后是加数据增强、加正规化项。如果训练损失也降不下去就要反过来看网络是不是太浅或者数据标注本身有噪声。最后说一个特别容易忽略的问题验证集上表现最好的一刻往往是某个中间 checkpoint而不是最后一步训练。所以我现在都会在训练过程中监控验证集指标连续若干个 epoch 不改善就回滚到之前保存的最优权重。这个“早期停止”的习惯帮我省下了大量无效训练时间。5. CNN 之外的问题它擅长什么又在什么场景下吃力5.1 CNN 擅长的三类任务怎么判断图像分类、目标检测、语义分割、实例分割这些是卷积网络的传统主场。但我不想只给一个任务清单更想给一个判断方法你的数据里有没有局部相关性和平移不变性如果答案是肯定的CNN 大概率适用。比如音频把一段音频切成频谱图之后它本质上就是一张二维图局部区域代表一小段时间窗口的频率形态。我在音频事件分类任务里把音频转成频谱图用卷积网络的效果明显比直接把波形拉平交给全连接网络好得多。卷积并不是图像专属它适合一切有“局部关联结构”的数据。5.2 当图像有全局依赖时CNN 的局限在哪CNN 的感受野是逐层扩大的这就决定了它天然偏重局部建模。如果任务要求同时考虑图像两个远端的全局关系比如判断整张图片的构图是否合理、某个物体和远处背景是否协调纯 CNN 会有点吃力。它需要堆很多层才能覆盖全图而且中间信息可能已经丢失了一部分。我在一个需要结合整图布局来判断的任务里发现纯卷积网络的表现到了瓶颈后来在高层接了一层注意力机制让模型能直接建立远处位置之间的依赖效果才有了明显提升。这里的思路不是用注意力完全替代卷积而是在卷积提取好局部特征的基础上用注意力去补足全局建模能力。任务决定结构别迷信某一个模块。5.3 一个小实验用 CNN 处理表格数据我也试过把表格数据排列成二维网格再用卷积网络去分类结果不太理想。表格特征之间往往没有空间上的邻接关系谁和谁相邻完全取决于你怎么排列这种排列是人为的、不稳定的。模型从中学不到真正有意义的局部模式。对照实验里同一个表格二分类任务简单的梯度提升树模型不仅效果更好训练时间还短得多。这个实验给我的教训很实在CNN 不是万能的特征提取器。遇到任何任务先问一句“这个问题里到底有没有空间或局部结构”没有的话别硬上卷积。5.4 延伸思路从卷积到各种混合结构现在很多新结构并不是完全抛弃卷积而是把卷积和其他机制结合起来。在低层用卷积做高效局部特征提取在高层用注意力机制建模全局关系是一种很常见的组合。还有空洞卷积也就是在卷积核里插入间隔不增加参数却能扩大感受野适合需要在不下采样的前提下看到更大范围的任务。多尺度也是我经常用的思路用不同大小的卷积核并行扫一遍分别捕捉粗和细的特征再把结果拼起来。这种并行结构比单纯加深网络更容易保留不同粒度的信息。我给新手的建议永远是先把卷积网络的基本盘吃透感受野、参数共享、通道组合这些概念都门儿清了再去玩这些升级玩法。否则你只是换了个结构出了问题依然不知道从哪排查。每个项目的开始我都习惯先问三个问题数据有没有局部结构任务需要多大范围的全局信息选什么作为 baseline这三个问题想清楚模型选型和调优方向基本就不会跑偏。 
长河君 · 2026/10/20 6:15:27 · 阅读 1.2k 为什么图像识别离不开卷积？CNN原理、训练与应用边界
我在一个图像识别项目上栽过跟头当时用全连接网络去分类一张张图片折腾了好几天训练损失怎么都降不下去。后来经一位前辈提醒我才意识到问题出在哪——我把图片拉平成了长长的一维向量像素和像素之间的空间关系被彻底打散了。换上卷积神经网络之后效果立刻不一样收敛也快了很多。这篇文章就想把这些经验拆开来讲为什么图像任务离不开卷积卷积核到底在做什么训练卷积网络时有哪些坑以及什么场景下不该用卷积神经网络。适合刚接触深度学习、想把卷积神经网络真正想明白的人也适合已经跑过几个模型但遇到瓶颈、想回头补原理的同学。1. 从全连接栽的跟头说起为什么图像识别非要用卷积1.1 一张图和一万个参数全连接网络处理图像的尴尬先算一笔账。假设输入是一张 100×100 的灰度图每个像素是一个数值把整张图拉平之后就是一个 10000 维的向量。如果你在这个向量后面接一个全连接层这一层有 256 个神经元那这一层的参数就是 10000×256也就是 256 万个参数。这还只是一层。层数一多参数规模直接冲到千万级别。我当时天真地以为“参数多模型能力强”结果训练集上的准确率还行一到验证集就垮掉典型的过拟合。问题的根源不在参数数量而在全连接网络的结构。全连接网络把每一个像素当成完全独立的特征它不知道这个像素和它旁边的像素是一块皮肤、一条边缘还是背景噪点。但图像的语义几乎从来不藏在单个像素里而是藏在像素的排列方式里。比如一条竖边其实就是“左边暗、右边亮”的局部渐变一个圆就是某个方向上连续变化的弧形纹理。你要是把这些信息拉平成向量局部关系就没了网络只能靠硬记像素组合来“背答案”。1.2 图像的三个天然属性局部相关、平移不变、特征复用要设计一个适合图像的模型得先看清楚图像本身有什么规律。我总结下来主要有三条。第一条是局部相关性。一个像素和离它近的像素关系最紧密和离它很远的像素几乎没什么直接关系。你看一张照片里的猫脸眼睛、鼻子、胡须都是一个个局部图案拼起来的没有人会通过“第 1 个像素和第 50000 个像素的亮度差”来判断这是不是猫。第二条是平移不变性。猫在图片的左上角是猫在右下角也还是猫。我们真正关心的是“这个局部图案长什么样”而不是它出现在画面的哪个坐标。换句话说同一个识别模板应该能在全图任意位置复用而不是每个位置都单独学一套参数。第三条是特征层级。先有边缘边缘组成纹理纹理组成眼睛、耳朵这样的局部部件局部部件再组合成完整的物体。识别过程天然是层层递进的低层看细节高层看结构。全连接网络三条一条都不满足所以它处理图像才会又慢又差。卷积神经网络能成为图像领域的标配就是因为它的结构天生契合这三条规律。1.3 卷积怎么把这三个属性变成网络结构卷积层做的事其实很朴素准备一个固定大小的小矩阵比如 3×3这个矩阵叫卷积核然后在输入图像上从左到右、从上到下滑动每滑到一个位置就把小矩阵和对应位置的像素做内积得到一个新的数值。滑完整个图像就得到一张响应图也叫特征图。响应图上某个位置的值越大说明这个位置的局部图案和卷积核越像。一个卷积核只在局部窗口内做计算这天然实现了局部连接。一个卷积核扫遍全图参数是共享的这就实现了平移不变性。你不用为每个位置单独准备一组参数模型只需要学习“什么样的局部模式是有用的”。如果你还是觉得抽象可以想象在一张大地图上找人你不会一次性盯住整张地图而是拿一个放大镜在一个小窗口里滑动窗口里出现的图案和你记忆中的人脸相似就记下来然后继续滑。人脸在左边还是右边不影响你的判断因为你在每个位置用的是同一个“模板”。多个卷积核一起用就得到多张特征图也叫多个通道。低层卷积核通常学到的是边缘、角点高层卷积核学到的是纹理、局部部件。这种“层层抽象”的能力正是从卷积层的堆叠中长出来的。2. 卷积核“看”图像的方式和你的直觉可能不太一样2.1 一个卷积核就是一组小模板以边缘检测为例很多人一开始觉得卷积公式难懂其实可以换个视角卷积核就是一组小模板网络在学习模板长什么样。举个最直观的例子一个用于检测垂直边缘的 3×3 核数值大概长这样-1 0 1 -1 0 1 -1 0 1把这个核放到图像的某个位置如果左边一列像素暗、右边一列像素亮内积的结果就会是一个很大的正数说明这里有一条从左到右的明暗分界也就是垂直边缘。如果局部区域平坦内积结果接近 0说明这里没有边缘。训练过程中你不需要手动设计这些数字。反向传播会不断调整卷积核里的数值最终让它们逼近各种有用的模板。我经常劝初学者别死记卷积的数学定义而是去想想网络看到一张响应图就是在回答“这个区域像不像我记忆中的某种局部模式”。这样理解后面再看残差连接、注意力机制都会顺畅很多。2.2 步长、补零和输出尺寸的计算关系卷积核滑动不是随便滑的有两个关键参数步长和补零。步长stride是每次滑动多少个像素。步长1相邻输出位置对应的输入窗口只平移 1 个像素特征图尺寸基本不变步长2输出尺寸大约缩小一半相当于一边卷积一边下采样。下采样能减少计算量但也会丢弃空间细节。我在一个细小组件检测项目里一开始为了省显存把步长设成 2结果小目标在特征图上几乎看不见了后来改回步长 1 并在早期保持高分辨率问题才解决。补零padding是在输入外围填充一圈数值通常填 0。它有两个作用一是控制输出尺寸让卷积不会越卷越小二是让边缘位置的像素也能被卷积核“看”到足够多次。很多人误以为补零能让卷积核更好地利用边缘信息其实它更主要的作用只是尺寸控制边缘像素参与计算的次数确实变多了但并不会因此获得什么特殊“注意力”。输出尺寸的计算公式是out floor((in - k 2p) / s) 1其中 in 是输入边长k 是卷积核边长p 是单边补零尺寸s 是步长。举几个常见组合输入尺寸卷积核补零步长输出尺寸32×323×30130×3032×323×31132×3232×323×31216×1632×325×52132×32我习惯先把公式写在草稿纸上再跑一个小实验验证因为框架的“padding 规则”在不同库里有细微差别只靠记忆容易翻车。2.3 堆叠多个卷积核到底在堆什么单看一层卷积它只是在提取局部模板。真正有表达力的是层与层的组合。第一层有 32 个卷积核就会输出 32 张特征图。第二层的卷积核并不是直接在原图上做卷积而是在这 32 张特征图上再做卷积。也就是说第二层的每个卷积核是一个三维的小矩阵空间上是 3×3深度上覆盖了上一层的所有通道。它在空间上滑动同时对上一层所有通道做加权组合。这个细节太重要了我见过不少初学者把第二层的卷积核想象成“还在跟原图卷积”于是怎么都想不通为什么高层特征这么抽象。换个说法第二层学到的东西已经不单纯是某种边缘或纹理而是“多种底层模板的组合模式”。当你堆到第 5 层、第 10 层时一个输出单元看到的是原图中很大一块区域的复杂语义。所以深度卷积网络的表达能力来自“跨通道组合 空间局部聚合”的反复叠加。单纯加宽某一层而不加深效果往往有限单纯加深而每层通道太少表达力又不足。怎么平衡我们接下来专门讲。3. 那些决定模型上限的隐藏细节感受野与层数设计3.1 感受野一个输出像素到底看到了原图的哪一块感受野是我认为理解卷积网络最重要的一个概念没有之一。一个 3×3 卷积核第一层输出的每个像素只看过原图一个 3×3 的区域。再叠一层 3×3 卷积第二层输出的每个像素会看到第一层特征图上一个 3×3 的区域而这个区域里的每个值都来自原图 3×3 的窗口。综合下来第二层输出像素对应的原图范围是 5×5。也就是说两层 3×3 卷积的感受野等于一层 5×5 卷积。这个等价关系能解释很多设计选择。比如某个任务里目标很小只有 8×8 像素如果网络第一层就用了步长 2 的下采样感受野一下子就跳到了十几个像素小目标的细节在早期就被糊掉了。反过来如果任务要求看全图关系你的网络深度不够感受野覆盖不到整个画面模型就会“只见树木不见森林”。我一般会在设计网络时先画一张感受野变化表从输入开始每一层输出尺寸是多少感受野是多少画完之后基本能判断这个结构适不适合当前任务。磨刀不误砍柴工这个步骤真的值得做。3.2 小卷积核串起来为什么比一个大卷积核省参数很多刚接触卷积的人会问既然两层 3×3 等价于一层 5×5为什么不直接用 5×5层数还少一些关键在参数数量。假设输入输出通道都是 C两层 3×3 的参数量是2 × 3 × 3 × C × C也就是 18C²一层 5×5 的参数量是5 × 5 × C × C也就是 25C²。前者参数更少而且中间还多了一次非线性激活表达能力反而更强。这个结论我实测过很多次只要网络深度够3×3 堆叠几乎总是比直接用大卷积核性价比高。大卷积核当然也有它的位置比如某些需要快速扩大感受野的场合或者计算资源极其有限、只能做单层卷积的时候。但作为默认选择小卷积核堆叠永远是更稳妥的方案。不过也要提醒一句小卷积核堆叠意味着层数更多特征图的中间缓存更占显存。我遇到过通道数设到 512 之后显存直接报警的情况。这时候可以适当减少通道数或者在某些阶段用步长 2 下采样压缩特征图尺寸。3.3 反直觉的经验不是层数越多越好也不是越宽越好我见过一些同学一上来就堆一个 30 层的网络结果训练根本不收敛还以为是数据有问题。其实网络太深梯度经过多层反向传播后会变得越来越小前几层的参数几乎得不到有效更新这就是所谓梯度消失。后来的残差连接思路——把某层的输入直接加到输出上——就是为了让梯度能有一条“近路”传回浅层这才让训练几十层甚至上百层成为可能。但我想说的是结构先进不代表你现阶段就该用。我自己的习惯是先搭一个能跑通的小网络差不多 5 到 8 层确认训练流程、数据管线都没有问题然后再一层一层加深每次只改一个变量观察验证集的变化。如果你一上来就复现一个超大网络出了 bug 根本不知道怎么定位。宽度也是一样。通道数太宽模型容量大在小数据集上几乎必然过拟合通道数太窄又学不动。我常用的策略是“先窄后宽”先从一个较小的通道数开始跑通后再放大。4. 训练卷积网络的实战备忘录从初始化到过拟合4.1 学习率、批大小与权重初始化的“三角关系”不少人的第一个卷积网络跑出来的损失是 NaN大概率是学习率太大或者权重初始化不合适。权重初始化我推荐按“方差缩放”的初始化方式配合 ReLU 这类激活函数使用。判断初始化是否合适有个笨办法初始化后直接跑一次前向看各层输出的均值、方差是否大致稳定。如果方差迅速变成 0 或爆炸到几千说明初始化有问题。学习率方面用自适应学习率的优化器比如 Adam时我一般从 1e-3 左右开始用随机梯度下降SGD时常用 1e-2 到 1e-1。这里没有绝对标准我习惯先做一个小实验从 1e-4 开始每隔几个迭代把学习率翻倍观察损失是否下降。损失的下降速度就是学习率是否合适的晴雨表。批大小的影响容易被低估。批大小太小比如 4每个 batch 的梯度噪声很大训练会抖来抖去批大小太大比如 128梯度会更平滑但有时候泛化效果反而一般。受显存限制很多人会习惯性把 batch 调到最大我不建议这么做。我会优先保证训练稳定再去看显存利用率。4.2 数据增强一个几乎免费的“正则项”卷积网络有个特点参数多、容量大但样本有限时特别容易过拟合。数据增强几乎是成本最低的缓解手段。水平翻转、随机裁剪、颜色抖动、小角度旋转这些都是常用操作。为什么有效因为卷积网络在学像素分布规律而增强相当于告诉模型翻转之后猫还是猫、裁剪一点之后纹理还是那种纹理。模型见过的“不变模式”越多就越不会死记硬背某几张训练图。但数据增强不是无脑堆。方向敏感的任务千万别乱旋转。我做过一个文字识别项目一开始把旋转范围设成 90 度结果“6”和“9”经常被搞混错误率反而上升。后来把旋转范围严格限制在 ±15 度以内问题就消失了。增强策略务必结合具体任务不能照搬。另一个几乎每次都会用的组件是批归一化。它能把每层的激活值拉回到稳定范围大幅加快收敛速度还带一点正则效果。需要注意推理模式下要使用训练阶段累计的全局统计量而不是当前 batch 的统计量否则预测结果会波动。4.3 踩过的坑Loss 变成 NaN、收敛停滞、过拟合我自己在多个项目里总结了一套排障顺序。先说损失变成 NaN。我首先检查输入数据有没有异常值比如读入的图像有没有全黑、全白或者标签有没有越界然后逐步降低学习率大概率是梯度过大冲崩了。再说收敛停滞。如果训练损失还在下降、验证损失不动甚至上升这是典型的过拟合信号。我的首选操作是降低学习率然后是加数据增强、加正规化项。如果训练损失也降不下去就要反过来看网络是不是太浅或者数据标注本身有噪声。最后说一个特别容易忽略的问题验证集上表现最好的一刻往往是某个中间 checkpoint而不是最后一步训练。所以我现在都会在训练过程中监控验证集指标连续若干个 epoch 不改善就回滚到之前保存的最优权重。这个“早期停止”的习惯帮我省下了大量无效训练时间。5. CNN 之外的问题它擅长什么又在什么场景下吃力5.1 CNN 擅长的三类任务怎么判断图像分类、目标检测、语义分割、实例分割这些是卷积网络的传统主场。但我不想只给一个任务清单更想给一个判断方法你的数据里有没有局部相关性和平移不变性如果答案是肯定的CNN 大概率适用。比如音频把一段音频切成频谱图之后它本质上就是一张二维图局部区域代表一小段时间窗口的频率形态。我在音频事件分类任务里把音频转成频谱图用卷积网络的效果明显比直接把波形拉平交给全连接网络好得多。卷积并不是图像专属它适合一切有“局部关联结构”的数据。5.2 当图像有全局依赖时CNN 的局限在哪CNN 的感受野是逐层扩大的这就决定了它天然偏重局部建模。如果任务要求同时考虑图像两个远端的全局关系比如判断整张图片的构图是否合理、某个物体和远处背景是否协调纯 CNN 会有点吃力。它需要堆很多层才能覆盖全图而且中间信息可能已经丢失了一部分。我在一个需要结合整图布局来判断的任务里发现纯卷积网络的表现到了瓶颈后来在高层接了一层注意力机制让模型能直接建立远处位置之间的依赖效果才有了明显提升。这里的思路不是用注意力完全替代卷积而是在卷积提取好局部特征的基础上用注意力去补足全局建模能力。任务决定结构别迷信某一个模块。5.3 一个小实验用 CNN 处理表格数据我也试过把表格数据排列成二维网格再用卷积网络去分类结果不太理想。表格特征之间往往没有空间上的邻接关系谁和谁相邻完全取决于你怎么排列这种排列是人为的、不稳定的。模型从中学不到真正有意义的局部模式。对照实验里同一个表格二分类任务简单的梯度提升树模型不仅效果更好训练时间还短得多。这个实验给我的教训很实在CNN 不是万能的特征提取器。遇到任何任务先问一句“这个问题里到底有没有空间或局部结构”没有的话别硬上卷积。5.4 延伸思路从卷积到各种混合结构现在很多新结构并不是完全抛弃卷积而是把卷积和其他机制结合起来。在低层用卷积做高效局部特征提取在高层用注意力机制建模全局关系是一种很常见的组合。还有空洞卷积也就是在卷积核里插入间隔不增加参数却能扩大感受野适合需要在不下采样的前提下看到更大范围的任务。多尺度也是我经常用的思路用不同大小的卷积核并行扫一遍分别捕捉粗和细的特征再把结果拼起来。这种并行结构比单纯加深网络更容易保留不同粒度的信息。我给新手的建议永远是先把卷积网络的基本盘吃透感受野、参数共享、通道组合这些概念都门儿清了再去玩这些升级玩法。否则你只是换了个结构出了问题依然不知道从哪排查。每个项目的开始我都习惯先问三个问题数据有没有局部结构任务需要多大范围的全局信息选什么作为 baseline这三个问题想清楚模型选型和调优方向基本就不会跑偏。