最近又把ResNet的论文翻出来看了一遍。说实话第一次读的时候我整个人是懵的——那些英文术语翻成中文以后每个字都认识连在一起又不知道在说什么。尤其是“残差”这个词听起来像统计学里的概念落在神经网络结构上却变成了一个简单的加法操作。后来自己动手复现、调参、在不同数据集上跑了一圈才慢慢理解当初那些翻译到底在说什么。这篇东西不是做一个简单的术语对照表而是想完成一次真正的“ResNet中文翻译”把英文论文里的核心概念翻译成人话把结构翻译成能跑的代码把训练时踩过的坑翻译成可以直接抄作业的经验。如果你正在准备面试、写课程作业或者想自己搭一个分类网络这篇内容应该能帮到你。1. “残差网络”这四个字中文翻译里藏着两个关键直觉“ResNet”全称是Residual Network国内基本统一翻译成“残差网络”。但“残差”这个词对第一次接触的人来说非常劝退残在哪里差在哪儿为什么不用“剩余网络”或者“跳跃网络”其实这里藏着整个模型最重要的设计直觉。在统计学和机器学习里residual通常表示“预测值和真实值之间的差异”。比如线性回归里每个样本的残差是y - y_hat。到了ResNet语境中残差指的是“网络期望学习的映射 H(x) 与恒等映射 x 之间的差异”也就是H(x) - x。论文把学习目标从原来的H(x)改成了F(x) H(x) - x意思是我不再逼着网络直接学习完整的映射而是只学习“还差多少”。这个“还差多少”就是残差。中文翻译成“残差”而不是“剩余”我认为非常精准。因为“剩余”暗示一个静态的剩余物而“残差”强调的是“没有学好的那一部分”。网络每学一轮就是在修正这部分残差把它往零的方向压。这个动词感恰恰是残差学习的核心。1.1 为什么叫Residual而不是Shortcut很多人会把ResNet和“shortcut connection”混为一谈觉得残差网络就是加了一个跳跃连接。这其实漏掉了最关键的东西。Shortcut捷径连接是结构层面的描述指的是从输入直接连一根线到输出绕过中间的变换而Residual是目标层面的描述指的是网络要学习的东西变成了残差。论文确实用了shortcut这个词来指代那条恒等映射支路但它的出发点不是“加一条捷径”而是“改变学习目标”。如果把这个模型翻译成“跳跃连接网络”那就只看到了工程结构没有看到学习目标。为什么这个问题重要因为一旦把学习目标从H(x)改成H(x) - x整个网络的优化曲面都变了每一层的任务从“凭空造一个映射”变成“在当前基础上做微调”。后者显然比前者容易得多。打个比方让你直接画出一幅完整的画很难但如果给你一张草稿让你把不够好的地方改一改就容易多了。残差网络里的x就是那张草稿F(x)就是你的修改笔迹。所以“Residual Network”翻译成“残差网络”准确对应的是这个“在草稿上做修改”的学习机制而不是那条物理上的跳线。1.2 公式 y F(x) x 用中文怎么读残差块的核心公式写出来就一行y F(x) x中文读法应该是一个残差块的输出等于“这个块内部的变换结果”加上“原始输入”。这里有两个需要拆开的点。第一个点是F(x)。它通常是两层卷积加激活函数的组合负责从输入x中提取新的特征、学习别人没学过的信息。第二个点是后面的x它被称为恒等映射identity mapping意思是“我不管你怎么变换我先把原封不动的输入直接送过来”。为什么要这样设计当时论文作者面临的困惑是网络越深训练误差反而越高这就是著名的“退化问题”。如果深层网络在理论上至少不比浅层网络差——因为多出来的层理论上可以学习成一个恒等映射参数学成单位映射就行——但实际上梯度传播和优化难度导致网络根本学不到这个恒等映射。残差结构直接把这个诉求写进了公式既然你学不成恒等映射我就在结构上硬生生给x开一条绿色通道让恒等映射天然生效网络只需要学F(x)小于等于0的情况就够了。用中文理解就是无论F(x)学成什么样x都一定会被加到输出里。即使F(x)学得很烂输出也至少不会偏离输入太远。这在深层网络里相当于每一层都给自己留了一条保底的后路。2. 论文常见术语的准确中文映射别再把Shortcut翻译成“捷径”读ResNet原始论文时真正让中文读者头疼的不是公式而是一堆英文术语。它们有些可以直接按字面翻译有些需要结合语境否则理解会跑偏。我把自己在中文社区里见过的各种译法整理了一下。2.1 五组高频术语翻译对照英文术语常见翻译我推荐的理解方式说明residual残差残差期望映射与恒等映射之间的差shortcut connection捷径连接 / 跳连捷径连接从输入到输出的直连支路identity mapping恒等映射恒等映射输出等于输入的那条支路bottleneck瓶颈模块瓶颈模块先降维再升维的block结构degradation退化退化问题深层网络在训练集上误差反而升高的现象表格里这些术语除了“残差”之外第二容易翻错的就是shortcut。“捷径”这个词在中文里天然带有“偷懒、抄近路”的意味很多人因此觉得shortcut是一个可有可无的优化小技巧。实际上它是残差结构里承担恒等映射的关键通路没有它F(x)就没有参考系整个残差学习就不存在。bottleneck直译是“瓶颈”但注意它不是性能瓶颈而是一种结构设计先用1x1卷积把通道数压下来再用3x3卷积做特征提取最后用1x1卷积把通道数升回去。整个过程像一个瓶子——两边粗、中间细所以叫瓶颈。2.2 四个容易被中文语境带偏的概念第一个是Batch Normalization。它被翻译成“批归一化”很多人会误以为作用是把一批数据按大小归一。实际上它是把每个特征通道在batch维度上做标准化让均值接近0、方差接近1主要作用是稳定训练、加速收敛与“归一化”这个概念相关但处理对象和方式都有具体限制。第二个是Global Average Pooling全局平均池化。它把整张feature map压成1个值相当于把每个通道上的所有像素取平均。它替代了早期的全连接层作为分类头好处是参数量更小、不容易过拟合。中文翻译成“平均池化”容易让人忽略“全局”两个字的重要性——它不是在一个窗口里平均而是在整个空间维度上平均。第三个是Stride步长。它在中文里有时候被直接音译为“斯特赖德”有时候翻译成“步幅”。它控制卷积核每次滑动的距离是决定输出尺寸和感受野变化的核心参数。残差结构中常见到stride2作用是把空间尺寸减半同时配合通道数翻倍。第四个是Pre-activation和Post-activation。这两个词描述的是批归一化和ReLU在残差块里的相对位置。论文更新版本提出的预激活结构Activations before additions在某些场景下更好但如果你对英文术语不敏感很容易在实现时忽略这个顺序带来的精度差异。术语这种东西翻译得不准确最多让表达别扭真正危险的是你以为自己懂了实际上理解的边界完全不一样。所以看论文时遇到不确定的关键词建议先回到原始公式确认它的位置和作用而不是死记中文译名。3. 残差结构为什么能治好“越深越差”退化问题的中文解释ResNet提出的背景是当时的一个怪现象网络层数增加之后训练集上的误差先降低然后不降反升。这个现象被论文称为“退化问题”。它绝对不是过拟合——过拟合是训练误差低、测试误差高而退化问题连训练误差都压不下去。3.1 退化问题不是过拟合我最早看到56层网络比20层网络训练误差更高的时候第一反应也是“是不是更深的那个模型过拟合了”。后来把训练曲线拉出来看才发现20层网络的训练loss一直在下降56层网络的训练loss在高位就下不去了。这说明问题出在“优化”而不是“泛化”。为什么深层网络难优化直观理解可以拿传话游戏类比100个人排成一队传一句话传到后面基本就变了。网络里的层和层之间也是按顺序传递信息的每一层都要依赖前面所有层的输出。如果前面某一层的输出质量不高后面所有层都会受到连锁影响。更关键的是反向传播时梯度需要一层一层往回传路径越长信号就越容易衰减。面对这个问题传统手段良好的初始化、Batch Normalization、合适的激活函数能缓解但没有从结构上解决。残差网络的做法很直接在每一段加一条“直线电话”让信息不必经过层层传递也能到达后面的层。这样深层网络就不再是一条单纯串联的长链而是很多条“主路支路”的并行结构梯度有了更多近路可以走。3.2 从反向传播看残差连接的梯度优势残差结构在数学上的关键性质可以通过求导看出来。对一个残差块y F(x) x假设损失函数是L在反向传播时需要计算损失对输入的梯度。根据链式法则∂L/∂x ∂L/∂y · ∂y/∂x ∂L/∂y · (∂F/∂x 1)这个结果里出现了一个“1”。它就是恒等映射带来的梯度通道无论F(x)那部分的梯度有多小甚至趋近于零这个“1”都会保证梯度至少有一部分能直接传到前面的层。等价于每一层都在给自己做“梯度备份”。如果换成普通网络每一层的输出是y F(x)那么∂L/∂x ∂L/∂y · ∂F/∂x这里的因子要是小于1经过很多层之后梯度会指数级衰减最后前面的层几乎学不到东西。差距就在这里残差网络让“偏导数的乘积链”中多了一个可以恒等于1的加法项而不是完全依赖F(x)自身的导数。用中文描述这个“1”它代表的是“你自己这条路”永远有一条保底的梯度通道。即使所有的卷积层都被训练得很糟糕梯度也能顺着恒等映射传回去不会消失。4. 把论文翻译成PyTorch一个可复现的ResNet实现理论说再多不如直接跑代码。我建议所有初学者在CIFAR-10这类小数据集上手动实现一个ResNet。不是让你去调torchvision里现成的大模型而是把BasicBlock、Bottleneck、downsample这些概念亲手写一遍才能真正理解论文里的每一个句子。这里给一份我实际用过的简化版实现并附上踩坑记录。4.1 BasicBlock和Bottleneck的代码差异残差网络最核心的组件是残差块。浅层网络层数在34及以下用的是BasicBlock结构是“两个3x3卷积”深层网络层数在50及以上用的是Bottleneck结构是“1x1降维 3x3卷积 1x1升维”。BasicBlock的实现import torch import torch.nn as nn class BasicBlock(nn.Module): def __init__(self, in_channels, out_channels, stride1, downsampleNone): super().__init__() self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.relu nn.ReLU(inplaceTrue) self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) self.downsample downsample def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) return outBottleneck的实现class Bottleneck(nn.Module): expansion 4 def __init__(self, in_channels, out_channels, stride1, downsampleNone): super().__init__() self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) self.conv3 nn.Conv2d(out_channels, out_channels * self.expansion, kernel_size1, biasFalse) self.bn3 nn.BatchNorm2d(out_channels * self.expansion) self.relu nn.ReLU(inplaceTrue) self.downsample downsample def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) out self.relu(out) out self.conv3(out) out self.bn3(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) return out这两个模块最大的区别是参数量。Bottleneck因为先用1x1卷积把通道数降下来中间3x3卷积输入输出通道数都较小所以整体参数量反而比两个大通道3x3卷积更少。形象地说它是一个“先压缩进瓶子脖子再在瓶身处理最后从瓶口出来”的结构。这也是它翻译成“瓶颈”的原因。4.2 实现中最容易踩的三个坑第一个坑是维度匹配。当步长为2或者通道数变化时shortcut支路的x和主路的输出维度不一致直接加法会报错。解决办法是在shortcut上加一个downsample模块通常是1x1卷积并且步长设置为2用来把x的尺寸和通道数投影到和主路输出一致。我见过很多新手在这里漏写downsample导致只能在某些特定层叠下跑通。第二个坑是BatchNorm的bias设置。卷积层里习惯性写biasTrue但卷积后面接BatchNorm时偏置参数会被BN层的归一化过程抵消掉白白增加参数量。正确做法是biasFalse。这个问题不会导致报错但会浪费显存和训练时间Prune模型时还会发现一堆无用参数。第三个坑是ReLU的位置。经典残差块是先做一个3x3卷积、BN、ReLU再做第二个卷积、BN然后把identity加进来最后再做一次ReLU。注意第二个ReLU是在加法之后。如果我把ReLU放在加法之前输出的残差连接就失真了训练效果会有肉眼可见的下降。这个细节论文里有图但代码实现时很容易顺手写错。4.3 一个可以直接抄的训练对比实验为了验证“残差”到底起了什么作用我在CIFAR-10上做过一个很简单的对比一组用上面BasicBlock搭建的18层残差网络另一组把所有out identity这行删掉变成普通18层卷积网络。初始化和训练超参完全相同。实验结果很典型普通网络训练到第20个epoch训练准确率一直在80%左右徘徊怎么都上不去看起来像“卡住”了残差网络到第20个epoch已经接近95%到第50个epoch稳定在99%左右。当然这个数值随随机种子会有浮动但“含残差结构能收敛得更深、更快”这个现象可以稳定复现。这个实验强烈建议自己也跑一遍比看十篇博客都管用。你会在普通网络上感受到那种“loss降不下去”的绝望也会在残差网络上感受到“原来优化真的可以这样顺滑”。5. 中文社区里关于ResNet的三个高频误解以及我的实测体会ResNet名气太大围绕它的解读太多了但也因此出现了几个非常普遍的误解。我把它们列出来不是因为这些说法全错而是因为它们都只说对了一半容易让后来的人理解跑偏。5.1 误解一残差连接只是“跳过去”你可能听过类似的说法“ResNet就是加了几个shortcut把输入直接跳到后面。”如果你只是从结构图上看确实是这样。但这个说法把“为什么有用”完全说没了。我实测的感受是残差连接真正的价值在于它改变了每一层的学习方式。普通网络的每一层都必须学会从输入到输出的完整映射而残差网络的每一层只需要学习“我在输入的基础上应该修正什么”。这意味着网络内部的特征表示始终保留了原始输入的成分不会因为层数加深而完全漂移。之前我在一次可视化实验里看到没有残差的网络越到高层特征图越稀疏很多通道已经“死掉”了而加了残差的网络高层特征图中仍然能清晰找到原始输入的信息痕迹。这就是“恒等映射保底”的实际体现。5.2 误解二ResNet解决了梯度消失这个说法流传最广但严格来说并不准确。ResNet诞生之前ReLU激活函数和Batch Normalization已经相当普及梯度爆炸或梯度消失问题已经被这两样工具大幅缓解。ResNet真正解决的问题是“退化”——深层网络难以训练、训练误差下不去的问题。梯度消失讨论的是“梯度在反向传播中变得非常小”而退化问题更复杂它包括了优化难度、特征复用和训练动态等多重因素。虽然残差连接确实通过“1”改善了梯度传播但不能把它的贡献全部归结为“防梯度消失”。否则你没法解释为什么早期用sigmoid的网络在加上残差之后依然很难训因为那时的输入分布和激活函数问题没有解决。实际做实验时你会发现在合理的权重初始化前提下普通网络并不会立刻出现梯度数值为0的梯度消失但训练loss就是降不下去。这说明问题的矛头更应该指向优化而不只是梯度数值。把ResNet称为“深层网络的优化器”也许更贴近事实。5.3 误解三ResNet只适合图像分类很多人学ResNet是因为图像分类所以默认它是一个“视觉模型”。但残差结构是一个通用网络组件不是某个视觉任务的专属工具。现在几乎所有主流结构里都能看到残差连接处理序列数据的Transformer中的每个子层都用了残差加和图神经网络的消息传递也常用残差连接连扩散模型里的UNet都到处是残差块。这也是“中文翻译”这层含义给我带来的启发当我把残差理解成“在原基础上做增量修改”而不是“某个图像专用的跳跃线”整个思维就打开了。你可以在时间序列预测、推荐系统、自然语言编码器里用到同一个思想。它不再是某个固定网络的代名词而是一种优化思路的通用表达。最后再分享一点个人经验如果你到现在还没亲手写过ResNet我建议你找一个晚上用PyTorch或者你熟悉的框架从零写一个完整的ResNet-18在自带的CIFAR-10数据上跑起来。过程中不需要用任何重量级库只需要卷积、BatchNorm、ReLU和加法操作。等你跑完那个“有无残差”的对比实验你就会理解我在前面说的每一句话——包括“残差”这个翻译到底贴不贴切。我自己在第一次验证时最惊讶的并不是准确率涨了几个点而是深层网络终于能够在训练集上稳定收敛了。那种“原来深网络是能训的”的感觉是读多少篇论文都换不来的。希望你也能在控制台里看到那条漂亮的收敛曲线那一刻你会觉得标题里的“中文翻译”四个字是真的被你自己翻译通了。 
长河君 · 2026/10/16 8:59:58 · 阅读 1.2k ResNet中文翻译：从残差连接到深层网络优化
最近又把ResNet的论文翻出来看了一遍。说实话第一次读的时候我整个人是懵的——那些英文术语翻成中文以后每个字都认识连在一起又不知道在说什么。尤其是“残差”这个词听起来像统计学里的概念落在神经网络结构上却变成了一个简单的加法操作。后来自己动手复现、调参、在不同数据集上跑了一圈才慢慢理解当初那些翻译到底在说什么。这篇东西不是做一个简单的术语对照表而是想完成一次真正的“ResNet中文翻译”把英文论文里的核心概念翻译成人话把结构翻译成能跑的代码把训练时踩过的坑翻译成可以直接抄作业的经验。如果你正在准备面试、写课程作业或者想自己搭一个分类网络这篇内容应该能帮到你。1. “残差网络”这四个字中文翻译里藏着两个关键直觉“ResNet”全称是Residual Network国内基本统一翻译成“残差网络”。但“残差”这个词对第一次接触的人来说非常劝退残在哪里差在哪儿为什么不用“剩余网络”或者“跳跃网络”其实这里藏着整个模型最重要的设计直觉。在统计学和机器学习里residual通常表示“预测值和真实值之间的差异”。比如线性回归里每个样本的残差是y - y_hat。到了ResNet语境中残差指的是“网络期望学习的映射 H(x) 与恒等映射 x 之间的差异”也就是H(x) - x。论文把学习目标从原来的H(x)改成了F(x) H(x) - x意思是我不再逼着网络直接学习完整的映射而是只学习“还差多少”。这个“还差多少”就是残差。中文翻译成“残差”而不是“剩余”我认为非常精准。因为“剩余”暗示一个静态的剩余物而“残差”强调的是“没有学好的那一部分”。网络每学一轮就是在修正这部分残差把它往零的方向压。这个动词感恰恰是残差学习的核心。1.1 为什么叫Residual而不是Shortcut很多人会把ResNet和“shortcut connection”混为一谈觉得残差网络就是加了一个跳跃连接。这其实漏掉了最关键的东西。Shortcut捷径连接是结构层面的描述指的是从输入直接连一根线到输出绕过中间的变换而Residual是目标层面的描述指的是网络要学习的东西变成了残差。论文确实用了shortcut这个词来指代那条恒等映射支路但它的出发点不是“加一条捷径”而是“改变学习目标”。如果把这个模型翻译成“跳跃连接网络”那就只看到了工程结构没有看到学习目标。为什么这个问题重要因为一旦把学习目标从H(x)改成H(x) - x整个网络的优化曲面都变了每一层的任务从“凭空造一个映射”变成“在当前基础上做微调”。后者显然比前者容易得多。打个比方让你直接画出一幅完整的画很难但如果给你一张草稿让你把不够好的地方改一改就容易多了。残差网络里的x就是那张草稿F(x)就是你的修改笔迹。所以“Residual Network”翻译成“残差网络”准确对应的是这个“在草稿上做修改”的学习机制而不是那条物理上的跳线。1.2 公式 y F(x) x 用中文怎么读残差块的核心公式写出来就一行y F(x) x中文读法应该是一个残差块的输出等于“这个块内部的变换结果”加上“原始输入”。这里有两个需要拆开的点。第一个点是F(x)。它通常是两层卷积加激活函数的组合负责从输入x中提取新的特征、学习别人没学过的信息。第二个点是后面的x它被称为恒等映射identity mapping意思是“我不管你怎么变换我先把原封不动的输入直接送过来”。为什么要这样设计当时论文作者面临的困惑是网络越深训练误差反而越高这就是著名的“退化问题”。如果深层网络在理论上至少不比浅层网络差——因为多出来的层理论上可以学习成一个恒等映射参数学成单位映射就行——但实际上梯度传播和优化难度导致网络根本学不到这个恒等映射。残差结构直接把这个诉求写进了公式既然你学不成恒等映射我就在结构上硬生生给x开一条绿色通道让恒等映射天然生效网络只需要学F(x)小于等于0的情况就够了。用中文理解就是无论F(x)学成什么样x都一定会被加到输出里。即使F(x)学得很烂输出也至少不会偏离输入太远。这在深层网络里相当于每一层都给自己留了一条保底的后路。2. 论文常见术语的准确中文映射别再把Shortcut翻译成“捷径”读ResNet原始论文时真正让中文读者头疼的不是公式而是一堆英文术语。它们有些可以直接按字面翻译有些需要结合语境否则理解会跑偏。我把自己在中文社区里见过的各种译法整理了一下。2.1 五组高频术语翻译对照英文术语常见翻译我推荐的理解方式说明residual残差残差期望映射与恒等映射之间的差shortcut connection捷径连接 / 跳连捷径连接从输入到输出的直连支路identity mapping恒等映射恒等映射输出等于输入的那条支路bottleneck瓶颈模块瓶颈模块先降维再升维的block结构degradation退化退化问题深层网络在训练集上误差反而升高的现象表格里这些术语除了“残差”之外第二容易翻错的就是shortcut。“捷径”这个词在中文里天然带有“偷懒、抄近路”的意味很多人因此觉得shortcut是一个可有可无的优化小技巧。实际上它是残差结构里承担恒等映射的关键通路没有它F(x)就没有参考系整个残差学习就不存在。bottleneck直译是“瓶颈”但注意它不是性能瓶颈而是一种结构设计先用1x1卷积把通道数压下来再用3x3卷积做特征提取最后用1x1卷积把通道数升回去。整个过程像一个瓶子——两边粗、中间细所以叫瓶颈。2.2 四个容易被中文语境带偏的概念第一个是Batch Normalization。它被翻译成“批归一化”很多人会误以为作用是把一批数据按大小归一。实际上它是把每个特征通道在batch维度上做标准化让均值接近0、方差接近1主要作用是稳定训练、加速收敛与“归一化”这个概念相关但处理对象和方式都有具体限制。第二个是Global Average Pooling全局平均池化。它把整张feature map压成1个值相当于把每个通道上的所有像素取平均。它替代了早期的全连接层作为分类头好处是参数量更小、不容易过拟合。中文翻译成“平均池化”容易让人忽略“全局”两个字的重要性——它不是在一个窗口里平均而是在整个空间维度上平均。第三个是Stride步长。它在中文里有时候被直接音译为“斯特赖德”有时候翻译成“步幅”。它控制卷积核每次滑动的距离是决定输出尺寸和感受野变化的核心参数。残差结构中常见到stride2作用是把空间尺寸减半同时配合通道数翻倍。第四个是Pre-activation和Post-activation。这两个词描述的是批归一化和ReLU在残差块里的相对位置。论文更新版本提出的预激活结构Activations before additions在某些场景下更好但如果你对英文术语不敏感很容易在实现时忽略这个顺序带来的精度差异。术语这种东西翻译得不准确最多让表达别扭真正危险的是你以为自己懂了实际上理解的边界完全不一样。所以看论文时遇到不确定的关键词建议先回到原始公式确认它的位置和作用而不是死记中文译名。3. 残差结构为什么能治好“越深越差”退化问题的中文解释ResNet提出的背景是当时的一个怪现象网络层数增加之后训练集上的误差先降低然后不降反升。这个现象被论文称为“退化问题”。它绝对不是过拟合——过拟合是训练误差低、测试误差高而退化问题连训练误差都压不下去。3.1 退化问题不是过拟合我最早看到56层网络比20层网络训练误差更高的时候第一反应也是“是不是更深的那个模型过拟合了”。后来把训练曲线拉出来看才发现20层网络的训练loss一直在下降56层网络的训练loss在高位就下不去了。这说明问题出在“优化”而不是“泛化”。为什么深层网络难优化直观理解可以拿传话游戏类比100个人排成一队传一句话传到后面基本就变了。网络里的层和层之间也是按顺序传递信息的每一层都要依赖前面所有层的输出。如果前面某一层的输出质量不高后面所有层都会受到连锁影响。更关键的是反向传播时梯度需要一层一层往回传路径越长信号就越容易衰减。面对这个问题传统手段良好的初始化、Batch Normalization、合适的激活函数能缓解但没有从结构上解决。残差网络的做法很直接在每一段加一条“直线电话”让信息不必经过层层传递也能到达后面的层。这样深层网络就不再是一条单纯串联的长链而是很多条“主路支路”的并行结构梯度有了更多近路可以走。3.2 从反向传播看残差连接的梯度优势残差结构在数学上的关键性质可以通过求导看出来。对一个残差块y F(x) x假设损失函数是L在反向传播时需要计算损失对输入的梯度。根据链式法则∂L/∂x ∂L/∂y · ∂y/∂x ∂L/∂y · (∂F/∂x 1)这个结果里出现了一个“1”。它就是恒等映射带来的梯度通道无论F(x)那部分的梯度有多小甚至趋近于零这个“1”都会保证梯度至少有一部分能直接传到前面的层。等价于每一层都在给自己做“梯度备份”。如果换成普通网络每一层的输出是y F(x)那么∂L/∂x ∂L/∂y · ∂F/∂x这里的因子要是小于1经过很多层之后梯度会指数级衰减最后前面的层几乎学不到东西。差距就在这里残差网络让“偏导数的乘积链”中多了一个可以恒等于1的加法项而不是完全依赖F(x)自身的导数。用中文描述这个“1”它代表的是“你自己这条路”永远有一条保底的梯度通道。即使所有的卷积层都被训练得很糟糕梯度也能顺着恒等映射传回去不会消失。4. 把论文翻译成PyTorch一个可复现的ResNet实现理论说再多不如直接跑代码。我建议所有初学者在CIFAR-10这类小数据集上手动实现一个ResNet。不是让你去调torchvision里现成的大模型而是把BasicBlock、Bottleneck、downsample这些概念亲手写一遍才能真正理解论文里的每一个句子。这里给一份我实际用过的简化版实现并附上踩坑记录。4.1 BasicBlock和Bottleneck的代码差异残差网络最核心的组件是残差块。浅层网络层数在34及以下用的是BasicBlock结构是“两个3x3卷积”深层网络层数在50及以上用的是Bottleneck结构是“1x1降维 3x3卷积 1x1升维”。BasicBlock的实现import torch import torch.nn as nn class BasicBlock(nn.Module): def __init__(self, in_channels, out_channels, stride1, downsampleNone): super().__init__() self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.relu nn.ReLU(inplaceTrue) self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) self.downsample downsample def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) return outBottleneck的实现class Bottleneck(nn.Module): expansion 4 def __init__(self, in_channels, out_channels, stride1, downsampleNone): super().__init__() self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size1, biasFalse) self.bn1 nn.BatchNorm2d(out_channels) self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse) self.bn2 nn.BatchNorm2d(out_channels) self.conv3 nn.Conv2d(out_channels, out_channels * self.expansion, kernel_size1, biasFalse) self.bn3 nn.BatchNorm2d(out_channels * self.expansion) self.relu nn.ReLU(inplaceTrue) self.downsample downsample def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) out self.relu(out) out self.conv3(out) out self.bn3(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) return out这两个模块最大的区别是参数量。Bottleneck因为先用1x1卷积把通道数降下来中间3x3卷积输入输出通道数都较小所以整体参数量反而比两个大通道3x3卷积更少。形象地说它是一个“先压缩进瓶子脖子再在瓶身处理最后从瓶口出来”的结构。这也是它翻译成“瓶颈”的原因。4.2 实现中最容易踩的三个坑第一个坑是维度匹配。当步长为2或者通道数变化时shortcut支路的x和主路的输出维度不一致直接加法会报错。解决办法是在shortcut上加一个downsample模块通常是1x1卷积并且步长设置为2用来把x的尺寸和通道数投影到和主路输出一致。我见过很多新手在这里漏写downsample导致只能在某些特定层叠下跑通。第二个坑是BatchNorm的bias设置。卷积层里习惯性写biasTrue但卷积后面接BatchNorm时偏置参数会被BN层的归一化过程抵消掉白白增加参数量。正确做法是biasFalse。这个问题不会导致报错但会浪费显存和训练时间Prune模型时还会发现一堆无用参数。第三个坑是ReLU的位置。经典残差块是先做一个3x3卷积、BN、ReLU再做第二个卷积、BN然后把identity加进来最后再做一次ReLU。注意第二个ReLU是在加法之后。如果我把ReLU放在加法之前输出的残差连接就失真了训练效果会有肉眼可见的下降。这个细节论文里有图但代码实现时很容易顺手写错。4.3 一个可以直接抄的训练对比实验为了验证“残差”到底起了什么作用我在CIFAR-10上做过一个很简单的对比一组用上面BasicBlock搭建的18层残差网络另一组把所有out identity这行删掉变成普通18层卷积网络。初始化和训练超参完全相同。实验结果很典型普通网络训练到第20个epoch训练准确率一直在80%左右徘徊怎么都上不去看起来像“卡住”了残差网络到第20个epoch已经接近95%到第50个epoch稳定在99%左右。当然这个数值随随机种子会有浮动但“含残差结构能收敛得更深、更快”这个现象可以稳定复现。这个实验强烈建议自己也跑一遍比看十篇博客都管用。你会在普通网络上感受到那种“loss降不下去”的绝望也会在残差网络上感受到“原来优化真的可以这样顺滑”。5. 中文社区里关于ResNet的三个高频误解以及我的实测体会ResNet名气太大围绕它的解读太多了但也因此出现了几个非常普遍的误解。我把它们列出来不是因为这些说法全错而是因为它们都只说对了一半容易让后来的人理解跑偏。5.1 误解一残差连接只是“跳过去”你可能听过类似的说法“ResNet就是加了几个shortcut把输入直接跳到后面。”如果你只是从结构图上看确实是这样。但这个说法把“为什么有用”完全说没了。我实测的感受是残差连接真正的价值在于它改变了每一层的学习方式。普通网络的每一层都必须学会从输入到输出的完整映射而残差网络的每一层只需要学习“我在输入的基础上应该修正什么”。这意味着网络内部的特征表示始终保留了原始输入的成分不会因为层数加深而完全漂移。之前我在一次可视化实验里看到没有残差的网络越到高层特征图越稀疏很多通道已经“死掉”了而加了残差的网络高层特征图中仍然能清晰找到原始输入的信息痕迹。这就是“恒等映射保底”的实际体现。5.2 误解二ResNet解决了梯度消失这个说法流传最广但严格来说并不准确。ResNet诞生之前ReLU激活函数和Batch Normalization已经相当普及梯度爆炸或梯度消失问题已经被这两样工具大幅缓解。ResNet真正解决的问题是“退化”——深层网络难以训练、训练误差下不去的问题。梯度消失讨论的是“梯度在反向传播中变得非常小”而退化问题更复杂它包括了优化难度、特征复用和训练动态等多重因素。虽然残差连接确实通过“1”改善了梯度传播但不能把它的贡献全部归结为“防梯度消失”。否则你没法解释为什么早期用sigmoid的网络在加上残差之后依然很难训因为那时的输入分布和激活函数问题没有解决。实际做实验时你会发现在合理的权重初始化前提下普通网络并不会立刻出现梯度数值为0的梯度消失但训练loss就是降不下去。这说明问题的矛头更应该指向优化而不只是梯度数值。把ResNet称为“深层网络的优化器”也许更贴近事实。5.3 误解三ResNet只适合图像分类很多人学ResNet是因为图像分类所以默认它是一个“视觉模型”。但残差结构是一个通用网络组件不是某个视觉任务的专属工具。现在几乎所有主流结构里都能看到残差连接处理序列数据的Transformer中的每个子层都用了残差加和图神经网络的消息传递也常用残差连接连扩散模型里的UNet都到处是残差块。这也是“中文翻译”这层含义给我带来的启发当我把残差理解成“在原基础上做增量修改”而不是“某个图像专用的跳跃线”整个思维就打开了。你可以在时间序列预测、推荐系统、自然语言编码器里用到同一个思想。它不再是某个固定网络的代名词而是一种优化思路的通用表达。最后再分享一点个人经验如果你到现在还没亲手写过ResNet我建议你找一个晚上用PyTorch或者你熟悉的框架从零写一个完整的ResNet-18在自带的CIFAR-10数据上跑起来。过程中不需要用任何重量级库只需要卷积、BatchNorm、ReLU和加法操作。等你跑完那个“有无残差”的对比实验你就会理解我在前面说的每一句话——包括“残差”这个翻译到底贴不贴切。我自己在第一次验证时最惊讶的并不是准确率涨了几个点而是深层网络终于能够在训练集上稳定收敛了。那种“原来深网络是能训的”的感觉是读多少篇论文都换不来的。希望你也能在控制台里看到那条漂亮的收敛曲线那一刻你会觉得标题里的“中文翻译”四个字是真的被你自己翻译通了。