1. 项目概述为什么ResNet101是绕不开的里程碑如果你在图像识别领域摸爬滚打过几年一定会对2015年横空出世的ResNet残差网络记忆犹新。它不像一些昙花一现的模型ResNet系列尤其是ResNet101几乎成了过去近十年深度学习在计算机视觉任务中的“基础设施”和“基准线”。无论是做学术研究发论文还是在工业界部署一个分类、检测或分割模型ResNet101常常是那个你第一个会想到去尝试、去对比、甚至直接拿来微调的骨干网络。今天我们就抛开那些教科书式的定义从一个实践者的角度深入聊聊ResNet101到底“神”在哪里以及我们如何在真实的图像识别项目中用好它。简单来说ResNet101解决了一个困扰深度学习界多年的核心难题网络深度增加时性能不升反降。在它之前大家普遍认为网络越深学习能力越强但实际搭建超过20层的网络时准确率会饱和甚至下降这不是过拟合而是网络变得难以训练梯度在反向传播中消失或爆炸。ResNet通过引入“残差学习”的巧妙思想让网络可以轻松堆叠到上百层乃至上千层从而实现了性能的突破性提升。ResNet101顾名思义就是一个拥有101层深度的残差网络它在精度和复杂度之间取得了极佳的平衡使其成为应用最广泛的版本之一。这篇文章适合所有对深度学习实战感兴趣的朋友无论你是刚入门想找一个经典模型练手还是有一定经验需要深入理解骨干网络的设计哲学。我会结合原理、代码和大量实战中的“坑”带你重新认识这个巅峰之作。2. 核心思想拆解残差学习为何是“神来之笔”2.1 深度网络的退化问题与直觉突破在ResNet出现之前VGGNet通过堆叠3x3的小卷积核将网络深度推到了19层取得了不错的效果。大家自然想如果能训练一个更深的VGG比如50层、100层效果应该更好。但实验结果泼了一盆冷水56层的普通网络在训练集和测试集上的错误率都比20层的网络要高。这明确表明这不是过拟合过拟合在训练集上表现好测试集差而是深度网络本身变得难以优化。问题的根源在于梯度。在反向传播中梯度需要从损失函数一层层回传指导每一层参数的更新。当网络非常深时梯度在连续相乘链式法则的过程中如果大部分乘数小于1梯度会指数级衰减到近乎为零梯度消失如果大部分乘数大于1则会指数级爆炸梯度爆炸。虽然通过精心初始化如He初始化和批量归一化BatchNorm可以缓解爆炸问题但消失问题在极深网络中依然棘手。ResNet的作者何恺明等人提出了一个反直觉却极其优雅的解决方案既然深层网络难以学习一个恒等映射即输出等于输入那我们就不让它直接学习目标映射H(x)而是让它学习目标映射与输入x之间的残差F(x) H(x) - x。这样原始的目标映射实际上变成了 H(x) F(x) x。这个改动看似微小却带来了革命性的变化。如果某一层的F(x)学习效果不佳或者我们甚至认为这一层是多余的那么最理想的情况就是让F(x) 0。在残差块中让F(x)0远比在一个普通卷积块中让H(x)x要容易得多。因为对于普通卷积层让H(x)x意味着需要让权重矩阵学习成一个单位矩阵这是有难度的而对于残差块只需将其权重推向零即可。这为网络提供了一条“捷径”Shortcut Connection让梯度可以几乎无损地直接流过极大地缓解了梯度消失问题使得训练成百上千层的网络成为可能。2.2 残差块的结构与两种Identity Mapping理解了思想我们来看具体实现。ResNet的基础构件是“残差块”。以最经典的两种为例BasicBlock用于较浅的ResNet如18、34层它包含两个3x3卷积层 shortcut connection直接将输入x加到第二个卷积层的输出上。公式为y F(x, {Wi}) x。这里的加法要求F(x)的维度必须与x完全相同。在ResNet-34中所有块的输入输出通道数一致所以可以直接相加。Bottleneck Block用于更深的ResNet如50、101、152层这是ResNet101使用的块。为了在加深网络的同时控制计算量它采用了“瓶颈”结构先是一个1x1卷积降维减少通道数例如降到1/4然后是一个3x3卷积进行特征提取最后再用一个1x1卷积升维回原始通道数。这样3x3卷积处理的是低维特征大大减少了参数量和计算量。其公式同样是 y F(x, {Wi}) x。这里有一个关键细节当残差块需要改变特征图的尺寸下采样或通道数时shortcut connection就不能直接相加了因为维度不匹配。ResNet的解决方案是在shortcut路径上增加一个1x1卷积层配合步幅2进行下采样用来调整维度和尺寸使其能与主路径的输出相加。这个1x1卷积层通常被称为“投影捷径”。注意在实际编程中如PyTorch官方实现这个投影捷径的1x1卷积通常不包含偏置项biasFalse。这是因为紧接着的相加操作后会有一个BatchNorm层BN层本身有可学习的缩放和平移参数足以替代偏置的作用。添加额外的偏置可能导致训练不稳定这是一个容易被忽略但重要的工程细节。3. ResNet101网络架构全景与核心参数解析3.1 层数计算与结构总览ResNet101的名字容易让人误解为正好101层卷积。实际上这里的“101层”指的是带权重的层数主要包括卷积层和全连接层。我们以最常用的配置来拆解初始层一个7x7卷积stride2 一个3x3最大池化stride2。这算作1个卷积层。四个阶段StageStage1: 使用Bottleneck Block重复[3]次。每个Bottleneck有3个卷积层共 3 * 3 9层。Stage2: 使用Bottleneck Block重复[4]次。共 4 * 3 12层。Stage3: 使用Bottleneck Block重复[23]次。共 23 * 3 69层。这是ResNet101深度的大头Stage4: 使用Bottleneck Block重复[3]次。共 3 * 3 9层。末尾层全局平均池化 一个全连接层1000个神经元对应ImageNet的1000类。全连接层算1层。总层数计算1初始卷积 9 12 69 9 1全连接 101层。这正是其名称的由来。每个Stage的第一个Bottleneck Block通常会进行下采样通过stride2从而将特征图尺寸减半同时通道数翻倍具体翻倍规则由Bottleneck的第一个1x1卷积决定。3.2 特征图尺寸与通道数变化流程假设输入图像为224x224x3RGB三通道我们跟踪数据在ResNet101中的旅程Conv1 (7x7, stride2, padding3)输出尺寸 (224-72*3)/2 1 112。输出通道64。尺寸112x112x64。MaxPool (3x3, stride2)输出尺寸 (112-3)/2 1 56。尺寸56x56x64。Stage1 (Conv2_x)3个Bottleneck。输入输出通道数均为256注意Bottleneck内部先降到64再升回256。注意Stage1内部不进行空间下采样所以最终输出尺寸仍是56x56但通道数从64提升到了256。尺寸56x56x256。Stage2 (Conv3_x)4个Bottleneck。第一个Block进行下采样stride2将尺寸减半为28x28同时输出通道数提升到512。尺寸28x28x512。Stage3 (Conv4_x)23个Bottleneck。第一个Block下采样尺寸减半为14x14输出通道数提升到1024。尺寸14x14x1024。Stage4 (Conv5_x)3个Bottleneck。第一个Block下采样尺寸减半为7x7输出通道数提升到2048。尺寸7x7x2048。全局平均池化 (Global Average Pooling)将7x7的特征图每个通道取平均值得到一个2048维的向量。尺寸1x1x2048。全连接层 (FC)将2048维向量映射到1000维ImageNet类别数。尺寸1000。这个从高分辨率、低语义信息到低分辨率、高语义信息的特征提取过程是卷积神经网络的经典范式。ResNet101的深度保证了其在各个尺度上都能学习到丰富的特征。4. 实战在自定义数据集上微调ResNet101理论再精彩不如动手一试。现在我们假设你手头有一个自己的图像分类数据集比如分辨10种不同的花卉来演示如何利用PyTorch快速微调一个预训练的ResNet101模型。微调是应用深度学习最实用、最高效的手段之一。4.1 环境准备与数据组织首先确保你的环境已安装PyTorch和TorchVision。数据组织我强烈推荐遵循ImageFolder的格式这是最省心的方式your_dataset/ ├── train/ │ ├── class1/ │ │ ├── img1.jpg │ │ └── img2.jpg │ ├── class2/ │ │ ├── img3.jpg │ │ └── ... │ └── ... └── val/ ├── class1/ ├── class2/ └── ...train和val分别代表训练集和验证集每个子文件夹的名字就是类别标签。这样PyTorch的ImageFolder加载器会自动处理好标签映射。4.2 模型加载与改造我们使用torchvision.models中提供的预训练模型。预训练权重是在ImageNet上训练的包含了丰富的通用视觉特征。import torch import torch.nn as nn import torchvision.transforms as transforms import torchvision.datasets as datasets from torchvision import models # 1. 加载预训练模型并获取其输出层的输入特征数 model models.resnet101(weightsmodels.ResNet101_Weights.IMAGENET1K_V2) # 使用V2权重效果更好 num_ftrs model.fc.in_features # 获取全连接层输入特征数对于ResNet101是2048 # 2. 关键步骤替换最后的全连接层fc # 假设我们的自定义数据集有10个类别 num_classes 10 model.fc nn.Linear(num_ftrs, num_classes) # 3. 将模型转移到GPU如果可用 device torch.device(cuda:0 if torch.cuda.is_available() else cpu) model model.to(device)这里有一个非常重要的技巧通常我们不仅仅替换最后一层。对于卷积部分通常称为“骨干网络”或“特征提取器”在训练初期我们希望保留其已经学到的强大特征只让新换上的全连接层快速学习。因此我们会冻结骨干网络的参数。# 冻结除最后一层fc外的所有参数 for name, param in model.named_parameters(): if fc not in name: # 只训练fc层 param.requires_grad False # 也可以选择性地解冻后面几个阶段如Stage4进行精细调优 # for name, param in model.named_parameters(): # if layer4 in name or fc in name: # 解冻Stage4和fc层 # param.requires_grad True # else: # param.requires_grad False冻结操作通过设置requires_grad False实现这样在反向传播时这些参数就不会被更新大大减少了训练初期的计算量和内存占用并有助于防止小数据集上的过拟合。4.3 数据预处理、加载与训练策略数据预处理需要和ImageNet预训练时保持一致因为预训练权重是在特定数据分布上学习的。TorchVision提供了非常方便的转换组合。# 定义训练和验证的数据增强与预处理 # IMAGENET的均值和标准差 mean [0.485, 0.456, 0.406] std [0.229, 0.224, 0.225] train_transform transforms.Compose([ transforms.RandomResizedCrop(224), # 随机裁剪并缩放到224x224 transforms.RandomHorizontalFlip(), # 随机水平翻转简单有效的增强 transforms.ToTensor(), # 转为Tensor并归一化到[0,1] transforms.Normalize(mean, std) # 用ImageNet统计值标准化 ]) val_transform transforms.Compose([ transforms.Resize(256), # 将短边缩放到256 transforms.CenterCrop(224), # 中心裁剪224x224 transforms.ToTensor(), transforms.Normalize(mean, std) ]) # 加载数据集 train_dataset datasets.ImageFolder(rootpath/to/your_dataset/train, transformtrain_transform) val_dataset datasets.ImageFolder(rootpath/to/your_dataset/val, transformval_transform) train_loader torch.utils.data.DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers4) val_loader torch.utils.data.DataLoader(val_dataset, batch_size32, shuffleFalse, num_workers4)接下来是训练循环的核心部分。由于我们冻结了大部分参数优化器只优化那些需要梯度的参数。import torch.optim as optim from torch.optim import lr_scheduler # 定义损失函数和优化器只优化需要梯度的参数 criterion nn.CrossEntropyLoss() optimizer optim.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr0.001, momentum0.9) # 使用学习率调度器在训练过程中降低学习率有助于收敛 scheduler lr_scheduler.StepLR(optimizer, step_size7, gamma0.1) # 每7个epoch学习率乘以0.1 num_epochs 25 for epoch in range(num_epochs): # 训练阶段 model.train() running_loss 0.0 for inputs, labels in train_loader: inputs, labels inputs.to(device), labels.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * inputs.size(0) epoch_loss running_loss / len(train_dataset) scheduler.step() # 更新学习率 # 验证阶段 model.eval() correct 0 total 0 with torch.no_grad(): for inputs, labels in val_loader: inputs, labels inputs.to(device), labels.to(device) outputs model(inputs) _, predicted torch.max(outputs.data, 1) total labels.size(0) correct (predicted labels).sum().item() val_acc 100 * correct / total print(fEpoch {epoch1}/{num_epochs}, Loss: {epoch_loss:.4f}, Val Acc: {val_acc:.2f}%)这个流程是一个基础但完整的微调范例。在实际项目中你可能还需要加入TensorBoard或WandB进行可视化监控使用早停Early Stopping策略防止过拟合以及尝试不同的优化器如AdamW和学习率预热Warmup策略。5. 超越分类ResNet101作为强大的特征提取器ResNet101的价值远不止于图像分类。其强大的特征提取能力使其成为众多计算机视觉高级任务的基石“骨干网络”。预训练的ResNet101提供了一个非常好的特征起点我们可以在其基础上“嫁接”不同的任务头。5.1 目标检测Faster R-CNN与Mask R-CNN在目标检测领域Faster R-CNN是一个里程碑式的两阶段检测器。它的核心组成部分之一就是区域提议网络和区域兴趣池化之后的特征提取。通常我们会用一个预训练的ResNet101去掉最后的全连接层和全局平均池化作为骨干网络接上一个特征金字塔网络为RPN和检测头提供多尺度的特征图。ResNet的深层特征如Stage4的输出包含丰富的语义信息利于分类而浅层特征如Stage2、3的输出包含更多的细节和位置信息利于定位。这种结合使得检测精度大幅提升。Mask R-CNN更进一步在Faster R-CNN的基础上增加了一个并行的分支用于预测每个目标实例的像素级分割掩码。ResNet101同样是其最常用的骨干网络之一为实例分割任务提供了坚实的特征基础。5.2 语义分割FCN与U-Net变体全卷积网络是语义分割的开山之作。它的思想是将传统CNN最后的全连接层替换为卷积层使网络可以接受任意尺寸的输入并输出相同空间分辨率的预测图。一个典型的做法是将预训练的ResNet101作为编码器将其最后三个阶段Stage2,3,4的输出通过反卷积层或上采样操作与更浅层的特征进行融合跳跃连接逐步恢复空间细节最终得到像素级的分类结果。ResNet101的深度保证了编码器能提取到高级语义特征而跳跃连接则弥补了空间信息的损失。5.3 关键点检测与姿态估计在人体姿态估计任务中我们需要定位人体关节点的坐标。一种主流方法是采用“热图回归”。网络以整张图片为输入为每个关节点输出一张概率热图峰值点即为预测的关节点位置。这类网络如SimpleBaseline、HRNet的骨干部分也广泛采用ResNet101。深层网络学习到的关于人体结构、部件关系的先验知识对于准确推断被遮挡或模糊的关节点至关重要。6. 工程化考量部署优化与常见陷阱当你训练好一个基于ResNet101的模型并准备投入实际应用时会面临一系列工程挑战。6.1 模型压缩与加速ResNet101有约4450万个参数前向推理一次需要约7.6 GFLOPs的计算量。在资源受限的边缘设备如手机、嵌入式设备上直接运行是不现实的。因此模型压缩与加速是必经之路。剪枝识别并移除网络中不重要的连接或通道。例如可以通过衡量卷积核的L1范数将范数小的通道剪掉然后对剪枝后的网络进行微调以恢复精度。量化将模型权重和激活从32位浮点数转换为低精度格式如8位整数。这能显著减少模型大小和内存带宽需求并利用硬件对整型运算的加速能力。PyTorch和TensorFlow都提供了成熟的量化工具。知识蒸馏用一个庞大而精确的教师模型如ResNet101去指导一个小而快的学生模型如MobileNetV3的训练让学生模型模仿教师模型的行为从而获得接近大模型的性能。使用更高效的架构如果对延迟极其敏感可以考虑直接使用为移动端设计的网络如EfficientNet、MobileNet系列或者在ResNet基础上改进的RegNet、ResNeSt等。6.2 实际部署中的输入处理训练时我们使用了一整套预处理流程随机裁剪、翻转等。但在部署推理时必须保证预处理与训练时完全一致除了数据增强部分。通常推理时只保留Resize、CenterCrop、ToTensor和Normalize。一个常见的错误是忘记做归一化或者使用了错误的均值和标准差这会导致模型性能严重下降。另外输入图像的尺寸不一定非要固定为224x224。全卷积网络可以处理任意尺寸但ResNet101的全局平均池化层要求输入在进入该层之前特征图尺寸必须被下采样到7x7。如果你改变了输入尺寸需要确保网络的总下采样倍数通常是32倍能整除你的输入尺寸否则特征图尺寸会出现小数导致错误。例如输入320x320经过5次stride2的下采样得到10x10的特征图无法进行7x7的全局平均池化。这时你可能需要将全局平均池化层替换为自适应平均池化层nn.AdaptiveAvgPool2d((1, 1))它可以接受任意尺寸的输入并输出1x1的特征图。6.3 避坑指南与经验分享预训练权重版本torchvision.models提供的预训练权重有多个版本如IMAGENET1K_V1,IMAGENET1K_V2。V2版本通常使用了更好的训练技巧如标签平滑、不同的数据增强效果比V1有提升。在加载时务必指定正确的权重并确保预处理与权重版本匹配。BatchNorm层在微调时的状态BatchNorm层在训练和评估推理时的行为不同它依赖于批次的统计信息。当你冻结了骨干网络进行微调时BatchNorm层默认处于训练模式会继续更新其running_mean和running_var。对于小数据集这可能不稳定。一种实践是也将这些BatchNorm层设置为评估模式model.eval()或者使用torch.no_grad()上下文管理器。更精细的控制可以通过设置model.train()和model.eval()或者手动设置bn_layer.training False。学习率设置对于微调新添加的层如替换的fc层需要较大的学习率来快速学习而已冻结或部分冻结的预训练层则需要非常小的学习率进行精细调整。因此使用分组学习率策略param_groups通常是更好的选择为不同部分设置不同的学习率。内存溢出OOMResNet101的深度和宽度使其对显存需求较高。如果遇到OOM错误首先尝试减小batch_size。如果必须使用大batch可以考虑使用梯度累积多次前向传播累积梯度再一次性反向更新模拟大batch的效果。另外使用混合精度训练torch.cuda.amp也能有效降低显存占用并加速训练。类别不平衡问题如果你的自定义数据集类别严重不平衡使用标准的交叉熵损失会导致模型偏向多数类。可以尝试使用带权重的交叉熵损失nn.CrossEntropyLoss(weightclass_weights)其中class_weights可以根据每个类别的样本数倒数或其他方法计算。或者使用Focal Loss它通过降低易分类样本的权重使模型更关注难分类和稀有的样本。 
长河君 · 2026/8/17 11:29:14 · 阅读 1.2k ResNet101深度解析：从残差学习原理到PyTorch实战微调
1. 项目概述为什么ResNet101是绕不开的里程碑如果你在图像识别领域摸爬滚打过几年一定会对2015年横空出世的ResNet残差网络记忆犹新。它不像一些昙花一现的模型ResNet系列尤其是ResNet101几乎成了过去近十年深度学习在计算机视觉任务中的“基础设施”和“基准线”。无论是做学术研究发论文还是在工业界部署一个分类、检测或分割模型ResNet101常常是那个你第一个会想到去尝试、去对比、甚至直接拿来微调的骨干网络。今天我们就抛开那些教科书式的定义从一个实践者的角度深入聊聊ResNet101到底“神”在哪里以及我们如何在真实的图像识别项目中用好它。简单来说ResNet101解决了一个困扰深度学习界多年的核心难题网络深度增加时性能不升反降。在它之前大家普遍认为网络越深学习能力越强但实际搭建超过20层的网络时准确率会饱和甚至下降这不是过拟合而是网络变得难以训练梯度在反向传播中消失或爆炸。ResNet通过引入“残差学习”的巧妙思想让网络可以轻松堆叠到上百层乃至上千层从而实现了性能的突破性提升。ResNet101顾名思义就是一个拥有101层深度的残差网络它在精度和复杂度之间取得了极佳的平衡使其成为应用最广泛的版本之一。这篇文章适合所有对深度学习实战感兴趣的朋友无论你是刚入门想找一个经典模型练手还是有一定经验需要深入理解骨干网络的设计哲学。我会结合原理、代码和大量实战中的“坑”带你重新认识这个巅峰之作。2. 核心思想拆解残差学习为何是“神来之笔”2.1 深度网络的退化问题与直觉突破在ResNet出现之前VGGNet通过堆叠3x3的小卷积核将网络深度推到了19层取得了不错的效果。大家自然想如果能训练一个更深的VGG比如50层、100层效果应该更好。但实验结果泼了一盆冷水56层的普通网络在训练集和测试集上的错误率都比20层的网络要高。这明确表明这不是过拟合过拟合在训练集上表现好测试集差而是深度网络本身变得难以优化。问题的根源在于梯度。在反向传播中梯度需要从损失函数一层层回传指导每一层参数的更新。当网络非常深时梯度在连续相乘链式法则的过程中如果大部分乘数小于1梯度会指数级衰减到近乎为零梯度消失如果大部分乘数大于1则会指数级爆炸梯度爆炸。虽然通过精心初始化如He初始化和批量归一化BatchNorm可以缓解爆炸问题但消失问题在极深网络中依然棘手。ResNet的作者何恺明等人提出了一个反直觉却极其优雅的解决方案既然深层网络难以学习一个恒等映射即输出等于输入那我们就不让它直接学习目标映射H(x)而是让它学习目标映射与输入x之间的残差F(x) H(x) - x。这样原始的目标映射实际上变成了 H(x) F(x) x。这个改动看似微小却带来了革命性的变化。如果某一层的F(x)学习效果不佳或者我们甚至认为这一层是多余的那么最理想的情况就是让F(x) 0。在残差块中让F(x)0远比在一个普通卷积块中让H(x)x要容易得多。因为对于普通卷积层让H(x)x意味着需要让权重矩阵学习成一个单位矩阵这是有难度的而对于残差块只需将其权重推向零即可。这为网络提供了一条“捷径”Shortcut Connection让梯度可以几乎无损地直接流过极大地缓解了梯度消失问题使得训练成百上千层的网络成为可能。2.2 残差块的结构与两种Identity Mapping理解了思想我们来看具体实现。ResNet的基础构件是“残差块”。以最经典的两种为例BasicBlock用于较浅的ResNet如18、34层它包含两个3x3卷积层 shortcut connection直接将输入x加到第二个卷积层的输出上。公式为y F(x, {Wi}) x。这里的加法要求F(x)的维度必须与x完全相同。在ResNet-34中所有块的输入输出通道数一致所以可以直接相加。Bottleneck Block用于更深的ResNet如50、101、152层这是ResNet101使用的块。为了在加深网络的同时控制计算量它采用了“瓶颈”结构先是一个1x1卷积降维减少通道数例如降到1/4然后是一个3x3卷积进行特征提取最后再用一个1x1卷积升维回原始通道数。这样3x3卷积处理的是低维特征大大减少了参数量和计算量。其公式同样是 y F(x, {Wi}) x。这里有一个关键细节当残差块需要改变特征图的尺寸下采样或通道数时shortcut connection就不能直接相加了因为维度不匹配。ResNet的解决方案是在shortcut路径上增加一个1x1卷积层配合步幅2进行下采样用来调整维度和尺寸使其能与主路径的输出相加。这个1x1卷积层通常被称为“投影捷径”。注意在实际编程中如PyTorch官方实现这个投影捷径的1x1卷积通常不包含偏置项biasFalse。这是因为紧接着的相加操作后会有一个BatchNorm层BN层本身有可学习的缩放和平移参数足以替代偏置的作用。添加额外的偏置可能导致训练不稳定这是一个容易被忽略但重要的工程细节。3. ResNet101网络架构全景与核心参数解析3.1 层数计算与结构总览ResNet101的名字容易让人误解为正好101层卷积。实际上这里的“101层”指的是带权重的层数主要包括卷积层和全连接层。我们以最常用的配置来拆解初始层一个7x7卷积stride2 一个3x3最大池化stride2。这算作1个卷积层。四个阶段StageStage1: 使用Bottleneck Block重复[3]次。每个Bottleneck有3个卷积层共 3 * 3 9层。Stage2: 使用Bottleneck Block重复[4]次。共 4 * 3 12层。Stage3: 使用Bottleneck Block重复[23]次。共 23 * 3 69层。这是ResNet101深度的大头Stage4: 使用Bottleneck Block重复[3]次。共 3 * 3 9层。末尾层全局平均池化 一个全连接层1000个神经元对应ImageNet的1000类。全连接层算1层。总层数计算1初始卷积 9 12 69 9 1全连接 101层。这正是其名称的由来。每个Stage的第一个Bottleneck Block通常会进行下采样通过stride2从而将特征图尺寸减半同时通道数翻倍具体翻倍规则由Bottleneck的第一个1x1卷积决定。3.2 特征图尺寸与通道数变化流程假设输入图像为224x224x3RGB三通道我们跟踪数据在ResNet101中的旅程Conv1 (7x7, stride2, padding3)输出尺寸 (224-72*3)/2 1 112。输出通道64。尺寸112x112x64。MaxPool (3x3, stride2)输出尺寸 (112-3)/2 1 56。尺寸56x56x64。Stage1 (Conv2_x)3个Bottleneck。输入输出通道数均为256注意Bottleneck内部先降到64再升回256。注意Stage1内部不进行空间下采样所以最终输出尺寸仍是56x56但通道数从64提升到了256。尺寸56x56x256。Stage2 (Conv3_x)4个Bottleneck。第一个Block进行下采样stride2将尺寸减半为28x28同时输出通道数提升到512。尺寸28x28x512。Stage3 (Conv4_x)23个Bottleneck。第一个Block下采样尺寸减半为14x14输出通道数提升到1024。尺寸14x14x1024。Stage4 (Conv5_x)3个Bottleneck。第一个Block下采样尺寸减半为7x7输出通道数提升到2048。尺寸7x7x2048。全局平均池化 (Global Average Pooling)将7x7的特征图每个通道取平均值得到一个2048维的向量。尺寸1x1x2048。全连接层 (FC)将2048维向量映射到1000维ImageNet类别数。尺寸1000。这个从高分辨率、低语义信息到低分辨率、高语义信息的特征提取过程是卷积神经网络的经典范式。ResNet101的深度保证了其在各个尺度上都能学习到丰富的特征。4. 实战在自定义数据集上微调ResNet101理论再精彩不如动手一试。现在我们假设你手头有一个自己的图像分类数据集比如分辨10种不同的花卉来演示如何利用PyTorch快速微调一个预训练的ResNet101模型。微调是应用深度学习最实用、最高效的手段之一。4.1 环境准备与数据组织首先确保你的环境已安装PyTorch和TorchVision。数据组织我强烈推荐遵循ImageFolder的格式这是最省心的方式your_dataset/ ├── train/ │ ├── class1/ │ │ ├── img1.jpg │ │ └── img2.jpg │ ├── class2/ │ │ ├── img3.jpg │ │ └── ... │ └── ... └── val/ ├── class1/ ├── class2/ └── ...train和val分别代表训练集和验证集每个子文件夹的名字就是类别标签。这样PyTorch的ImageFolder加载器会自动处理好标签映射。4.2 模型加载与改造我们使用torchvision.models中提供的预训练模型。预训练权重是在ImageNet上训练的包含了丰富的通用视觉特征。import torch import torch.nn as nn import torchvision.transforms as transforms import torchvision.datasets as datasets from torchvision import models # 1. 加载预训练模型并获取其输出层的输入特征数 model models.resnet101(weightsmodels.ResNet101_Weights.IMAGENET1K_V2) # 使用V2权重效果更好 num_ftrs model.fc.in_features # 获取全连接层输入特征数对于ResNet101是2048 # 2. 关键步骤替换最后的全连接层fc # 假设我们的自定义数据集有10个类别 num_classes 10 model.fc nn.Linear(num_ftrs, num_classes) # 3. 将模型转移到GPU如果可用 device torch.device(cuda:0 if torch.cuda.is_available() else cpu) model model.to(device)这里有一个非常重要的技巧通常我们不仅仅替换最后一层。对于卷积部分通常称为“骨干网络”或“特征提取器”在训练初期我们希望保留其已经学到的强大特征只让新换上的全连接层快速学习。因此我们会冻结骨干网络的参数。# 冻结除最后一层fc外的所有参数 for name, param in model.named_parameters(): if fc not in name: # 只训练fc层 param.requires_grad False # 也可以选择性地解冻后面几个阶段如Stage4进行精细调优 # for name, param in model.named_parameters(): # if layer4 in name or fc in name: # 解冻Stage4和fc层 # param.requires_grad True # else: # param.requires_grad False冻结操作通过设置requires_grad False实现这样在反向传播时这些参数就不会被更新大大减少了训练初期的计算量和内存占用并有助于防止小数据集上的过拟合。4.3 数据预处理、加载与训练策略数据预处理需要和ImageNet预训练时保持一致因为预训练权重是在特定数据分布上学习的。TorchVision提供了非常方便的转换组合。# 定义训练和验证的数据增强与预处理 # IMAGENET的均值和标准差 mean [0.485, 0.456, 0.406] std [0.229, 0.224, 0.225] train_transform transforms.Compose([ transforms.RandomResizedCrop(224), # 随机裁剪并缩放到224x224 transforms.RandomHorizontalFlip(), # 随机水平翻转简单有效的增强 transforms.ToTensor(), # 转为Tensor并归一化到[0,1] transforms.Normalize(mean, std) # 用ImageNet统计值标准化 ]) val_transform transforms.Compose([ transforms.Resize(256), # 将短边缩放到256 transforms.CenterCrop(224), # 中心裁剪224x224 transforms.ToTensor(), transforms.Normalize(mean, std) ]) # 加载数据集 train_dataset datasets.ImageFolder(rootpath/to/your_dataset/train, transformtrain_transform) val_dataset datasets.ImageFolder(rootpath/to/your_dataset/val, transformval_transform) train_loader torch.utils.data.DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers4) val_loader torch.utils.data.DataLoader(val_dataset, batch_size32, shuffleFalse, num_workers4)接下来是训练循环的核心部分。由于我们冻结了大部分参数优化器只优化那些需要梯度的参数。import torch.optim as optim from torch.optim import lr_scheduler # 定义损失函数和优化器只优化需要梯度的参数 criterion nn.CrossEntropyLoss() optimizer optim.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr0.001, momentum0.9) # 使用学习率调度器在训练过程中降低学习率有助于收敛 scheduler lr_scheduler.StepLR(optimizer, step_size7, gamma0.1) # 每7个epoch学习率乘以0.1 num_epochs 25 for epoch in range(num_epochs): # 训练阶段 model.train() running_loss 0.0 for inputs, labels in train_loader: inputs, labels inputs.to(device), labels.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * inputs.size(0) epoch_loss running_loss / len(train_dataset) scheduler.step() # 更新学习率 # 验证阶段 model.eval() correct 0 total 0 with torch.no_grad(): for inputs, labels in val_loader: inputs, labels inputs.to(device), labels.to(device) outputs model(inputs) _, predicted torch.max(outputs.data, 1) total labels.size(0) correct (predicted labels).sum().item() val_acc 100 * correct / total print(fEpoch {epoch1}/{num_epochs}, Loss: {epoch_loss:.4f}, Val Acc: {val_acc:.2f}%)这个流程是一个基础但完整的微调范例。在实际项目中你可能还需要加入TensorBoard或WandB进行可视化监控使用早停Early Stopping策略防止过拟合以及尝试不同的优化器如AdamW和学习率预热Warmup策略。5. 超越分类ResNet101作为强大的特征提取器ResNet101的价值远不止于图像分类。其强大的特征提取能力使其成为众多计算机视觉高级任务的基石“骨干网络”。预训练的ResNet101提供了一个非常好的特征起点我们可以在其基础上“嫁接”不同的任务头。5.1 目标检测Faster R-CNN与Mask R-CNN在目标检测领域Faster R-CNN是一个里程碑式的两阶段检测器。它的核心组成部分之一就是区域提议网络和区域兴趣池化之后的特征提取。通常我们会用一个预训练的ResNet101去掉最后的全连接层和全局平均池化作为骨干网络接上一个特征金字塔网络为RPN和检测头提供多尺度的特征图。ResNet的深层特征如Stage4的输出包含丰富的语义信息利于分类而浅层特征如Stage2、3的输出包含更多的细节和位置信息利于定位。这种结合使得检测精度大幅提升。Mask R-CNN更进一步在Faster R-CNN的基础上增加了一个并行的分支用于预测每个目标实例的像素级分割掩码。ResNet101同样是其最常用的骨干网络之一为实例分割任务提供了坚实的特征基础。5.2 语义分割FCN与U-Net变体全卷积网络是语义分割的开山之作。它的思想是将传统CNN最后的全连接层替换为卷积层使网络可以接受任意尺寸的输入并输出相同空间分辨率的预测图。一个典型的做法是将预训练的ResNet101作为编码器将其最后三个阶段Stage2,3,4的输出通过反卷积层或上采样操作与更浅层的特征进行融合跳跃连接逐步恢复空间细节最终得到像素级的分类结果。ResNet101的深度保证了编码器能提取到高级语义特征而跳跃连接则弥补了空间信息的损失。5.3 关键点检测与姿态估计在人体姿态估计任务中我们需要定位人体关节点的坐标。一种主流方法是采用“热图回归”。网络以整张图片为输入为每个关节点输出一张概率热图峰值点即为预测的关节点位置。这类网络如SimpleBaseline、HRNet的骨干部分也广泛采用ResNet101。深层网络学习到的关于人体结构、部件关系的先验知识对于准确推断被遮挡或模糊的关节点至关重要。6. 工程化考量部署优化与常见陷阱当你训练好一个基于ResNet101的模型并准备投入实际应用时会面临一系列工程挑战。6.1 模型压缩与加速ResNet101有约4450万个参数前向推理一次需要约7.6 GFLOPs的计算量。在资源受限的边缘设备如手机、嵌入式设备上直接运行是不现实的。因此模型压缩与加速是必经之路。剪枝识别并移除网络中不重要的连接或通道。例如可以通过衡量卷积核的L1范数将范数小的通道剪掉然后对剪枝后的网络进行微调以恢复精度。量化将模型权重和激活从32位浮点数转换为低精度格式如8位整数。这能显著减少模型大小和内存带宽需求并利用硬件对整型运算的加速能力。PyTorch和TensorFlow都提供了成熟的量化工具。知识蒸馏用一个庞大而精确的教师模型如ResNet101去指导一个小而快的学生模型如MobileNetV3的训练让学生模型模仿教师模型的行为从而获得接近大模型的性能。使用更高效的架构如果对延迟极其敏感可以考虑直接使用为移动端设计的网络如EfficientNet、MobileNet系列或者在ResNet基础上改进的RegNet、ResNeSt等。6.2 实际部署中的输入处理训练时我们使用了一整套预处理流程随机裁剪、翻转等。但在部署推理时必须保证预处理与训练时完全一致除了数据增强部分。通常推理时只保留Resize、CenterCrop、ToTensor和Normalize。一个常见的错误是忘记做归一化或者使用了错误的均值和标准差这会导致模型性能严重下降。另外输入图像的尺寸不一定非要固定为224x224。全卷积网络可以处理任意尺寸但ResNet101的全局平均池化层要求输入在进入该层之前特征图尺寸必须被下采样到7x7。如果你改变了输入尺寸需要确保网络的总下采样倍数通常是32倍能整除你的输入尺寸否则特征图尺寸会出现小数导致错误。例如输入320x320经过5次stride2的下采样得到10x10的特征图无法进行7x7的全局平均池化。这时你可能需要将全局平均池化层替换为自适应平均池化层nn.AdaptiveAvgPool2d((1, 1))它可以接受任意尺寸的输入并输出1x1的特征图。6.3 避坑指南与经验分享预训练权重版本torchvision.models提供的预训练权重有多个版本如IMAGENET1K_V1,IMAGENET1K_V2。V2版本通常使用了更好的训练技巧如标签平滑、不同的数据增强效果比V1有提升。在加载时务必指定正确的权重并确保预处理与权重版本匹配。BatchNorm层在微调时的状态BatchNorm层在训练和评估推理时的行为不同它依赖于批次的统计信息。当你冻结了骨干网络进行微调时BatchNorm层默认处于训练模式会继续更新其running_mean和running_var。对于小数据集这可能不稳定。一种实践是也将这些BatchNorm层设置为评估模式model.eval()或者使用torch.no_grad()上下文管理器。更精细的控制可以通过设置model.train()和model.eval()或者手动设置bn_layer.training False。学习率设置对于微调新添加的层如替换的fc层需要较大的学习率来快速学习而已冻结或部分冻结的预训练层则需要非常小的学习率进行精细调整。因此使用分组学习率策略param_groups通常是更好的选择为不同部分设置不同的学习率。内存溢出OOMResNet101的深度和宽度使其对显存需求较高。如果遇到OOM错误首先尝试减小batch_size。如果必须使用大batch可以考虑使用梯度累积多次前向传播累积梯度再一次性反向更新模拟大batch的效果。另外使用混合精度训练torch.cuda.amp也能有效降低显存占用并加速训练。类别不平衡问题如果你的自定义数据集类别严重不平衡使用标准的交叉熵损失会导致模型偏向多数类。可以尝试使用带权重的交叉熵损失nn.CrossEntropyLoss(weightclass_weights)其中class_weights可以根据每个类别的样本数倒数或其他方法计算。或者使用Focal Loss它通过降低易分类样本的权重使模型更关注难分类和稀有的样本。