1. 从“认猫认狗”到“认品种”细粒度图像分类到底在解决什么问题细粒度图像分类英文叫 Fine-Grained Visual Classification圈子里一般直接简称 FGVC。这名字听起来挺唬人但说白了就一件事让模型不光能认出“这是一只鸟”还得能认出“这是哪种鸟”不光能认出“这是一辆车”还得能认出“这是哪年哪款哪个配置的车”。粗粒度分类是分“猫和狗”细粒度分类是分“暹罗猫和布偶猫”“哈士奇和阿拉斯加”。难度完全不是一个量级。我第一次接触这个方向的时候觉得不就是多分几类嘛把类别数从10改成200不就完了。结果跑了一轮实验才发现模型在粗粒度数据集上准确率能到95%以上换到细粒度数据集直接掉到60%出头甚至更低。为什么因为细粒度分类的核心难点根本不在于“类别多”而在于类间差异极小、类内差异极大。同一品种的两只鸟因为姿态、光照、背景不同在像素层面可能比两个不同品种的鸟差别还大。模型要学的不是“有没有翅膀”而是“喙的形状差了几毫米”“尾羽的纹理走向有什么不同”。这就把问题从“识别”推向了“辨别”。这个方向适合谁来了解如果你已经做过基础的图像分类任务想往更精细的方向走FGVC是一个非常好的练兵场。它逼着你去思考数据怎么标、特征怎么选、注意力怎么加、损失函数怎么设计。这些能力一旦掌握迁移到医学影像、工业质检、商品识别等场景里都是直接能用的。哪怕你只是好奇“AI怎么区分不同品种的花”这篇文章也能让你从原理到实操有一个完整的认知。2. 细粒度分类的核心难点与整体方案设计思路2.1 类间差异小、类内差异大两个绕不开的坎细粒度分类的难点可以归结为一句话模型要抓的判别性特征往往只占整张图极小的一块区域。比如区分两种蝴蝶关键可能只是翅膀上某个斑点的形状和颜色区分两种飞机关键可能只是引擎进气口的结构。如果模型把整张图均匀地压缩成一个特征向量这些微小但关键的信息很容易被背景、姿态等无关因素淹没。另一个坎是类内差异。同一品种的鸟站在树枝上、飞在空中、侧身、正面像素分布差异巨大。如果模型过度拟合了“树枝”这个背景特征换一个数据集就废了。所以细粒度分类的方案设计核心就围绕两件事展开一是怎么让模型聚焦到判别性区域二是怎么让模型学到不受姿态和背景干扰的特征表示。2.2 主流技术路线从“强监督”到“弱监督”的演进早期方案走的是强监督路线也就是在训练时额外标注物体的关键部位比如鸟的头部、翅膀、尾巴的边界框或关键点。模型先定位这些部位再从中提取特征。这种做法精度高但标注成本极大一个数据集标下来人力成本惊人而且换一个物种就得重新标一套扩展性很差。后来主流转向了弱监督路线也就是只用图像级标签不标部位。模型通过注意力机制、多尺度特征、区域裁剪等方式自己学会“该看哪里”。这条路线标注成本低、扩展性好也是目前研究和应用的主流。再往后基于Transformer的架构和自监督预训练模型也开始进入这个领域利用大规模预训练学到的通用表示再在细粒度数据上微调效果提升明显。我个人的经验是如果你手头数据量不大优先考虑用预训练模型加注意力模块如果数据量充足且标注资源允许强监督方案在精度上仍有优势但性价比需要仔细权衡。2.3 方案选型的几个关键考量选方案的时候我一般会问自己几个问题。第一标注预算有多少如果只能标图像级标签那就走弱监督路线别想着标关键点了。第二类别数有多少几十类和几百类的策略不一样类别越多类间混淆越严重对特征判别力的要求越高。第三部署环境是什么如果要在移动端跑模型参数量和推理速度就是硬约束不能一味堆大模型。第四有没有领域先验比如做花卉分类花瓣形状和颜色是已知的关键特征可以在网络设计里显式地引导模型关注这些区域。这些考量直接决定了你后面选什么骨干网络、加什么模块、用什么损失函数。跳过这一步直接抄论文里的模型大概率会踩坑。3. 核心细节拆解数据、模型、损失函数与训练策略3.1 数据集构建与预处理细节决定上限细粒度分类对数据质量极其敏感。我踩过的一个坑是早期用网络爬虫抓了一批图片类别标签是靠关键词匹配的结果噪声率很高模型训练时loss震荡严重最后准确率比预期低了十几个点。后来做了严格的人工清洗把每个类别的图片逐一过一遍去掉明显错误和低质量的样本准确率直接回升。预处理方面有几个细节值得注意。图像分辨率不能太低细粒度特征往往在局部区域如果输入尺寸只有224×224很多判别性细节已经被压缩没了。我通常会把输入尺寸设到448×448甚至更高当然这会增加显存开销需要权衡。数据增强要克制像RandomResizedCrop这种裁剪力度大的增强在细粒度任务上可能把关键部位裁掉反而有害。我一般用轻量的翻转、小角度旋转、颜色抖动配合Cutout或Mixup时要小心别把判别区域遮住了。还有一个容易被忽略的点类别平衡。细粒度数据集往往存在长尾分布某些品种样本极少。如果不做处理模型会偏向头部类别。常用的做法是重采样、类别加权损失或者用Focal Loss降低易分类样本的权重。3.2 骨干网络选择不是越深越好骨干网络的选择上ResNet系列仍然是稳妥的基线ResNet-50在多数细粒度数据集上能跑出一个不错的起点。但如果你想追求更高精度可以考虑几个方向。一是引入注意力模块比如SE模块、CBAM让网络自适应地调整通道和空间权重。二是多尺度特征融合因为细粒度特征可能出现在不同尺度上有的品种差异在全局轮廓有的在局部纹理。三是换用Transformer架构比如ViT及其变体在细粒度任务上往往能捕捉到更全局的关系但需要更多数据或更强的预训练。我实测下来在中等规模数据集上ResNet-50加CBAM注意力模块配合适当的数据增强能比纯ResNet-50提升3到5个百分点。如果换成在ImageNet上预训练的ViT-Base再在细粒度数据上微调提升更明显但训练时间和显存占用也上去了。所以选骨干网络时精度和效率的平衡点要根据你的实际部署条件来定。3.3 注意力机制与特征定位让模型学会“看重点”注意力机制是细粒度分类里最核心的技术点之一。它的作用说白了就是告诉模型这张图里哪些区域更重要。实现方式有很多种我挑几种常用的说说。通道注意力比如SE模块它学习每个通道的权重让重要的特征通道被放大。空间注意力比如CBAM里的空间分支它学习每个空间位置的权重让关键区域被突出。混合注意力把通道和空间结合起来效果通常更好。还有自注意力在Transformer里天然存在通过全局关系建模来捕捉长距离依赖。但注意力机制不是万能的。我遇到过一个问题模型学到的注意力图总是集中在背景上而不是物体本身。排查后发现是数据里背景太单一模型偷懒学了背景特征。解决办法是增加背景多样性或者用前景分割先验来引导注意力。另一个问题是注意力过于分散模型关注了很多无关区域。这时候可以引入判别性区域挖掘策略比如在训练过程中逐步裁剪出高响应区域再单独送进网络提取特征。3.4 损失函数设计让类间距离拉大、类内距离缩小细粒度分类常用的损失函数除了标准的交叉熵还有几个值得关注的。中心损失它让同一类别的特征尽量靠近类中心减小类内差异。三元组损失它拉近同类样本距离、拉远不同类样本距离直接优化特征空间。ArcFace、CosFace这类基于角 margin 的损失在人脸识别里很成熟迁移到细粒度分类上也有不错的效果。我通常的做法是交叉熵损失为主辅以一个辅助损失。比如交叉熵加中心损失权重上交叉熵占大头中心损失占小头起到正则化的作用。如果类别间混淆特别严重可以加大margin损失的权重。但要注意辅助损失权重太大可能导致训练不稳定需要逐步调整。3.5 训练策略与调参经验训练策略上学习率调度很关键。我一般用余弦退火或者带热重启的余弦退火初始学习率设小一点比如1e-4到3e-4之间因为预训练模型微调时学习率太大会破坏已有的表示。优化器方面AdamW在Transformer架构上表现更好SGD加动量在CNN上仍然是经典选择。批大小尽量大一些有利于BatchNorm的统计稳定但显存不够时可以用梯度累积来模拟大批量。还有一个经验分阶段训练。第一阶段冻结骨干网络只训练分类头和注意力模块让模型先适应新的类别空间。第二阶段解冻全部参数用更小的学习率做端到端微调。这样做比一上来就全量微调更稳定最终精度也往往更高。4. 完整实操流程从零搭建一个细粒度分类基线4.1 环境准备与依赖安装我假设你用的是Python生态深度学习框架选PyTorch。先创建一个干净的虚拟环境避免依赖冲突。核心依赖包括PyTorch、torchvision、timm用于加载预训练模型、numpy、Pillow、matplotlib。如果你要用TensorBoard看训练曲线再装上tensorboard。python -m venv fgvc_env source fgvc_env/bin/activate pip install torch torchvision timm numpy pillow matplotlib tensorboard硬件方面至少一张8GB显存的GPU跑ResNet-50加448×448输入是够的。如果显存更小可以把输入尺寸降到320×320或者用混合精度训练来省显存。4.2 数据加载与增强管道搭建数据目录我习惯按类别分文件夹每个类别一个子目录这样直接用torchvision.datasets.ImageFolder就能加载。但细粒度数据集往往需要自定义Dataset类因为可能要同时加载图像级标签和额外的元数据。import torch from torch.utils.data import Dataset, DataLoader from torchvision import transforms from PIL import Image import os class FGVCData(Dataset): def __init__(self, root_dir, transformNone): self.root_dir root_dir self.transform transform self.classes sorted(os.listdir(root_dir)) self.class_to_idx {c: i for i, c in enumerate(self.classes)} self.samples [] for c in self.classes: c_dir os.path.join(root_dir, c) for fname in os.listdir(c_dir): self.samples.append((os.path.join(c_dir, fname), self.class_to_idx[c])) def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label self.samples[idx] img Image.open(path).convert(RGB) if self.transform: img self.transform(img) return img, label增强管道我一般这样配训练时用RandomResizedCropscale设0.7到1.0别裁太狠、RandomHorizontalFlip、ColorJitter亮度、对比度、饱和度小幅调整、Normalize。验证和测试时只做Resize加CenterCrop加Normalize。train_transform transforms.Compose([ transforms.RandomResizedCrop(448, scale(0.7, 1.0)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(0.2, 0.2, 0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(512), transforms.CenterCrop(448), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])4.3 模型搭建骨干网络加注意力模块我用timm加载预训练的ResNet-50然后在后面接一个自定义的分类头中间插入CBAM注意力模块。CBAM的实现网上有很多版本核心就是通道注意力和空间注意力串联。import timm import torch.nn as nn class CBAM(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) self.max_pool nn.AdaptiveMaxPool2d(1) self.fc nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(), nn.Linear(channels // reduction, channels) ) self.sigmoid nn.Sigmoid() self.spatial_conv nn.Conv2d(2, 1, kernel_size7, padding3) def forward(self, x): b, c, _, _ x.size() avg_out self.fc(self.avg_pool(x).view(b, c)) max_out self.fc(self.max_pool(x).view(b, c)) channel_att self.sigmoid(avg_out max_out).view(b, c, 1, 1) x x * channel_att avg_out torch.mean(x, dim1, keepdimTrue) max_out, _ torch.max(x, dim1, keepdimTrue) spatial_att self.sigmoid(self.spatial_conv(torch.cat([avg_out, max_out], dim1))) return x * spatial_att class FGVCModel(nn.Module): def __init__(self, num_classes, backboneresnet50, pretrainedTrue): super().__init__() self.backbone timm.create_model(backbone, pretrainedpretrained, features_onlyTrue) in_channels self.backbone.feature_info[-1][num_chs] self.cbam CBAM(in_channels) self.pool nn.AdaptiveAvgPool2d(1) self.dropout nn.Dropout(0.3) self.fc nn.Linear(in_channels, num_classes) def forward(self, x): features self.backbone(x)[-1] features self.cbam(features) pooled self.pool(features).flatten(1) return self.fc(self.dropout(pooled))4.4 训练循环与关键参数设置训练循环里我加了几个关键点梯度裁剪防止梯度爆炸余弦退火学习率混合精度训练省显存。损失函数用交叉熵加中心损失中心损失权重设0.003左右。import torch.optim as optim from torch.cuda.amp import GradScaler, autocast def train_one_epoch(model, loader, optimizer, criterion, scaler, device): model.train() total_loss 0 for imgs, labels in loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() with autocast(): outputs model(imgs) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) scaler.step(optimizer) scaler.update() total_loss loss.item() return total_loss / len(loader)学习率用余弦退火初始3e-4最小1e-6训练30到50个epoch。批大小设16或32看显存。优化器用AdamW权重衰减设0.01。4.5 评估与可视化不只是看准确率评估不能只看top-1准确率。我一般会输出混淆矩阵看看哪些类别容易混淆。还会用t-SNE把特征降维可视化直观地看类间距离和类内距离。如果发现某些类别总是分错就去检查这些类别的数据质量或者考虑针对性地增加这些类别的样本。from sklearn.manifold import TSNE import matplotlib.pyplot as plt def visualize_features(model, loader, device): model.eval() features_list, labels_list [], [] with torch.no_grad(): for imgs, labels in loader: imgs imgs.to(device) feats model.backbone(imgs)[-1] feats model.cbam(feats) feats model.pool(feats).flatten(1) features_list.append(feats.cpu()) labels_list.append(labels) features torch.cat(features_list).numpy() labels torch.cat(labels_list).numpy() tsne TSNE(n_components2, random_state42) embedded tsne.fit_transform(features) plt.scatter(embedded[:, 0], embedded[:, 1], clabels, cmaptab20, s5) plt.colorbar() plt.savefig(tsne_features.png, dpi150)5. 常见问题与排查技巧实录5.1 训练损失不下降或震荡严重这是最常见的问题。我排查的顺序一般是先看数据标签有没有错尤其是用爬虫抓的数据噪声率可能很高。再看学习率是不是太大预训练模型微调时学习率超过1e-3很容易震荡。然后检查批大小是不是太小BatchNorm在批大小小于8时统计量不稳定。最后看损失函数权重辅助损失权重太大也会导致训练不稳定。5.2 验证集准确率远低于训练集典型的过拟合。解决办法增加数据增强强度、加Dropout、加权重衰减、减少模型参数量、早停。但细粒度任务里还有一个特殊原因验证集和训练集的类别分布不一致。如果验证集里有一些训练集里没有的细粒度类别模型自然分不对。这时候要检查数据划分是否合理。5.3 模型总是混淆某几个类别先看混淆矩阵找出混淆对。然后去翻这些类别的图片看看是不是视觉上确实很难区分。如果是可以考虑层次化分类先分大类再分小类。或者引入对比学习专门拉大这些易混淆类别的特征距离。我遇到过一个案例两个品种的鸟在图片里几乎一模一样后来发现是标注人员标错了修正标签后问题就解决了。5.4 推理速度太慢达不到部署要求如果模型太大可以考虑知识蒸馏用大模型教一个小模型。或者用模型剪枝、量化来压缩。输入尺寸也可以适当降低从448降到320速度能提升不少精度损失通常在可接受范围内。另一个技巧是只对关键区域做高分辨率处理先用一个轻量模型定位物体再对物体区域做细粒度分类这样整体计算量反而更小。5.5 常见问题速查表问题现象可能原因排查方向解决思路损失震荡不收敛学习率过大、批大小过小打印每步loss、检查BN统计降低学习率、增大批大小或梯度累积验证准确率低过拟合、数据分布不一致对比训练验证曲线、检查类别分布增强正则、重新划分数据特定类别混淆严重类间差异过小、标签噪声看混淆矩阵、人工检查图片层次分类、对比学习、清洗标签注意力集中在背景背景单一、前景未引导可视化注意力图增加背景多样性、加前景分割先验推理速度慢模型过大、输入分辨率高测各模块耗时蒸馏、剪枝、量化、降低输入尺寸6. 几个容易被忽略的实操心得第一个心得别一上来就追求SOTA。我见过太多人直接复现最新论文的模型结果因为数据量不够、标注质量差效果还不如一个调好的ResNet基线。先把基线跑通把数据质量抓好再逐步加模块这样每一步的提升都能归因。第二个心得注意力可视化要经常看。它不仅能帮你理解模型在关注什么还能发现数据里的问题。比如你发现模型总在看图片的某个角落结果那个角落是水印或者拍摄设备的logo那就说明数据需要清洗了。第三个心得类别体系的设计很重要。细粒度分类的类别划分不是越细越好。如果两个类别在视觉上几乎无法区分强行让模型去分只会增加噪声。我一般会先做一轮人工评估把视觉上确实难以区分的类别合并或者重新定义这样模型学起来更干净。第四个心得预训练模型的选择要匹配领域。用ImageNet预训练的模型做自然物种分类通常没问题但如果是工业零件或者医学影像ImageNet的预训练表示可能不够贴合。这时候可以考虑用领域内的大规模数据做自监督预训练或者在目标数据集上做更长时间的微调。第五个心得保存多个检查点。细粒度分类的训练曲线有时候波动很大最后一个epoch的模型不一定是最好的。我一般会保存验证集准确率最高的三个检查点最后用集成的方式取平均通常能再涨一两个点。这些经验都是我在实际项目里一点点踩出来的论文里不会写但真正做起来的时候往往就是这些细节决定了最终效果。 
长河君 · 2026/10/13 12:08:41 · 阅读 1.2k 细粒度图像分类实战：从原理到PyTorch代码全解析
1. 从“认猫认狗”到“认品种”细粒度图像分类到底在解决什么问题细粒度图像分类英文叫 Fine-Grained Visual Classification圈子里一般直接简称 FGVC。这名字听起来挺唬人但说白了就一件事让模型不光能认出“这是一只鸟”还得能认出“这是哪种鸟”不光能认出“这是一辆车”还得能认出“这是哪年哪款哪个配置的车”。粗粒度分类是分“猫和狗”细粒度分类是分“暹罗猫和布偶猫”“哈士奇和阿拉斯加”。难度完全不是一个量级。我第一次接触这个方向的时候觉得不就是多分几类嘛把类别数从10改成200不就完了。结果跑了一轮实验才发现模型在粗粒度数据集上准确率能到95%以上换到细粒度数据集直接掉到60%出头甚至更低。为什么因为细粒度分类的核心难点根本不在于“类别多”而在于类间差异极小、类内差异极大。同一品种的两只鸟因为姿态、光照、背景不同在像素层面可能比两个不同品种的鸟差别还大。模型要学的不是“有没有翅膀”而是“喙的形状差了几毫米”“尾羽的纹理走向有什么不同”。这就把问题从“识别”推向了“辨别”。这个方向适合谁来了解如果你已经做过基础的图像分类任务想往更精细的方向走FGVC是一个非常好的练兵场。它逼着你去思考数据怎么标、特征怎么选、注意力怎么加、损失函数怎么设计。这些能力一旦掌握迁移到医学影像、工业质检、商品识别等场景里都是直接能用的。哪怕你只是好奇“AI怎么区分不同品种的花”这篇文章也能让你从原理到实操有一个完整的认知。2. 细粒度分类的核心难点与整体方案设计思路2.1 类间差异小、类内差异大两个绕不开的坎细粒度分类的难点可以归结为一句话模型要抓的判别性特征往往只占整张图极小的一块区域。比如区分两种蝴蝶关键可能只是翅膀上某个斑点的形状和颜色区分两种飞机关键可能只是引擎进气口的结构。如果模型把整张图均匀地压缩成一个特征向量这些微小但关键的信息很容易被背景、姿态等无关因素淹没。另一个坎是类内差异。同一品种的鸟站在树枝上、飞在空中、侧身、正面像素分布差异巨大。如果模型过度拟合了“树枝”这个背景特征换一个数据集就废了。所以细粒度分类的方案设计核心就围绕两件事展开一是怎么让模型聚焦到判别性区域二是怎么让模型学到不受姿态和背景干扰的特征表示。2.2 主流技术路线从“强监督”到“弱监督”的演进早期方案走的是强监督路线也就是在训练时额外标注物体的关键部位比如鸟的头部、翅膀、尾巴的边界框或关键点。模型先定位这些部位再从中提取特征。这种做法精度高但标注成本极大一个数据集标下来人力成本惊人而且换一个物种就得重新标一套扩展性很差。后来主流转向了弱监督路线也就是只用图像级标签不标部位。模型通过注意力机制、多尺度特征、区域裁剪等方式自己学会“该看哪里”。这条路线标注成本低、扩展性好也是目前研究和应用的主流。再往后基于Transformer的架构和自监督预训练模型也开始进入这个领域利用大规模预训练学到的通用表示再在细粒度数据上微调效果提升明显。我个人的经验是如果你手头数据量不大优先考虑用预训练模型加注意力模块如果数据量充足且标注资源允许强监督方案在精度上仍有优势但性价比需要仔细权衡。2.3 方案选型的几个关键考量选方案的时候我一般会问自己几个问题。第一标注预算有多少如果只能标图像级标签那就走弱监督路线别想着标关键点了。第二类别数有多少几十类和几百类的策略不一样类别越多类间混淆越严重对特征判别力的要求越高。第三部署环境是什么如果要在移动端跑模型参数量和推理速度就是硬约束不能一味堆大模型。第四有没有领域先验比如做花卉分类花瓣形状和颜色是已知的关键特征可以在网络设计里显式地引导模型关注这些区域。这些考量直接决定了你后面选什么骨干网络、加什么模块、用什么损失函数。跳过这一步直接抄论文里的模型大概率会踩坑。3. 核心细节拆解数据、模型、损失函数与训练策略3.1 数据集构建与预处理细节决定上限细粒度分类对数据质量极其敏感。我踩过的一个坑是早期用网络爬虫抓了一批图片类别标签是靠关键词匹配的结果噪声率很高模型训练时loss震荡严重最后准确率比预期低了十几个点。后来做了严格的人工清洗把每个类别的图片逐一过一遍去掉明显错误和低质量的样本准确率直接回升。预处理方面有几个细节值得注意。图像分辨率不能太低细粒度特征往往在局部区域如果输入尺寸只有224×224很多判别性细节已经被压缩没了。我通常会把输入尺寸设到448×448甚至更高当然这会增加显存开销需要权衡。数据增强要克制像RandomResizedCrop这种裁剪力度大的增强在细粒度任务上可能把关键部位裁掉反而有害。我一般用轻量的翻转、小角度旋转、颜色抖动配合Cutout或Mixup时要小心别把判别区域遮住了。还有一个容易被忽略的点类别平衡。细粒度数据集往往存在长尾分布某些品种样本极少。如果不做处理模型会偏向头部类别。常用的做法是重采样、类别加权损失或者用Focal Loss降低易分类样本的权重。3.2 骨干网络选择不是越深越好骨干网络的选择上ResNet系列仍然是稳妥的基线ResNet-50在多数细粒度数据集上能跑出一个不错的起点。但如果你想追求更高精度可以考虑几个方向。一是引入注意力模块比如SE模块、CBAM让网络自适应地调整通道和空间权重。二是多尺度特征融合因为细粒度特征可能出现在不同尺度上有的品种差异在全局轮廓有的在局部纹理。三是换用Transformer架构比如ViT及其变体在细粒度任务上往往能捕捉到更全局的关系但需要更多数据或更强的预训练。我实测下来在中等规模数据集上ResNet-50加CBAM注意力模块配合适当的数据增强能比纯ResNet-50提升3到5个百分点。如果换成在ImageNet上预训练的ViT-Base再在细粒度数据上微调提升更明显但训练时间和显存占用也上去了。所以选骨干网络时精度和效率的平衡点要根据你的实际部署条件来定。3.3 注意力机制与特征定位让模型学会“看重点”注意力机制是细粒度分类里最核心的技术点之一。它的作用说白了就是告诉模型这张图里哪些区域更重要。实现方式有很多种我挑几种常用的说说。通道注意力比如SE模块它学习每个通道的权重让重要的特征通道被放大。空间注意力比如CBAM里的空间分支它学习每个空间位置的权重让关键区域被突出。混合注意力把通道和空间结合起来效果通常更好。还有自注意力在Transformer里天然存在通过全局关系建模来捕捉长距离依赖。但注意力机制不是万能的。我遇到过一个问题模型学到的注意力图总是集中在背景上而不是物体本身。排查后发现是数据里背景太单一模型偷懒学了背景特征。解决办法是增加背景多样性或者用前景分割先验来引导注意力。另一个问题是注意力过于分散模型关注了很多无关区域。这时候可以引入判别性区域挖掘策略比如在训练过程中逐步裁剪出高响应区域再单独送进网络提取特征。3.4 损失函数设计让类间距离拉大、类内距离缩小细粒度分类常用的损失函数除了标准的交叉熵还有几个值得关注的。中心损失它让同一类别的特征尽量靠近类中心减小类内差异。三元组损失它拉近同类样本距离、拉远不同类样本距离直接优化特征空间。ArcFace、CosFace这类基于角 margin 的损失在人脸识别里很成熟迁移到细粒度分类上也有不错的效果。我通常的做法是交叉熵损失为主辅以一个辅助损失。比如交叉熵加中心损失权重上交叉熵占大头中心损失占小头起到正则化的作用。如果类别间混淆特别严重可以加大margin损失的权重。但要注意辅助损失权重太大可能导致训练不稳定需要逐步调整。3.5 训练策略与调参经验训练策略上学习率调度很关键。我一般用余弦退火或者带热重启的余弦退火初始学习率设小一点比如1e-4到3e-4之间因为预训练模型微调时学习率太大会破坏已有的表示。优化器方面AdamW在Transformer架构上表现更好SGD加动量在CNN上仍然是经典选择。批大小尽量大一些有利于BatchNorm的统计稳定但显存不够时可以用梯度累积来模拟大批量。还有一个经验分阶段训练。第一阶段冻结骨干网络只训练分类头和注意力模块让模型先适应新的类别空间。第二阶段解冻全部参数用更小的学习率做端到端微调。这样做比一上来就全量微调更稳定最终精度也往往更高。4. 完整实操流程从零搭建一个细粒度分类基线4.1 环境准备与依赖安装我假设你用的是Python生态深度学习框架选PyTorch。先创建一个干净的虚拟环境避免依赖冲突。核心依赖包括PyTorch、torchvision、timm用于加载预训练模型、numpy、Pillow、matplotlib。如果你要用TensorBoard看训练曲线再装上tensorboard。python -m venv fgvc_env source fgvc_env/bin/activate pip install torch torchvision timm numpy pillow matplotlib tensorboard硬件方面至少一张8GB显存的GPU跑ResNet-50加448×448输入是够的。如果显存更小可以把输入尺寸降到320×320或者用混合精度训练来省显存。4.2 数据加载与增强管道搭建数据目录我习惯按类别分文件夹每个类别一个子目录这样直接用torchvision.datasets.ImageFolder就能加载。但细粒度数据集往往需要自定义Dataset类因为可能要同时加载图像级标签和额外的元数据。import torch from torch.utils.data import Dataset, DataLoader from torchvision import transforms from PIL import Image import os class FGVCData(Dataset): def __init__(self, root_dir, transformNone): self.root_dir root_dir self.transform transform self.classes sorted(os.listdir(root_dir)) self.class_to_idx {c: i for i, c in enumerate(self.classes)} self.samples [] for c in self.classes: c_dir os.path.join(root_dir, c) for fname in os.listdir(c_dir): self.samples.append((os.path.join(c_dir, fname), self.class_to_idx[c])) def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label self.samples[idx] img Image.open(path).convert(RGB) if self.transform: img self.transform(img) return img, label增强管道我一般这样配训练时用RandomResizedCropscale设0.7到1.0别裁太狠、RandomHorizontalFlip、ColorJitter亮度、对比度、饱和度小幅调整、Normalize。验证和测试时只做Resize加CenterCrop加Normalize。train_transform transforms.Compose([ transforms.RandomResizedCrop(448, scale(0.7, 1.0)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(0.2, 0.2, 0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(512), transforms.CenterCrop(448), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])4.3 模型搭建骨干网络加注意力模块我用timm加载预训练的ResNet-50然后在后面接一个自定义的分类头中间插入CBAM注意力模块。CBAM的实现网上有很多版本核心就是通道注意力和空间注意力串联。import timm import torch.nn as nn class CBAM(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) self.max_pool nn.AdaptiveMaxPool2d(1) self.fc nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(), nn.Linear(channels // reduction, channels) ) self.sigmoid nn.Sigmoid() self.spatial_conv nn.Conv2d(2, 1, kernel_size7, padding3) def forward(self, x): b, c, _, _ x.size() avg_out self.fc(self.avg_pool(x).view(b, c)) max_out self.fc(self.max_pool(x).view(b, c)) channel_att self.sigmoid(avg_out max_out).view(b, c, 1, 1) x x * channel_att avg_out torch.mean(x, dim1, keepdimTrue) max_out, _ torch.max(x, dim1, keepdimTrue) spatial_att self.sigmoid(self.spatial_conv(torch.cat([avg_out, max_out], dim1))) return x * spatial_att class FGVCModel(nn.Module): def __init__(self, num_classes, backboneresnet50, pretrainedTrue): super().__init__() self.backbone timm.create_model(backbone, pretrainedpretrained, features_onlyTrue) in_channels self.backbone.feature_info[-1][num_chs] self.cbam CBAM(in_channels) self.pool nn.AdaptiveAvgPool2d(1) self.dropout nn.Dropout(0.3) self.fc nn.Linear(in_channels, num_classes) def forward(self, x): features self.backbone(x)[-1] features self.cbam(features) pooled self.pool(features).flatten(1) return self.fc(self.dropout(pooled))4.4 训练循环与关键参数设置训练循环里我加了几个关键点梯度裁剪防止梯度爆炸余弦退火学习率混合精度训练省显存。损失函数用交叉熵加中心损失中心损失权重设0.003左右。import torch.optim as optim from torch.cuda.amp import GradScaler, autocast def train_one_epoch(model, loader, optimizer, criterion, scaler, device): model.train() total_loss 0 for imgs, labels in loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() with autocast(): outputs model(imgs) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) scaler.step(optimizer) scaler.update() total_loss loss.item() return total_loss / len(loader)学习率用余弦退火初始3e-4最小1e-6训练30到50个epoch。批大小设16或32看显存。优化器用AdamW权重衰减设0.01。4.5 评估与可视化不只是看准确率评估不能只看top-1准确率。我一般会输出混淆矩阵看看哪些类别容易混淆。还会用t-SNE把特征降维可视化直观地看类间距离和类内距离。如果发现某些类别总是分错就去检查这些类别的数据质量或者考虑针对性地增加这些类别的样本。from sklearn.manifold import TSNE import matplotlib.pyplot as plt def visualize_features(model, loader, device): model.eval() features_list, labels_list [], [] with torch.no_grad(): for imgs, labels in loader: imgs imgs.to(device) feats model.backbone(imgs)[-1] feats model.cbam(feats) feats model.pool(feats).flatten(1) features_list.append(feats.cpu()) labels_list.append(labels) features torch.cat(features_list).numpy() labels torch.cat(labels_list).numpy() tsne TSNE(n_components2, random_state42) embedded tsne.fit_transform(features) plt.scatter(embedded[:, 0], embedded[:, 1], clabels, cmaptab20, s5) plt.colorbar() plt.savefig(tsne_features.png, dpi150)5. 常见问题与排查技巧实录5.1 训练损失不下降或震荡严重这是最常见的问题。我排查的顺序一般是先看数据标签有没有错尤其是用爬虫抓的数据噪声率可能很高。再看学习率是不是太大预训练模型微调时学习率超过1e-3很容易震荡。然后检查批大小是不是太小BatchNorm在批大小小于8时统计量不稳定。最后看损失函数权重辅助损失权重太大也会导致训练不稳定。5.2 验证集准确率远低于训练集典型的过拟合。解决办法增加数据增强强度、加Dropout、加权重衰减、减少模型参数量、早停。但细粒度任务里还有一个特殊原因验证集和训练集的类别分布不一致。如果验证集里有一些训练集里没有的细粒度类别模型自然分不对。这时候要检查数据划分是否合理。5.3 模型总是混淆某几个类别先看混淆矩阵找出混淆对。然后去翻这些类别的图片看看是不是视觉上确实很难区分。如果是可以考虑层次化分类先分大类再分小类。或者引入对比学习专门拉大这些易混淆类别的特征距离。我遇到过一个案例两个品种的鸟在图片里几乎一模一样后来发现是标注人员标错了修正标签后问题就解决了。5.4 推理速度太慢达不到部署要求如果模型太大可以考虑知识蒸馏用大模型教一个小模型。或者用模型剪枝、量化来压缩。输入尺寸也可以适当降低从448降到320速度能提升不少精度损失通常在可接受范围内。另一个技巧是只对关键区域做高分辨率处理先用一个轻量模型定位物体再对物体区域做细粒度分类这样整体计算量反而更小。5.5 常见问题速查表问题现象可能原因排查方向解决思路损失震荡不收敛学习率过大、批大小过小打印每步loss、检查BN统计降低学习率、增大批大小或梯度累积验证准确率低过拟合、数据分布不一致对比训练验证曲线、检查类别分布增强正则、重新划分数据特定类别混淆严重类间差异过小、标签噪声看混淆矩阵、人工检查图片层次分类、对比学习、清洗标签注意力集中在背景背景单一、前景未引导可视化注意力图增加背景多样性、加前景分割先验推理速度慢模型过大、输入分辨率高测各模块耗时蒸馏、剪枝、量化、降低输入尺寸6. 几个容易被忽略的实操心得第一个心得别一上来就追求SOTA。我见过太多人直接复现最新论文的模型结果因为数据量不够、标注质量差效果还不如一个调好的ResNet基线。先把基线跑通把数据质量抓好再逐步加模块这样每一步的提升都能归因。第二个心得注意力可视化要经常看。它不仅能帮你理解模型在关注什么还能发现数据里的问题。比如你发现模型总在看图片的某个角落结果那个角落是水印或者拍摄设备的logo那就说明数据需要清洗了。第三个心得类别体系的设计很重要。细粒度分类的类别划分不是越细越好。如果两个类别在视觉上几乎无法区分强行让模型去分只会增加噪声。我一般会先做一轮人工评估把视觉上确实难以区分的类别合并或者重新定义这样模型学起来更干净。第四个心得预训练模型的选择要匹配领域。用ImageNet预训练的模型做自然物种分类通常没问题但如果是工业零件或者医学影像ImageNet的预训练表示可能不够贴合。这时候可以考虑用领域内的大规模数据做自监督预训练或者在目标数据集上做更长时间的微调。第五个心得保存多个检查点。细粒度分类的训练曲线有时候波动很大最后一个epoch的模型不一定是最好的。我一般会保存验证集准确率最高的三个检查点最后用集成的方式取平均通常能再涨一两个点。这些经验都是我在实际项目里一点点踩出来的论文里不会写但真正做起来的时候往往就是这些细节决定了最终效果。