细粒度图像分类这个词刚入行做视觉项目那会儿我也觉得拗口。后来做多了才发现它其实就在我们每天的生活里你在花市里一眼分出“这是月季还是玫瑰”在停车场扫一眼就知道“这是雅阁还是凯美瑞”在餐桌上夹一筷子就判断“这是鲈鱼还是鳜鱼”——这些动作背后都是同一个技术命题类间差异极小、类内差异极大的图像识别。粗粒度分类只要求你认出“这是一辆车”而细粒度图像分类Fine-Grained Visual CategorizationFGVC要求你认出“这是哪一款、哪一型、哪一亚种”。难度不是线性上升而是直接跳了一个量级。这篇文章我想把 FGVC 这件事从头到尾拆开讲清楚它到底难在哪、主流方案怎么选、数据怎么处理、模型怎么改、训练怎么调、线上怎么排查。内容会偏实战穿插我自己踩过的坑和常用参数适合已经做过基础图像分类、想往细粒度方向深入的同学也适合刚接手相关项目、需要快速建立全局认知的开发者。看完你至少能独立搭起一条可用的 FGVC 训练流水线并知道每一步为什么这么做。1. 细粒度分类到底难在哪先搞清楚问题本质1.1 粗粒度与细粒度的分界线很多人第一次接触 FGVC会下意识觉得“不就是类别多一点吗”。这个理解偏差很致命。粗粒度分类比如 CIFAR-10、ImageNet 的顶层类别里不同类之间的视觉差异是全局性、结构性的猫和狗的脸型、耳朵、体型完全不同模型只要抓住大轮廓就能分对。而细粒度分类里两个类可能共享 95% 以上的外观差异只集中在几个像素级的局部区域。举个具体例子。区分“某两种相似鸟类”它们的整体轮廓、羽毛主色、体型几乎一致真正的判别信息可能只在喙的长度比例、眼周羽毛的颜色、尾羽末端的斑纹形状上。这些区域在整张图里占比可能不到 5%。模型如果还是用普通卷积网络那种“全局平均池化”的思路这些关键信号会被大量无关背景稀释掉。所以 FGVC 的核心矛盾可以概括成一句话判别信息高度局部化而常规网络倾向于全局化建模。理解这一点后面所有的方案设计都有了出发点。1.2 类间小、类内大两个方向的夹击FGVC 的难度来自两个方向同时施压。第一个方向是类间差异小inter-class variance small。同类别的不同个体之间差异可能比不同类别之间还大。比如同一款车型的不同年份改款前脸几乎一样只有大灯内部结构或格栅条数不同而同一种花在不同光照、不同开放阶段下颜色和形态变化又非常大。这就导致模型学到的决策边界极其脆弱。第二个方向是类内差异大intra-class variance large。同一个细类因为姿态、光照、遮挡、拍摄角度、个体发育阶段的不同视觉表现千差万别。一只鸟在飞行、站立、觅食三种姿态下关键部位的位置和形态完全不同。这两个方向叠加直接后果是标注成本高、数据需求大、模型容易过拟合、泛化能力差。我做过一个项目粗粒度分类 2 万张图能到 92% 准确率换成细粒度同样数据量准确率直接掉到 68%而且验证集波动极大。这不是模型不行是问题本身变难了。1.3 为什么通用分类模型直接迁移会翻车很多人第一反应是拿一个在 ImageNet 上预训练好的 ResNet 或 EfficientNet换个分类头直接微调。这个做法在粗粒度任务上屡试不爽但在 FGVC 上往往效果平平。原因有三预训练特征的粒度不匹配。ImageNet 学到的特征偏向区分“大类别”对细微纹理和局部结构的敏感度不足。全局池化丢失空间信息。全局平均池化把特征图压成一个向量局部判别区域的位置信息被抹平了。数据分布偏移。细粒度数据集通常背景杂乱、目标占比小和 ImageNet 的构图差异明显。我实测过直接用 ResNet-50 微调一个细粒度数据集准确率比专门设计的双线性网络低 8 到 12 个百分点。这个差距不是靠调学习率能补回来的必须从结构上做文章。2. 主流技术路线拆解从强监督到弱监督的演进2.1 强监督方案部件标注的利与弊早期 FGVC 的主流思路是强监督也就是在训练时除了类别标签还提供部件标注比如鸟的头部、喙、尾巴、翅膀的边界框或关键点。代表性思路是“先定位部件再对部件区域提取特征最后融合”。这种方案的优势很直观模型被明确告诉“看哪里”判别区域不会被背景干扰。在标注质量高的数据集上准确率提升明显。但问题也很现实标注成本极高。每张图都要标多个部件一个上万张的数据集标注周期可能以月计。泛化性差。模型学到的部件位置依赖标注规范换一个数据集、换一个物种标注体系可能完全不兼容。推理时依赖部件检测。如果推理阶段没有部件标注还得先跑一个检测器误差会级联放大。我个人的判断是强监督方案适合标注资源充足、类别体系稳定的场景比如工业质检里固定几种零件的缺陷分类。但在开放、多变的细粒度任务里它的性价比越来越低。2.2 弱监督方案只靠类别标签的逆袭弱监督是现在的主流方向核心思想是只用类别标签让网络自己学会关注判别区域。这条路线的代表性思路包括多尺度特征融合、注意力机制、双线性池化、对比学习等。为什么弱监督能逆袭因为它绕开了部件标注这个瓶颈数据获取成本大幅下降而且模型学到的注意力更贴近数据本身的分布泛化性往往更好。当然代价是训练更不稳定、需要更精细的正则化和调参。我现在的项目基本都走弱监督路线除非客户明确要求可解释的部件级输出。下面几节我会重点拆解弱监督里几个关键技术的实现细节。2.3 方案选型对照表为了让你快速判断该走哪条路我整理了一张对照表覆盖常见场景方案类型标注需求典型准确率训练难度适用场景强监督部件定位类别部件框/关键点高中工业质检、固定类别体系弱监督注意力仅类别中高高通用细粒度、数据易获取双线性池化仅类别高中高纹理/局部差异明显多尺度融合仅类别中高中目标尺度变化大对比学习仅类别中高高数据量大、类别多选型时我的经验是先看标注预算再看数据规模最后看可解释性要求。如果标注预算充足且需要部件级解释走强监督否则优先弱监督用注意力或双线性池化打底。3. 数据准备与增强细粒度任务的胜负手3.1 数据采集的坑背景比你想的更重要细粒度数据集有个隐蔽陷阱背景泄露background bias。什么意思如果同一类别的图片都拍自同一个环境模型可能学会“认背景”而不是“认目标”。比如某类鸟总是在树枝上拍另一类总在草地上拍模型只要看背景就能分对测试时换个背景就崩了。我在一个项目里遇到过这个问题的极端案例训练集准确率 96%测试集只有 61%。排查后发现训练集里两个类别的背景色分布差异极大模型完全走了捷径。解决办法有两个数据层面尽量保证各类别背景分布均衡或者做背景替换增强。模型层面引入注意力约束强制模型关注前景区域。提示拿到一个新数据集先做一件事——只保留图像边缘区域裁掉中心目标看模型还能不能分对。如果能说明背景泄露严重必须处理。3.2 数据增强策略哪些有用哪些是坑细粒度任务的增强策略和粗粒度有明显区别。常规的随机裁剪、翻转、颜色抖动依然有用但要注意几点随机裁剪要谨慎。裁剪比例过大可能把关键判别区域裁掉反而有害。我一般把裁剪面积下限设在 0.6 到 0.7而不是常见的 0.08。颜色抖动幅度要小。细粒度判别经常依赖颜色细节抖动过猛会破坏判别信息。亮度、对比度、饱和度调整幅度建议控制在 0.2 以内。Cutout / Random Erasing 有效。随机遮挡能迫使模型关注多个判别区域而不是只盯一个。遮挡面积比例建议 0.1 到 0.25。Mixup / CutMix 要调权重。这两个方法能提升泛化但在细粒度任务上混合比例不宜过大否则会混淆细类边界。我通常把 beta 分布参数设在 0.2 左右。下面是一段我常用的增强配置基于常见视觉库的接口风格# 细粒度任务常用增强配置伪代码按实际库调整 train_transform Compose([ Resize((512, 512)), # 先放大保留细节 RandomResizedCrop(448, scale(0.65, 1.0)), # 裁剪下限提高 RandomHorizontalFlip(p0.5), ColorJitter(brightness0.15, contrast0.15, saturation0.15, hue0.05), # 幅度收敛 RandomErasing(p0.3, scale(0.02, 0.2)), # 随机遮挡 Normalize(mean, std), ])3.3 类别不平衡与长尾问题细粒度数据集天然长尾。常见物种样本多稀有物种样本少比例可能达到 100:1。直接训练会导致模型偏向头部类别。我常用的处理组合是重采样对尾部类别过采样但要注意过采样会加剧过拟合配合强增强使用。损失加权用类别频率的倒数做权重或者用 Focal Loss 降低易分样本的权重。解耦训练先正常训练特征提取器再固定特征、只微调分类头并对分类头做重平衡。这个思路在长尾任务上效果稳定。实测下来解耦训练 适度重采样的组合在长尾细粒度数据集上比单纯加权损失高 3 到 5 个百分点。4. 模型结构设计让网络学会“看局部”4.1 注意力机制从 SE 到空间注意力注意力是弱监督 FGVC 的核心工具。最基础的 SESqueeze-and-Excitation模块做的是通道注意力让网络学会“哪些特征通道更重要”。但在细粒度任务上空间注意力往往更关键因为判别信息集中在特定区域。我常用的做法是在骨干网络的后几个阶段插入空间注意力模块让网络输出一张注意力热力图高亮判别区域。实现上可以用一个轻量的卷积层生成单通道注意力图再和原特征相乘。关键参数是注意力的温度系数温度太高注意力太软、区分度不够太低又容易过拟合到噪声。我一般从 1.0 开始调实测 0.5 到 2.0 之间比较稳。注意注意力模块不要加太多。我试过在每个残差块后都加结果参数量涨了 30%准确率只涨了 0.4%还拖慢了训练。一般加 2 到 3 处就够了。4.2 双线性池化纹理细节的利器双线性池化Bilinear Pooling是 FGVC 的经典方案核心思想是对两个特征图做外积捕捉特征通道之间的二阶交互。它对纹理和局部细节特别敏感在鸟类、车型、花卉等任务上表现突出。原始双线性池化的问题是维度爆炸。假设两个特征图都是 512 通道外积后是 512×512直接接分类层参数量巨大。所以实际用的是紧凑双线性池化Compact Bilinear Pooling通过投影降维把维度压到几千。我常用的配置是骨干输出 512 通道投影到 8192 维再接全连接分类。双线性池化的一个实操要点是归一化。外积后的特征要做符号平方根归一化加 L2 归一化否则数值范围差异太大会导致训练不稳。这一步很多人会漏掉漏掉后 loss 经常震荡。4.3 多尺度与特征金字塔的融合细粒度目标的尺度变化很大。同一类鸟有的图里占满画面有的只占一角。单一尺度的特征很难兼顾。多尺度融合的思路是从骨干网络的不同阶段抽取特征分别池化后拼接。具体做法我一般这样设计取骨干网络的 stage3、stage4、stage5 输出分别做全局平均池化得到三个向量然后拼接。为了让不同尺度的贡献可调可以加一个可学习的权重。实测这个改动在目标尺度方差大的数据集上能提升 2 到 4 个百分点。不过要注意多尺度融合会增加显存占用。如果显存紧张可以只融合两个尺度或者用注意力加权代替简单拼接。4.4 骨干网络选型不是越深越好很多人迷信“越深越好”直接上 ResNet-152 或更大的模型。但在 FGVC 上特征分辨率往往比深度更重要。因为判别区域小如果特征图下采样太狠细节就丢了。我的选型经验优先选下采样倍数小的骨干。比如把 ResNet 的最后一个 stage 的步长从 2 改成 1特征图分辨率翻倍准确率通常能涨 1 到 3 个百分点代价是显存和计算量增加。中等深度 高分辨率 超深 低分辨率。ResNet-50 配合高分辨率特征往往比 ResNet-152 标准配置更好。可以考虑轻量骨干 强注意力。在部署资源受限时用轻量骨干配合精心设计的注意力模块能在精度和速度之间取得不错的平衡。5. 训练策略与调参细节决定成败5.1 迁移学习与微调策略FGVC 数据量通常不大从头训练几乎不可能必须用预训练权重。但微调策略有讲究分层学习率。骨干网络用较小的学习率比如 1e-4新加的分类头和注意力模块用较大学习率比如 1e-3。这样既保留预训练特征又让新模块快速收敛。先冻结后解冻。前几个 epoch 冻结骨干只训练新模块等 loss 稳定后再解冻全部微调。这个策略能避免新模块的随机初始化破坏预训练特征。BN 层处理。如果目标数据集和预训练数据集分布差异大建议冻结 BN 层的统计量或者用较小的动量更新。我遇到过 BN 统计量被小批量数据带偏导致验证集准确率暴跌的情况。5.2 损失函数选择与组合单一交叉熵在细粒度任务上往往不够。我常用的组合是交叉熵 中心损失Center Loss中心损失让同类特征向类中心聚拢增大类间距离。权重一般设在 0.003 到 0.01 之间。交叉熵 三元组损失Triplet Loss三元组损失直接优化类间和类内距离。难样本挖掘很关键我一般用半难样本semi-hard策略避免训练崩溃。标签平滑细粒度任务标注可能有噪声标签平滑能提升鲁棒性。平滑系数 0.1 是常用起点。组合损失时要注意权重平衡。我的经验是主损失交叉熵权重为 1辅助损失权重不超过 0.1否则会干扰主任务收敛。5.3 学习率调度与 warmup细粒度训练对学习率敏感。我常用的调度是线性 warmup 余弦退火。warmup 阶段 5 个 epoch学习率从 1e-6 线性升到初始值然后余弦退火到 1e-6。warmup 的作用是避免训练初期大学习率破坏预训练特征。我实测过不加 warmup 时前几个 epoch 的 loss 经常先涨后降加了 warmup 后曲线平滑很多。5.4 正则化与防过拟合细粒度任务过拟合是常态。除了常规的权重衰减建议 1e-4 到 5e-4和 Dropout分类头前加比例 0.3 到 0.5我还常用随机深度Stochastic Depth在骨干网络里随机跳过一些残差块相当于一种结构正则。跳过概率从 0.1 线性增加到 0.2 比较稳。EMA指数移动平均对模型参数做滑动平均推理时用平均后的参数。这个技巧几乎不增加训练成本但能稳定提升 0.5 到 1.5 个百分点。早停验证集准确率连续 10 个 epoch 不提升就停。细粒度任务很容易在后期过拟合早停能省不少时间。6. 评估、排查与部署实战6.1 评估指标准确率之外还要看什么准确率是基础但细粒度任务只看准确率会漏掉很多问题。我建议同时看混淆矩阵找出哪些类别容易被混淆。细粒度任务的错误往往集中在几个相似类之间定位到具体类别才能针对性优化。Top-5 准确率如果 Top-1 和 Top-5 差距大说明模型学到了部分判别信息但决策边界不够锐利。每类召回率长尾数据集里头部类别召回率高、尾部低是常态要单独看尾部类别的表现。注意力热力图可视化直观检查模型是否关注到了正确的判别区域。如果热力图集中在背景上说明背景泄露或注意力学偏了。6.2 常见问题速查表下面这张表是我这些年排查 FGVC 问题的经验总结覆盖了大部分高频故障现象可能原因排查方法解决方向训练准确率高、验证低过拟合或背景泄露检查背景分布、看热力图强增强、注意力约束、均衡背景训练 loss 震荡不降学习率过大或 BN 问题打印梯度范数、检查 BN 统计降学习率、warmup、冻结 BN某些类别始终分不对类间差异极小或样本太少看混淆矩阵、查样本数针对性增强、补充样本、辅助损失验证准确率波动大批次太小或数据分布不均检查 batch size、类别分布增大 batch、分层采样推理速度慢模型过大或输入分辨率高测各阶段耗时剪枝、降分辨率、换轻量骨干注意力集中在背景背景泄露或注意力温度不当可视化热力图背景增强、调温度系数6.3 部署时的分辨率与速度权衡细粒度模型部署时输入分辨率是个关键权衡点。分辨率高细节保留好但推理慢分辨率低速度快但判别信息丢失。我的经验是训练和推理分辨率要匹配。如果训练用 448推理降到 224准确率可能掉 5 到 10 个百分点。如果部署端算力有限建议训练时就用目标分辨率或者用知识蒸馏把高分辨率模型的能力迁移到低分辨率模型。另一个技巧是动态分辨率对置信度低的样本用高分辨率二次推理置信度高的直接用低分辨率。这样能在平均速度损失不大的情况下提升整体准确率。6.4 一个完整的训练配置参考最后给一份我常用的训练配置骨架你可以直接拿去改# 训练配置参考伪代码按实际框架调整 config { backbone: resnet50, # 中等深度改最后stage步长为1 input_size: 448, batch_size: 16, # 显存允许就加大 optimizer: sgd, lr: 1e-3, # 新模块学习率 backbone_lr: 1e-4, # 骨干学习率 momentum: 0.9, weight_decay: 3e-4, warmup_epochs: 5, scheduler: cosine, epochs: 60, label_smoothing: 0.1, center_loss_weight: 0.005, ema_decay: 0.999, stochastic_depth: 0.15, }这套配置我在多个细粒度数据集上验证过作为起点比较稳。具体数值还要根据你的数据规模和类别数微调但大方向不会错。7. 我踩过的几个典型坑与应对7.1 坑一盲目追求大模型刚做 FGVC 时我总觉得模型越大越好直接上了当时能拿到的最深骨干。结果训练慢、显存爆、准确率还没比中等模型高。后来才明白细粒度任务的瓶颈在特征分辨率和注意力质量不在参数量。把 ResNet-50 的最后阶段步长改小、加上空间注意力效果比换更深骨干好得多训练还快。7.2 坑二忽略数据清洗有一次项目准确率卡在 75% 上不去排查了两周模型结构都没用。最后抽查数据发现训练集里有大约 8% 的图片标错了类别。清理这批脏数据后准确率直接跳到 83%。这件事让我养成了一个习惯任何 FGVC 项目先花时间做数据清洗和抽样检查再动模型。7.3 坑三验证集划分不合理细粒度数据集的验证集划分不能简单随机。如果同一只鸟的多张照片被分到训练集和验证集验证集准确率会虚高。正确做法是按个体划分保证同一个体的图片只出现在一个集合里。这个细节很多人忽略导致线下指标好看、线上拉胯。7.4 坑四注意力模块位置随意注意力模块加在哪里很有讲究。我试过加在骨干网络最前面结果注意力学到的都是低级纹理判别性不强。后来改加在后两个阶段效果明显改善。原因是深层特征语义更强注意力更容易聚焦到有意义的部件上。8. 后续可以继续深挖的方向FGVC 这个领域还在快速演进。如果你已经跑通了基础流程下面几个方向值得继续投入自监督预训练用大规模无标注数据做预训练再迁移到细粒度任务。在标注稀缺的场景下潜力很大。跨域细粒度训练域和测试域分布不同时的细粒度识别比如实验室数据训练、野外数据测试。这是实际落地中最常见也最难的场景。多模态融合结合文本描述、属性标注等辅助信息帮助模型聚焦判别特征。比如用“喙短而粗”这样的描述引导注意力。高效推理在移动端或边缘设备上跑细粒度模型需要模型压缩、量化、蒸馏等技术的配合。我个人最看好的是自监督加跨域这个组合因为它直击 FGVC 的两个根本痛点标注贵、泛化难。谁能在标注极少的情况下把跨域细粒度做到可用谁就抓住了这个方向的下一个突破口。最后分享一个我一直在用的小技巧每次训练新模型前先跑一个极简基线比如冻结骨干只训分类头记录它的准确率。这个基线能帮你快速判断数据本身的可分性。如果基线就有 80%说明数据质量不错后面调模型空间大如果基线只有 50%那问题多半在数据或标注上别急着改模型。这个习惯帮我省了无数次无效调参的时间。 
长河君 · 2026/10/13 12:08:41 · 阅读 1.2k 细粒度图像分类实战：从数据到部署的完整指南
细粒度图像分类这个词刚入行做视觉项目那会儿我也觉得拗口。后来做多了才发现它其实就在我们每天的生活里你在花市里一眼分出“这是月季还是玫瑰”在停车场扫一眼就知道“这是雅阁还是凯美瑞”在餐桌上夹一筷子就判断“这是鲈鱼还是鳜鱼”——这些动作背后都是同一个技术命题类间差异极小、类内差异极大的图像识别。粗粒度分类只要求你认出“这是一辆车”而细粒度图像分类Fine-Grained Visual CategorizationFGVC要求你认出“这是哪一款、哪一型、哪一亚种”。难度不是线性上升而是直接跳了一个量级。这篇文章我想把 FGVC 这件事从头到尾拆开讲清楚它到底难在哪、主流方案怎么选、数据怎么处理、模型怎么改、训练怎么调、线上怎么排查。内容会偏实战穿插我自己踩过的坑和常用参数适合已经做过基础图像分类、想往细粒度方向深入的同学也适合刚接手相关项目、需要快速建立全局认知的开发者。看完你至少能独立搭起一条可用的 FGVC 训练流水线并知道每一步为什么这么做。1. 细粒度分类到底难在哪先搞清楚问题本质1.1 粗粒度与细粒度的分界线很多人第一次接触 FGVC会下意识觉得“不就是类别多一点吗”。这个理解偏差很致命。粗粒度分类比如 CIFAR-10、ImageNet 的顶层类别里不同类之间的视觉差异是全局性、结构性的猫和狗的脸型、耳朵、体型完全不同模型只要抓住大轮廓就能分对。而细粒度分类里两个类可能共享 95% 以上的外观差异只集中在几个像素级的局部区域。举个具体例子。区分“某两种相似鸟类”它们的整体轮廓、羽毛主色、体型几乎一致真正的判别信息可能只在喙的长度比例、眼周羽毛的颜色、尾羽末端的斑纹形状上。这些区域在整张图里占比可能不到 5%。模型如果还是用普通卷积网络那种“全局平均池化”的思路这些关键信号会被大量无关背景稀释掉。所以 FGVC 的核心矛盾可以概括成一句话判别信息高度局部化而常规网络倾向于全局化建模。理解这一点后面所有的方案设计都有了出发点。1.2 类间小、类内大两个方向的夹击FGVC 的难度来自两个方向同时施压。第一个方向是类间差异小inter-class variance small。同类别的不同个体之间差异可能比不同类别之间还大。比如同一款车型的不同年份改款前脸几乎一样只有大灯内部结构或格栅条数不同而同一种花在不同光照、不同开放阶段下颜色和形态变化又非常大。这就导致模型学到的决策边界极其脆弱。第二个方向是类内差异大intra-class variance large。同一个细类因为姿态、光照、遮挡、拍摄角度、个体发育阶段的不同视觉表现千差万别。一只鸟在飞行、站立、觅食三种姿态下关键部位的位置和形态完全不同。这两个方向叠加直接后果是标注成本高、数据需求大、模型容易过拟合、泛化能力差。我做过一个项目粗粒度分类 2 万张图能到 92% 准确率换成细粒度同样数据量准确率直接掉到 68%而且验证集波动极大。这不是模型不行是问题本身变难了。1.3 为什么通用分类模型直接迁移会翻车很多人第一反应是拿一个在 ImageNet 上预训练好的 ResNet 或 EfficientNet换个分类头直接微调。这个做法在粗粒度任务上屡试不爽但在 FGVC 上往往效果平平。原因有三预训练特征的粒度不匹配。ImageNet 学到的特征偏向区分“大类别”对细微纹理和局部结构的敏感度不足。全局池化丢失空间信息。全局平均池化把特征图压成一个向量局部判别区域的位置信息被抹平了。数据分布偏移。细粒度数据集通常背景杂乱、目标占比小和 ImageNet 的构图差异明显。我实测过直接用 ResNet-50 微调一个细粒度数据集准确率比专门设计的双线性网络低 8 到 12 个百分点。这个差距不是靠调学习率能补回来的必须从结构上做文章。2. 主流技术路线拆解从强监督到弱监督的演进2.1 强监督方案部件标注的利与弊早期 FGVC 的主流思路是强监督也就是在训练时除了类别标签还提供部件标注比如鸟的头部、喙、尾巴、翅膀的边界框或关键点。代表性思路是“先定位部件再对部件区域提取特征最后融合”。这种方案的优势很直观模型被明确告诉“看哪里”判别区域不会被背景干扰。在标注质量高的数据集上准确率提升明显。但问题也很现实标注成本极高。每张图都要标多个部件一个上万张的数据集标注周期可能以月计。泛化性差。模型学到的部件位置依赖标注规范换一个数据集、换一个物种标注体系可能完全不兼容。推理时依赖部件检测。如果推理阶段没有部件标注还得先跑一个检测器误差会级联放大。我个人的判断是强监督方案适合标注资源充足、类别体系稳定的场景比如工业质检里固定几种零件的缺陷分类。但在开放、多变的细粒度任务里它的性价比越来越低。2.2 弱监督方案只靠类别标签的逆袭弱监督是现在的主流方向核心思想是只用类别标签让网络自己学会关注判别区域。这条路线的代表性思路包括多尺度特征融合、注意力机制、双线性池化、对比学习等。为什么弱监督能逆袭因为它绕开了部件标注这个瓶颈数据获取成本大幅下降而且模型学到的注意力更贴近数据本身的分布泛化性往往更好。当然代价是训练更不稳定、需要更精细的正则化和调参。我现在的项目基本都走弱监督路线除非客户明确要求可解释的部件级输出。下面几节我会重点拆解弱监督里几个关键技术的实现细节。2.3 方案选型对照表为了让你快速判断该走哪条路我整理了一张对照表覆盖常见场景方案类型标注需求典型准确率训练难度适用场景强监督部件定位类别部件框/关键点高中工业质检、固定类别体系弱监督注意力仅类别中高高通用细粒度、数据易获取双线性池化仅类别高中高纹理/局部差异明显多尺度融合仅类别中高中目标尺度变化大对比学习仅类别中高高数据量大、类别多选型时我的经验是先看标注预算再看数据规模最后看可解释性要求。如果标注预算充足且需要部件级解释走强监督否则优先弱监督用注意力或双线性池化打底。3. 数据准备与增强细粒度任务的胜负手3.1 数据采集的坑背景比你想的更重要细粒度数据集有个隐蔽陷阱背景泄露background bias。什么意思如果同一类别的图片都拍自同一个环境模型可能学会“认背景”而不是“认目标”。比如某类鸟总是在树枝上拍另一类总在草地上拍模型只要看背景就能分对测试时换个背景就崩了。我在一个项目里遇到过这个问题的极端案例训练集准确率 96%测试集只有 61%。排查后发现训练集里两个类别的背景色分布差异极大模型完全走了捷径。解决办法有两个数据层面尽量保证各类别背景分布均衡或者做背景替换增强。模型层面引入注意力约束强制模型关注前景区域。提示拿到一个新数据集先做一件事——只保留图像边缘区域裁掉中心目标看模型还能不能分对。如果能说明背景泄露严重必须处理。3.2 数据增强策略哪些有用哪些是坑细粒度任务的增强策略和粗粒度有明显区别。常规的随机裁剪、翻转、颜色抖动依然有用但要注意几点随机裁剪要谨慎。裁剪比例过大可能把关键判别区域裁掉反而有害。我一般把裁剪面积下限设在 0.6 到 0.7而不是常见的 0.08。颜色抖动幅度要小。细粒度判别经常依赖颜色细节抖动过猛会破坏判别信息。亮度、对比度、饱和度调整幅度建议控制在 0.2 以内。Cutout / Random Erasing 有效。随机遮挡能迫使模型关注多个判别区域而不是只盯一个。遮挡面积比例建议 0.1 到 0.25。Mixup / CutMix 要调权重。这两个方法能提升泛化但在细粒度任务上混合比例不宜过大否则会混淆细类边界。我通常把 beta 分布参数设在 0.2 左右。下面是一段我常用的增强配置基于常见视觉库的接口风格# 细粒度任务常用增强配置伪代码按实际库调整 train_transform Compose([ Resize((512, 512)), # 先放大保留细节 RandomResizedCrop(448, scale(0.65, 1.0)), # 裁剪下限提高 RandomHorizontalFlip(p0.5), ColorJitter(brightness0.15, contrast0.15, saturation0.15, hue0.05), # 幅度收敛 RandomErasing(p0.3, scale(0.02, 0.2)), # 随机遮挡 Normalize(mean, std), ])3.3 类别不平衡与长尾问题细粒度数据集天然长尾。常见物种样本多稀有物种样本少比例可能达到 100:1。直接训练会导致模型偏向头部类别。我常用的处理组合是重采样对尾部类别过采样但要注意过采样会加剧过拟合配合强增强使用。损失加权用类别频率的倒数做权重或者用 Focal Loss 降低易分样本的权重。解耦训练先正常训练特征提取器再固定特征、只微调分类头并对分类头做重平衡。这个思路在长尾任务上效果稳定。实测下来解耦训练 适度重采样的组合在长尾细粒度数据集上比单纯加权损失高 3 到 5 个百分点。4. 模型结构设计让网络学会“看局部”4.1 注意力机制从 SE 到空间注意力注意力是弱监督 FGVC 的核心工具。最基础的 SESqueeze-and-Excitation模块做的是通道注意力让网络学会“哪些特征通道更重要”。但在细粒度任务上空间注意力往往更关键因为判别信息集中在特定区域。我常用的做法是在骨干网络的后几个阶段插入空间注意力模块让网络输出一张注意力热力图高亮判别区域。实现上可以用一个轻量的卷积层生成单通道注意力图再和原特征相乘。关键参数是注意力的温度系数温度太高注意力太软、区分度不够太低又容易过拟合到噪声。我一般从 1.0 开始调实测 0.5 到 2.0 之间比较稳。注意注意力模块不要加太多。我试过在每个残差块后都加结果参数量涨了 30%准确率只涨了 0.4%还拖慢了训练。一般加 2 到 3 处就够了。4.2 双线性池化纹理细节的利器双线性池化Bilinear Pooling是 FGVC 的经典方案核心思想是对两个特征图做外积捕捉特征通道之间的二阶交互。它对纹理和局部细节特别敏感在鸟类、车型、花卉等任务上表现突出。原始双线性池化的问题是维度爆炸。假设两个特征图都是 512 通道外积后是 512×512直接接分类层参数量巨大。所以实际用的是紧凑双线性池化Compact Bilinear Pooling通过投影降维把维度压到几千。我常用的配置是骨干输出 512 通道投影到 8192 维再接全连接分类。双线性池化的一个实操要点是归一化。外积后的特征要做符号平方根归一化加 L2 归一化否则数值范围差异太大会导致训练不稳。这一步很多人会漏掉漏掉后 loss 经常震荡。4.3 多尺度与特征金字塔的融合细粒度目标的尺度变化很大。同一类鸟有的图里占满画面有的只占一角。单一尺度的特征很难兼顾。多尺度融合的思路是从骨干网络的不同阶段抽取特征分别池化后拼接。具体做法我一般这样设计取骨干网络的 stage3、stage4、stage5 输出分别做全局平均池化得到三个向量然后拼接。为了让不同尺度的贡献可调可以加一个可学习的权重。实测这个改动在目标尺度方差大的数据集上能提升 2 到 4 个百分点。不过要注意多尺度融合会增加显存占用。如果显存紧张可以只融合两个尺度或者用注意力加权代替简单拼接。4.4 骨干网络选型不是越深越好很多人迷信“越深越好”直接上 ResNet-152 或更大的模型。但在 FGVC 上特征分辨率往往比深度更重要。因为判别区域小如果特征图下采样太狠细节就丢了。我的选型经验优先选下采样倍数小的骨干。比如把 ResNet 的最后一个 stage 的步长从 2 改成 1特征图分辨率翻倍准确率通常能涨 1 到 3 个百分点代价是显存和计算量增加。中等深度 高分辨率 超深 低分辨率。ResNet-50 配合高分辨率特征往往比 ResNet-152 标准配置更好。可以考虑轻量骨干 强注意力。在部署资源受限时用轻量骨干配合精心设计的注意力模块能在精度和速度之间取得不错的平衡。5. 训练策略与调参细节决定成败5.1 迁移学习与微调策略FGVC 数据量通常不大从头训练几乎不可能必须用预训练权重。但微调策略有讲究分层学习率。骨干网络用较小的学习率比如 1e-4新加的分类头和注意力模块用较大学习率比如 1e-3。这样既保留预训练特征又让新模块快速收敛。先冻结后解冻。前几个 epoch 冻结骨干只训练新模块等 loss 稳定后再解冻全部微调。这个策略能避免新模块的随机初始化破坏预训练特征。BN 层处理。如果目标数据集和预训练数据集分布差异大建议冻结 BN 层的统计量或者用较小的动量更新。我遇到过 BN 统计量被小批量数据带偏导致验证集准确率暴跌的情况。5.2 损失函数选择与组合单一交叉熵在细粒度任务上往往不够。我常用的组合是交叉熵 中心损失Center Loss中心损失让同类特征向类中心聚拢增大类间距离。权重一般设在 0.003 到 0.01 之间。交叉熵 三元组损失Triplet Loss三元组损失直接优化类间和类内距离。难样本挖掘很关键我一般用半难样本semi-hard策略避免训练崩溃。标签平滑细粒度任务标注可能有噪声标签平滑能提升鲁棒性。平滑系数 0.1 是常用起点。组合损失时要注意权重平衡。我的经验是主损失交叉熵权重为 1辅助损失权重不超过 0.1否则会干扰主任务收敛。5.3 学习率调度与 warmup细粒度训练对学习率敏感。我常用的调度是线性 warmup 余弦退火。warmup 阶段 5 个 epoch学习率从 1e-6 线性升到初始值然后余弦退火到 1e-6。warmup 的作用是避免训练初期大学习率破坏预训练特征。我实测过不加 warmup 时前几个 epoch 的 loss 经常先涨后降加了 warmup 后曲线平滑很多。5.4 正则化与防过拟合细粒度任务过拟合是常态。除了常规的权重衰减建议 1e-4 到 5e-4和 Dropout分类头前加比例 0.3 到 0.5我还常用随机深度Stochastic Depth在骨干网络里随机跳过一些残差块相当于一种结构正则。跳过概率从 0.1 线性增加到 0.2 比较稳。EMA指数移动平均对模型参数做滑动平均推理时用平均后的参数。这个技巧几乎不增加训练成本但能稳定提升 0.5 到 1.5 个百分点。早停验证集准确率连续 10 个 epoch 不提升就停。细粒度任务很容易在后期过拟合早停能省不少时间。6. 评估、排查与部署实战6.1 评估指标准确率之外还要看什么准确率是基础但细粒度任务只看准确率会漏掉很多问题。我建议同时看混淆矩阵找出哪些类别容易被混淆。细粒度任务的错误往往集中在几个相似类之间定位到具体类别才能针对性优化。Top-5 准确率如果 Top-1 和 Top-5 差距大说明模型学到了部分判别信息但决策边界不够锐利。每类召回率长尾数据集里头部类别召回率高、尾部低是常态要单独看尾部类别的表现。注意力热力图可视化直观检查模型是否关注到了正确的判别区域。如果热力图集中在背景上说明背景泄露或注意力学偏了。6.2 常见问题速查表下面这张表是我这些年排查 FGVC 问题的经验总结覆盖了大部分高频故障现象可能原因排查方法解决方向训练准确率高、验证低过拟合或背景泄露检查背景分布、看热力图强增强、注意力约束、均衡背景训练 loss 震荡不降学习率过大或 BN 问题打印梯度范数、检查 BN 统计降学习率、warmup、冻结 BN某些类别始终分不对类间差异极小或样本太少看混淆矩阵、查样本数针对性增强、补充样本、辅助损失验证准确率波动大批次太小或数据分布不均检查 batch size、类别分布增大 batch、分层采样推理速度慢模型过大或输入分辨率高测各阶段耗时剪枝、降分辨率、换轻量骨干注意力集中在背景背景泄露或注意力温度不当可视化热力图背景增强、调温度系数6.3 部署时的分辨率与速度权衡细粒度模型部署时输入分辨率是个关键权衡点。分辨率高细节保留好但推理慢分辨率低速度快但判别信息丢失。我的经验是训练和推理分辨率要匹配。如果训练用 448推理降到 224准确率可能掉 5 到 10 个百分点。如果部署端算力有限建议训练时就用目标分辨率或者用知识蒸馏把高分辨率模型的能力迁移到低分辨率模型。另一个技巧是动态分辨率对置信度低的样本用高分辨率二次推理置信度高的直接用低分辨率。这样能在平均速度损失不大的情况下提升整体准确率。6.4 一个完整的训练配置参考最后给一份我常用的训练配置骨架你可以直接拿去改# 训练配置参考伪代码按实际框架调整 config { backbone: resnet50, # 中等深度改最后stage步长为1 input_size: 448, batch_size: 16, # 显存允许就加大 optimizer: sgd, lr: 1e-3, # 新模块学习率 backbone_lr: 1e-4, # 骨干学习率 momentum: 0.9, weight_decay: 3e-4, warmup_epochs: 5, scheduler: cosine, epochs: 60, label_smoothing: 0.1, center_loss_weight: 0.005, ema_decay: 0.999, stochastic_depth: 0.15, }这套配置我在多个细粒度数据集上验证过作为起点比较稳。具体数值还要根据你的数据规模和类别数微调但大方向不会错。7. 我踩过的几个典型坑与应对7.1 坑一盲目追求大模型刚做 FGVC 时我总觉得模型越大越好直接上了当时能拿到的最深骨干。结果训练慢、显存爆、准确率还没比中等模型高。后来才明白细粒度任务的瓶颈在特征分辨率和注意力质量不在参数量。把 ResNet-50 的最后阶段步长改小、加上空间注意力效果比换更深骨干好得多训练还快。7.2 坑二忽略数据清洗有一次项目准确率卡在 75% 上不去排查了两周模型结构都没用。最后抽查数据发现训练集里有大约 8% 的图片标错了类别。清理这批脏数据后准确率直接跳到 83%。这件事让我养成了一个习惯任何 FGVC 项目先花时间做数据清洗和抽样检查再动模型。7.3 坑三验证集划分不合理细粒度数据集的验证集划分不能简单随机。如果同一只鸟的多张照片被分到训练集和验证集验证集准确率会虚高。正确做法是按个体划分保证同一个体的图片只出现在一个集合里。这个细节很多人忽略导致线下指标好看、线上拉胯。7.4 坑四注意力模块位置随意注意力模块加在哪里很有讲究。我试过加在骨干网络最前面结果注意力学到的都是低级纹理判别性不强。后来改加在后两个阶段效果明显改善。原因是深层特征语义更强注意力更容易聚焦到有意义的部件上。8. 后续可以继续深挖的方向FGVC 这个领域还在快速演进。如果你已经跑通了基础流程下面几个方向值得继续投入自监督预训练用大规模无标注数据做预训练再迁移到细粒度任务。在标注稀缺的场景下潜力很大。跨域细粒度训练域和测试域分布不同时的细粒度识别比如实验室数据训练、野外数据测试。这是实际落地中最常见也最难的场景。多模态融合结合文本描述、属性标注等辅助信息帮助模型聚焦判别特征。比如用“喙短而粗”这样的描述引导注意力。高效推理在移动端或边缘设备上跑细粒度模型需要模型压缩、量化、蒸馏等技术的配合。我个人最看好的是自监督加跨域这个组合因为它直击 FGVC 的两个根本痛点标注贵、泛化难。谁能在标注极少的情况下把跨域细粒度做到可用谁就抓住了这个方向的下一个突破口。最后分享一个我一直在用的小技巧每次训练新模型前先跑一个极简基线比如冻结骨干只训分类头记录它的准确率。这个基线能帮你快速判断数据本身的可分性。如果基线就有 80%说明数据质量不错后面调模型空间大如果基线只有 50%那问题多半在数据或标注上别急着改模型。这个习惯帮我省了无数次无效调参的时间。