小目标检测最磨人的不是模型不够深而是目标在图像里只占了几个像素卷积一路下采样之后特征早就糊成一团了。我在几个检测项目里被小目标折腾得不轻从智慧安防到工业质检最后都是靠把特征金字塔网络FPN吃透才救回来。这篇我直接从原理讲到落地把FPN在小目标检测里的完整用法包括那些常规文档里不会写的坑一次性给你讲明白。FPN要解决的核心问题不是“模型不够大”而是“深层特征丢了空间位置”。小目标像素少、边缘弱经过多层卷积下采样到顶层基本只剩一个模糊的斑点。FPN的思路是把深层的语义信息和浅层的空间细节融合起来生成一组不同分辨率的特征图让检测器在不同尺度上都能“看见”目标。这个思路乍一听简单真正落地的时候细节比想象中多得多。1. 先搞清楚小目标为什么这么难检测1.1 小目标的定义和表象小目标通常定义为面积小于32×32像素的框或者在图像中占比极小。但工程上我更习惯看“相对占比”一个目标只占画幅的0.5%以下基本就可以当小目标处理。场景不同定义可以灵活大家约定俗成就好。小目标最直接的问题是信息量不够。拿一个16×16像素的人头举例在RGB三通道上总共只有768个像素值经过归一化、颜色抖动之后真正能作为“特征”的纹理信息少得可怜。卷积核一滑过去感受野里大部分是背景目标本身的信号很容易被淹没。麻烦还没完。目标太小导致IoU特别敏感检测框只要偏移几个像素IoU就掉得很厉害后处理阶段很容易被当作误检过滤掉。大目标偏移三五个像素无所谓小目标偏移两三个像素这个框基本就废了。这也是为什么很多模型在正常目标上表现不错一到小目标就崩。1.2 单层特征输出为什么不行早期检测框架大多是“主干网络最后一层出特征检测头直接接上去”的路线。最后一层特征图经过32倍下采样输入512×512输出就是16×16。每个网格对应的原始区域是32×32像素一个24×24的目标在这个特征图上只占不到1个格子。检测头在这一个糊掉的格子上做分类做回归几乎是在猜。有人会说那我换成更深的特征图不行吗深层特征语义强但分辨率太低空间定位能力很差。浅层特征空间定位好但语义弱容易把背景纹理当目标。当时业界的通用做法是多尺度输入把同一张图缩放到多个尺寸分别输入模型再合并结果。方法有效但推理时间成倍上涨工程上很难接受。1.3 小目标和感受野之间的错配小目标检测难背后还有一层是感受野匹配问题。高层神经元的感受野很大它看到的是目标周围的上下文并不等于它能精确框住一个小目标。连续卷积之后特征图上单个点的响应已经混合了大量邻近区域的信息小目标的边界被抹得差不多了。那增大卷积核行不行也不行。增大卷积核虽然增加感受野但同样稀释了局部细节的响应。小目标需要的是“局部、精确、高分辨”的特征不是“全局、抽象、低分辨”的特征。你得把不同层级的特征组合起来用FPN正好干的就是这件事。2. FPN的设计骨架与核心原理2.1 自底向上通路主干网络的天然层级FPN不是替代主干网络而是在主干网络之上新增结构。主干网络的前向计算也就是从输入图像到多层特征图的过程本身就是一条自底向上的通路。常见做法是取主干中不同阶段的最后一层输出。比如用某ResNet做骨干时我习惯取stage2、stage3、stage4、stage5的输出也就是经过4倍、8倍、16倍、32倍下采样后的特征图分别记为C2、C3、C4、C5。C2分辨率最高但语义最弱C5分辨率最低但语义最强。stage1一般不用分辨率太高、计算量太大收益也不明显。我在实际项目中验证过只用C3到C5做FPN依然可行小目标检测能力会略降但训练速度明显提升。如果你主要做8×8到16×16的超小目标C2建议保留如果以常规目标为主C3起步就够了没必要让每层都参与计算。2.2 自顶向下通路高层语义的回传自顶向下通路是FPN的核心创新。它从最顶层C5开始逐层向上采样使高层的语义信息能够一路传递到低层。具体来说C5先经过一个1×1卷积做通道压缩得到P5然后上采样到和C4相同的分辨率再和C4经过1×1卷积后的结果相加。这样每一层都是“高层语义当前层细节”的组合。重复这个过程一路生成P4、P3、P2。上采样方式选最近邻还是双线性我建议用双线性。最近邻虽然计算快但会产生网格伪影对边缘要求高的检测任务不够友好。双线性在训练中表现更稳定主流框架都直接支持不用额外实现没必要在这个细节上冒险。2.3 横向连接融合时最关键的1×1卷积横向连接指的是自顶向下通路上每层接入的那条支路。C2到C5各自先通过一个1×1卷积把通道数统一到同一个维度再与上层回传的特征相加。有个细节很多人忽略为什么是1×1卷积而不是直接相加因为C2到C5出自不同阶段通道数不一样。C5可能是2048通道C2可能只有256通道不统一通道就无法相加。用1×1卷积既能调整通道又能做通道间的线性重组合让每层的贡献更可控。融合方式有相加也有拼接。FPN原版是相加后续也有做法把C2到C4和回传特征拼起来再接卷积。我个人更推荐原版的相加参数量小、部署简单达到同等效果的前提下没必要增加融合复杂度。除非你在冲榜单否则加法通常够用。2.4 FPN的标准输出结构经过上面这些操作FPN输出一组特征图{P2, P3, P4, P5}分别对应4倍、8倍、16倍、32倍下采样。部分检测器还会在P5之上加一层P6通过步长2的最大池化或卷积获得用于覆盖超大目标或者作为锚点生成的额外尺度层。我在实际项目里一般只用P3到P5偶尔加P2。P6只有在目标极大时才需要大部分场景用不太上。P2的尺寸是原图的1/4计算开销非常大。至于P1也就是1/2下采样很少有人去做收益不稳定没必要给自己找麻烦。3. 在检测器里落地FPN的完整流程3.1 骨干网络选型与通道数设计骨干网络的选择直接影响FPN效果。移动端项目用轻量骨干服务端项目用稍重的骨干不管哪种FPN的接入逻辑是一致的只需要把不同阶段的输出引出来就行。通道数方面FPN内部特征通常统一为256通道。这个数字不是拍脑袋定的256在“表达能力和计算开销”之间比较均衡。算力紧张的话128通道也可以用512通道在大多数数据上不会带来明显提升反而增加显存占用。先跑一版256再去考虑要不要调整这是最稳的路径。3.2 检测头的多尺度特征分配策略FPN解决了“特征在哪层”的问题还要配合“目标分到哪层”的分配策略。常用的分配方法是按锚框面积划分层级一套经典的分配区间是P2负责约8到24像素的目标P3负责约24到48像素的目标P4负责约48到96像素的目标P5负责约96到192像素的目标这个区间不是固定的要根据数据集里真实目标的分布来调整。我在一个遥感项目里目标尺寸从8像素到120像素都有直接用默认分配结果很差。后来做了目标尺寸的统计直方图把阈值改成6到20、20到40、40到80效果立刻提升。关键逻辑是目标被分配给哪一层该层对应的特征图分辨率要让目标占据至少1到2个网格单元。如果你的目标在P5上只有不到0.5个格子那它基本没机会被检测到这时候你要做的就是把分配区间往低层挪。3.3 锚框设计与FPN的联合优化锚框尺寸需要和FPN的层级配合。常见做法是每层设置3种长宽比和3种尺度尺度为{2^0, 2^(1/3), 2^(2/3)}再乘以上述层级对应的基准尺寸。锚框面积的跨度是按4倍递增的层级越多单层锚框覆盖的范围越窄回归压力越小。我在项目里试过为P2单独设计小锚框集合比如基准从8改成6效果提升有限却引入不少超参数。后面我倾向保持锚框设置不变通过修改层级分配逻辑来适配小目标。这样改动面更小训练更容易收敛也不容易引入新的问题。3.4 从RPN到检测头的接入细节在两步检测器里RPN会在多个FPN层上分别生成候选框每层RPN的权重是共享的。共享设计能大幅减少参数量同时因为每层特征分布类似收敛速度更快。检测头在拿到RPN输出的RoI之后要根据候选框的尺寸决定从哪一层FPN提取特征。一般用近似公式k k0 log2(sqrt(wh)/224)来分配。k0取4如果目标宽高乘积的根小于224就分配到更低层比如P2或P3如果大于224则分配到更高层。这个公式适合作为初始值真实数据偏移大时要结合统计分布去调。之后用RoIAlign提取固定尺寸特征送入分类和回归头。4. 训练与调优的实战要点4.1 输入尺寸与小目标的直接矛盾小目标检测最朴素的提升方法是增大输入分辨率。输入尺寸从512提升到800小目标的mAP大约能提升3到5个点代价是训练显存和推理时长翻倍。这背后的逻辑很直接小目标原始像素少放大后卷积网络才能提取更多纹理。但这不是说输入越大越好。过大的输入会带来大量背景信息干扰训练推理延迟在实时场景中完全不可接受。我建议做一组实验分别用608、800、1024训练看小目标类别的mAP与帧率之间的拐点选取最合适的那一档。这种实验做起来麻烦但能省下后面大量调参时间。4.2 数据增强策略的取舍小目标检测的数据增强要格外小心。随机裁剪如果裁到目标主体边缘等于把训练集里最有价值的小目标样本减掉了。我常用的思路是“先放大后裁剪”先把包含小目标的图像区域放大再随机裁剪保证每个训练批次里都有足够多的小目标样本。马赛克和拼接增强在小目标场景里提升明显因为它天然增加了小目标的数量和多样性。但注意拼接后的目标可能被截断边界框和掩码要同步处理不然会出现大量错标样本反而拉低精度。任何增强方式都要考虑标注的连带影响这是老生常谈但真正吃过大亏的人才会记住。4.3 损失函数与样本权重的调节默认的检测损失对所有尺度目标一视同仁小目标因为像素少、难样本多在训练中容易被忽略。我常用的做法是引入尺度感知的损失权重对小目标类别适当加大权重或者按目标面积动态调节。另一种做法是把回归损失从L1换成Smooth L1基础再加IoU损失。小目标对框的偏移极其敏感IoU损失能直接优化预测框和真实框的重合度收敛效果明显更好。我试过几个项目加0.25权重的IoU分支是最稳的选择权重再高会挤压分类损失导致其他类别的精度下降。4.4 正样本分配与训练稳定性小目标还有个隐蔽问题正样本数量少。同一张图里大目标可能只占几个框小目标虽然数量多但锚框和小目标匹配成功的概率很低。如果正样本太少模型容易退化成“全部预测为背景”损失下降但精度上不去。解决办法主要有两种一是提高IoU匹配容忍度比如低层特征图的正样本IoU阈值从0.5降到0.4二是用自适应正样本分配策略比如根据统计指标动态选择正样本。我建议优先尝试降低低层的IoU阈值改动小、见效快。但要注意降得过低会引入大量低质量正样本需要在阈值和精度之间做折中不是越低越好。5. 问题排查与调优记录5.1 小目标完全没有检出排查思路如果你的模型完全检不出小目标我建议按这个顺序排查检查层级分配逻辑看小目标是否被分配到了过低层级特征像素不足检查锚框设计确认小目标尺寸是否覆盖不到检查正样本统计输出训练日志里每个层级的正样本数量看低层是否过少检查数据标注质量小目标标注偏移1到2像素训练效果就会断崖式下滑其中标注质量最容易被忽视。我遇到过一个小目标数据集粗看标注没问题细看很多框都偏移了3到5像素。这个偏移量对大目标无关紧要对小目标几乎致命。后来花了一天时间重新清洗标注mAP直接提升了4个点。数据质量永远是模型上限的基石FPN再强也救不了烂标注。5.2 为什么加了FPN反而掉点理论上FPN会让检测精度只增不减但实践中确实有加FPN掉点的情况。常见原因有两个一是骨干网络较浅不同层特征差异不大融合后没有增益反而引入噪声二是训练超参没有同步调整例如学习率没有适配FPN新增参数的收敛节奏。遇到这种情况我一般先做一组对照实验单独训练无FPN版本和加入FPN但冻结主干的版本观察两者收敛曲线。通过对比能判断掉点是来自FPN本身还是训练策略失配。我之前踩过坑换了一个新骨干加了FPN反而mAP下降排查半天最后发现是骨干预训练权重版本太旧换成更强的新版预训练权重就好了。问题根本不在FPN而在上游的骨干特征质量。5.3 显存与速度优化FPN会增加一定的显存和计算开销主要来自多级特征图同时参与训练。移动端部署时可以只保留P3到P5或者直接把P2裁剪掉。推理时也可以做特征层剪枝如果数据集里几乎不存在小于20像素的目标P2就完全没必要保留。我自己做过一次实验裁掉P2后显存占用下降约12%推理速度提升约8%mAP几乎不变。FPN的层数不是越多越好要看数据集的实际目标尺度分布。目标集中在中等尺寸就没必要为极端小目标浪费算力。5.4 实用小技巧汇总训练时用多尺度训练每轮随机从{0.5, 0.8, 1.0, 1.25}里选一个尺度给小目标检测带来的提升很稳定。 测试时开启水平翻转增强和尺度抖动通常能稳定提升1到2个点代价是推理时间变长适合离线评估。 低层特征噪声大可以在P2或P3输出后接一个轻量的注意力模块突出目标响应。我用过简单的通道注意力在小目标数据集上提升约1个点。 注意批量归一化的统计量。FPN多尺度训练时BN统计量抖动很大处理不当严重影响收敛。通常需要先做消融实验决定是否冻结主干前几层的BN尤其是使用较大输入尺寸时。6. 一份可复用的快速配置参考为了让你直接上手我给出一个简单但合理的FPN小目标检测配置模板配置项推荐值骨架网络ResNet风格输出C2到C5四层特征FPN输出通道256上采样方式双线性插值融合方式1×1卷积 逐元素相加层级分配区间P2:6~24, P3:24~48, P4:48~96, P5:96~192基础锚框尺寸8, 16, 32, 64匹配IoU阈值低层0.4高层0.5损失函数分类交叉熵 Smooth L1 0.25权重的IoU损失输入训练尺寸短边800增强策略马赛克 随机放大裁剪 多尺度抖动训练轮数24轮以上前3轮用热身策略这套配置不是最新黑魔法是我在几个真实项目里反复试出来的稳健组合。你可以根据自己的数据和算力调整但核心逻辑不要动低层负责小目标的空间细节高层负责大目标的语义信息FPN把两者串起来。如果想让小目标效果更好优先调层级分配区间其次是数据增强最后才考虑改FPN结构本身。7. 写在最后的一些个人体会我在项目里用FPN的时间越久越觉得它的价值不在于某种新奇结构而在于尊重了目标尺度的多样性。每个数据集都有自己的尺度分布检测器不应该只用一种分辨率去应对所有目标。如果你还没系统做过FPN的小目标实验我建议从统计目标尺寸分布开始把标注框的面积画成直方图再决定要不要保留P2、要不要调层级分配区间。这样比直接盲调FPN结构有效得多。踩过几次坑之后我现在每做新检测项目都会先跑一个简单的FPN baseline再做后处理、损失函数和增强方式。这套流程虽然朴素但最稳定。 
长河君 · 2026/10/21 12:04:00 · 阅读 1.2k FPN在小目标检测中的原理与落地实践：从特征融合到调参优化
小目标检测最磨人的不是模型不够深而是目标在图像里只占了几个像素卷积一路下采样之后特征早就糊成一团了。我在几个检测项目里被小目标折腾得不轻从智慧安防到工业质检最后都是靠把特征金字塔网络FPN吃透才救回来。这篇我直接从原理讲到落地把FPN在小目标检测里的完整用法包括那些常规文档里不会写的坑一次性给你讲明白。FPN要解决的核心问题不是“模型不够大”而是“深层特征丢了空间位置”。小目标像素少、边缘弱经过多层卷积下采样到顶层基本只剩一个模糊的斑点。FPN的思路是把深层的语义信息和浅层的空间细节融合起来生成一组不同分辨率的特征图让检测器在不同尺度上都能“看见”目标。这个思路乍一听简单真正落地的时候细节比想象中多得多。1. 先搞清楚小目标为什么这么难检测1.1 小目标的定义和表象小目标通常定义为面积小于32×32像素的框或者在图像中占比极小。但工程上我更习惯看“相对占比”一个目标只占画幅的0.5%以下基本就可以当小目标处理。场景不同定义可以灵活大家约定俗成就好。小目标最直接的问题是信息量不够。拿一个16×16像素的人头举例在RGB三通道上总共只有768个像素值经过归一化、颜色抖动之后真正能作为“特征”的纹理信息少得可怜。卷积核一滑过去感受野里大部分是背景目标本身的信号很容易被淹没。麻烦还没完。目标太小导致IoU特别敏感检测框只要偏移几个像素IoU就掉得很厉害后处理阶段很容易被当作误检过滤掉。大目标偏移三五个像素无所谓小目标偏移两三个像素这个框基本就废了。这也是为什么很多模型在正常目标上表现不错一到小目标就崩。1.2 单层特征输出为什么不行早期检测框架大多是“主干网络最后一层出特征检测头直接接上去”的路线。最后一层特征图经过32倍下采样输入512×512输出就是16×16。每个网格对应的原始区域是32×32像素一个24×24的目标在这个特征图上只占不到1个格子。检测头在这一个糊掉的格子上做分类做回归几乎是在猜。有人会说那我换成更深的特征图不行吗深层特征语义强但分辨率太低空间定位能力很差。浅层特征空间定位好但语义弱容易把背景纹理当目标。当时业界的通用做法是多尺度输入把同一张图缩放到多个尺寸分别输入模型再合并结果。方法有效但推理时间成倍上涨工程上很难接受。1.3 小目标和感受野之间的错配小目标检测难背后还有一层是感受野匹配问题。高层神经元的感受野很大它看到的是目标周围的上下文并不等于它能精确框住一个小目标。连续卷积之后特征图上单个点的响应已经混合了大量邻近区域的信息小目标的边界被抹得差不多了。那增大卷积核行不行也不行。增大卷积核虽然增加感受野但同样稀释了局部细节的响应。小目标需要的是“局部、精确、高分辨”的特征不是“全局、抽象、低分辨”的特征。你得把不同层级的特征组合起来用FPN正好干的就是这件事。2. FPN的设计骨架与核心原理2.1 自底向上通路主干网络的天然层级FPN不是替代主干网络而是在主干网络之上新增结构。主干网络的前向计算也就是从输入图像到多层特征图的过程本身就是一条自底向上的通路。常见做法是取主干中不同阶段的最后一层输出。比如用某ResNet做骨干时我习惯取stage2、stage3、stage4、stage5的输出也就是经过4倍、8倍、16倍、32倍下采样后的特征图分别记为C2、C3、C4、C5。C2分辨率最高但语义最弱C5分辨率最低但语义最强。stage1一般不用分辨率太高、计算量太大收益也不明显。我在实际项目中验证过只用C3到C5做FPN依然可行小目标检测能力会略降但训练速度明显提升。如果你主要做8×8到16×16的超小目标C2建议保留如果以常规目标为主C3起步就够了没必要让每层都参与计算。2.2 自顶向下通路高层语义的回传自顶向下通路是FPN的核心创新。它从最顶层C5开始逐层向上采样使高层的语义信息能够一路传递到低层。具体来说C5先经过一个1×1卷积做通道压缩得到P5然后上采样到和C4相同的分辨率再和C4经过1×1卷积后的结果相加。这样每一层都是“高层语义当前层细节”的组合。重复这个过程一路生成P4、P3、P2。上采样方式选最近邻还是双线性我建议用双线性。最近邻虽然计算快但会产生网格伪影对边缘要求高的检测任务不够友好。双线性在训练中表现更稳定主流框架都直接支持不用额外实现没必要在这个细节上冒险。2.3 横向连接融合时最关键的1×1卷积横向连接指的是自顶向下通路上每层接入的那条支路。C2到C5各自先通过一个1×1卷积把通道数统一到同一个维度再与上层回传的特征相加。有个细节很多人忽略为什么是1×1卷积而不是直接相加因为C2到C5出自不同阶段通道数不一样。C5可能是2048通道C2可能只有256通道不统一通道就无法相加。用1×1卷积既能调整通道又能做通道间的线性重组合让每层的贡献更可控。融合方式有相加也有拼接。FPN原版是相加后续也有做法把C2到C4和回传特征拼起来再接卷积。我个人更推荐原版的相加参数量小、部署简单达到同等效果的前提下没必要增加融合复杂度。除非你在冲榜单否则加法通常够用。2.4 FPN的标准输出结构经过上面这些操作FPN输出一组特征图{P2, P3, P4, P5}分别对应4倍、8倍、16倍、32倍下采样。部分检测器还会在P5之上加一层P6通过步长2的最大池化或卷积获得用于覆盖超大目标或者作为锚点生成的额外尺度层。我在实际项目里一般只用P3到P5偶尔加P2。P6只有在目标极大时才需要大部分场景用不太上。P2的尺寸是原图的1/4计算开销非常大。至于P1也就是1/2下采样很少有人去做收益不稳定没必要给自己找麻烦。3. 在检测器里落地FPN的完整流程3.1 骨干网络选型与通道数设计骨干网络的选择直接影响FPN效果。移动端项目用轻量骨干服务端项目用稍重的骨干不管哪种FPN的接入逻辑是一致的只需要把不同阶段的输出引出来就行。通道数方面FPN内部特征通常统一为256通道。这个数字不是拍脑袋定的256在“表达能力和计算开销”之间比较均衡。算力紧张的话128通道也可以用512通道在大多数数据上不会带来明显提升反而增加显存占用。先跑一版256再去考虑要不要调整这是最稳的路径。3.2 检测头的多尺度特征分配策略FPN解决了“特征在哪层”的问题还要配合“目标分到哪层”的分配策略。常用的分配方法是按锚框面积划分层级一套经典的分配区间是P2负责约8到24像素的目标P3负责约24到48像素的目标P4负责约48到96像素的目标P5负责约96到192像素的目标这个区间不是固定的要根据数据集里真实目标的分布来调整。我在一个遥感项目里目标尺寸从8像素到120像素都有直接用默认分配结果很差。后来做了目标尺寸的统计直方图把阈值改成6到20、20到40、40到80效果立刻提升。关键逻辑是目标被分配给哪一层该层对应的特征图分辨率要让目标占据至少1到2个网格单元。如果你的目标在P5上只有不到0.5个格子那它基本没机会被检测到这时候你要做的就是把分配区间往低层挪。3.3 锚框设计与FPN的联合优化锚框尺寸需要和FPN的层级配合。常见做法是每层设置3种长宽比和3种尺度尺度为{2^0, 2^(1/3), 2^(2/3)}再乘以上述层级对应的基准尺寸。锚框面积的跨度是按4倍递增的层级越多单层锚框覆盖的范围越窄回归压力越小。我在项目里试过为P2单独设计小锚框集合比如基准从8改成6效果提升有限却引入不少超参数。后面我倾向保持锚框设置不变通过修改层级分配逻辑来适配小目标。这样改动面更小训练更容易收敛也不容易引入新的问题。3.4 从RPN到检测头的接入细节在两步检测器里RPN会在多个FPN层上分别生成候选框每层RPN的权重是共享的。共享设计能大幅减少参数量同时因为每层特征分布类似收敛速度更快。检测头在拿到RPN输出的RoI之后要根据候选框的尺寸决定从哪一层FPN提取特征。一般用近似公式k k0 log2(sqrt(wh)/224)来分配。k0取4如果目标宽高乘积的根小于224就分配到更低层比如P2或P3如果大于224则分配到更高层。这个公式适合作为初始值真实数据偏移大时要结合统计分布去调。之后用RoIAlign提取固定尺寸特征送入分类和回归头。4. 训练与调优的实战要点4.1 输入尺寸与小目标的直接矛盾小目标检测最朴素的提升方法是增大输入分辨率。输入尺寸从512提升到800小目标的mAP大约能提升3到5个点代价是训练显存和推理时长翻倍。这背后的逻辑很直接小目标原始像素少放大后卷积网络才能提取更多纹理。但这不是说输入越大越好。过大的输入会带来大量背景信息干扰训练推理延迟在实时场景中完全不可接受。我建议做一组实验分别用608、800、1024训练看小目标类别的mAP与帧率之间的拐点选取最合适的那一档。这种实验做起来麻烦但能省下后面大量调参时间。4.2 数据增强策略的取舍小目标检测的数据增强要格外小心。随机裁剪如果裁到目标主体边缘等于把训练集里最有价值的小目标样本减掉了。我常用的思路是“先放大后裁剪”先把包含小目标的图像区域放大再随机裁剪保证每个训练批次里都有足够多的小目标样本。马赛克和拼接增强在小目标场景里提升明显因为它天然增加了小目标的数量和多样性。但注意拼接后的目标可能被截断边界框和掩码要同步处理不然会出现大量错标样本反而拉低精度。任何增强方式都要考虑标注的连带影响这是老生常谈但真正吃过大亏的人才会记住。4.3 损失函数与样本权重的调节默认的检测损失对所有尺度目标一视同仁小目标因为像素少、难样本多在训练中容易被忽略。我常用的做法是引入尺度感知的损失权重对小目标类别适当加大权重或者按目标面积动态调节。另一种做法是把回归损失从L1换成Smooth L1基础再加IoU损失。小目标对框的偏移极其敏感IoU损失能直接优化预测框和真实框的重合度收敛效果明显更好。我试过几个项目加0.25权重的IoU分支是最稳的选择权重再高会挤压分类损失导致其他类别的精度下降。4.4 正样本分配与训练稳定性小目标还有个隐蔽问题正样本数量少。同一张图里大目标可能只占几个框小目标虽然数量多但锚框和小目标匹配成功的概率很低。如果正样本太少模型容易退化成“全部预测为背景”损失下降但精度上不去。解决办法主要有两种一是提高IoU匹配容忍度比如低层特征图的正样本IoU阈值从0.5降到0.4二是用自适应正样本分配策略比如根据统计指标动态选择正样本。我建议优先尝试降低低层的IoU阈值改动小、见效快。但要注意降得过低会引入大量低质量正样本需要在阈值和精度之间做折中不是越低越好。5. 问题排查与调优记录5.1 小目标完全没有检出排查思路如果你的模型完全检不出小目标我建议按这个顺序排查检查层级分配逻辑看小目标是否被分配到了过低层级特征像素不足检查锚框设计确认小目标尺寸是否覆盖不到检查正样本统计输出训练日志里每个层级的正样本数量看低层是否过少检查数据标注质量小目标标注偏移1到2像素训练效果就会断崖式下滑其中标注质量最容易被忽视。我遇到过一个小目标数据集粗看标注没问题细看很多框都偏移了3到5像素。这个偏移量对大目标无关紧要对小目标几乎致命。后来花了一天时间重新清洗标注mAP直接提升了4个点。数据质量永远是模型上限的基石FPN再强也救不了烂标注。5.2 为什么加了FPN反而掉点理论上FPN会让检测精度只增不减但实践中确实有加FPN掉点的情况。常见原因有两个一是骨干网络较浅不同层特征差异不大融合后没有增益反而引入噪声二是训练超参没有同步调整例如学习率没有适配FPN新增参数的收敛节奏。遇到这种情况我一般先做一组对照实验单独训练无FPN版本和加入FPN但冻结主干的版本观察两者收敛曲线。通过对比能判断掉点是来自FPN本身还是训练策略失配。我之前踩过坑换了一个新骨干加了FPN反而mAP下降排查半天最后发现是骨干预训练权重版本太旧换成更强的新版预训练权重就好了。问题根本不在FPN而在上游的骨干特征质量。5.3 显存与速度优化FPN会增加一定的显存和计算开销主要来自多级特征图同时参与训练。移动端部署时可以只保留P3到P5或者直接把P2裁剪掉。推理时也可以做特征层剪枝如果数据集里几乎不存在小于20像素的目标P2就完全没必要保留。我自己做过一次实验裁掉P2后显存占用下降约12%推理速度提升约8%mAP几乎不变。FPN的层数不是越多越好要看数据集的实际目标尺度分布。目标集中在中等尺寸就没必要为极端小目标浪费算力。5.4 实用小技巧汇总训练时用多尺度训练每轮随机从{0.5, 0.8, 1.0, 1.25}里选一个尺度给小目标检测带来的提升很稳定。 测试时开启水平翻转增强和尺度抖动通常能稳定提升1到2个点代价是推理时间变长适合离线评估。 低层特征噪声大可以在P2或P3输出后接一个轻量的注意力模块突出目标响应。我用过简单的通道注意力在小目标数据集上提升约1个点。 注意批量归一化的统计量。FPN多尺度训练时BN统计量抖动很大处理不当严重影响收敛。通常需要先做消融实验决定是否冻结主干前几层的BN尤其是使用较大输入尺寸时。6. 一份可复用的快速配置参考为了让你直接上手我给出一个简单但合理的FPN小目标检测配置模板配置项推荐值骨架网络ResNet风格输出C2到C5四层特征FPN输出通道256上采样方式双线性插值融合方式1×1卷积 逐元素相加层级分配区间P2:6~24, P3:24~48, P4:48~96, P5:96~192基础锚框尺寸8, 16, 32, 64匹配IoU阈值低层0.4高层0.5损失函数分类交叉熵 Smooth L1 0.25权重的IoU损失输入训练尺寸短边800增强策略马赛克 随机放大裁剪 多尺度抖动训练轮数24轮以上前3轮用热身策略这套配置不是最新黑魔法是我在几个真实项目里反复试出来的稳健组合。你可以根据自己的数据和算力调整但核心逻辑不要动低层负责小目标的空间细节高层负责大目标的语义信息FPN把两者串起来。如果想让小目标效果更好优先调层级分配区间其次是数据增强最后才考虑改FPN结构本身。7. 写在最后的一些个人体会我在项目里用FPN的时间越久越觉得它的价值不在于某种新奇结构而在于尊重了目标尺度的多样性。每个数据集都有自己的尺度分布检测器不应该只用一种分辨率去应对所有目标。如果你还没系统做过FPN的小目标实验我建议从统计目标尺寸分布开始把标注框的面积画成直方图再决定要不要保留P2、要不要调层级分配区间。这样比直接盲调FPN结构有效得多。踩过几次坑之后我现在每做新检测项目都会先跑一个简单的FPN baseline再做后处理、损失函数和增强方式。这套流程虽然朴素但最稳定。