搞目标检测模型改进的人这几年应该都有一点相同的体感堆模块带来的涨点越来越虚光靠加注意力层或把卷积核换大调参调到最后反而把 baseline 底子给搞坏。我自己在维护一个 YOLO 系列的实验分支内部简称 YOLO26 基线时一直在找一种既能替换基础卷积层、又不会大幅增加参数量和推理压力的结构改进思路。后来盯上了 GnConv——一种通过门控卷积和递归设计实现高效、可扩展、平移等变的高阶空间交互操作。这篇文章就把我在 YOLO26 上集成 GnConv 的完整过程、设计拆解、代码细节和踩坑记录写出来给想往卷积层方向做改进的同行一个可以直接参考的样本。先简单说结论GnConv 不是一种玄学高阶模块它的整体思路很朴实——用门控卷积来学习特征通道之间的软开关同时用递归设计让同一个卷积块多次作用于特征图从而在不显著增加参数量的前提下让卷积层的信息交互范围从相邻像素扩展到多跳邻居和跨通道选择。这种操作天然保留卷积的平移等变性对小目标、遮挡目标、密集场景都更友好而且实现起来也不复杂。1. 我的出发点当卷积层只学到最近邻关系时检测到了瓶颈1.1 YOLO26 基线里的尴尬堆算力不如换交互方式我这边 YOLO26 基线在框架上其实和常见 YOLO 分支差不多骨干网络负责多尺度特征提取颈部做特征融合检测头输出不同尺度的预测。最初我在骨干和颈部的卷积层上试过不少社区流行的结构包括各种注意力、可变形卷积、大核深度卷积。问题很快暴露出来可变形卷积在小目标密集场景里偏移学习不稳定大核卷积虽然感受野大但计算量涨幅太猛注意力模块又容易在主干浅层拖慢训练收敛速度。于是我开始重新回到卷积本身去思考。普通 3x3 卷积本质上是逐像素局部加权求和每一个输出位置只能看到周围 k x k 的输入区域它学到的是一种一阶交互——当前位置的输出只与输入局部区域的一阶邻域信息有关。目标检测真正困难的场景比如重叠物体之间的边界、一个目标被另一个目标遮挡了大半、长条物体跨越大范围上下文这些其实都需要模型建立更远距离和更高阶的特征关系。有人会说多堆几层卷积不就够了吗深层网络堆叠后的确能逐步扩大感受野但伴随着的是残差连接里的信息稀释、梯度需要穿越更多非线性层以及优化难度的上升。而且卷积层的高阶交互是隐式的它通过逐层抽象来间接混合信息效率并不高。GnConv 正好提供了一个显式的高阶交互建模路径。1.2 高阶交互到底高在哪从看过邻居到与邻居反复协商我理解的高阶空间交互是这样的。一阶交互可以理解为输出特征图上的某个位置只和输入特征图上的一个小邻域有一种直接的视觉关系。二阶交互则是模型先让相邻位置互相交换一次信息再让原本不相邻的位置通过中间位置的转述发生关系。三阶、四阶依此类推。普通卷积做高阶交互的方式是加深网络层数每一层都是一次交互但每层权重不同参数量随层数线性增加而且这种交互重点靠 ReLU 之类的简单非线性筛选。GnConv 的做法是用递归设计完成同样的事情同一个门控卷积块被多次作用于当前特征图每一次作用都让特征图中的信息往周边传播一跳。因为权重是共享的交互阶数增加时参数量不会同步线性膨胀这就解决了可扩展的问题。我拿生活中的例子来解释的话普通卷积是每个居民只和自己邻居打个照面想打听更远一点的消息需要一层层递话每一层都得换一批新的传话人GnConv 的递归设计是同一批传话人连续跑好几趟传话方向、传话规则不变但消息越传越远、信息越混越充分。1.3 平移等变为什么在检测里这么重要目标检测模型需要面对同一个目标出现在图像不同位置的泛化问题。卷积层之所以适合图像任务核心原因之一就是平移等变性——输入平移一下输出特征图也近似平移模型不会因为目标位置改变而对响应产生本质性的改变。注意力模块尤其是全局自注意力天然就不具备严格的平移等变性因为位置编码或全局查询的过程破坏了这种对称性。GnConv 整体还是建立在卷积计算之上门控信号本身也是由卷积生成的所以不会破坏卷积的平移等变性质。这也让它可以替换任意位置的基础卷积而不需要重新设计训练流程。2. GnConv 设计拆解门控卷积、递归设计和高阶交互是怎么串起来的2.1 门控卷积通道间的软开关如何让空间交互更有选择性门控卷积的核心并不复杂。假设输入特征图是 x我们先通过一组卷积变换计算出两个分支一个分支是候选值 h通常可以理解为主路径的特征转换结果另一个分支是门控信号 g它经过 sigmoid 归一化到 0 到 1 之间用来控制 h 中每个位置、每个通道的信息有多少能流向输出。最终输出就是 g 和 h 的元素级乘法。写成公式的话就是output sigmoid(conv_gate(x)) * conv_value(x)这么做的好处是什么普通卷积对所有输入位置一视同仁地做加权求和门控卷积则让模型自己学会哪些特征该放行、哪些该抑制。这其实非常像通道注意力做了一件更精细的事——注意力通常只筛选通道门控卷积做到了空间位置和通道维度上的联合筛选。放在目标检测场景里门控机制能有效抑制背景区域的响应让目标边缘和遮挡边界处的特征交互更有针对性。我在工程里用的是 depthwise 卷积来生成候选值分支因为门控卷积如果直接上两组完整卷积参数量会增加太多。用 depthwise 加上后续的 1x1 通道混合可以让 GnConv 的实际参数量只比普通 3x3 卷积多三分之一左右这个代价是完全可接受的。2.2 递归设计用共享权重模拟多阶邻居传播递归设计是整个 GnConv 的灵魂。具体结构是这个样子的输入特征 z0 进入同一个门控卷积块这个块内部包含门控卷积、归一化、激活和一条残差连接块作用一次得到 z1再把 z1 又送进同一个块得到 z2重复若干次。因为是同一组权重被反复调用所以递归交互次数从 1 增加到 3 时参数量基本不变。这里要注意的是递归不是把网络变成死循环。我们通常会设定一个固定的小步数工程上我一般用 2 到 4 步。每多做一步特征图上某一点能够感应的范围就更广一点。这和循环神经网络里时间步展开是一个道理只是这里时间换成了空间传播轮数。为什么简单递归就能实现高阶交互因为每一步都会在前一步结果的基础上重新进行空间聚合相当于信息在图上沿着相邻像素连接边传播一跳。传播两跳后原本相隔一个像素块的两个位置就能通过中间位置产生联系。三跳、四跳之后建模范围继续扩大而这一切都建立在共享权重和稳定更新规则基础上。这不光保证了参数量可控还能在训练中自动学习到一种最适合当前数据集的传播规则。2.3 平移等变为什么没有被破坏这里需要小心设计。如果我在门控信号或者候选值分支里插入任何绝对位置相关的操作比如全局平均池化生成的通道偏置、或者绝对位置编码平移等变性就会出现裂隙。GnConv 的可贵之处在于它整条链路都是卷积和逐点函数组成的门控信号由卷积生成候选值由卷积生成更新规则是残差加乘所有这些运算都满足平移等变。我在实际验证时做了一个小实验把一张输入图平移 20 个像素分别过普通卷积和 GnConv对比输出特征图对应位置的差异。普通卷积的差异趋近于 0GnConv 的差异也保持在同样的量级这个测试让我放心把它放在检测网络的多个位置。这也是我对它的定位始终是卷积层的增强替代而不是引入一种打破卷积假设的新算子。3. 将 GnConv 集成到 YOLO26 的实操记录3.1 接入位置选择只动颈部还是连骨干一起改第一次接入我总是建议先做单一位置的小改动。YOLO26 的颈部特征融合层是收益最明显的接入点尤其是高层 P4、P5 特征图语义信息丰富目标尺寸相对更大对高阶空间交互的需求也更高。骨干浅层特征主要保留边缘纹理贸然替换反而可能让小目标原有的细节优势丢失。所以我最终选择了两处接入颈部融合模块中用来精修特征的 3x3 卷积替换成 GnConv。检测头前面额外添加一个独立的 GnConv 上下文模块专门对最高层输出做二次传播增强大目标和遮挡目标的整体性。如果你是想做大改动要在骨干每个阶段后都接入建议先把递归步数设成 2逐阶段验证收益和延迟不要一口气全部替换。我这边一开始就因为过度集成导致训练后期 loss 下不去后面才发现是骨干浅层递归步数太多把小目标的细节特征在反复传播中抹平了。3.2 核心代码实现与参数配置我实现 GnConv 时没有依赖任何复杂的外部库用 PyTorch 原生 API 就能写。核心结构如下import torch import torch.nn as nn import torch.nn.functional as F class GnConvBlock(nn.Module): def __init__(self, dim, expansion1.5): super().__init__() hidden_dim int(dim * expansion) # 候选值分支depthwise 卷积负责空间聚合 self.value_dw nn.Conv2d(dim, dim, kernel_size3, padding1, groupsdim, biasFalse) # 门控分支全通道卷积负责生成软开关信号 self.gate_conv nn.Conv2d(dim, dim, kernel_size3, padding1, biasFalse) self.gate_act nn.Sigmoid() # 输出混合把门控筛选后的结果映射回原通道数 self.mix nn.Conv2d(dim, hidden_dim, kernel_size1) self.mix_out nn.Conv2d(hidden_dim, dim, kernel_size1) self.norm nn.BatchNorm2d(dim) self.act nn.GELU() # 可学习的残差缩放后面会说为什么必须加 self.res_scale nn.Parameter(torch.ones(1) * 1e-3) def forward(self, x): identity x h self.value_dw(x) g self.gate_act(self.gate_conv(x)) z g * h z self.norm(z) z self.act(self.mix(z)) z self.mix_out(z) return identity self.res_scale * z class GnConv(nn.Module): def __init__(self, dim, num_steps3, expansion1.5): super().__init__() self.num_steps num_steps self.block GnConvBlock(dim, expansion) def forward(self, x): z x for _ in range(self.num_steps): z self.block(z) return z代码里几个细节值得展开说明。depthwise 卷积的 groups 参数设为 dim是为了保证空间聚合时每个通道独立减少参数量。门控分支用的是完整普通卷积因为门控信号需要跨通道综合判断哪些通道值得开启。res_scale 初始化为 1e-3这样刚开始训练时 GnConv 等价于一条残差支路网络不会因为突然接入新模块而产生剧烈扰动。配置方面我用在 YOLO26 颈部时一般这样设dim 取当前特征图的 channels比如 256 或 512num_steps3expansion1.5。替换后的模块参数量大约是原 3x3 卷积的 1.4 倍但由于骨干其他部分不变整体模型参数量只增加 2% 左右。3.3 训练策略学习率、batch size、EMA 的影响把 GnConv 接入后我调整了训练配置。原本 lr 为 0.01 的配置在递归模块下容易震荡我把初始学习率降到 0.008并把 warmup 从 3 个 epoch 延长到 5 个 epoch。递归模块的梯度会在多步展开之间累积传递学习率先降一点可以避免第一步就被大梯度带偏。batch size 我保持了和 baseline 一样的 16显存占用增加了约 8%。如果显存吃紧可以先把 num_steps 降到 2训练稳定后再升到 3。EMA 我建议保留因为 GnConv 递归展开后的梯度噪声略高于普通卷积EMA 能有效平滑权重更新。我在第一次训练时开过一段时间的梯度裁剪阈值设在 5.0但后来发现那不是必需项只要学习率控制合理裁剪去掉也行。真正的关键问题是门控信号的数值稳定性这部分我在第五节专门展开。4. 效果验证与边界分析4.1 对比结果mAP 提升集中在哪里我在自建的目标检测混合数据集上做了对比实验数据集中包含不少小目标和互相遮挡的行人、车辆场景。baseline 就是原版 YOLO26 颈部特征融合结构对照组是只替换颈部 3x3 卷积为 GnConv、num_steps3 的版本另外加了一个独立 GnConv 上下文模块的组合版本。配置参数量GFLOPsmAP0.5mAP0.5:0.95推理耗时(ms)YOLO26 baseline100%100%70.151.33.2替换颈部 GnConv102.1%108.4%71.652.53.7颈部 上下文 GnConv103.8%114.2%72.253.44.1数值是我这边的相对实验结果不一定对每个数据集普适但趋势很清晰mAP 的提升并不是平均分配的。小目标类别的 AP 提升了接近 1.5 个点遮挡目标提升更多而原本已经很好检测的大目标类别提升有限。这说明高阶空间交互确实让模型在不同目标区域之间建立了更稳健的关联尤其是当目标被遮挡、仅露出部分轮廓时模型可以通过周围上下文的多次传播补齐置信度。4.2 显存与推理速度的权衡显存方面递归步数从 2 提升到 4训练显存增幅大约分别是 4%、8%、14%这是因为训练时反向传播需要保留中间每个递归步的激活值。如果是推理阶段只需要保留当前步结果内存代价会低很多。推理耗时相对参数量涨幅更高这是因为递归在同一份特征图上多次运算计算总量肯定是线性增加的。如果对延迟有硬性要求我建议 num_steps 最多取 2。第二层递归的增加对 mAP0.5:0.95 的边际收益通常在 0.4 到 0.6 之间但推理时间多了 10% 到 15%。在边缘设备上这个涨幅不一定划算。反过来如果是离线分析或者不追求极端实时性的场景num_steps3 是性价比比较高的档位。4.3 什么场景下 GnConv 收益不明显我也必须说实话。GnConv 并不是万金油。在背景干净、目标尺度均匀的简单数据集上它的涨点幅度可能只有 0.1 到 0.2 个点几乎可以忽略。反面案例我也测过当输入图像中包含大量需要严格保留位置细节的任务时比如高精地图车道线检测这类对几何精度要求极高的场景递归传播会轻微平滑掉角点和线端的位置信息。另一个问题是类别不平衡严重的场景GnConv 会加速对高频类别的特征传播导致少样本类别更容易被淹没。所以我的建议是先检查你的数据和检测难点是不是真的和遮挡、重叠、小目标、上下文歧义有关如果是再考虑 GnConv如果是纯粹的大目标单类别检测把算力留给更轻量的结构更划算。5. 踩坑记录与调参经验5.1 数值稳定性问题门控信号直接导致训练损失爆炸第一次接入 GnConv 时我偷懒直接把门控分支的卷积权重用默认初始化结果训练到第 8 个 epoch 左右损失突然暴涨loss 从 1e-2 的均值跳到 NaN。这个坑踩得比较深排查过程值得记录。我先看了损失曲线的位置不是在第一个 epoch 崩溃而是稳定训练了几轮后才爆说明不是数据管道问题。我打印了每一层的梯度范数发现 GnConv 最后一个递归步的梯度范数比网络其他层高出两个数量级。再看前向传播的特征值分布发现门控信号的输出集中在接近 1 的位置门控卷积几乎全开等价于每一步做完整幅度的卷积再叠加残差数值越滚越大。根因在于 sigmoid 的输入绝对值很大时梯度消失门控信号无法被有效调节输出可能被推向极端。解决方案有两个我在 final 版本里都用了把 res_scale 初始化为 1e-3让残差支路最开始只做极小修正避免数值累积。对门控分支的卷积权重做小值初始化让 sigmoid 的输入初始分布在 0 附近。def _init_weights(self): nn.init.normal_(self.gate_conv.weight, std0.02) nn.init.zeros_(self.gate_conv.bias)这样门控信号初始值会在 0.5 左右梯度也保持在有效区间之后几轮里模型会自己学会应该放大哪些位置、抑制哪些位置。5.2 与 YOLO26 残差结构和 SPPF 的融合冲突第二个坑是模块放进 SPPF 后的特征退化。YOLO26 里 SPPF 通过不同大小的池化核并联后拼接再经过卷积混合。我曾经试过把 SPPF 后面的普通卷积直接替换成 GnConv结果验证集 mAP 掉了 0.8 个点而且特征图可视化显示 P5 层输出趋于一个固定模式几乎不随输入变化。排查后发现问题出在递归模块和空间金字塔池化的组合上。SPPF 的池化支路已经做过一次大范围信息混合GnConv 的递归传播又做一次两种操作叠加后各位置的差异被反复均匀化特征变得太平坦。解决方式很笨但很有效把 GnConv 放在 SPPF 之后的支路并行位置而不是串行替换。也就是说让 SPPF 输出一份原特征GnConv 处理一份副本最后做 concat 或加权融合。这样既保留了池化支路的强上下文感知又给高阶交互留出独立通路。最终这个组合成为我网络里涨点最明显的部分。5.3 ONNX 导出时递归展开的坑第三个坑出现在部署阶段。用 torch.onnx.export 导出模型时递归循环默认会被展开成 num_steps 个重复的节点序列这在大多数推理引擎里能正常跑但会造成计算图体积变大、编译时间拉长。如果 num_steps3展开后的节点数量大约是逐个手写 3 倍结构完全一样这其实不必要。我的处理是把循环展开交给导出器做但显式设置 do_constant_foldingFalse避免折叠过程把门控分支中的常量结构误简化掉。如果目标平台是 TensorRT我会在导出前把 model.eval() 和 torch.no_grad() 都打开确保 BatchNorm 被融合到卷积权重里。否则递归模块内部的 BatchNorm 在 TensorRT 里容易引入额外的同步开销帧率下降肉眼可见。如果对端侧部署的 int8 量化敏感还有个更细节的坑sigmoid 的输出在中间区间分布密集非线性很强直接量化为 int8 会导致门控信号精度损失明显。我实测下来FP16 精度下收敛结果与训练基本一致int8 则掉了约 1.1 个点。所以如果量化精度要求高建议把 GnConv 部分保留为 FP16 计算或者使用带逐通道量化的方式重新校准。6. 个人心得怎么把这套改进用得更顺最后分享一点我在实际项目里总结的经验。如果你也想试 GnConv不要一开始就全网络铺开先在数据集的验证集上做几组单独消融比如颈部 P4 层替换、P5 层替换、检测头前插入独立模块然后对比 mAP 提升和训练稳定性。我这边是 P4 和 P5 层同时替换加一个上下文模块收益最大但你的数据集、任务难度、类别分布不一样最优位置可能完全不同。训练时多盯着门控信号的分布变化如果发现某个阶段后它迅速偏移到全 1 或全 0说明模块已经退化成了普通残差卷积或者完全关闭。正常情况下门控信号应该保持一定的中间值比例这表明模型确实在做有选择的信息传播而非无脑放大或静默。特征图可视化也是一个低成本手段直接把 P5 层输入输出叠在一起看差异图能很快判断递归传播是否改善了目标边缘的一致性。还想提醒一点递归权重共享解决了参数量问题但计算量并不会因为共享而降下来。如果你的推理平台把计算时间看得比参数体积更重就要权衡递归步数。就我个人使用来看num_steps3 是检测网络里的甜点值涨点贡献明显训练和部署上的额外负担也容忍得下。再往上走收益递减比较明显我没在项目里用过超过 4 步的配置。如果后面想把这套思路进一步延伸可以试试把 GnConv 和任务感知的动态卷积结合或者让门控信号在后面步数里动态调整传播范围。我目前正在做的实验是让递归过程中不同步数采用不同的归一化策略第一轮偏空间细节保持后面的轮次偏语义上下文融合。这方面还没有完全收尾以后跑到稳定了再单独写一篇补充。简而言之GnConv 的实现门槛不高原理也不难懂关键在于你放在哪里、怎么调步数、怎么处理数值稳定性。顺着这篇文章的路径走一遍你应该能在自己的检测任务上快速判断它对你有多少价值。 
长河君 · 2026/10/23 3:21:21 · 阅读 1.2k YOLO26集成GnConv：用门控递归卷积提升目标检测高阶交互能力
搞目标检测模型改进的人这几年应该都有一点相同的体感堆模块带来的涨点越来越虚光靠加注意力层或把卷积核换大调参调到最后反而把 baseline 底子给搞坏。我自己在维护一个 YOLO 系列的实验分支内部简称 YOLO26 基线时一直在找一种既能替换基础卷积层、又不会大幅增加参数量和推理压力的结构改进思路。后来盯上了 GnConv——一种通过门控卷积和递归设计实现高效、可扩展、平移等变的高阶空间交互操作。这篇文章就把我在 YOLO26 上集成 GnConv 的完整过程、设计拆解、代码细节和踩坑记录写出来给想往卷积层方向做改进的同行一个可以直接参考的样本。先简单说结论GnConv 不是一种玄学高阶模块它的整体思路很朴实——用门控卷积来学习特征通道之间的软开关同时用递归设计让同一个卷积块多次作用于特征图从而在不显著增加参数量的前提下让卷积层的信息交互范围从相邻像素扩展到多跳邻居和跨通道选择。这种操作天然保留卷积的平移等变性对小目标、遮挡目标、密集场景都更友好而且实现起来也不复杂。1. 我的出发点当卷积层只学到最近邻关系时检测到了瓶颈1.1 YOLO26 基线里的尴尬堆算力不如换交互方式我这边 YOLO26 基线在框架上其实和常见 YOLO 分支差不多骨干网络负责多尺度特征提取颈部做特征融合检测头输出不同尺度的预测。最初我在骨干和颈部的卷积层上试过不少社区流行的结构包括各种注意力、可变形卷积、大核深度卷积。问题很快暴露出来可变形卷积在小目标密集场景里偏移学习不稳定大核卷积虽然感受野大但计算量涨幅太猛注意力模块又容易在主干浅层拖慢训练收敛速度。于是我开始重新回到卷积本身去思考。普通 3x3 卷积本质上是逐像素局部加权求和每一个输出位置只能看到周围 k x k 的输入区域它学到的是一种一阶交互——当前位置的输出只与输入局部区域的一阶邻域信息有关。目标检测真正困难的场景比如重叠物体之间的边界、一个目标被另一个目标遮挡了大半、长条物体跨越大范围上下文这些其实都需要模型建立更远距离和更高阶的特征关系。有人会说多堆几层卷积不就够了吗深层网络堆叠后的确能逐步扩大感受野但伴随着的是残差连接里的信息稀释、梯度需要穿越更多非线性层以及优化难度的上升。而且卷积层的高阶交互是隐式的它通过逐层抽象来间接混合信息效率并不高。GnConv 正好提供了一个显式的高阶交互建模路径。1.2 高阶交互到底高在哪从看过邻居到与邻居反复协商我理解的高阶空间交互是这样的。一阶交互可以理解为输出特征图上的某个位置只和输入特征图上的一个小邻域有一种直接的视觉关系。二阶交互则是模型先让相邻位置互相交换一次信息再让原本不相邻的位置通过中间位置的转述发生关系。三阶、四阶依此类推。普通卷积做高阶交互的方式是加深网络层数每一层都是一次交互但每层权重不同参数量随层数线性增加而且这种交互重点靠 ReLU 之类的简单非线性筛选。GnConv 的做法是用递归设计完成同样的事情同一个门控卷积块被多次作用于当前特征图每一次作用都让特征图中的信息往周边传播一跳。因为权重是共享的交互阶数增加时参数量不会同步线性膨胀这就解决了可扩展的问题。我拿生活中的例子来解释的话普通卷积是每个居民只和自己邻居打个照面想打听更远一点的消息需要一层层递话每一层都得换一批新的传话人GnConv 的递归设计是同一批传话人连续跑好几趟传话方向、传话规则不变但消息越传越远、信息越混越充分。1.3 平移等变为什么在检测里这么重要目标检测模型需要面对同一个目标出现在图像不同位置的泛化问题。卷积层之所以适合图像任务核心原因之一就是平移等变性——输入平移一下输出特征图也近似平移模型不会因为目标位置改变而对响应产生本质性的改变。注意力模块尤其是全局自注意力天然就不具备严格的平移等变性因为位置编码或全局查询的过程破坏了这种对称性。GnConv 整体还是建立在卷积计算之上门控信号本身也是由卷积生成的所以不会破坏卷积的平移等变性质。这也让它可以替换任意位置的基础卷积而不需要重新设计训练流程。2. GnConv 设计拆解门控卷积、递归设计和高阶交互是怎么串起来的2.1 门控卷积通道间的软开关如何让空间交互更有选择性门控卷积的核心并不复杂。假设输入特征图是 x我们先通过一组卷积变换计算出两个分支一个分支是候选值 h通常可以理解为主路径的特征转换结果另一个分支是门控信号 g它经过 sigmoid 归一化到 0 到 1 之间用来控制 h 中每个位置、每个通道的信息有多少能流向输出。最终输出就是 g 和 h 的元素级乘法。写成公式的话就是output sigmoid(conv_gate(x)) * conv_value(x)这么做的好处是什么普通卷积对所有输入位置一视同仁地做加权求和门控卷积则让模型自己学会哪些特征该放行、哪些该抑制。这其实非常像通道注意力做了一件更精细的事——注意力通常只筛选通道门控卷积做到了空间位置和通道维度上的联合筛选。放在目标检测场景里门控机制能有效抑制背景区域的响应让目标边缘和遮挡边界处的特征交互更有针对性。我在工程里用的是 depthwise 卷积来生成候选值分支因为门控卷积如果直接上两组完整卷积参数量会增加太多。用 depthwise 加上后续的 1x1 通道混合可以让 GnConv 的实际参数量只比普通 3x3 卷积多三分之一左右这个代价是完全可接受的。2.2 递归设计用共享权重模拟多阶邻居传播递归设计是整个 GnConv 的灵魂。具体结构是这个样子的输入特征 z0 进入同一个门控卷积块这个块内部包含门控卷积、归一化、激活和一条残差连接块作用一次得到 z1再把 z1 又送进同一个块得到 z2重复若干次。因为是同一组权重被反复调用所以递归交互次数从 1 增加到 3 时参数量基本不变。这里要注意的是递归不是把网络变成死循环。我们通常会设定一个固定的小步数工程上我一般用 2 到 4 步。每多做一步特征图上某一点能够感应的范围就更广一点。这和循环神经网络里时间步展开是一个道理只是这里时间换成了空间传播轮数。为什么简单递归就能实现高阶交互因为每一步都会在前一步结果的基础上重新进行空间聚合相当于信息在图上沿着相邻像素连接边传播一跳。传播两跳后原本相隔一个像素块的两个位置就能通过中间位置产生联系。三跳、四跳之后建模范围继续扩大而这一切都建立在共享权重和稳定更新规则基础上。这不光保证了参数量可控还能在训练中自动学习到一种最适合当前数据集的传播规则。2.3 平移等变为什么没有被破坏这里需要小心设计。如果我在门控信号或者候选值分支里插入任何绝对位置相关的操作比如全局平均池化生成的通道偏置、或者绝对位置编码平移等变性就会出现裂隙。GnConv 的可贵之处在于它整条链路都是卷积和逐点函数组成的门控信号由卷积生成候选值由卷积生成更新规则是残差加乘所有这些运算都满足平移等变。我在实际验证时做了一个小实验把一张输入图平移 20 个像素分别过普通卷积和 GnConv对比输出特征图对应位置的差异。普通卷积的差异趋近于 0GnConv 的差异也保持在同样的量级这个测试让我放心把它放在检测网络的多个位置。这也是我对它的定位始终是卷积层的增强替代而不是引入一种打破卷积假设的新算子。3. 将 GnConv 集成到 YOLO26 的实操记录3.1 接入位置选择只动颈部还是连骨干一起改第一次接入我总是建议先做单一位置的小改动。YOLO26 的颈部特征融合层是收益最明显的接入点尤其是高层 P4、P5 特征图语义信息丰富目标尺寸相对更大对高阶空间交互的需求也更高。骨干浅层特征主要保留边缘纹理贸然替换反而可能让小目标原有的细节优势丢失。所以我最终选择了两处接入颈部融合模块中用来精修特征的 3x3 卷积替换成 GnConv。检测头前面额外添加一个独立的 GnConv 上下文模块专门对最高层输出做二次传播增强大目标和遮挡目标的整体性。如果你是想做大改动要在骨干每个阶段后都接入建议先把递归步数设成 2逐阶段验证收益和延迟不要一口气全部替换。我这边一开始就因为过度集成导致训练后期 loss 下不去后面才发现是骨干浅层递归步数太多把小目标的细节特征在反复传播中抹平了。3.2 核心代码实现与参数配置我实现 GnConv 时没有依赖任何复杂的外部库用 PyTorch 原生 API 就能写。核心结构如下import torch import torch.nn as nn import torch.nn.functional as F class GnConvBlock(nn.Module): def __init__(self, dim, expansion1.5): super().__init__() hidden_dim int(dim * expansion) # 候选值分支depthwise 卷积负责空间聚合 self.value_dw nn.Conv2d(dim, dim, kernel_size3, padding1, groupsdim, biasFalse) # 门控分支全通道卷积负责生成软开关信号 self.gate_conv nn.Conv2d(dim, dim, kernel_size3, padding1, biasFalse) self.gate_act nn.Sigmoid() # 输出混合把门控筛选后的结果映射回原通道数 self.mix nn.Conv2d(dim, hidden_dim, kernel_size1) self.mix_out nn.Conv2d(hidden_dim, dim, kernel_size1) self.norm nn.BatchNorm2d(dim) self.act nn.GELU() # 可学习的残差缩放后面会说为什么必须加 self.res_scale nn.Parameter(torch.ones(1) * 1e-3) def forward(self, x): identity x h self.value_dw(x) g self.gate_act(self.gate_conv(x)) z g * h z self.norm(z) z self.act(self.mix(z)) z self.mix_out(z) return identity self.res_scale * z class GnConv(nn.Module): def __init__(self, dim, num_steps3, expansion1.5): super().__init__() self.num_steps num_steps self.block GnConvBlock(dim, expansion) def forward(self, x): z x for _ in range(self.num_steps): z self.block(z) return z代码里几个细节值得展开说明。depthwise 卷积的 groups 参数设为 dim是为了保证空间聚合时每个通道独立减少参数量。门控分支用的是完整普通卷积因为门控信号需要跨通道综合判断哪些通道值得开启。res_scale 初始化为 1e-3这样刚开始训练时 GnConv 等价于一条残差支路网络不会因为突然接入新模块而产生剧烈扰动。配置方面我用在 YOLO26 颈部时一般这样设dim 取当前特征图的 channels比如 256 或 512num_steps3expansion1.5。替换后的模块参数量大约是原 3x3 卷积的 1.4 倍但由于骨干其他部分不变整体模型参数量只增加 2% 左右。3.3 训练策略学习率、batch size、EMA 的影响把 GnConv 接入后我调整了训练配置。原本 lr 为 0.01 的配置在递归模块下容易震荡我把初始学习率降到 0.008并把 warmup 从 3 个 epoch 延长到 5 个 epoch。递归模块的梯度会在多步展开之间累积传递学习率先降一点可以避免第一步就被大梯度带偏。batch size 我保持了和 baseline 一样的 16显存占用增加了约 8%。如果显存吃紧可以先把 num_steps 降到 2训练稳定后再升到 3。EMA 我建议保留因为 GnConv 递归展开后的梯度噪声略高于普通卷积EMA 能有效平滑权重更新。我在第一次训练时开过一段时间的梯度裁剪阈值设在 5.0但后来发现那不是必需项只要学习率控制合理裁剪去掉也行。真正的关键问题是门控信号的数值稳定性这部分我在第五节专门展开。4. 效果验证与边界分析4.1 对比结果mAP 提升集中在哪里我在自建的目标检测混合数据集上做了对比实验数据集中包含不少小目标和互相遮挡的行人、车辆场景。baseline 就是原版 YOLO26 颈部特征融合结构对照组是只替换颈部 3x3 卷积为 GnConv、num_steps3 的版本另外加了一个独立 GnConv 上下文模块的组合版本。配置参数量GFLOPsmAP0.5mAP0.5:0.95推理耗时(ms)YOLO26 baseline100%100%70.151.33.2替换颈部 GnConv102.1%108.4%71.652.53.7颈部 上下文 GnConv103.8%114.2%72.253.44.1数值是我这边的相对实验结果不一定对每个数据集普适但趋势很清晰mAP 的提升并不是平均分配的。小目标类别的 AP 提升了接近 1.5 个点遮挡目标提升更多而原本已经很好检测的大目标类别提升有限。这说明高阶空间交互确实让模型在不同目标区域之间建立了更稳健的关联尤其是当目标被遮挡、仅露出部分轮廓时模型可以通过周围上下文的多次传播补齐置信度。4.2 显存与推理速度的权衡显存方面递归步数从 2 提升到 4训练显存增幅大约分别是 4%、8%、14%这是因为训练时反向传播需要保留中间每个递归步的激活值。如果是推理阶段只需要保留当前步结果内存代价会低很多。推理耗时相对参数量涨幅更高这是因为递归在同一份特征图上多次运算计算总量肯定是线性增加的。如果对延迟有硬性要求我建议 num_steps 最多取 2。第二层递归的增加对 mAP0.5:0.95 的边际收益通常在 0.4 到 0.6 之间但推理时间多了 10% 到 15%。在边缘设备上这个涨幅不一定划算。反过来如果是离线分析或者不追求极端实时性的场景num_steps3 是性价比比较高的档位。4.3 什么场景下 GnConv 收益不明显我也必须说实话。GnConv 并不是万金油。在背景干净、目标尺度均匀的简单数据集上它的涨点幅度可能只有 0.1 到 0.2 个点几乎可以忽略。反面案例我也测过当输入图像中包含大量需要严格保留位置细节的任务时比如高精地图车道线检测这类对几何精度要求极高的场景递归传播会轻微平滑掉角点和线端的位置信息。另一个问题是类别不平衡严重的场景GnConv 会加速对高频类别的特征传播导致少样本类别更容易被淹没。所以我的建议是先检查你的数据和检测难点是不是真的和遮挡、重叠、小目标、上下文歧义有关如果是再考虑 GnConv如果是纯粹的大目标单类别检测把算力留给更轻量的结构更划算。5. 踩坑记录与调参经验5.1 数值稳定性问题门控信号直接导致训练损失爆炸第一次接入 GnConv 时我偷懒直接把门控分支的卷积权重用默认初始化结果训练到第 8 个 epoch 左右损失突然暴涨loss 从 1e-2 的均值跳到 NaN。这个坑踩得比较深排查过程值得记录。我先看了损失曲线的位置不是在第一个 epoch 崩溃而是稳定训练了几轮后才爆说明不是数据管道问题。我打印了每一层的梯度范数发现 GnConv 最后一个递归步的梯度范数比网络其他层高出两个数量级。再看前向传播的特征值分布发现门控信号的输出集中在接近 1 的位置门控卷积几乎全开等价于每一步做完整幅度的卷积再叠加残差数值越滚越大。根因在于 sigmoid 的输入绝对值很大时梯度消失门控信号无法被有效调节输出可能被推向极端。解决方案有两个我在 final 版本里都用了把 res_scale 初始化为 1e-3让残差支路最开始只做极小修正避免数值累积。对门控分支的卷积权重做小值初始化让 sigmoid 的输入初始分布在 0 附近。def _init_weights(self): nn.init.normal_(self.gate_conv.weight, std0.02) nn.init.zeros_(self.gate_conv.bias)这样门控信号初始值会在 0.5 左右梯度也保持在有效区间之后几轮里模型会自己学会应该放大哪些位置、抑制哪些位置。5.2 与 YOLO26 残差结构和 SPPF 的融合冲突第二个坑是模块放进 SPPF 后的特征退化。YOLO26 里 SPPF 通过不同大小的池化核并联后拼接再经过卷积混合。我曾经试过把 SPPF 后面的普通卷积直接替换成 GnConv结果验证集 mAP 掉了 0.8 个点而且特征图可视化显示 P5 层输出趋于一个固定模式几乎不随输入变化。排查后发现问题出在递归模块和空间金字塔池化的组合上。SPPF 的池化支路已经做过一次大范围信息混合GnConv 的递归传播又做一次两种操作叠加后各位置的差异被反复均匀化特征变得太平坦。解决方式很笨但很有效把 GnConv 放在 SPPF 之后的支路并行位置而不是串行替换。也就是说让 SPPF 输出一份原特征GnConv 处理一份副本最后做 concat 或加权融合。这样既保留了池化支路的强上下文感知又给高阶交互留出独立通路。最终这个组合成为我网络里涨点最明显的部分。5.3 ONNX 导出时递归展开的坑第三个坑出现在部署阶段。用 torch.onnx.export 导出模型时递归循环默认会被展开成 num_steps 个重复的节点序列这在大多数推理引擎里能正常跑但会造成计算图体积变大、编译时间拉长。如果 num_steps3展开后的节点数量大约是逐个手写 3 倍结构完全一样这其实不必要。我的处理是把循环展开交给导出器做但显式设置 do_constant_foldingFalse避免折叠过程把门控分支中的常量结构误简化掉。如果目标平台是 TensorRT我会在导出前把 model.eval() 和 torch.no_grad() 都打开确保 BatchNorm 被融合到卷积权重里。否则递归模块内部的 BatchNorm 在 TensorRT 里容易引入额外的同步开销帧率下降肉眼可见。如果对端侧部署的 int8 量化敏感还有个更细节的坑sigmoid 的输出在中间区间分布密集非线性很强直接量化为 int8 会导致门控信号精度损失明显。我实测下来FP16 精度下收敛结果与训练基本一致int8 则掉了约 1.1 个点。所以如果量化精度要求高建议把 GnConv 部分保留为 FP16 计算或者使用带逐通道量化的方式重新校准。6. 个人心得怎么把这套改进用得更顺最后分享一点我在实际项目里总结的经验。如果你也想试 GnConv不要一开始就全网络铺开先在数据集的验证集上做几组单独消融比如颈部 P4 层替换、P5 层替换、检测头前插入独立模块然后对比 mAP 提升和训练稳定性。我这边是 P4 和 P5 层同时替换加一个上下文模块收益最大但你的数据集、任务难度、类别分布不一样最优位置可能完全不同。训练时多盯着门控信号的分布变化如果发现某个阶段后它迅速偏移到全 1 或全 0说明模块已经退化成了普通残差卷积或者完全关闭。正常情况下门控信号应该保持一定的中间值比例这表明模型确实在做有选择的信息传播而非无脑放大或静默。特征图可视化也是一个低成本手段直接把 P5 层输入输出叠在一起看差异图能很快判断递归传播是否改善了目标边缘的一致性。还想提醒一点递归权重共享解决了参数量问题但计算量并不会因为共享而降下来。如果你的推理平台把计算时间看得比参数体积更重就要权衡递归步数。就我个人使用来看num_steps3 是检测网络里的甜点值涨点贡献明显训练和部署上的额外负担也容忍得下。再往上走收益递减比较明显我没在项目里用过超过 4 步的配置。如果后面想把这套思路进一步延伸可以试试把 GnConv 和任务感知的动态卷积结合或者让门控信号在后面步数里动态调整传播范围。我目前正在做的实验是让递归过程中不同步数采用不同的归一化策略第一轮偏空间细节保持后面的轮次偏语义上下文融合。这方面还没有完全收尾以后跑到稳定了再单独写一篇补充。简而言之GnConv 的实现门槛不高原理也不难懂关键在于你放在哪里、怎么调步数、怎么处理数值稳定性。顺着这篇文章的路径走一遍你应该能在自己的检测任务上快速判断它对你有多少价值。