做模型优化这几年我见过太多人把涨点的希望寄托在把网络做得更深更宽结果FLOPs翻倍、精度却纹丝不动。YOLO11已经不是缺容量的小模型真正缺的是对特征的“再组织能力”——尤其是把局部细节和全局上下文揉在一起的能力。这篇就是我在YOLO11里接入CVPR2023邻域注意力系列中的DiNADilated Neighborhood Attention后完整的融合思路、代码改造和训练踩坑记录适合正在做YOLO系列涨点实验、又不想盲目堆模块的同学直接参考。1. 为什么把DiNA塞进YOLO11从“短视”的深层特征说起1.1 网络看着很深实际看到的却不多YOLO11的主干延续了CSP风格配合SPPF这类快速池化结构理论感受野已经能覆盖全图。但做过目标检测实验的人应该都有体会理论感受野和有效感受野是两回事。几十层3×3卷积堆叠后中心位置对远处像素的梯度贡献衰减得极快最后真正影响判断的往往还是局部的一小块区域。可以类比成大家都坐在一个大会场里理论上能听到全场声音但实际能听清楚的只有隔壁几排的讨论——这就是“短视”。检测任务恰恰需要逆向操作。小目标要精致的局部纹理大目标要完整的轮廓和上下文关系。YOLO11的三个检测头P3/P4/P5负责不同尺度但尺度信息主要靠下采样和上采样传递缺少一种“在同一层特征图内主动跨距离交换信息”的机制。注意力机制就是来补这一块的但直接上全局注意力又太贵。1.2 邻域注意力把Transformer的成本从平方级拉回线性DiNA的前身是邻域注意力Neighborhood AttentionNA。它的思路很直接特征图上每个位置只和自己周围一个r×r方窗内的邻居算注意力而不是和全图所有位置算。单看这一步它和Swin Transformer的窗口注意力有点像但有个关键差异Swin是先把图切成不重叠的窗口再做注意力所以边界位置会丢失窗口外的信息需要通过shift操作来弥补而邻域注意力是每个位置以自己的坐标为中心取邻域天然有窗口重叠没有棋盘格的边界割裂问题。复杂度上N个token各算r×r个邻居总复杂度是线性级别的只是r固定所以开销可控。DiNA则是在NA上引入了空洞膨胀参数ddilation。原本邻域内相邻采样位置间隔是1现在变成间隔d。意思就是原来你伸手就能摸到隔壁现在你每次都隔一个座位才伸手但伸手的总次数不变。这里给出DiNA的计算形式假设邻域尺寸r2h1位置(i,j)的注意力输出为out(i,j) Σ_{a-h}^{h} Σ_{b-h}^{h} softmax( q(i,j)·k(ia·d, jb·d) / sqrt(C_head) ) · v(ia·d, jb·d)当d1时就是普通的NA当d3时虽然你仍然只取7×7个邻居但这些邻居在空间上相隔较远实际覆盖范围相当于19×19大小的连续区域。也就是说同样的计算量d越大视野越大。1.3 多分支融合才是“多尺度”的关键单个d只能提供一种尺度的感受野。要把局部和全局都吃进去最自然的做法就是参照多分支空洞卷积的思路同时跑多个不同d的分支再把结果融合。d1的分支看细节负责边缘、纹理、小目标的局部形态d3甚至d5的分支看全局负责物体轮廓、同类物体之间的距离关系、遮挡判断。分支融合后模块同时具备“精细定位”和“全局推理”两种能力。这正是标题里“多尺度局部与全局特征”的本质不是某一种d在起作用而是多个d互补。我在YOLO11里用的配置是d∈{1,3}邻域尺寸r7。后面第4章的消融实验会说明为什么这个组合最均衡。2. 融合位置选型我为什么没把DiNA堆到每个检测头2.1 候选位置有三个各有各的账要算拿到一个模块第一反应往往是往neck的每个检测头前面各插一个以为这样最“对症”。但DiNA这种邻域注意力不一样它的计算量和特征图分辨率强相关在P380×80上做一次7×7邻域注意力和在P520×20上做成本不是一个量级。所以我先列了三个候选位置做对比融合方案特征图分辨率计算开销主要作用实测延迟增量ASPPF之后、P5进入neck之前20×20低强化高层语义的全局上下文约0.2msBneck最高层P5之后、上采样融合前20×20中影响后续PANet融合质量约0.5msC每个检测头之前各插一个80×80/40×40/20×20高各尺度独立增强约1.5ms以上延迟数据是我的某一台GPU上的实测不同卡会有差异但趋势是一样的分辨率越高代价越贵。2.2 最终选型逻辑只放在Backbone出口我最后选的是方案A理由是“高性价比调试简单”两块。从信息流角度看SPPF之后的特征已经经过多次下采样具备最强的语义信息但还没有被neck的跨尺度融合“洗过”。此时插入一个DiNA相当于让最高层特征在进入融合阶段之前先做一次长距离的上下文交互把远处同类的特征、背景关系提前组织好。后面neck再往上采样融合时拿到的高层特征已经是“整理过的”这对大目标的定位和分类都有帮助。为什么不选C一方面是80×80分辨率下的邻域注意力确实贵另一方面是三个位置同时插入三个随机初始化的新模块训练初期特别不稳定我需要同时调三组膨胀率排错成本很高。方案A只有一个模块所有问题都集中在一个点上好定位。2.3 和YOLO11自带注意力的协作关系YOLO11主干里已经带了C2PSA这类带注意力设计的模块很多人会担心再加DiNA会不会冗余。我的实测结论是互补大于冗余。C2PSA更偏重对已有特征做位置敏感的重组而DiNA的重点是在一个较大的空间范围内建立内容驱动的依赖关系。两者服务的层次不同。当然叠加要注意通道和计算预算我在YOLO11n这种轻量版上加了DiNA后参数量增幅控制在1M左右GFLOPs增幅也只有1.5左右属于可接受范围。3. 动手接入YOLO11模块代码、注册机制与yaml改造3.1 DiNA模块代码与关键细节如果你打算正式训练建议直接用现成的高效邻域注意力算子库我用的NATTEN库它提供编译好的CUDA算子速度比纯PyTorch循环快很多。需要注意不同版本对函数签名的定义略有差异下面代码里我按常见的neighborhood_attention_2d接口示意具体字段以你安装的版本为准。import torch import torch.nn as nn import torch.nn.functional as F try: from natten.functional import neighborhood_attention_2d except ImportError: neighborhood_attention_2d None def to_head_format(x, num_heads, head_dim): # x: B, C, H, W - B, num_heads, H, W, head_dim B, C, H, W x.shape x x.view(B, num_heads, head_dim, H, W) return x.permute(0, 1, 3, 4, 2) def from_head_format(x, num_heads, head_dim): # x: B, num_heads, H, W, head_dim - B, C, H, W B x.shape[0] x x.permute(0, 1, 4, 2, 3) return x.reshape(B, num_heads * head_dim, x.shape[3], x.shape[4]) class DiNATransformerBlock(nn.Module): def __init__(self, c1, c2, kernel_size7, dilations(1, 3), num_heads4, mlp_ratio2.0): super().__init__() assert c1 c2, DiNA block 不改通道数 self.dim c1 self.kernel_size kernel_size self.dilations dilations self.num_heads num_heads self.head_dim c1 // num_heads # layernorm qkv 投影 self.norm1 nn.LayerNorm(c1) self.q nn.Linear(c1, c1) self.k nn.Linear(c1, c1) self.v nn.Linear(c1, c1) # 每个膨胀分支一组 1x1 卷积做通道混合 self.branch_fuse nn.ModuleList() for _ in dilations: self.branch_fuse.append(nn.Sequential( nn.Conv2d(c1, c1, kernel_size1, groupsnum_heads), nn.GELU(), )) self.proj nn.Linear(c1 * len(dilations), c1) self.norm2 nn.LayerNorm(c1) self.mlp nn.Sequential( nn.Linear(c1, int(c1 * mlp_ratio)), nn.GELU(), nn.Linear(int(c1 * mlp_ratio), c1), ) # 零初始化保证训练初期接近恒等映射 nn.init.zeros_(self.mlp[-1].weight) nn.init.zeros_(self.mlp[-1].bias) nn.init.zeros_(self.proj.weight) nn.init.zeros_(self.proj.bias) def forward(self, x): B, C, H, W x.shape shortcut x xn x.flatten(2).permute(0, 2, 1) xn self.norm1(xn).permute(0, 2, 1).view(B, C, H, W) q to_head_format(self.q(xn.flatten(2).permute(0, 2, 1)).permute(0, 2, 1).view(B, C, H, W), self.num_heads, self.head_dim) k to_head_format(self.k(xn.flatten(2).permute(0, 2, 1)).permute(0, 2, 1).view(B, C, H, W), self.num_heads, self.head_dim) v to_head_format(self.v(xn.flatten(2).permute(0, 2, 1)).permute(0, 2, 1).view(B, C, H, W), self.num_heads, self.head_dim) scale self.head_dim ** -0.5 branch_outs [] for d, fuse in zip(self.dilations, self.branch_fuse): if neighborhood_attention_2d is not None: attn_out neighborhood_attention_2d( q, k, v, kernel_sizeself.kernel_size, dilationd, scalescale, is_causalFalse ) else: # 如果没有算子库这里退化为带卷积的占位正式训练不推荐 attn_out q attn_out from_head_format(attn_out, self.num_heads, self.head_dim) branch_outs.append(fuse(attn_out)) out torch.cat(branch_outs, dim1) out out.flatten(2).permute(0, 2, 1) out self.proj(out).permute(0, 2, 1).view(B, C, H, W) x shortcut out # 接一个轻量MLP xn x.flatten(2).permute(0, 2, 1) xn self.mlp(self.norm2(xn)) x x xn.permute(0, 2, 1).view(B, C, H, W) return x这段代码里需要重点注意三个地方。第一邻域注意力算子对边界位置会自动做填充处理图像外部的邻居是无效的所以靠近边界的token实际参与计算的邻居数量会变少。实际实现里它对mask有处理但如果你在fp16混合精度下发现NaN多半和这个边界语义有关第5章展开。第二我把proj和MLP最后一层都零初始化了。这样训练最开始DiNA模块输出就是接近恒等的不会因为新加入一个随机模块把预训练权重一开始就冲坏。这是我在调C2PSA叠加时总结出来的关键经验。第三多分支融合使用的是拼接而不是相加。拼接之后再通过全连接投影回原来的通道数这样不同膨胀分支的信息可以自适应地决定各自占多少权重而不是强行各分一份。3.2 注册进YOLO11模块系统有了类之后要让它能被YOLO11官方配置解析器识别。过程不复杂把dina.py放到模块定义目录下。在任务解析文件里importDiNATransformerBlock。在parse_model的通道计算部分加一个分支交给解析器处理。在yaml配置里引用。parse_model里加的分支示意如下from .dina import DiNATransformerBlock ... elif m is DiNATransformerBlock: c2 args[0] args [c1, *args]这里的c1是上一层输出的通道数args[0]是yaml里写的输出通道数。因为DiNA不改通道yaml里写c1的值就行。3.3 yaml改造示例以YOLO11n的backbone尾部为例原本大概是这样的结构C3k2、SPPF、然后进入neck。我在SPPF之后插入了一行# backbone尾部 - [-1, SPPF, [1024, 5]] - [-1, DiNATransformerBlock, [1024, 7, [1, 3], 4, 2.0]] # 然后进入neck - [-1, nn.Upsample, [None, 2, nearest]]参数含义分别是输出通道1024、邻域尺寸7、膨胀率列表[1,3]、注意力头数4、MLP扩展倍率2.0。配置好之后先用一个随机输入跑一次前向确认每一层的输出尺寸正常。这一步很容易翻车的是通道数写错。DiNA要求输入输出通道一致如果你在neck里某个特征维度是512那yaml里就要写512不要想当然写1024。最稳妥的做法是先用原模型结构跑一遍打印出每个位置的通道数再对照着改。4. 涨点实验与消融d1、d3以及融合分支各自负责什么4.1 实验配置与基线我在一个公开目标检测数据集上做的小规模实验输入分辨率640×640训练约100个epochSGD优化器初始学习率0.01batch size 16前3个epoch做warmup。基线是YOLO11n。只改模型结构不改数据增强策略和训练轮数保证变量唯一。结果如下数值只代表我这套配置下的相对变化不同数据集上会有差异但趋势稳定模型配置参数量GFLOPsmAP50mAP50-95YOLO11n baseline--62.440.7YOLO11n DiNA(d1单分支)0.5M0.862.841.0YOLO11n DiNA(d3单分支)0.5M0.762.740.9YOLO11n DiNA(d1,3双分支)1.0M1.563.642.2注意单分支的mAP50-95带来的提升有限双分支直接拉开了差距高了1.5个点。这正是多尺度融合的体现两个尺度单独用都有瓶颈合并以后互相补短板。4.2 每个分支在看什么按目标尺寸拆开统计只看总指标不够我又按目标大小拆了指标三类目标的AP变化如下。配置小目标AP中目标AP大目标APbaseline20.142.352.6单分支d121.542.853.0单分支d319.842.554.8双分支d1,321.343.654.9结论很清晰d1分支主要救小目标小目标AP涨了1.4代价是大目标基本不动d3分支大目标AP涨了2.2但小目标AP反而掉了0.3。这就是“单尺度注意力的偏科问题”。融合以后小目标AP保住了d1分支的收益大目标AP也接近d3分支的最高水平真正实现了局部与全局的兼顾。如果你的业务场景是纯小目标检测比如远处密集人群那没必要上双分支单d1就够了省钱省显存。如果是自动驾驶、遥感这类目标尺度跨度大的场景双分支几乎是刚需。4.3 膨胀率怎么选一个实用的经验公式膨胀率的选择和插入位置的特征图分辨率直接相关。我的经验是邻域实际覆盖范围约等于(kernel_size - 1) * dilation 1。当这个覆盖范围接近特征图宽度的一半时该分支就等于是在做近似全局建模当覆盖范围只有特征图宽度的一小部分时它偏向局部。我在P520×20上用的r7d1和d3分别对应7×7和19×19的实际覆盖范围。这样d3分支实际上能看到大半个特征图已经具备全局视角同时保留了注意力权重的灵活性。如果你把DiNA放在P440×40上建议d取4或者5让覆盖范围到30×30以上放在P3上k值要缩小到5膨胀率保持2左右否则计算量会比较难看。5. 最容易被忽略的工程细节算子编译、AMP掉点与推理速度平衡5.1 NATTEN算子库的编译问题第一个坑是算子库的版本匹配。neighborhood_attention_2d这类接口依赖PyTorch版本和CUDA版本经常出现“装上了但import报错”的情况。我的习惯是先确认本机PyTorch的版本再找对应的预编译wheel。如果确实需要自己编译源码过程中会频繁碰到编译器版本的问题。Linux下用GCC通常没问题Windows下需要把编译环境部署好。判断算子库是否正常一条命令就能验证python -c import natten; print(ok)如果导入通过但跑模型时提示找不到CUDA算子大概率是预编译包和你的CUDA版本不匹配。建议直接pip强制安装和你环境匹配的版本而不是自己去拉源码编译能省一晚上时间。5.2 AMP混合精度下的NaN与隐性掉点这是我最想提醒的部分。DiNA在fp16自动混合精度下很容易出现两类问题。第一类是显式NaN。原因是DiNA的边界位置存在“邻居数量不足”的情况某些token的邻居几乎全是padding零向量softmax计算时指数项可能会趋向极端值fp16的表示范围有限直接变成inf或NaN。我自己第一次跑训练到第200多步就loss爆炸了。排查了半天最后定位到是注意力softmax在边界位置的数值稳定性问题。解决思路有两个一是让DiNA块整体保持在fp32下计算不进fp16二是在softmax里加一个极小的epsilon做数值保护。前者稳定但会牺牲一点速度后者更接近根治。如果是NATTEN算子它对边界mask是有处理的但AMP下仍然不能完全放心建议训练时单独watch一下DiNA输出的最大值。第二类是隐性掉点训练不报错但精度比纯fp32低不少。这种往往是LayerNorm和线性投影在fp16下误差累积导致的。我在YOLO11n上对比过DiNA块全部放在fp32下计算最终mAP能比直接全部AMP高0.3到0.5。所以如果你的卡支持bf16优先用bf16做混合精度数值范围大得多问题会少很多。5.3 推理速度FLOPs好看不等于延迟好看DiNA的一个容易被低估的点是FLOPs看着增加不多但实际延迟增量比同FLOPs的卷积更明显。因为邻域注意力涉及到稀疏的数据访问和更复杂的索引GPU上的访存模式没有普通卷积那么规整。我在推理延迟上的实测大致是640输入某款中端GPU上YOLO11n原版约2.1ms加了单分支DiNA约2.4ms加了双分支约2.6ms。对实时性要求不高的场景完全能接受但如果是真要做嵌入式端实时部署建议按下面几个方向优化邻域尺寸从7降到5感受野靠增大d来补分支数压缩成单分支只保留d3这种全局向的DiNA只放在P5层不要往下层放导出ONNX/TensorRT时先把NATTEN算子转成等价的自定义算子避免推理框架不支持。5.4 训练稳定性别让新模块抢了预训练权重的饭碗最后一个心得是关于随机初始化模块如何和预训练权重共存。DiNA如果一开始就满血参与前向会把刚加载的预训练特征搅乱。我建议训练前期加一个“旁路思维”利用第3章代码里的零初始化让DiNA在初期接近恒等映射随着训练进行再逐步承担任务。配合前10个epoch冻结backbone前几层的策略整体训练非常平稳。如果你用了预训练权重记得在加载权重时删掉DiNA对应的key或者用严格加载模式直接报错后手动对齐。社区里踩这个坑的人不少训练没几轮就loss异常排查半天发现是权重shape对不上。多说一句如果你准备在自己项目里复现我建议先跑通单分支、单位置的小实验拿到baseline涨跌数据后再上多膨胀率融合。DiNA不是万能涨点药它本质上是给模型补了一双“能看得更远”的眼睛具体收益取决于你的任务里到底缺不缺这种跨距离依赖。但至少在我测试的几个检测场景里它都做到了花小钱办大事。 
长河君 · 2026/10/24 2:45:49 · 阅读 1.2k YOLO11融合DiNA多尺度邻域注意力，提升局部与全局特征表达
做模型优化这几年我见过太多人把涨点的希望寄托在把网络做得更深更宽结果FLOPs翻倍、精度却纹丝不动。YOLO11已经不是缺容量的小模型真正缺的是对特征的“再组织能力”——尤其是把局部细节和全局上下文揉在一起的能力。这篇就是我在YOLO11里接入CVPR2023邻域注意力系列中的DiNADilated Neighborhood Attention后完整的融合思路、代码改造和训练踩坑记录适合正在做YOLO系列涨点实验、又不想盲目堆模块的同学直接参考。1. 为什么把DiNA塞进YOLO11从“短视”的深层特征说起1.1 网络看着很深实际看到的却不多YOLO11的主干延续了CSP风格配合SPPF这类快速池化结构理论感受野已经能覆盖全图。但做过目标检测实验的人应该都有体会理论感受野和有效感受野是两回事。几十层3×3卷积堆叠后中心位置对远处像素的梯度贡献衰减得极快最后真正影响判断的往往还是局部的一小块区域。可以类比成大家都坐在一个大会场里理论上能听到全场声音但实际能听清楚的只有隔壁几排的讨论——这就是“短视”。检测任务恰恰需要逆向操作。小目标要精致的局部纹理大目标要完整的轮廓和上下文关系。YOLO11的三个检测头P3/P4/P5负责不同尺度但尺度信息主要靠下采样和上采样传递缺少一种“在同一层特征图内主动跨距离交换信息”的机制。注意力机制就是来补这一块的但直接上全局注意力又太贵。1.2 邻域注意力把Transformer的成本从平方级拉回线性DiNA的前身是邻域注意力Neighborhood AttentionNA。它的思路很直接特征图上每个位置只和自己周围一个r×r方窗内的邻居算注意力而不是和全图所有位置算。单看这一步它和Swin Transformer的窗口注意力有点像但有个关键差异Swin是先把图切成不重叠的窗口再做注意力所以边界位置会丢失窗口外的信息需要通过shift操作来弥补而邻域注意力是每个位置以自己的坐标为中心取邻域天然有窗口重叠没有棋盘格的边界割裂问题。复杂度上N个token各算r×r个邻居总复杂度是线性级别的只是r固定所以开销可控。DiNA则是在NA上引入了空洞膨胀参数ddilation。原本邻域内相邻采样位置间隔是1现在变成间隔d。意思就是原来你伸手就能摸到隔壁现在你每次都隔一个座位才伸手但伸手的总次数不变。这里给出DiNA的计算形式假设邻域尺寸r2h1位置(i,j)的注意力输出为out(i,j) Σ_{a-h}^{h} Σ_{b-h}^{h} softmax( q(i,j)·k(ia·d, jb·d) / sqrt(C_head) ) · v(ia·d, jb·d)当d1时就是普通的NA当d3时虽然你仍然只取7×7个邻居但这些邻居在空间上相隔较远实际覆盖范围相当于19×19大小的连续区域。也就是说同样的计算量d越大视野越大。1.3 多分支融合才是“多尺度”的关键单个d只能提供一种尺度的感受野。要把局部和全局都吃进去最自然的做法就是参照多分支空洞卷积的思路同时跑多个不同d的分支再把结果融合。d1的分支看细节负责边缘、纹理、小目标的局部形态d3甚至d5的分支看全局负责物体轮廓、同类物体之间的距离关系、遮挡判断。分支融合后模块同时具备“精细定位”和“全局推理”两种能力。这正是标题里“多尺度局部与全局特征”的本质不是某一种d在起作用而是多个d互补。我在YOLO11里用的配置是d∈{1,3}邻域尺寸r7。后面第4章的消融实验会说明为什么这个组合最均衡。2. 融合位置选型我为什么没把DiNA堆到每个检测头2.1 候选位置有三个各有各的账要算拿到一个模块第一反应往往是往neck的每个检测头前面各插一个以为这样最“对症”。但DiNA这种邻域注意力不一样它的计算量和特征图分辨率强相关在P380×80上做一次7×7邻域注意力和在P520×20上做成本不是一个量级。所以我先列了三个候选位置做对比融合方案特征图分辨率计算开销主要作用实测延迟增量ASPPF之后、P5进入neck之前20×20低强化高层语义的全局上下文约0.2msBneck最高层P5之后、上采样融合前20×20中影响后续PANet融合质量约0.5msC每个检测头之前各插一个80×80/40×40/20×20高各尺度独立增强约1.5ms以上延迟数据是我的某一台GPU上的实测不同卡会有差异但趋势是一样的分辨率越高代价越贵。2.2 最终选型逻辑只放在Backbone出口我最后选的是方案A理由是“高性价比调试简单”两块。从信息流角度看SPPF之后的特征已经经过多次下采样具备最强的语义信息但还没有被neck的跨尺度融合“洗过”。此时插入一个DiNA相当于让最高层特征在进入融合阶段之前先做一次长距离的上下文交互把远处同类的特征、背景关系提前组织好。后面neck再往上采样融合时拿到的高层特征已经是“整理过的”这对大目标的定位和分类都有帮助。为什么不选C一方面是80×80分辨率下的邻域注意力确实贵另一方面是三个位置同时插入三个随机初始化的新模块训练初期特别不稳定我需要同时调三组膨胀率排错成本很高。方案A只有一个模块所有问题都集中在一个点上好定位。2.3 和YOLO11自带注意力的协作关系YOLO11主干里已经带了C2PSA这类带注意力设计的模块很多人会担心再加DiNA会不会冗余。我的实测结论是互补大于冗余。C2PSA更偏重对已有特征做位置敏感的重组而DiNA的重点是在一个较大的空间范围内建立内容驱动的依赖关系。两者服务的层次不同。当然叠加要注意通道和计算预算我在YOLO11n这种轻量版上加了DiNA后参数量增幅控制在1M左右GFLOPs增幅也只有1.5左右属于可接受范围。3. 动手接入YOLO11模块代码、注册机制与yaml改造3.1 DiNA模块代码与关键细节如果你打算正式训练建议直接用现成的高效邻域注意力算子库我用的NATTEN库它提供编译好的CUDA算子速度比纯PyTorch循环快很多。需要注意不同版本对函数签名的定义略有差异下面代码里我按常见的neighborhood_attention_2d接口示意具体字段以你安装的版本为准。import torch import torch.nn as nn import torch.nn.functional as F try: from natten.functional import neighborhood_attention_2d except ImportError: neighborhood_attention_2d None def to_head_format(x, num_heads, head_dim): # x: B, C, H, W - B, num_heads, H, W, head_dim B, C, H, W x.shape x x.view(B, num_heads, head_dim, H, W) return x.permute(0, 1, 3, 4, 2) def from_head_format(x, num_heads, head_dim): # x: B, num_heads, H, W, head_dim - B, C, H, W B x.shape[0] x x.permute(0, 1, 4, 2, 3) return x.reshape(B, num_heads * head_dim, x.shape[3], x.shape[4]) class DiNATransformerBlock(nn.Module): def __init__(self, c1, c2, kernel_size7, dilations(1, 3), num_heads4, mlp_ratio2.0): super().__init__() assert c1 c2, DiNA block 不改通道数 self.dim c1 self.kernel_size kernel_size self.dilations dilations self.num_heads num_heads self.head_dim c1 // num_heads # layernorm qkv 投影 self.norm1 nn.LayerNorm(c1) self.q nn.Linear(c1, c1) self.k nn.Linear(c1, c1) self.v nn.Linear(c1, c1) # 每个膨胀分支一组 1x1 卷积做通道混合 self.branch_fuse nn.ModuleList() for _ in dilations: self.branch_fuse.append(nn.Sequential( nn.Conv2d(c1, c1, kernel_size1, groupsnum_heads), nn.GELU(), )) self.proj nn.Linear(c1 * len(dilations), c1) self.norm2 nn.LayerNorm(c1) self.mlp nn.Sequential( nn.Linear(c1, int(c1 * mlp_ratio)), nn.GELU(), nn.Linear(int(c1 * mlp_ratio), c1), ) # 零初始化保证训练初期接近恒等映射 nn.init.zeros_(self.mlp[-1].weight) nn.init.zeros_(self.mlp[-1].bias) nn.init.zeros_(self.proj.weight) nn.init.zeros_(self.proj.bias) def forward(self, x): B, C, H, W x.shape shortcut x xn x.flatten(2).permute(0, 2, 1) xn self.norm1(xn).permute(0, 2, 1).view(B, C, H, W) q to_head_format(self.q(xn.flatten(2).permute(0, 2, 1)).permute(0, 2, 1).view(B, C, H, W), self.num_heads, self.head_dim) k to_head_format(self.k(xn.flatten(2).permute(0, 2, 1)).permute(0, 2, 1).view(B, C, H, W), self.num_heads, self.head_dim) v to_head_format(self.v(xn.flatten(2).permute(0, 2, 1)).permute(0, 2, 1).view(B, C, H, W), self.num_heads, self.head_dim) scale self.head_dim ** -0.5 branch_outs [] for d, fuse in zip(self.dilations, self.branch_fuse): if neighborhood_attention_2d is not None: attn_out neighborhood_attention_2d( q, k, v, kernel_sizeself.kernel_size, dilationd, scalescale, is_causalFalse ) else: # 如果没有算子库这里退化为带卷积的占位正式训练不推荐 attn_out q attn_out from_head_format(attn_out, self.num_heads, self.head_dim) branch_outs.append(fuse(attn_out)) out torch.cat(branch_outs, dim1) out out.flatten(2).permute(0, 2, 1) out self.proj(out).permute(0, 2, 1).view(B, C, H, W) x shortcut out # 接一个轻量MLP xn x.flatten(2).permute(0, 2, 1) xn self.mlp(self.norm2(xn)) x x xn.permute(0, 2, 1).view(B, C, H, W) return x这段代码里需要重点注意三个地方。第一邻域注意力算子对边界位置会自动做填充处理图像外部的邻居是无效的所以靠近边界的token实际参与计算的邻居数量会变少。实际实现里它对mask有处理但如果你在fp16混合精度下发现NaN多半和这个边界语义有关第5章展开。第二我把proj和MLP最后一层都零初始化了。这样训练最开始DiNA模块输出就是接近恒等的不会因为新加入一个随机模块把预训练权重一开始就冲坏。这是我在调C2PSA叠加时总结出来的关键经验。第三多分支融合使用的是拼接而不是相加。拼接之后再通过全连接投影回原来的通道数这样不同膨胀分支的信息可以自适应地决定各自占多少权重而不是强行各分一份。3.2 注册进YOLO11模块系统有了类之后要让它能被YOLO11官方配置解析器识别。过程不复杂把dina.py放到模块定义目录下。在任务解析文件里importDiNATransformerBlock。在parse_model的通道计算部分加一个分支交给解析器处理。在yaml配置里引用。parse_model里加的分支示意如下from .dina import DiNATransformerBlock ... elif m is DiNATransformerBlock: c2 args[0] args [c1, *args]这里的c1是上一层输出的通道数args[0]是yaml里写的输出通道数。因为DiNA不改通道yaml里写c1的值就行。3.3 yaml改造示例以YOLO11n的backbone尾部为例原本大概是这样的结构C3k2、SPPF、然后进入neck。我在SPPF之后插入了一行# backbone尾部 - [-1, SPPF, [1024, 5]] - [-1, DiNATransformerBlock, [1024, 7, [1, 3], 4, 2.0]] # 然后进入neck - [-1, nn.Upsample, [None, 2, nearest]]参数含义分别是输出通道1024、邻域尺寸7、膨胀率列表[1,3]、注意力头数4、MLP扩展倍率2.0。配置好之后先用一个随机输入跑一次前向确认每一层的输出尺寸正常。这一步很容易翻车的是通道数写错。DiNA要求输入输出通道一致如果你在neck里某个特征维度是512那yaml里就要写512不要想当然写1024。最稳妥的做法是先用原模型结构跑一遍打印出每个位置的通道数再对照着改。4. 涨点实验与消融d1、d3以及融合分支各自负责什么4.1 实验配置与基线我在一个公开目标检测数据集上做的小规模实验输入分辨率640×640训练约100个epochSGD优化器初始学习率0.01batch size 16前3个epoch做warmup。基线是YOLO11n。只改模型结构不改数据增强策略和训练轮数保证变量唯一。结果如下数值只代表我这套配置下的相对变化不同数据集上会有差异但趋势稳定模型配置参数量GFLOPsmAP50mAP50-95YOLO11n baseline--62.440.7YOLO11n DiNA(d1单分支)0.5M0.862.841.0YOLO11n DiNA(d3单分支)0.5M0.762.740.9YOLO11n DiNA(d1,3双分支)1.0M1.563.642.2注意单分支的mAP50-95带来的提升有限双分支直接拉开了差距高了1.5个点。这正是多尺度融合的体现两个尺度单独用都有瓶颈合并以后互相补短板。4.2 每个分支在看什么按目标尺寸拆开统计只看总指标不够我又按目标大小拆了指标三类目标的AP变化如下。配置小目标AP中目标AP大目标APbaseline20.142.352.6单分支d121.542.853.0单分支d319.842.554.8双分支d1,321.343.654.9结论很清晰d1分支主要救小目标小目标AP涨了1.4代价是大目标基本不动d3分支大目标AP涨了2.2但小目标AP反而掉了0.3。这就是“单尺度注意力的偏科问题”。融合以后小目标AP保住了d1分支的收益大目标AP也接近d3分支的最高水平真正实现了局部与全局的兼顾。如果你的业务场景是纯小目标检测比如远处密集人群那没必要上双分支单d1就够了省钱省显存。如果是自动驾驶、遥感这类目标尺度跨度大的场景双分支几乎是刚需。4.3 膨胀率怎么选一个实用的经验公式膨胀率的选择和插入位置的特征图分辨率直接相关。我的经验是邻域实际覆盖范围约等于(kernel_size - 1) * dilation 1。当这个覆盖范围接近特征图宽度的一半时该分支就等于是在做近似全局建模当覆盖范围只有特征图宽度的一小部分时它偏向局部。我在P520×20上用的r7d1和d3分别对应7×7和19×19的实际覆盖范围。这样d3分支实际上能看到大半个特征图已经具备全局视角同时保留了注意力权重的灵活性。如果你把DiNA放在P440×40上建议d取4或者5让覆盖范围到30×30以上放在P3上k值要缩小到5膨胀率保持2左右否则计算量会比较难看。5. 最容易被忽略的工程细节算子编译、AMP掉点与推理速度平衡5.1 NATTEN算子库的编译问题第一个坑是算子库的版本匹配。neighborhood_attention_2d这类接口依赖PyTorch版本和CUDA版本经常出现“装上了但import报错”的情况。我的习惯是先确认本机PyTorch的版本再找对应的预编译wheel。如果确实需要自己编译源码过程中会频繁碰到编译器版本的问题。Linux下用GCC通常没问题Windows下需要把编译环境部署好。判断算子库是否正常一条命令就能验证python -c import natten; print(ok)如果导入通过但跑模型时提示找不到CUDA算子大概率是预编译包和你的CUDA版本不匹配。建议直接pip强制安装和你环境匹配的版本而不是自己去拉源码编译能省一晚上时间。5.2 AMP混合精度下的NaN与隐性掉点这是我最想提醒的部分。DiNA在fp16自动混合精度下很容易出现两类问题。第一类是显式NaN。原因是DiNA的边界位置存在“邻居数量不足”的情况某些token的邻居几乎全是padding零向量softmax计算时指数项可能会趋向极端值fp16的表示范围有限直接变成inf或NaN。我自己第一次跑训练到第200多步就loss爆炸了。排查了半天最后定位到是注意力softmax在边界位置的数值稳定性问题。解决思路有两个一是让DiNA块整体保持在fp32下计算不进fp16二是在softmax里加一个极小的epsilon做数值保护。前者稳定但会牺牲一点速度后者更接近根治。如果是NATTEN算子它对边界mask是有处理的但AMP下仍然不能完全放心建议训练时单独watch一下DiNA输出的最大值。第二类是隐性掉点训练不报错但精度比纯fp32低不少。这种往往是LayerNorm和线性投影在fp16下误差累积导致的。我在YOLO11n上对比过DiNA块全部放在fp32下计算最终mAP能比直接全部AMP高0.3到0.5。所以如果你的卡支持bf16优先用bf16做混合精度数值范围大得多问题会少很多。5.3 推理速度FLOPs好看不等于延迟好看DiNA的一个容易被低估的点是FLOPs看着增加不多但实际延迟增量比同FLOPs的卷积更明显。因为邻域注意力涉及到稀疏的数据访问和更复杂的索引GPU上的访存模式没有普通卷积那么规整。我在推理延迟上的实测大致是640输入某款中端GPU上YOLO11n原版约2.1ms加了单分支DiNA约2.4ms加了双分支约2.6ms。对实时性要求不高的场景完全能接受但如果是真要做嵌入式端实时部署建议按下面几个方向优化邻域尺寸从7降到5感受野靠增大d来补分支数压缩成单分支只保留d3这种全局向的DiNA只放在P5层不要往下层放导出ONNX/TensorRT时先把NATTEN算子转成等价的自定义算子避免推理框架不支持。5.4 训练稳定性别让新模块抢了预训练权重的饭碗最后一个心得是关于随机初始化模块如何和预训练权重共存。DiNA如果一开始就满血参与前向会把刚加载的预训练特征搅乱。我建议训练前期加一个“旁路思维”利用第3章代码里的零初始化让DiNA在初期接近恒等映射随着训练进行再逐步承担任务。配合前10个epoch冻结backbone前几层的策略整体训练非常平稳。如果你用了预训练权重记得在加载权重时删掉DiNA对应的key或者用严格加载模式直接报错后手动对齐。社区里踩这个坑的人不少训练没几轮就loss异常排查半天发现是权重shape对不上。多说一句如果你准备在自己项目里复现我建议先跑通单分支、单位置的小实验拿到baseline涨跌数据后再上多膨胀率融合。DiNA不是万能涨点药它本质上是给模型补了一双“能看得更远”的眼睛具体收益取决于你的任务里到底缺不缺这种跨距离依赖。但至少在我测试的几个检测场景里它都做到了花小钱办大事。