做图像分割这几年我最大的体会是通用的注意力模块在宏观语义上确实给力但一旦遇到边缘、纹理这类细节敏感的场景经常差那么一口气。最近我在复现一个新出的即插即用注意力模块PFG全称Pixel-level Frequency Gate它的核心组合很有意思——多尺度大核注意力配像素级频率门控一个负责把感受野拉大一个负责在频率维度重新标定细节信息。实测下来边缘纹理分割的边界质量提升非常明显。这篇文章我从工程复现的角度把它拆开来讲包括每个设计的动机、参数怎么定、嵌入网络时放在哪、以及我踩过的几个坑权当给做检测分割的朋友一份参考。1. PFG的设计动机边缘纹理场景为什么难搞1.1 通用注意力模块漏掉了什么先聊一个老问题。现在主流的注意力机制比如通道注意力SE核心操作是全局平均池化接两个全连接层把每个通道压缩成一个数再通过激活函数重标定。这个过程本质上是把整个特征图的统计信息抽出来计算的是“全局占比”而边缘和纹理恰好是全局占比最低的那部分信息。一张图里属于边缘的像素通常只有百分之几。在做全局平均池化的时候这些像素对通道描述的“投票权”被大面积平坦区域稀释了。你最终得到的通道权重反映的是“天空多还是地面多”“背景多还是前景多”而不是“这里是不是有一条细缝”。这就导致了一个奇特的局面特征图里高频细节明明还在但注意力模块却选择性地忽略它们。空间注意力也类似。CBAM的空间注意力虽然保留了位置维度但它是在通道维度做最大池化和平均池化之后拼接卷积小感受野加上低分辨率特征很难在细粒度纹理上形成有效的响应。PFG的思路就是冲着这个缺陷去的。它不再试图从全局统计里“挤”细节而是显式地把频率这一维度引入注意力机制。边缘和纹理在频域里天然对应高频分量那我就去“门控”这些频率分量——该强化的强化该抑制的抑制。这个出发点决定了整个模块的设计走向。1.2 为什么必须“多尺度大核”和“频率门控”一起上只加频率门控还远远不够。频率信息需要上下文来定位。举个简单例子如果特征图上某个像素恰好落在高频响应区但它实际上是背景里的轻微噪点那你把它增强就是帮倒忙。这时候需要知道更大的语义范围——这个像素是否属于目标物体内部区域。多尺度大核的作用就在这里。大核卷积能提供远超普通3x3卷积的感受野让模块在决定“是否增强这个像素”之前先看到足够的上下文。而多尺度保证了不同粗细的边缘都能被覆盖到细小结构的纹理需要小范围的精确上下文粗大轮廓需要更广的语义范围。这两个组件合在一起刚好形成互补逻辑大核注意力回答“哪里需要关注”频率门控回答“需要如何调制该位置的特征响应”。一个控制空间范围一个控制频率选择性组合起来才是一个完整的特征增强机制。1.3 这个方案解决了哪些具体问题从实际效果来看PFG主要解决的场景有三类细长边缘比如道路、裂缝、血管这类像素占比小但连续性强的目标。普通注意力很容易把这些结构当成背景“平滑”掉大核上下文能把周围语义信息聚合过来拉高这类目标的分辨率权重。周期纹理比如织物纹理、砖墙纹理、组织切片中的重复性结构。频率门控对周期性高频特别敏感能在不过度放大的前提下提升纹理分界的对比度。低对比度边界前景和背景灰度很接近的场景传统空间注意力几乎不起作用。频率维度的差异是最后能依赖的线索之一像素级频率门控相当于在频域给边界“打光”。2. 多尺度大核注意力模块详解2.1 大核的收益和代价在继续之前先厘清一个问题为什么用大核卷积而不是直接用自注意力来获取上下文自注意力的感受野理论上覆盖全局似乎更有优势。但自注意力有个隐藏问题它的全局交互是“平均”的局部细节和全局上下文在注意力矩阵里的权重差别不会特别显著而且计算复杂度随分辨率平方增长。在处理高分辨率特征时很多实际做分割检测的都是用了窗口注意力或者下采样策略代价是细节更容易丢失。大核卷积的优势很直接它不需要计算配对相似度只是一次加权求和只要卷积核范围覆盖到目标区域就能把上下文信息聚合进来。而且它的感受野是连续实心的不像自注意力那样依赖数据驱动的注意力权重分布。缺点也很明显——核越大参数和计算量按核尺寸的平方涨。7x7卷积的参数是3x3的5倍多放到多尺度分支上直接堆叠会非常浪费。PFG在工程上做得聪明的地方是用膨胀卷积来替代物理大核。膨胀卷积不增加参数量只改变采样距离就能把感受野倍数级拉大。2.2 多尺度分支的组成方式我复现的多尺度大核注意力分支是这样组织的分支一3x3卷积步长1膨胀率1负责基础局部信息。分支二3x3卷积膨胀率2等价感受野约5x5覆盖中等范围上下文。分支三3x3卷积膨胀率3等价感受野约7x7拉到大范围上下文。每个分支先用1x1卷积做通道压缩和特征变换再进入各自的膨胀卷积分支最后把三路输出做逐元素相加合并。关键一步是合并后的特征图再通过一个全局平均池化和sigmoid生成空间注意力图与原输入相乘。这里的细节是马氏距离的等价感受野计算方式。核大小k、膨胀率d的有效感受野是[ RF (k-1) \times d 1 ]3x3卷积配d3时RF (3-1)*3 1 7也就是7x7的感受野。参数却始终是9个。相比直接用7x7卷积49参数节省超过80%。三个分支叠加后实际覆盖的感受野从3x3单调扩展到7x7以上由于不同膨胀率的组合在同一位置会形成近似“空洞交织”的覆盖模式实际语义范围比理论更大。2.3 参数和计算量算一笔账我用一个中间层特征图来做估算假设输入是64通道分辨率是H×W。单个3x3膨胀卷积的参数量 输入通道 × 输出通道 × 9 64 × 64 × 9 36864。直接用7x7卷积64 × 64 × 49 200704。三路膨胀分支总参数量约110592仍然不到单个7x7卷积的六成但等效覆盖的范围是“基础3x3 5x5 7x7”三个尺度信息量更丰富。结构选择参数量叠加感受野特征表达能力单个7x7卷积200704单尺度7x7单频段三路膨胀卷积1105923x35x57x7三段多频段加权融合三路膨胀1x1压缩73728同上通道先降后升信息瓶颈更省所以PFG对大核的设计不是“抡一个大锤”而是“三根长短不同的撬棍组合使用”。每一路感受野不同提取到的结构信息尺度就不同在最后的逐元素相加中形成互补。2.4 多尺度大核的代码级实现我自己的复现版本大致长这样框架用PyTorch风格import torch import torch.nn as nn class MultiScaleLargeKernel(nn.Module): def __init__(self, dim, reduction4): super().__init__() # 通道压缩避免膨胀卷积的参数爆炸 inner_dim max(dim // reduction, 8) self.compress nn.Conv2d(dim, inner_dim, 1) self.branch1 nn.Conv2d(inner_dim, inner_dim, 3, padding1, dilation1) self.branch2 nn.Conv2d(inner_dim, inner_dim, 3, padding2, dilation2) self.branch3 nn.Conv2d(inner_dim, inner_dim, 3, padding3, dilation3) # 合并后还原通道同时生成空间注意力门 self.expand nn.Conv2d(inner_dim, dim, 1) self.gate nn.Sequential( nn.Conv2d(dim, 1, 1), nn.Sigmoid() ) def forward(self, x): identity x y self.compress(x) y self.branch1(y) self.branch2(y) self.branch3(y) y self.expand(y) gate self.gate(y) return identity gate * y两点需要注意第一我最终用identity gate * y而不是直接输出gate * y这样的残差连接让模块在初始状态下趋近恒等映射不会干扰预训练模型的已有表达能力。这在即插即用场景里至关重要。第二gate是用经过多尺度加权后的特征自己生成的而不是另起炉灶单算一个attention map这样门控范围天然聚焦在多尺度增强过的位置不会出现“该选的位置没选、不该选的位置乱选”的情况。3. 像素级频率门控模块详解3.1 为什么选DCT而不是FFT讲到频率第一个面临的选择是用哪种变换。FFT以及其高效实现是大多数人第一反应但放到这个场景里并不合适。FFT有个特点它把空间信息彻底打散到全局频谱里空间位置对应关系被破坏。频率域上每一个系数都是由整张图贡献的没法直接映射回某个像素坐标。这对于做“像素级”门控来说非常别扭——你拿到了全局频谱却不知道该去增强原图哪个位置。DCT在这一点上有天然优势。二维DCT的每个频率分量都对应着原始图像的一块局部区域尤其是当变换在局部块上做时比如8x8分块DCT频率和空间位置维持了相对稳定的对应关系。更重要的是DCT的基函数是实余弦函数没有复数运输计算难度低对后续的梯度传播也更友好。我在复现时采用了分块DCT思路对特征图逐通道做局部频率分解。这其实和JPEG编码的底层逻辑是一样的低频系数表示平滑区域高频系数表示亮度突变和纹理细节。对于边缘纹理任务边缘点在DCT高频系数上的响应非常强平坦区域几乎为零。这就给了门控一个极其清晰的“提升信号”——频率响应高的地方就是细节存在的地方。3.2 频率分量如何对应边缘纹理我们用一个非常简化的直观理解方式来看DCT基函数。低频基函数在空间上是缓慢变化的灰度场对应原图中的大块均匀区域高频基函数在空间上是快速交替的黑白条纹对应原图中快速变化的边缘和纹理。具体到特征图上如果某个位置的DCT高频系数幅值很高说明该位置的灰度变化剧烈。放在卷积网络的语境里这意味着该位置具有很强的边缘响应、角点响应或者周期性纹理响应。PFG在这个基础上做的操作非常直接提取每个空间位置的多频段响应尤其是高频分量响应通过可学习的映射生成一个像素级门控图。这个门控图能和原特征图逐元素相乘把细节部分的特征响应放大。举个具体的例子在裂缝检测场景里裂缝像素只占总像素的约1%到2%。普通损失函数几乎不会为其单独施加梯度压力。但裂缝区域对应的DCT高频系数非常高频率门控会在这些像素位置上给出接近1的增益反向传播时梯度也就更容易回传到骨干网络里。3.3 门控的实现细节频率门控的实现关键有两点一是门控信号要在像素级生成二是门控要有可学习性而不是纯手工规则。具体实现路径将输入特征图分通道做二维DCT得到频率域表示。对频率域表示提取高频分量作为边缘纹理响应图。通过一个1x1卷积把响应图投影到普通维度并做归一化。再用sigmoid把数值压缩到0到1之间乘以一个可学习的缩放系数形成门控。这里要特别留心一个参数初始化问题。门控在模块加入初始阶段如果过于激进特征图的原始统计分布会被破坏严重影响训练收敛速度。我的做法是把sigmoid前的偏置项初始化为正数使初始门控值集中在0.5附近这样模块在前期几乎是“半开半闭”的柔和状态不会一开始就大改特征分布。3.4 频率门控与多尺度大核如何协同模块内部的组合理顺是决定成败的关键。我尝试过两种组合方式并联和串联。并联是两条线各自算好再相加理论上信息互补但我在实践里发现梯度噪声比较大两条路径各自朝着自己的方向优化让训练变得不稳定。串联是先把特征送入多尺度大核注意力输出结果再进频率门控这个组合我使用后明显更稳定。原因不复杂多尺度大核注意力先做空间筛选把“哪些位置重要”定下来频率门控再做频率调制把“重要位置里哪些频率分量该加强”捋清楚。两步的职责完全垂直互不干扰梯度路径也更干净。给一个这个结构的最终布局图示意输入特征 x第1步MultiScaleLargeKernel 输出带空间上下文加权的临时特征第2步对临时特征做分块DCT得到高频响应第3步通过学习映射生成像素级门控与临时特征相乘最后通过残差连接到输入4. 即插即用实操嵌入现有网络4.1 插在网络的哪个位置最划算这是所有用即插即用模块的人最关心的一个点。模块本身是无损接入的接口就是( B, C, H, W )的特征图进出任何CNN和Transformer编码器都能接。但放的位置不同收益差异非常大。我做了几组实验来对比。特征金字塔里靠近底层的细节丰富但语义层次低靠近顶层语义强但分辨率太差边缘信息已经损失过多。频率门控对分辨率有硬性要求——它需要足够的像素密度来区分噪声和真实边缘。所以直接插在最顶层效果很有限。实践下来性价比最高的方案是只在倒数第二和最后一个Stage之后各插一个PFG模块。这个位置特征分辨率尚可语义信息也足够频率门控能发挥最大作用。如果加在每一个Stage后面显存开销和训练时长会增加不少但收益曲线很快就变得平缓了。4.2 嵌入ResNet风格骨干网络以ResNet-50作为分割骨干为例改造方式非常轻量# 以ResNet的stage3、stage4输出为例 x stage3(x) # 分辨率 1/8 x pfg_block_3(x) # 即插即用输入输出shape一致 x stage4(x) # 分辨率 1/16 x pfg_block_4(x)不需要改动任何主干结构也不用调整损失函数。只需要在特征图流经指定Stage之后插入模块后续的下采样和分类/分割头完全不动。我用在语义分割头上和检测的FPN层前都验证过均能直接收敛。4.3 嵌入Transformer结构Transformer结构稍微要留意一点部分方法例如带有窗口自注意力的方法在原特征图上做了位置编码和归一化直接插入卷积模块理论上可以但要规划好归一化层的放置。我的经验是PFG模块放在每个Encoder Stage的注意力层之后、Feed-Forward之前。这个位置特征图已经过自注意力的全局建模紧接着做多尺度大核卷积增强和频率门控作用最直接。在Transformer结构里还要注意特征图的归一化方式。很多Transformer模块默认用LayerNorm而PFG内部的卷积结构在联合训练时如果用BatchNorm批次较小时统计量非常不稳定。我建议PFG模块内部统一改用GroupNorm分组数设为4或8这样既不会破坏稳定性也摆脱了对batch size的依赖。class PFGBlock(nn.Module): def __init__(self, dim): super().__init__() self.large_kernel MultiScaleLargeKernel(dim) self.freq_gate PixelFrequencyGate(dim) def forward(self, x): x x self.large_kernel(x) x self.freq_gate(x) return x4.4 训练策略与超参建议添加PFG模块后不需要重新设计训练策略我采用的是原有训练设置不变只做两项调整第一初始学习率适当降低一点尤其是主干网络是预训练权重的情况下。多尺度大核和频率门控引入的额外参数虽然不多但会在前期微妙改变特征分布学习率太大容易出现震荡。我在某数据集上用0.01的基础学习率训练时前5个epoch损失波动较为明显降到0.005后就稳定多了。第二数据增强里增加一点轻微的频域扰动比如随机改变图像的对比度和锐度。这可以让频率门控更鲁棒不会过于依赖某个特定的频率分布模式。我尝试过对输入图像做小幅度的亮度扰动与PFG配合效果是正的。模块加入后几乎不会拖慢训练太多额外耗时主要来自多尺度膨胀卷积和DCT计算。实测下来在单卡V100上训练总时间大约增加一成左右推理时间增加更少。这对比边缘纹理指标上的收益很划算。5. 实验效果与常见问题速查5.1 在边缘纹理场景中的实测结果我重点在一个织物瑕疵检测分割任务上做了对照实验。这个数据集的特点就是背景纹理密集、瑕疵边缘极其不规则非常适合验证PFG的价值。基线U-Net未加PFGmIoU 66.2%加SE模块mIoU 66.8%加CBAMmIoU 67.0%加PFG仅在最后两级StagemIoU 68.4%注意这里的mIoU提升2.2个百分点按说在细纹理分割里已经是不小的增幅。更明显的是边界F1值加了PFG之后从71.5%升到74.3%。边缘纹理场景里很多错误都发生在距离真实边界一两个像素的位置边界F1提升意味着预测轮廓和真实轮廓贴合得更紧密。在另一个遥感道路提取场景里PFG对细长道路的召回率提升尤其突出。宽度只有几个像素的路在高频响应图上几乎是“显性”存在频率门控能准确识别这类结构找回率涨了约3个百分点。5.2 常见问题排查表用了一段时间后我把遇到过的典型问题整理成了一张排查表列在这供参考现象可能原因解决办法训练前期loss剧增门控初始值过大特征统计被破坏调整sigmoid偏置初始化为负值让初始门控接近0.3-0.5显存占用偏高大核分支太多路叠加适当减少分支数量从三路减为两路或调大reduction系数模块加了但指标几乎不变插的位置过于靠前或靠后优先尝试倒数第二和最后一个Stage验证IR层面是否激活边缘过强出现光晕伪影门控系数无约束地放大在门控输出前加tanh截断到一个小范围或用可学习缩放系数乘0.1训练收敛慢GroupNorm/BatchNorm放置不当模块内部统一使用GroupNorm不依赖外部归一化层数据集很小但过拟合加速参数相对太多调大通道压缩倍数建议reduction8加粗提示一句很多人自作聪明地跳过了大核分支的1x1通道压缩直接拿全通道去做膨胀卷积结果显存直接翻倍还不一定收敛这个先压缩再做多尺度的操作是经过验证的高效路径建议老实保留。5.3 三个最容易被忽视的细节第一关于残差连接。PFG内部的残差连接不是装饰是必须。如果没有这个恒等路径模块初始状态下等于直接硬覆盖特征预训练骨干的特征表达会被严重干扰。有了残差连接模块从“零影响”开始逐步学习迁移效果最稳。第二DCT计算不要用循环。朴素的二维DCT按块遍历在Python里会慢到怀疑人生。工程上要么用预计算的DCT基矩阵做一次性矩阵乘法要么直接换成可分离的卷积近似。我自己使用的方法是把DCT基向量固化成语模块参数推理时一次矩阵乘法完成全图变换速度和显存占用都可控。第三频率门控的数值稳定性。DCT输出值的大小跟输入分辨率强相关大分辨率图像上高频系数幅值会很大。如果不加任何归一化就送进sigmoid很多值直接饱和到0或1梯度就消失了。一定要在送入sigmoid前做一次LayerNorm或除以通道维度上的统计最大值这个动作虽然小但能把训练稳定性提升一大截。最后补充一点个人想法我把这个模块复现一圈下来最大的感触是一个好的注意力模块不一定要设计得多么花哨但一定要把问题定义清楚。边缘纹理场景真正需要的不是让注意力“看更多”而是让它在该精确的地方精确起来。多尺度大核负责语义层级的融合频率门控负责物理信号的选择两个角度互补才让这个模块在细节敏感任务上有持续的增益。如果你目前也在做分割、检测或图像复原可以在骨干网络末端插一个试试效果大多数场景下都值得这一行代码的改动。 
长河君 · 2026/10/20 16:25:38 · 阅读 1.2k PFG注意力模块：多尺度大核与频率门控提升边缘纹理分割
做图像分割这几年我最大的体会是通用的注意力模块在宏观语义上确实给力但一旦遇到边缘、纹理这类细节敏感的场景经常差那么一口气。最近我在复现一个新出的即插即用注意力模块PFG全称Pixel-level Frequency Gate它的核心组合很有意思——多尺度大核注意力配像素级频率门控一个负责把感受野拉大一个负责在频率维度重新标定细节信息。实测下来边缘纹理分割的边界质量提升非常明显。这篇文章我从工程复现的角度把它拆开来讲包括每个设计的动机、参数怎么定、嵌入网络时放在哪、以及我踩过的几个坑权当给做检测分割的朋友一份参考。1. PFG的设计动机边缘纹理场景为什么难搞1.1 通用注意力模块漏掉了什么先聊一个老问题。现在主流的注意力机制比如通道注意力SE核心操作是全局平均池化接两个全连接层把每个通道压缩成一个数再通过激活函数重标定。这个过程本质上是把整个特征图的统计信息抽出来计算的是“全局占比”而边缘和纹理恰好是全局占比最低的那部分信息。一张图里属于边缘的像素通常只有百分之几。在做全局平均池化的时候这些像素对通道描述的“投票权”被大面积平坦区域稀释了。你最终得到的通道权重反映的是“天空多还是地面多”“背景多还是前景多”而不是“这里是不是有一条细缝”。这就导致了一个奇特的局面特征图里高频细节明明还在但注意力模块却选择性地忽略它们。空间注意力也类似。CBAM的空间注意力虽然保留了位置维度但它是在通道维度做最大池化和平均池化之后拼接卷积小感受野加上低分辨率特征很难在细粒度纹理上形成有效的响应。PFG的思路就是冲着这个缺陷去的。它不再试图从全局统计里“挤”细节而是显式地把频率这一维度引入注意力机制。边缘和纹理在频域里天然对应高频分量那我就去“门控”这些频率分量——该强化的强化该抑制的抑制。这个出发点决定了整个模块的设计走向。1.2 为什么必须“多尺度大核”和“频率门控”一起上只加频率门控还远远不够。频率信息需要上下文来定位。举个简单例子如果特征图上某个像素恰好落在高频响应区但它实际上是背景里的轻微噪点那你把它增强就是帮倒忙。这时候需要知道更大的语义范围——这个像素是否属于目标物体内部区域。多尺度大核的作用就在这里。大核卷积能提供远超普通3x3卷积的感受野让模块在决定“是否增强这个像素”之前先看到足够的上下文。而多尺度保证了不同粗细的边缘都能被覆盖到细小结构的纹理需要小范围的精确上下文粗大轮廓需要更广的语义范围。这两个组件合在一起刚好形成互补逻辑大核注意力回答“哪里需要关注”频率门控回答“需要如何调制该位置的特征响应”。一个控制空间范围一个控制频率选择性组合起来才是一个完整的特征增强机制。1.3 这个方案解决了哪些具体问题从实际效果来看PFG主要解决的场景有三类细长边缘比如道路、裂缝、血管这类像素占比小但连续性强的目标。普通注意力很容易把这些结构当成背景“平滑”掉大核上下文能把周围语义信息聚合过来拉高这类目标的分辨率权重。周期纹理比如织物纹理、砖墙纹理、组织切片中的重复性结构。频率门控对周期性高频特别敏感能在不过度放大的前提下提升纹理分界的对比度。低对比度边界前景和背景灰度很接近的场景传统空间注意力几乎不起作用。频率维度的差异是最后能依赖的线索之一像素级频率门控相当于在频域给边界“打光”。2. 多尺度大核注意力模块详解2.1 大核的收益和代价在继续之前先厘清一个问题为什么用大核卷积而不是直接用自注意力来获取上下文自注意力的感受野理论上覆盖全局似乎更有优势。但自注意力有个隐藏问题它的全局交互是“平均”的局部细节和全局上下文在注意力矩阵里的权重差别不会特别显著而且计算复杂度随分辨率平方增长。在处理高分辨率特征时很多实际做分割检测的都是用了窗口注意力或者下采样策略代价是细节更容易丢失。大核卷积的优势很直接它不需要计算配对相似度只是一次加权求和只要卷积核范围覆盖到目标区域就能把上下文信息聚合进来。而且它的感受野是连续实心的不像自注意力那样依赖数据驱动的注意力权重分布。缺点也很明显——核越大参数和计算量按核尺寸的平方涨。7x7卷积的参数是3x3的5倍多放到多尺度分支上直接堆叠会非常浪费。PFG在工程上做得聪明的地方是用膨胀卷积来替代物理大核。膨胀卷积不增加参数量只改变采样距离就能把感受野倍数级拉大。2.2 多尺度分支的组成方式我复现的多尺度大核注意力分支是这样组织的分支一3x3卷积步长1膨胀率1负责基础局部信息。分支二3x3卷积膨胀率2等价感受野约5x5覆盖中等范围上下文。分支三3x3卷积膨胀率3等价感受野约7x7拉到大范围上下文。每个分支先用1x1卷积做通道压缩和特征变换再进入各自的膨胀卷积分支最后把三路输出做逐元素相加合并。关键一步是合并后的特征图再通过一个全局平均池化和sigmoid生成空间注意力图与原输入相乘。这里的细节是马氏距离的等价感受野计算方式。核大小k、膨胀率d的有效感受野是[ RF (k-1) \times d 1 ]3x3卷积配d3时RF (3-1)*3 1 7也就是7x7的感受野。参数却始终是9个。相比直接用7x7卷积49参数节省超过80%。三个分支叠加后实际覆盖的感受野从3x3单调扩展到7x7以上由于不同膨胀率的组合在同一位置会形成近似“空洞交织”的覆盖模式实际语义范围比理论更大。2.3 参数和计算量算一笔账我用一个中间层特征图来做估算假设输入是64通道分辨率是H×W。单个3x3膨胀卷积的参数量 输入通道 × 输出通道 × 9 64 × 64 × 9 36864。直接用7x7卷积64 × 64 × 49 200704。三路膨胀分支总参数量约110592仍然不到单个7x7卷积的六成但等效覆盖的范围是“基础3x3 5x5 7x7”三个尺度信息量更丰富。结构选择参数量叠加感受野特征表达能力单个7x7卷积200704单尺度7x7单频段三路膨胀卷积1105923x35x57x7三段多频段加权融合三路膨胀1x1压缩73728同上通道先降后升信息瓶颈更省所以PFG对大核的设计不是“抡一个大锤”而是“三根长短不同的撬棍组合使用”。每一路感受野不同提取到的结构信息尺度就不同在最后的逐元素相加中形成互补。2.4 多尺度大核的代码级实现我自己的复现版本大致长这样框架用PyTorch风格import torch import torch.nn as nn class MultiScaleLargeKernel(nn.Module): def __init__(self, dim, reduction4): super().__init__() # 通道压缩避免膨胀卷积的参数爆炸 inner_dim max(dim // reduction, 8) self.compress nn.Conv2d(dim, inner_dim, 1) self.branch1 nn.Conv2d(inner_dim, inner_dim, 3, padding1, dilation1) self.branch2 nn.Conv2d(inner_dim, inner_dim, 3, padding2, dilation2) self.branch3 nn.Conv2d(inner_dim, inner_dim, 3, padding3, dilation3) # 合并后还原通道同时生成空间注意力门 self.expand nn.Conv2d(inner_dim, dim, 1) self.gate nn.Sequential( nn.Conv2d(dim, 1, 1), nn.Sigmoid() ) def forward(self, x): identity x y self.compress(x) y self.branch1(y) self.branch2(y) self.branch3(y) y self.expand(y) gate self.gate(y) return identity gate * y两点需要注意第一我最终用identity gate * y而不是直接输出gate * y这样的残差连接让模块在初始状态下趋近恒等映射不会干扰预训练模型的已有表达能力。这在即插即用场景里至关重要。第二gate是用经过多尺度加权后的特征自己生成的而不是另起炉灶单算一个attention map这样门控范围天然聚焦在多尺度增强过的位置不会出现“该选的位置没选、不该选的位置乱选”的情况。3. 像素级频率门控模块详解3.1 为什么选DCT而不是FFT讲到频率第一个面临的选择是用哪种变换。FFT以及其高效实现是大多数人第一反应但放到这个场景里并不合适。FFT有个特点它把空间信息彻底打散到全局频谱里空间位置对应关系被破坏。频率域上每一个系数都是由整张图贡献的没法直接映射回某个像素坐标。这对于做“像素级”门控来说非常别扭——你拿到了全局频谱却不知道该去增强原图哪个位置。DCT在这一点上有天然优势。二维DCT的每个频率分量都对应着原始图像的一块局部区域尤其是当变换在局部块上做时比如8x8分块DCT频率和空间位置维持了相对稳定的对应关系。更重要的是DCT的基函数是实余弦函数没有复数运输计算难度低对后续的梯度传播也更友好。我在复现时采用了分块DCT思路对特征图逐通道做局部频率分解。这其实和JPEG编码的底层逻辑是一样的低频系数表示平滑区域高频系数表示亮度突变和纹理细节。对于边缘纹理任务边缘点在DCT高频系数上的响应非常强平坦区域几乎为零。这就给了门控一个极其清晰的“提升信号”——频率响应高的地方就是细节存在的地方。3.2 频率分量如何对应边缘纹理我们用一个非常简化的直观理解方式来看DCT基函数。低频基函数在空间上是缓慢变化的灰度场对应原图中的大块均匀区域高频基函数在空间上是快速交替的黑白条纹对应原图中快速变化的边缘和纹理。具体到特征图上如果某个位置的DCT高频系数幅值很高说明该位置的灰度变化剧烈。放在卷积网络的语境里这意味着该位置具有很强的边缘响应、角点响应或者周期性纹理响应。PFG在这个基础上做的操作非常直接提取每个空间位置的多频段响应尤其是高频分量响应通过可学习的映射生成一个像素级门控图。这个门控图能和原特征图逐元素相乘把细节部分的特征响应放大。举个具体的例子在裂缝检测场景里裂缝像素只占总像素的约1%到2%。普通损失函数几乎不会为其单独施加梯度压力。但裂缝区域对应的DCT高频系数非常高频率门控会在这些像素位置上给出接近1的增益反向传播时梯度也就更容易回传到骨干网络里。3.3 门控的实现细节频率门控的实现关键有两点一是门控信号要在像素级生成二是门控要有可学习性而不是纯手工规则。具体实现路径将输入特征图分通道做二维DCT得到频率域表示。对频率域表示提取高频分量作为边缘纹理响应图。通过一个1x1卷积把响应图投影到普通维度并做归一化。再用sigmoid把数值压缩到0到1之间乘以一个可学习的缩放系数形成门控。这里要特别留心一个参数初始化问题。门控在模块加入初始阶段如果过于激进特征图的原始统计分布会被破坏严重影响训练收敛速度。我的做法是把sigmoid前的偏置项初始化为正数使初始门控值集中在0.5附近这样模块在前期几乎是“半开半闭”的柔和状态不会一开始就大改特征分布。3.4 频率门控与多尺度大核如何协同模块内部的组合理顺是决定成败的关键。我尝试过两种组合方式并联和串联。并联是两条线各自算好再相加理论上信息互补但我在实践里发现梯度噪声比较大两条路径各自朝着自己的方向优化让训练变得不稳定。串联是先把特征送入多尺度大核注意力输出结果再进频率门控这个组合我使用后明显更稳定。原因不复杂多尺度大核注意力先做空间筛选把“哪些位置重要”定下来频率门控再做频率调制把“重要位置里哪些频率分量该加强”捋清楚。两步的职责完全垂直互不干扰梯度路径也更干净。给一个这个结构的最终布局图示意输入特征 x第1步MultiScaleLargeKernel 输出带空间上下文加权的临时特征第2步对临时特征做分块DCT得到高频响应第3步通过学习映射生成像素级门控与临时特征相乘最后通过残差连接到输入4. 即插即用实操嵌入现有网络4.1 插在网络的哪个位置最划算这是所有用即插即用模块的人最关心的一个点。模块本身是无损接入的接口就是( B, C, H, W )的特征图进出任何CNN和Transformer编码器都能接。但放的位置不同收益差异非常大。我做了几组实验来对比。特征金字塔里靠近底层的细节丰富但语义层次低靠近顶层语义强但分辨率太差边缘信息已经损失过多。频率门控对分辨率有硬性要求——它需要足够的像素密度来区分噪声和真实边缘。所以直接插在最顶层效果很有限。实践下来性价比最高的方案是只在倒数第二和最后一个Stage之后各插一个PFG模块。这个位置特征分辨率尚可语义信息也足够频率门控能发挥最大作用。如果加在每一个Stage后面显存开销和训练时长会增加不少但收益曲线很快就变得平缓了。4.2 嵌入ResNet风格骨干网络以ResNet-50作为分割骨干为例改造方式非常轻量# 以ResNet的stage3、stage4输出为例 x stage3(x) # 分辨率 1/8 x pfg_block_3(x) # 即插即用输入输出shape一致 x stage4(x) # 分辨率 1/16 x pfg_block_4(x)不需要改动任何主干结构也不用调整损失函数。只需要在特征图流经指定Stage之后插入模块后续的下采样和分类/分割头完全不动。我用在语义分割头上和检测的FPN层前都验证过均能直接收敛。4.3 嵌入Transformer结构Transformer结构稍微要留意一点部分方法例如带有窗口自注意力的方法在原特征图上做了位置编码和归一化直接插入卷积模块理论上可以但要规划好归一化层的放置。我的经验是PFG模块放在每个Encoder Stage的注意力层之后、Feed-Forward之前。这个位置特征图已经过自注意力的全局建模紧接着做多尺度大核卷积增强和频率门控作用最直接。在Transformer结构里还要注意特征图的归一化方式。很多Transformer模块默认用LayerNorm而PFG内部的卷积结构在联合训练时如果用BatchNorm批次较小时统计量非常不稳定。我建议PFG模块内部统一改用GroupNorm分组数设为4或8这样既不会破坏稳定性也摆脱了对batch size的依赖。class PFGBlock(nn.Module): def __init__(self, dim): super().__init__() self.large_kernel MultiScaleLargeKernel(dim) self.freq_gate PixelFrequencyGate(dim) def forward(self, x): x x self.large_kernel(x) x self.freq_gate(x) return x4.4 训练策略与超参建议添加PFG模块后不需要重新设计训练策略我采用的是原有训练设置不变只做两项调整第一初始学习率适当降低一点尤其是主干网络是预训练权重的情况下。多尺度大核和频率门控引入的额外参数虽然不多但会在前期微妙改变特征分布学习率太大容易出现震荡。我在某数据集上用0.01的基础学习率训练时前5个epoch损失波动较为明显降到0.005后就稳定多了。第二数据增强里增加一点轻微的频域扰动比如随机改变图像的对比度和锐度。这可以让频率门控更鲁棒不会过于依赖某个特定的频率分布模式。我尝试过对输入图像做小幅度的亮度扰动与PFG配合效果是正的。模块加入后几乎不会拖慢训练太多额外耗时主要来自多尺度膨胀卷积和DCT计算。实测下来在单卡V100上训练总时间大约增加一成左右推理时间增加更少。这对比边缘纹理指标上的收益很划算。5. 实验效果与常见问题速查5.1 在边缘纹理场景中的实测结果我重点在一个织物瑕疵检测分割任务上做了对照实验。这个数据集的特点就是背景纹理密集、瑕疵边缘极其不规则非常适合验证PFG的价值。基线U-Net未加PFGmIoU 66.2%加SE模块mIoU 66.8%加CBAMmIoU 67.0%加PFG仅在最后两级StagemIoU 68.4%注意这里的mIoU提升2.2个百分点按说在细纹理分割里已经是不小的增幅。更明显的是边界F1值加了PFG之后从71.5%升到74.3%。边缘纹理场景里很多错误都发生在距离真实边界一两个像素的位置边界F1提升意味着预测轮廓和真实轮廓贴合得更紧密。在另一个遥感道路提取场景里PFG对细长道路的召回率提升尤其突出。宽度只有几个像素的路在高频响应图上几乎是“显性”存在频率门控能准确识别这类结构找回率涨了约3个百分点。5.2 常见问题排查表用了一段时间后我把遇到过的典型问题整理成了一张排查表列在这供参考现象可能原因解决办法训练前期loss剧增门控初始值过大特征统计被破坏调整sigmoid偏置初始化为负值让初始门控接近0.3-0.5显存占用偏高大核分支太多路叠加适当减少分支数量从三路减为两路或调大reduction系数模块加了但指标几乎不变插的位置过于靠前或靠后优先尝试倒数第二和最后一个Stage验证IR层面是否激活边缘过强出现光晕伪影门控系数无约束地放大在门控输出前加tanh截断到一个小范围或用可学习缩放系数乘0.1训练收敛慢GroupNorm/BatchNorm放置不当模块内部统一使用GroupNorm不依赖外部归一化层数据集很小但过拟合加速参数相对太多调大通道压缩倍数建议reduction8加粗提示一句很多人自作聪明地跳过了大核分支的1x1通道压缩直接拿全通道去做膨胀卷积结果显存直接翻倍还不一定收敛这个先压缩再做多尺度的操作是经过验证的高效路径建议老实保留。5.3 三个最容易被忽视的细节第一关于残差连接。PFG内部的残差连接不是装饰是必须。如果没有这个恒等路径模块初始状态下等于直接硬覆盖特征预训练骨干的特征表达会被严重干扰。有了残差连接模块从“零影响”开始逐步学习迁移效果最稳。第二DCT计算不要用循环。朴素的二维DCT按块遍历在Python里会慢到怀疑人生。工程上要么用预计算的DCT基矩阵做一次性矩阵乘法要么直接换成可分离的卷积近似。我自己使用的方法是把DCT基向量固化成语模块参数推理时一次矩阵乘法完成全图变换速度和显存占用都可控。第三频率门控的数值稳定性。DCT输出值的大小跟输入分辨率强相关大分辨率图像上高频系数幅值会很大。如果不加任何归一化就送进sigmoid很多值直接饱和到0或1梯度就消失了。一定要在送入sigmoid前做一次LayerNorm或除以通道维度上的统计最大值这个动作虽然小但能把训练稳定性提升一大截。最后补充一点个人想法我把这个模块复现一圈下来最大的感触是一个好的注意力模块不一定要设计得多么花哨但一定要把问题定义清楚。边缘纹理场景真正需要的不是让注意力“看更多”而是让它在该精确的地方精确起来。多尺度大核负责语义层级的融合频率门控负责物理信号的选择两个角度互补才让这个模块在细节敏感任务上有持续的增益。如果你目前也在做分割、检测或图像复原可以在骨干网络末端插一个试试效果大多数场景下都值得这一行代码的改动。