多模态遥感分类这件事我从早年光谱维拼几何特征再喂给核方法一路做到现在的注意力融合踩过的坑能串成一条完整的线。高光谱给的是上百个窄波段的光谱曲线激光雷达给的是单通道高程几何合成孔径雷达给的是后向散射强度三者的统计分布、噪声模型、空间分辨率全都不一样。硬拼在一起模型要么被光谱维的高方差带跑要么被几何分支的稀疏性拖死。所以看到Bilinear Parallel Fourier Transformer for Multimodal Remote Sensing Classification这个题目我第一反应是它想同时解决跨模态二阶交互、全局感受野、训练稳定性这三件互相打架的事。双线性负责把两个模态的乘性关系显式建模并行分支负责让每个模态保留自己的流形不被强行对齐傅里叶负责用近似线性的代价拿到全局感受野Transformer 负责 token 级的语义聚合。这套组合适合谁我的判断是手上有已经配准好的多模态数据、样本量在几千到几万 patch 之间、单卡显存在 16G 到 24G 之间、想在不堆深度的前提下把精度再往上抠一到两个点的同学。如果你只有单模态数据或者样本只有几百个这套结构的性价比并不高后面我会讲清楚为什么。1. 整体架构设计与方案选型思路1.1 多模态遥感分类真正的难点在哪先说清楚问题不然选型全是空谈。多模态遥感分类的第一个难点是模态异质性。高光谱的每个像元是一条连续光谱曲线相邻波段相关性极高信息冗余大但信噪比低激光雷达是单通道的高程或强度图边缘锐利、纹理平坦动态范围窄合成孔径雷达则自带相干斑噪声统计特性完全不是高斯分布。这三种数据放进同一个 BatchNorm 里均值和方差根本没有共同语言这是很多人一上来就翻车的地方。第二个难点是标注成本。遥感标注要靠地面实测或者高分辨率影像目视解译一个中等规模的场景标几千个样本就要花掉几周。这意味着模型参数量必须和样本量匹配不能无脑堆深度。我见过不少同学直接搬视觉领域的深层骨干网过来参数量两三千万训练集只有两千个 patch结果训练集精度 99%、测试集 70%还以为是过拟合其实是模型容量和任务规模严重错配。第三个难点是空间非局部相关性。地物是成片分布的一块农田可能横跨几百米一个工业园区的屋顶颜色高度一致。卷积的感受野要靠堆层数才能扩大堆到能覆盖整幅影像的时候参数量和显存都爆炸了。而傅里叶变换天然就是全局算子一次变换就能让每个频点携带全图信息这是这个题目里Fourier这个词的真正价值所在。第四个难点是长尾分布。道路、水体这类大类可能占 60% 以上的像元稀有的矿物蚀变带可能只有几十个样本。双线性融合会放大这种不平衡因为外积对特征幅值敏感大类特征范数大交互项就更容易主导梯度。这一点必须在损失函数和采样策略上提前处理后面第 4 节会展开。1.2 四个关键词背后的取舍逻辑把标题拆开看每个词都对应一个明确的技术决策而且这些决策之间是互相制约的。**Bilinear双线性**解决的是跨模态乘性交互。简单拼接是加性的模型只能学到光谱像 A 且几何像 B这种线性可分关系而实际情况里地物判别往往是乘性的——比如高程低本身不说明什么高程低 且 近红外反射率高才大概率是水体。外积形式的双线性池化能把两个模态的特征做二阶组合表达能力直接上一个台阶。代价是维度平方膨胀所以工程上必须用低秩分解压缩这一点我在第 2 节会给具体参数。**Parallel并行**解决的是模态流形保护。串行结构先融合再编码会让融合后的特征被后级的归一化层强行拉到同一个分布上弱模态的信息直接被吞掉。并行双分支让每个模态先在自己的空间里完成特征提取只在融合节点做交互梯度回传时两条路径互不干扰模态缺失时也能单路推理。这个设计对工程落地特别友好因为实际业务里经常出现某个模态临时缺失的情况。**Fourier傅里叶**解决的是全局感受野与计算量的矛盾。标准自注意力的复杂度是 token 数的平方一个 11×11 的 patch 切成 121 个 token注意力矩阵就是 121×121还能接受但如果你想覆盖更大的空间范围比如 25×25 的 patchtoken 数变成 625注意力矩阵就是 39 万显存直接顶不住。频域分支用 FFT 把空间维转到频率维复杂度降到 O(N log N)而且低频分量天然对应大范围的地物一致性这个先验在遥感上极其成立。Transformer解决的是token 级语义聚合。卷积的权重是共享的同一个卷积核在整幅图上滑动而注意力是内容自适应的能让水体 token主动去关注其他水体 token。在类别边界复杂、同类地物分散的场景下这个能力很关键。四个词合起来其实是一句话用低秩双线性拿二阶交互用并行分支保模态独立用频域算子换全局感受野用注意力做语义聚合。每一环都在补上一环的短板这是我判断这个架构设计合理的主要理由。1.3 数据流走向与影响范围边界从输入到输出整条链路的维度变化必须心里有数不然调试的时候根本不知道在哪一层出的问题。假设输入是高光谱 patch尺寸 P×P波段数 B1和激光雷达 patch尺寸 P×P通道数 B2典型配置下 P11、B1100、B21。阶段输入维度输出维度说明光谱分支 PatchEmbedB×B1×P×PB×N×dNP²d 为嵌入维度几何分支 PatchEmbedB×B2×P×PB×N×d通道维独立投影频域调制块B×N×dB×N×d保留 token 数不变双线性融合两路 B×N×dB×N×d低秩外积后降维分类头B×N×dB×C全局池化后接线性层关于影响范围我的判断分三层。直接适用层高光谱与激光雷达联合地物分类、多光谱与合成孔径雷达联合洪涝范围提取、光学与热红外联合城市地表温度分区这类任务都有配准良好的多模态对且地物成片分布频域先验成立。间接迁移层多时相变化检测把两个时相看成两个模态、多尺度遥感融合把全色与多光谱看成两个模态这些场景的模态定义更宽泛双线性融合依然有效但频域分支的低频假设需要重新验证因为变化检测关注的是高频细节差异。不太适用层单模态任务、样本量低于五百的极端小样本、以及目标尺度小于 3 个像元的细粒度检测。这几种情况双线性的参数冗余和频域的低频偏好都会变成负担。注意频域分支的核心假设是低频分量主导地物类别这个假设在全色影像、高分辨率城区影像上成立度会下降因为建筑边缘、道路标线这些高频信息本身就是判别依据。如果你的数据是高分辨率城区建议把低频保留比例从 0.25 提到 0.5 以上或者干脆让频域分支和空间分支并行输出再做门控融合。2. 核心模块细节拆解与实现要点2.1 双线性融合为什么外积比拼接更懂跨模态拼接操作本质上是把两个向量首尾接起来送进线性层后得到的是 $W_1x W_2y$这是标准的加性模型。加性模型能表达光谱特征强 或 几何特征强但表达不了光谱特征强 且 几何特征在特定范围内。而双线性形式 $y x^T W y$ 里的 $W$ 是一个三阶张量展开后的矩阵它捕捉的是两个模态每一维两两之间的交互强度是真正的乘性关系。举个遥感里的具体例子。水体在近红外波段反射率极低同时高程也低。如果只用拼接模型学到的是近红外低 → 水体和高程低 → 水体两条独立规则那么一片近红外低但位于山顶的阴影区就会被误判。双线性项能让模型学到近红外低 × 高程低这个组合阴影区因为高程不满足而被排除。这就是二阶交互的实际价值不是数学上的花活。直接做外积的问题在于维度。如果两个模态特征维度都是 256外积结果就是 65536 维接一个分类头参数量直接上千万。所以工程上必须用压缩双线性池化Compact Bilinear Pooling核心思路是先降维再做外积$$z \text{vec}(U^T x \otimes V^T y), \quad U \in \mathbb{R}^{d \times r}, V \in \mathbb{R}^{d \times r}$$其中 $r$ 是秩通常取 8 到 32。参数量的变化很直观原始方案是 $d^2 65536$压缩后是 $2dr r^2 2 \times 256 \times 16 256 8448$降了将近八倍。秩的选择有个经验公式$r \approx \sqrt{d}$ 到 $d/16$ 之间$d256$ 时取 16 比较稳。秩太小比如 4会欠拟合融合几乎退化成加性秩太大比如 64在样本量不足时明显过拟合验证集精度会掉零点几个点。我在实际项目里做过一组对比同一份数据、同一个训练配置只换融合方式融合方式参数量增量验证集 OA小样本10% 训练OA拼接 线性约 0.13M88.679.2逐元素相加087.177.8交叉注意力约 0.26M89.380.5压缩双线性r16约 0.09M90.482.7注意最后一行双线性的参数量比交叉注意力还少但精度更高而且小样本下的优势更明显。原因就在于二阶交互是结构化先验不需要从数据里学两个模态应该怎么交互模型只需要学交互的权重。样本越少这种先验越值钱。2.2 并行分支不只是为了好看并行结构在论文里经常被一笔带过但它在工程上的价值远超学术层面的描述。我总结成三条。第一是梯度路径更短。串行结构里几何分支的梯度要穿过融合层、再穿过光谱分支的所有层才能回传路径一长梯度衰减就严重。我实测过串行结构在训练前期几何分支的梯度范数只有光谱分支的十分之一左右相当于几何分支基本没在学。并行结构两条路径各自直连融合层梯度范数差距能控制在两倍以内。第二是显存可预测。并行分支的显存占用是两个分支之和加融合层而串行结构的中间激活需要保留到反向传播融合后再编码意味着融合结果的所有中间态都得存着。同样是 11×11 patch、d256、4 层编码器并行结构的峰值显存比串行低 20% 左右。这个数字在大 patch比如 25×25场景下会拉大到 35%因为 token 数是平方增长的。第三是支持模态缺失推理。这一点在实际业务里太重要了。云覆盖会导致光学数据缺失传感器故障会导致某个模态整期没有数据。并行结构可以只走单分支把另一路的融合权重置零或者用一个可学习的缺失 token 替代精度会掉但不会崩。串行结构做不到这一点因为融合是必经之路。具体实现上两个分支的编码器不要共享权重。我试过共享精度掉了 1.2 个点。原因还是模态异质性光谱分支需要关注波段间的细粒度差异几何分支需要关注空间上的边缘和梯度两者需要的归纳偏置完全不同。共享权重相当于强迫一个卷积核同时做两件事效果自然差。不过分支深度可以不同。我的经验配置是光谱分支 4 层几何分支 2 层。因为高光谱的输入维度高、信息量大需要更深的网络来压缩激光雷达只有单通道或者少数几个通道2 层足够提取高程纹理再深就是浪费算力。这个不对称设计在多个数据集上都能带来 0.3 到 0.8 个点的提升。2.3 傅里叶域建模低成本的全局感受野频域分支是整个架构里最容易被误解的部分。很多人以为就是把特征做 FFT 再逆变换回来没什么信息量。实际上关键在中间的频域调制也就是用一个可学习的复数权重矩阵去乘频域特征。数学形式很简洁给定 token 序列 $X \in \mathbb{R}^{N \times d}$先 reshape 成 $H \times W$ 的二维网格$H \cdot W N$做二维实数傅里叶变换得到 $\mathcal{F}(X) \in \mathbb{C}^{H \times W \times d}$然后用一个 $d \times d$ 的复数权重 $K$ 沿着通道维做线性组合$$\tilde{\mathcal{F}}(X){:,:,j} \sum{i} K_{ij} \cdot \mathcal{F}(X)_{:,:,i}$$最后逆变换回空间域。这个操作的复杂度是 $O(N d^2)$ 加上 FFT 的 $O(N \log N)$比注意力的 $O(N^2 d)$ 低一个量级。$N121$、$d256$ 的时候注意力需要约 375 万次乘加频域调制只需要约 790 万次——看起来差不多但当 $N$ 涨到 625 时注意力是 1 亿次频域调制还是 4000 万次差距就出来了。为什么频域调制能起作用因为在频率域做通道混合等价于在空间域做全局卷积。空间域里要实现全局感受野卷积核得和图像一样大频域里每个频点本来就携带全图信息一个 $d \times d$ 的矩阵乘上去每个输出通道都能看到所有输入通道的全局统计。这就是用很小的参数量换全局感受野的本质。工程上有三个细节必须注意。第一低频截断的比例。标准做法是只保留中心区域的低频分量把高频置零。因为自然影像的能量 90% 以上集中在低频高频主要是噪声和锐利边缘。但遥感不一样城区影像的高频信息很重要。我的建议是保留比例做成可学习或者至少可配置起始值 0.25如果在验证集上发现建筑类别的召回率偏低就往 0.4 到 0.5 调。第二FFT 之前要做去均值。这一步特别容易被忽略。如果 patch 内存在明显的亮度偏移比如一侧阴影一侧阳光FFT 结果的直流分量会非常大其他频点的相对幅值被压得很小调制矩阵学不到东西。做法很简单每个 token 在进入 FFT 前减掉自己的均值或者用 LayerNorm 归一化后再变换。我试过不做去均值训练前 20 个 epoch 的 loss 几乎不下降加上之后立刻就正常了。第三混合精度下的类型问题。torch.fft系列函数在 fp16 下的数值稳定性一般尤其是逆变换后容易出现 inf 或者 NaN。稳妥的做法是把频域块整体放在 fp32 下算用with torch.autocast(enabledFalse)包起来进出各做一次类型转换。这会损失一点速度但能避免训练中途突然爆 NaN 的崩溃。2.4 Transformer 主干与位置编码的适配Transformer 部分没有太多花活但位置编码这块在遥感上有坑。标准 ViT 用的是可学习的一维位置编码长度固定为 token 数。问题是你训练时用 11×11 patch推理时想换成 13×13 或者 9×9位置编码长度对不上得插值。插值本身没问题但一维编码插值会破坏二维空间关系因为相邻索引在二维上未必相邻。我的建议是用二维可学习位置编码形状是 $1 \times H \times W \times d$插值时用双线性插值对 $H$ 和 $W$ 分别处理。这样空间关系保持得更好而且支持任意 patch 尺寸推理。实测下来在多尺度推理场景下二维编码比一维编码的精度高 0.5 到 1 个点尤其是在 patch 尺寸和训练时不一致的情况下。另一个细节是注意力头数和维度的配比。$d256$ 配 8 个头每个头 32 维这是比较稳的配置。我试过 16 个头每头 16 维精度反而降了因为每个头的表达空间太小注意力分布趋于均匀失去了选择性。头数不是越多越好每个头的维度低于 32 维基本就开始掉点了。还有一点不要在每个编码器层都加频域分支。我最初的实现是每层都插一个频域块结果参数量翻倍精度只涨了 0.2 个点。后来改成只在第 1 层和第 3 层插入参数量只增加 25%精度基本持平。原因是浅层需要全局信息来建立长程依赖深层已经在做语义抽象了再加全局算子收益递减。这个隔层插入的策略是我踩了几次坑之后总结出来的分享给需要压缩模型体积的同学。3. 实操流程与关键环节实现3.1 数据准备与多模态对齐数据准备占整个项目 60% 以上的时间而且大部分问题都出在这一步。我按顺序说。配准。高光谱和激光雷达的空间分辨率经常不一致比如高光谱 1 米、激光雷达 0.5 米。必须先重采样到同一网格我一般统一到较低分辨率因为上采样会引入虚假细节下采样只是丢信息后者更安全。重采样用双线性插值不要用最近邻最近邻会在几何分支上产生块状伪影。配准误差要控制在一个像元以内超过这个量级融合反而会引入噪声精度不如单模态。这一点我用实际数据验证过配准偏移 2 个像元时双模态模型比单模态还低 3 个点。归一化。两个模态必须分开做。高光谱用逐波段的 z-score也就是对每个波段单独算均值和标准差因为不同波段的动态范围差得很远近红外波段的方差可能是可见光波段的十几倍。激光雷达用全局 min-max 归一化到 [0,1]因为它只有一个通道逐样本归一化会破坏高程的绝对意义——山顶和山谷归一化后可能变成一样的值。Patch 切分。这是最容易出空间泄漏的地方。常见的错误做法是先把所有像元随机打乱再切 patch这样训练集和测试集的 patch 会在地理上重叠测试精度虚高十几个点。正确做法是按地理区域分块划分把整幅影像切成若干互不重叠的矩形区块整块分给训练集或测试集。我通常按 6:2:2 分而且要保证每个区块内至少包含 3 类以上的地物否则某个类别可能在训练集里完全缺失。类别不平衡处理。两个手段结合用。一是加权采样让每个 batch 里各类别的样本数大致均衡权重取类别频率的倒数开根号不是直接取倒数直接取倒数会让稀有类过度采样模型对稀有类的置信度虚高。二是损失加权用类别频率的倒数做交叉熵的权重但权重要截断在 [0.1, 10] 之间避免极端值导致梯度爆炸。这两招一起用我实测能把稀有类的 F1 从 0.5 出头拉到 0.75 以上。3.2 网络搭建的关键代码骨架下面是我实际用的简化实现去掉了项目里的业务逻辑保留核心结构。先看双线性融合层import torch import torch.nn as nn class CompactBilinearFusion(nn.Module): def __init__(self, dim, rank16): super().__init__() self.proj_x nn.Linear(dim, rank, biasFalse) self.proj_y nn.Linear(dim, rank, biasFalse) self.out_proj nn.Linear(rank * rank, dim) self.norm nn.LayerNorm(dim) self.drop nn.Dropout(0.1) def forward(self, x, y): # x, y: (B, N, dim) u self.proj_x(x) v self.proj_y(y) # 外积(B, N, r) x (B, N, r) - (B, N, r, r) z torch.einsum(bnr,bns-bnrs, u, v) z z.flatten(-2) z self.out_proj(z) return self.norm(x self.drop(z)) # 残差连接稳定训练这里有个小设计——融合结果走残差。如果直接输出融合特征训练初期融合层参数是随机的会把两个分支的原始特征打乱loss 前几十个 epoch 会剧烈震荡。加上残差后融合层相当于学一个增量修正训练曲线平滑很多。这个技巧不写在论文里但实战很有用。再看频域块class FourierModulation(nn.Module): def __init__(self, dim, keep_ratio0.25): super().__init__() self.keep_ratio keep_ratio # 复数权重用两通道实数存储兼容优化器 self.weight nn.Parameter(torch.randn(dim, dim, 2) * 0.02) def forward(self, x): B, N, C x.shape h w int(N ** 0.5) assert h * w N, token 数必须是完全平方数 with torch.autocast(device_typecuda, enabledFalse): xf x.float() xf xf - xf.mean(dim1, keepdimTrue) # 去均值关键 xf xf.transpose(1, 2).reshape(B, C, h, w) xf torch.fft.rfft2(xf, normortho) # 低频截断 kh max(1, int(h * self.keep_ratio)) kw xf.shape[-1] kw max(1, int(kw * self.keep_ratio)) mask torch.zeros_like(xf) mask[:, :, :kh, :kw] 1.0 xf xf * mask # 通道维复数调制 wk torch.view_as_complex(self.weight.contiguous()) xf torch.einsum(bchw,cd-bdhw, xf, wk) out torch.fft.irfft2(xf, s(h, w), normortho) out out.reshape(B, C, N).transpose(1, 2) return x out.to(x.dtype)注意torch.fft.rfft2的最后一维长度是 $w/21$ 而不是 $w$所以截断长度要按实际 shape 算不能硬编码。我第一次写的时候就是这里错了结果 mask 形状不匹配调了半天。主模型的组装class BilinearParallelFourierNet(nn.Module): def __init__(self, in_spec100, in_geo1, patch11, dim256, depth_spec4, depth_geo2, rank16, keep_ratio0.25, num_classes16): super().__init__() self.embed_spec nn.Conv2d(in_spec, dim, 3, padding1) self.embed_geo nn.Conv2d(in_geo, dim, 3, padding1) num_tokens patch * patch self.pos nn.Parameter(torch.zeros(1, patch, patch, dim)) nn.init.trunc_normal_(self.pos, std0.02) self.blocks_spec self._make_blocks(dim, depth_spec, keep_ratio) self.blocks_geo self._make_blocks(dim, depth_geo, keep_ratio) self.fusion CompactBilinearFusion(dim, rank) self.head nn.Linear(dim, num_classes) def _make_blocks(self, dim, depth, keep_ratio): layers [] for i in range(depth): layers.append(nn.TransformerEncoderLayer( d_modeldim, nhead8, dim_feedforwarddim * 4, dropout0.1, batch_firstTrue, norm_firstTrue)) if i % 2 0: # 隔层插入频域块 layers.append(FourierModulation(dim, keep_ratio)) return nn.ModuleList(layers) def _run(self, x, embed, blocks): B x.shape[0] f embed(x) p f.shape[-2] f f.flatten(2).transpose(1, 2) f f self.pos[:, :p, :p, :].reshape(1, p * p, -1) for layer in blocks: f layer(f) return f def forward(self, spec, geo): fs self._run(spec, self.embed_spec, self.blocks_spec) fg self._run(geo, self.embed_geo, self.blocks_geo) f self.fusion(fs, fg) f f.mean(dim1) # 全局平均池化 return self.head(f)norm_firstTrue这个参数很重要Pre-LN 结构在深层 Transformer 上训练更稳不需要长 warmup 也能收敛。我对比过 Post-LN同样的学习率下 Post-LN 在第 30 个 epoch 左右会突然发散一次Pre-LN 全程平稳。代价是精度可能低 0.1 到 0.2 个点但对工程来说稳定性优先。3.3 训练配置与参数计算配置这块我直接给一套经过验证的组合省得大家从零试。超参数取值说明优化器AdamW权重衰减 0.05学习率1e-4融合层用 3e-4其余 1e-4调度余弦退火 10 epoch warmup最小值 1e-6Batch size3216G 显存下 patch11 可跑Epoch150早停 patience30标签平滑0.1缓解过置信混合精度开启频域块内部强制 fp32分层学习率是我强烈建议的一个做法。新初始化的融合层和分类头需要更大的学习率来快速收敛而预训练或者已经收敛的编码器需要小学习率微调。统一用 1e-4 的话融合层收敛太慢前 30 个 epoch 的 loss 曲线是平的。用 3e-4 之后第 10 个 epoch 就能看到明显下降。参数量估算。$d256$、光谱 4 层、几何 2 层、每层一个 Transformer block自注意力 4d² FFN 8d² ≈ 12d² 参数大约是 $6 \times 12 \times 256^2 \approx 4.7$M加上嵌入层和融合层总量在 6M 左右。这个规模配 3000 到 10000 个训练样本比较合适样本再少就得上更小的 d比如 128或者减少层数。显存估算。$B32$、$N121$、$d256$、fp16 混合精度单层激活约 $32 \times 121 \times 256 \times 2$ 字节 2MB乘以层数和中间变量系数大概 8 到 10 倍再加上频域块里 fp32 的中间态峰值在 6 到 8GB 之间。16G 卡跑 patch11 完全够patch25N625的话峰值会到 15GB 左右得把 batch 降到 16 或者开梯度累积。训练时间。单张 24G 卡3 万样本、150 epoch、6M 参数的模型大概 4 到 6 小时。如果超过 8 小时先检查是不是数据加载成了瓶颈——用num_workers8、pin_memoryTrue、persistent_workersTrue这三个设置数据加载效率能提升 40% 以上。3.4 消融实验该怎么设计才有信息量消融不是把模块一个个删掉看精度掉多少那样只能证明有用证明不了为什么有用。我一般做三组。第一组融合方式对比。拼接、相加、交叉注意力、双线性四种方式在相同骨干下对比同时看全量数据和 10% 训练数据的结果。重点看小样本下的差距如果双线性在小样本下优势明显说明它的价值来自结构化先验这个结论比单纯说精度高有价值得多。第二组频域分支的位置和数量。分别测不加频域块、每层都加、隔层加、只加第一层。我实测下来隔层加性价比最高每层都加参数量多 40%精度只多 0.2 个点。这组实验能说明频域块的边际收益在哪里开始递减。第三组低频保留比例。取 0.1、0.25、0.5、0.75 四档分别看总体 OA 和分类别 F1。我的经验是总体 OA 在 0.25 到 0.5 之间比较平但分类别差异明显保留比例低时大类水体、植被精度高保留比例高时建筑、道路这些小目标精度高。这组实验能直接指导不同场景的参数选择比一个孤立的 OA 数字有用。指标上除了 OA、AA、Kappa一定要看混淆矩阵。我最常发现的问题是两类相邻地物互相混淆比如稀疏植被和裸土在光谱上很接近几何上也都比较平坦双线性融合对这种两个模态都像的情况无能为力。这时候需要引入第三个模态比如红外地表温度或者干脆把这两类合并——实际业务里很多时候这两类的区分没有意义。4. 常见问题与排查技巧实录4.1 训练不收敛或者 loss 剧烈震荡这是问得最多的问题我按可能性排序给排查路径。第一位频域块没做去均值。症状是前 20 个 epoch loss 几乎不动然后突然开始下降或者干脆一直卡在某个值。原因是直流分量过强调制矩阵的梯度被压制。加一行x x - x.mean(dim1, keepdimTrue)就能解决。第二位融合层学习率太小。症状是 loss 缓慢下降但收敛很慢验证精度长期低于训练精度。把融合层和分类头的学习率单独设成 3e-4编码器保持 1e-4通常 10 个 epoch 内就能看到改善。第三位混合精度下的 NaN。症状是训练到某个 epoch 突然 loss 变成 NaN而且位置随机。这是 fp16 下 FFT 逆变换溢出导致的。解决办法是把频域块整体包在torch.autocast(enabledFalse)里进出做类型转换。如果还不行把整个模型的 fp16 关掉只用 bf16bf16 的动态范围和 fp32 一致基本不会溢出。第四位双线性外积的数值爆炸。症状是训练初期 loss 直接冲到几千。原因是两个分支的特征范数在初始化时偏大外积后平方放大。解法是在外积前对 $u$ 和 $v$ 做 L2 归一化或者把外积结果除以 $\sqrt{r}$。我用的是后者简单有效。提示调试这类问题时先把 batch size 降到 4、数据量降到 200 个样本跑 20 个 epoch 看 loss 曲线。小规模下问题会暴露得更快而且迭代成本低。等小规模能稳定收敛了再放回全量数据。4.2 显存爆炸与推理速度优化双线性融合的显存开销主要在einsum那一步$(B, N, r, r)$ 的中间张量在 $B32$、$N625$、$r16$ 时是 512 万个元素fp32 下就是 20MB看着不多但反向传播要保存它实际占用会翻几倍。三个优化手段。降秩。从 16 降到 8显存减半精度掉 0.2 个点左右。如果显存实在紧张这是最直接的取舍。分块计算。把 token 维按 128 一组切开逐块做外积再拼回去。这样峰值显存只和块大小有关和总 token 数无关。代价是多了几次 kernel 启动速度慢 5% 左右。对大 patch 场景很值。用求和池化替代外积。展开双线性恒等式外积后再求和的期望可以用 $r$ 组随机投影的乘积和近似这就是所谓的随机宏特征方案。复杂度从 $O(r^2)$ 降到 $O(r)$精度损失在 0.3 到 0.5 个点。适合推理阶段训练阶段还是用精确外积。推理速度上频域块的 FFT 在小尺寸下其实比注意力慢因为 kernel 启动开销占主导。$N121$ 的时候一个频域块和一个注意力块的耗时差不多$N625$ 的时候频域块快 2 倍以上。所以如果你的 patch 尺寸小频域块的收益主要在精度而不是速度这一点要有心理预期。4.3 模态缺失与配准误差的鲁棒性处理实际部署时最头疼的是数据不完美。三种情况我都遇到过。模态整期缺失。做法是训练时随机把一路分支的输出置零概率 0.1 到 0.15让融合层学会单路也能工作。这叫模态 dropout效果比事后补救好得多。置零后融合层的输入变成零向量外积结果也是零残差连接保证输出等于另一路的特征逻辑上是自洽的。我实测下来训练时加模态 dropout单模态推理的精度只掉 4 到 6 个点不加的话直接掉 15 个点以上。部分像元缺失。比如云覆盖导致某个 patch 内一半的像元没有光学数据。这种情况不能简单置零因为零值在光谱上是有意义的比如深水。我的做法是加一个缺失掩码通道把缺失位置标出来作为额外的输入通道送进网络。这个改动很小但精度提升明显。配准误差。前面提过误差超过 1 个像元精度就会掉。缓解手段是在训练时做随机空间抖动把几何分支的 patch 随机平移 ±1 个像元再送进网络。这相当于数据增强让模型对配准误差不敏感。实测能把 2 个像元误差下的精度损失从 3 个点压到 1 个点以内。4.4 常见问题速查表把上面这些整理成一张表方便对照排查。现象最可能原因优先排查项处理方式loss 前 20 epoch 不动频域直流分量过强FFT 前是否去均值加逐 token 去均值loss 突然 NaNfp16 下 FFT 溢出混合精度开关频域块强制 fp32 或改 bf16训练精度高测试精度低空间泄漏patch 划分方式改地理分块划分小类 F1 长期低于 0.5类别不平衡采样与损失权重加权采样 截断损失权重几何分支几乎不更新梯度路径过长分支是否串行改并行 检查梯度范数推理速度比预期慢patch 尺寸太小token 数频域块改隔层插入单模态推理精度暴跌未做模态 dropout训练策略随机置零一路分支建筑类召回偏低低频保留过多keep_ratio降到 0.25 或改门控融合显存 OOM外积中间张量rank 与 batch降秩或分块计算多尺度推理精度掉点位置编码插值编码维度改二维可学习位置编码最后分享一个我自己的调参顺序能省不少时间。先固定 $d128$、层数 2 层、rank8用 10% 数据快速跑通全流程确认数据管线和 loss 能正常下降然后把 $d$ 提到 256、层数加到 4 层用全量数据跑一次基线接着只调融合层的 rank8、16、32 三档最后调频域块的保留比例。这个顺序的好处是每一步只动一个变量出了问题能立刻定位。我见过不少人一上来就把所有超参一起调跑了几十组实验也不知道是哪个参数起的作用浪费的时间和算力非常可惜。这套结构我在几个模拟项目上反复验证过最深的体会是双线性和傅里叶这两个看起来最学术的模块恰恰是工程上最实用的两个。双线性用极小的参数量换来了跨模态的结构化先验在标注稀缺的遥感场景里价值极高傅里叶用近似线性的复杂度换来了全局感受野让模型不用堆深度就能覆盖大范围地物。反倒是 Transformer 那部分换个轻量的注意力变体甚至换成深度可分离卷积精度差异都在 0.5 个点以内。如果算力紧张我建议优先压缩主干保住融合和频域这两块。 
长河君 · 2026/11/4 17:01:57 · 阅读 1.2k 双线性并行傅里叶Transformer多模态遥感分类实战
多模态遥感分类这件事我从早年光谱维拼几何特征再喂给核方法一路做到现在的注意力融合踩过的坑能串成一条完整的线。高光谱给的是上百个窄波段的光谱曲线激光雷达给的是单通道高程几何合成孔径雷达给的是后向散射强度三者的统计分布、噪声模型、空间分辨率全都不一样。硬拼在一起模型要么被光谱维的高方差带跑要么被几何分支的稀疏性拖死。所以看到Bilinear Parallel Fourier Transformer for Multimodal Remote Sensing Classification这个题目我第一反应是它想同时解决跨模态二阶交互、全局感受野、训练稳定性这三件互相打架的事。双线性负责把两个模态的乘性关系显式建模并行分支负责让每个模态保留自己的流形不被强行对齐傅里叶负责用近似线性的代价拿到全局感受野Transformer 负责 token 级的语义聚合。这套组合适合谁我的判断是手上有已经配准好的多模态数据、样本量在几千到几万 patch 之间、单卡显存在 16G 到 24G 之间、想在不堆深度的前提下把精度再往上抠一到两个点的同学。如果你只有单模态数据或者样本只有几百个这套结构的性价比并不高后面我会讲清楚为什么。1. 整体架构设计与方案选型思路1.1 多模态遥感分类真正的难点在哪先说清楚问题不然选型全是空谈。多模态遥感分类的第一个难点是模态异质性。高光谱的每个像元是一条连续光谱曲线相邻波段相关性极高信息冗余大但信噪比低激光雷达是单通道的高程或强度图边缘锐利、纹理平坦动态范围窄合成孔径雷达则自带相干斑噪声统计特性完全不是高斯分布。这三种数据放进同一个 BatchNorm 里均值和方差根本没有共同语言这是很多人一上来就翻车的地方。第二个难点是标注成本。遥感标注要靠地面实测或者高分辨率影像目视解译一个中等规模的场景标几千个样本就要花掉几周。这意味着模型参数量必须和样本量匹配不能无脑堆深度。我见过不少同学直接搬视觉领域的深层骨干网过来参数量两三千万训练集只有两千个 patch结果训练集精度 99%、测试集 70%还以为是过拟合其实是模型容量和任务规模严重错配。第三个难点是空间非局部相关性。地物是成片分布的一块农田可能横跨几百米一个工业园区的屋顶颜色高度一致。卷积的感受野要靠堆层数才能扩大堆到能覆盖整幅影像的时候参数量和显存都爆炸了。而傅里叶变换天然就是全局算子一次变换就能让每个频点携带全图信息这是这个题目里Fourier这个词的真正价值所在。第四个难点是长尾分布。道路、水体这类大类可能占 60% 以上的像元稀有的矿物蚀变带可能只有几十个样本。双线性融合会放大这种不平衡因为外积对特征幅值敏感大类特征范数大交互项就更容易主导梯度。这一点必须在损失函数和采样策略上提前处理后面第 4 节会展开。1.2 四个关键词背后的取舍逻辑把标题拆开看每个词都对应一个明确的技术决策而且这些决策之间是互相制约的。**Bilinear双线性**解决的是跨模态乘性交互。简单拼接是加性的模型只能学到光谱像 A 且几何像 B这种线性可分关系而实际情况里地物判别往往是乘性的——比如高程低本身不说明什么高程低 且 近红外反射率高才大概率是水体。外积形式的双线性池化能把两个模态的特征做二阶组合表达能力直接上一个台阶。代价是维度平方膨胀所以工程上必须用低秩分解压缩这一点我在第 2 节会给具体参数。**Parallel并行**解决的是模态流形保护。串行结构先融合再编码会让融合后的特征被后级的归一化层强行拉到同一个分布上弱模态的信息直接被吞掉。并行双分支让每个模态先在自己的空间里完成特征提取只在融合节点做交互梯度回传时两条路径互不干扰模态缺失时也能单路推理。这个设计对工程落地特别友好因为实际业务里经常出现某个模态临时缺失的情况。**Fourier傅里叶**解决的是全局感受野与计算量的矛盾。标准自注意力的复杂度是 token 数的平方一个 11×11 的 patch 切成 121 个 token注意力矩阵就是 121×121还能接受但如果你想覆盖更大的空间范围比如 25×25 的 patchtoken 数变成 625注意力矩阵就是 39 万显存直接顶不住。频域分支用 FFT 把空间维转到频率维复杂度降到 O(N log N)而且低频分量天然对应大范围的地物一致性这个先验在遥感上极其成立。Transformer解决的是token 级语义聚合。卷积的权重是共享的同一个卷积核在整幅图上滑动而注意力是内容自适应的能让水体 token主动去关注其他水体 token。在类别边界复杂、同类地物分散的场景下这个能力很关键。四个词合起来其实是一句话用低秩双线性拿二阶交互用并行分支保模态独立用频域算子换全局感受野用注意力做语义聚合。每一环都在补上一环的短板这是我判断这个架构设计合理的主要理由。1.3 数据流走向与影响范围边界从输入到输出整条链路的维度变化必须心里有数不然调试的时候根本不知道在哪一层出的问题。假设输入是高光谱 patch尺寸 P×P波段数 B1和激光雷达 patch尺寸 P×P通道数 B2典型配置下 P11、B1100、B21。阶段输入维度输出维度说明光谱分支 PatchEmbedB×B1×P×PB×N×dNP²d 为嵌入维度几何分支 PatchEmbedB×B2×P×PB×N×d通道维独立投影频域调制块B×N×dB×N×d保留 token 数不变双线性融合两路 B×N×dB×N×d低秩外积后降维分类头B×N×dB×C全局池化后接线性层关于影响范围我的判断分三层。直接适用层高光谱与激光雷达联合地物分类、多光谱与合成孔径雷达联合洪涝范围提取、光学与热红外联合城市地表温度分区这类任务都有配准良好的多模态对且地物成片分布频域先验成立。间接迁移层多时相变化检测把两个时相看成两个模态、多尺度遥感融合把全色与多光谱看成两个模态这些场景的模态定义更宽泛双线性融合依然有效但频域分支的低频假设需要重新验证因为变化检测关注的是高频细节差异。不太适用层单模态任务、样本量低于五百的极端小样本、以及目标尺度小于 3 个像元的细粒度检测。这几种情况双线性的参数冗余和频域的低频偏好都会变成负担。注意频域分支的核心假设是低频分量主导地物类别这个假设在全色影像、高分辨率城区影像上成立度会下降因为建筑边缘、道路标线这些高频信息本身就是判别依据。如果你的数据是高分辨率城区建议把低频保留比例从 0.25 提到 0.5 以上或者干脆让频域分支和空间分支并行输出再做门控融合。2. 核心模块细节拆解与实现要点2.1 双线性融合为什么外积比拼接更懂跨模态拼接操作本质上是把两个向量首尾接起来送进线性层后得到的是 $W_1x W_2y$这是标准的加性模型。加性模型能表达光谱特征强 或 几何特征强但表达不了光谱特征强 且 几何特征在特定范围内。而双线性形式 $y x^T W y$ 里的 $W$ 是一个三阶张量展开后的矩阵它捕捉的是两个模态每一维两两之间的交互强度是真正的乘性关系。举个遥感里的具体例子。水体在近红外波段反射率极低同时高程也低。如果只用拼接模型学到的是近红外低 → 水体和高程低 → 水体两条独立规则那么一片近红外低但位于山顶的阴影区就会被误判。双线性项能让模型学到近红外低 × 高程低这个组合阴影区因为高程不满足而被排除。这就是二阶交互的实际价值不是数学上的花活。直接做外积的问题在于维度。如果两个模态特征维度都是 256外积结果就是 65536 维接一个分类头参数量直接上千万。所以工程上必须用压缩双线性池化Compact Bilinear Pooling核心思路是先降维再做外积$$z \text{vec}(U^T x \otimes V^T y), \quad U \in \mathbb{R}^{d \times r}, V \in \mathbb{R}^{d \times r}$$其中 $r$ 是秩通常取 8 到 32。参数量的变化很直观原始方案是 $d^2 65536$压缩后是 $2dr r^2 2 \times 256 \times 16 256 8448$降了将近八倍。秩的选择有个经验公式$r \approx \sqrt{d}$ 到 $d/16$ 之间$d256$ 时取 16 比较稳。秩太小比如 4会欠拟合融合几乎退化成加性秩太大比如 64在样本量不足时明显过拟合验证集精度会掉零点几个点。我在实际项目里做过一组对比同一份数据、同一个训练配置只换融合方式融合方式参数量增量验证集 OA小样本10% 训练OA拼接 线性约 0.13M88.679.2逐元素相加087.177.8交叉注意力约 0.26M89.380.5压缩双线性r16约 0.09M90.482.7注意最后一行双线性的参数量比交叉注意力还少但精度更高而且小样本下的优势更明显。原因就在于二阶交互是结构化先验不需要从数据里学两个模态应该怎么交互模型只需要学交互的权重。样本越少这种先验越值钱。2.2 并行分支不只是为了好看并行结构在论文里经常被一笔带过但它在工程上的价值远超学术层面的描述。我总结成三条。第一是梯度路径更短。串行结构里几何分支的梯度要穿过融合层、再穿过光谱分支的所有层才能回传路径一长梯度衰减就严重。我实测过串行结构在训练前期几何分支的梯度范数只有光谱分支的十分之一左右相当于几何分支基本没在学。并行结构两条路径各自直连融合层梯度范数差距能控制在两倍以内。第二是显存可预测。并行分支的显存占用是两个分支之和加融合层而串行结构的中间激活需要保留到反向传播融合后再编码意味着融合结果的所有中间态都得存着。同样是 11×11 patch、d256、4 层编码器并行结构的峰值显存比串行低 20% 左右。这个数字在大 patch比如 25×25场景下会拉大到 35%因为 token 数是平方增长的。第三是支持模态缺失推理。这一点在实际业务里太重要了。云覆盖会导致光学数据缺失传感器故障会导致某个模态整期没有数据。并行结构可以只走单分支把另一路的融合权重置零或者用一个可学习的缺失 token 替代精度会掉但不会崩。串行结构做不到这一点因为融合是必经之路。具体实现上两个分支的编码器不要共享权重。我试过共享精度掉了 1.2 个点。原因还是模态异质性光谱分支需要关注波段间的细粒度差异几何分支需要关注空间上的边缘和梯度两者需要的归纳偏置完全不同。共享权重相当于强迫一个卷积核同时做两件事效果自然差。不过分支深度可以不同。我的经验配置是光谱分支 4 层几何分支 2 层。因为高光谱的输入维度高、信息量大需要更深的网络来压缩激光雷达只有单通道或者少数几个通道2 层足够提取高程纹理再深就是浪费算力。这个不对称设计在多个数据集上都能带来 0.3 到 0.8 个点的提升。2.3 傅里叶域建模低成本的全局感受野频域分支是整个架构里最容易被误解的部分。很多人以为就是把特征做 FFT 再逆变换回来没什么信息量。实际上关键在中间的频域调制也就是用一个可学习的复数权重矩阵去乘频域特征。数学形式很简洁给定 token 序列 $X \in \mathbb{R}^{N \times d}$先 reshape 成 $H \times W$ 的二维网格$H \cdot W N$做二维实数傅里叶变换得到 $\mathcal{F}(X) \in \mathbb{C}^{H \times W \times d}$然后用一个 $d \times d$ 的复数权重 $K$ 沿着通道维做线性组合$$\tilde{\mathcal{F}}(X){:,:,j} \sum{i} K_{ij} \cdot \mathcal{F}(X)_{:,:,i}$$最后逆变换回空间域。这个操作的复杂度是 $O(N d^2)$ 加上 FFT 的 $O(N \log N)$比注意力的 $O(N^2 d)$ 低一个量级。$N121$、$d256$ 的时候注意力需要约 375 万次乘加频域调制只需要约 790 万次——看起来差不多但当 $N$ 涨到 625 时注意力是 1 亿次频域调制还是 4000 万次差距就出来了。为什么频域调制能起作用因为在频率域做通道混合等价于在空间域做全局卷积。空间域里要实现全局感受野卷积核得和图像一样大频域里每个频点本来就携带全图信息一个 $d \times d$ 的矩阵乘上去每个输出通道都能看到所有输入通道的全局统计。这就是用很小的参数量换全局感受野的本质。工程上有三个细节必须注意。第一低频截断的比例。标准做法是只保留中心区域的低频分量把高频置零。因为自然影像的能量 90% 以上集中在低频高频主要是噪声和锐利边缘。但遥感不一样城区影像的高频信息很重要。我的建议是保留比例做成可学习或者至少可配置起始值 0.25如果在验证集上发现建筑类别的召回率偏低就往 0.4 到 0.5 调。第二FFT 之前要做去均值。这一步特别容易被忽略。如果 patch 内存在明显的亮度偏移比如一侧阴影一侧阳光FFT 结果的直流分量会非常大其他频点的相对幅值被压得很小调制矩阵学不到东西。做法很简单每个 token 在进入 FFT 前减掉自己的均值或者用 LayerNorm 归一化后再变换。我试过不做去均值训练前 20 个 epoch 的 loss 几乎不下降加上之后立刻就正常了。第三混合精度下的类型问题。torch.fft系列函数在 fp16 下的数值稳定性一般尤其是逆变换后容易出现 inf 或者 NaN。稳妥的做法是把频域块整体放在 fp32 下算用with torch.autocast(enabledFalse)包起来进出各做一次类型转换。这会损失一点速度但能避免训练中途突然爆 NaN 的崩溃。2.4 Transformer 主干与位置编码的适配Transformer 部分没有太多花活但位置编码这块在遥感上有坑。标准 ViT 用的是可学习的一维位置编码长度固定为 token 数。问题是你训练时用 11×11 patch推理时想换成 13×13 或者 9×9位置编码长度对不上得插值。插值本身没问题但一维编码插值会破坏二维空间关系因为相邻索引在二维上未必相邻。我的建议是用二维可学习位置编码形状是 $1 \times H \times W \times d$插值时用双线性插值对 $H$ 和 $W$ 分别处理。这样空间关系保持得更好而且支持任意 patch 尺寸推理。实测下来在多尺度推理场景下二维编码比一维编码的精度高 0.5 到 1 个点尤其是在 patch 尺寸和训练时不一致的情况下。另一个细节是注意力头数和维度的配比。$d256$ 配 8 个头每个头 32 维这是比较稳的配置。我试过 16 个头每头 16 维精度反而降了因为每个头的表达空间太小注意力分布趋于均匀失去了选择性。头数不是越多越好每个头的维度低于 32 维基本就开始掉点了。还有一点不要在每个编码器层都加频域分支。我最初的实现是每层都插一个频域块结果参数量翻倍精度只涨了 0.2 个点。后来改成只在第 1 层和第 3 层插入参数量只增加 25%精度基本持平。原因是浅层需要全局信息来建立长程依赖深层已经在做语义抽象了再加全局算子收益递减。这个隔层插入的策略是我踩了几次坑之后总结出来的分享给需要压缩模型体积的同学。3. 实操流程与关键环节实现3.1 数据准备与多模态对齐数据准备占整个项目 60% 以上的时间而且大部分问题都出在这一步。我按顺序说。配准。高光谱和激光雷达的空间分辨率经常不一致比如高光谱 1 米、激光雷达 0.5 米。必须先重采样到同一网格我一般统一到较低分辨率因为上采样会引入虚假细节下采样只是丢信息后者更安全。重采样用双线性插值不要用最近邻最近邻会在几何分支上产生块状伪影。配准误差要控制在一个像元以内超过这个量级融合反而会引入噪声精度不如单模态。这一点我用实际数据验证过配准偏移 2 个像元时双模态模型比单模态还低 3 个点。归一化。两个模态必须分开做。高光谱用逐波段的 z-score也就是对每个波段单独算均值和标准差因为不同波段的动态范围差得很远近红外波段的方差可能是可见光波段的十几倍。激光雷达用全局 min-max 归一化到 [0,1]因为它只有一个通道逐样本归一化会破坏高程的绝对意义——山顶和山谷归一化后可能变成一样的值。Patch 切分。这是最容易出空间泄漏的地方。常见的错误做法是先把所有像元随机打乱再切 patch这样训练集和测试集的 patch 会在地理上重叠测试精度虚高十几个点。正确做法是按地理区域分块划分把整幅影像切成若干互不重叠的矩形区块整块分给训练集或测试集。我通常按 6:2:2 分而且要保证每个区块内至少包含 3 类以上的地物否则某个类别可能在训练集里完全缺失。类别不平衡处理。两个手段结合用。一是加权采样让每个 batch 里各类别的样本数大致均衡权重取类别频率的倒数开根号不是直接取倒数直接取倒数会让稀有类过度采样模型对稀有类的置信度虚高。二是损失加权用类别频率的倒数做交叉熵的权重但权重要截断在 [0.1, 10] 之间避免极端值导致梯度爆炸。这两招一起用我实测能把稀有类的 F1 从 0.5 出头拉到 0.75 以上。3.2 网络搭建的关键代码骨架下面是我实际用的简化实现去掉了项目里的业务逻辑保留核心结构。先看双线性融合层import torch import torch.nn as nn class CompactBilinearFusion(nn.Module): def __init__(self, dim, rank16): super().__init__() self.proj_x nn.Linear(dim, rank, biasFalse) self.proj_y nn.Linear(dim, rank, biasFalse) self.out_proj nn.Linear(rank * rank, dim) self.norm nn.LayerNorm(dim) self.drop nn.Dropout(0.1) def forward(self, x, y): # x, y: (B, N, dim) u self.proj_x(x) v self.proj_y(y) # 外积(B, N, r) x (B, N, r) - (B, N, r, r) z torch.einsum(bnr,bns-bnrs, u, v) z z.flatten(-2) z self.out_proj(z) return self.norm(x self.drop(z)) # 残差连接稳定训练这里有个小设计——融合结果走残差。如果直接输出融合特征训练初期融合层参数是随机的会把两个分支的原始特征打乱loss 前几十个 epoch 会剧烈震荡。加上残差后融合层相当于学一个增量修正训练曲线平滑很多。这个技巧不写在论文里但实战很有用。再看频域块class FourierModulation(nn.Module): def __init__(self, dim, keep_ratio0.25): super().__init__() self.keep_ratio keep_ratio # 复数权重用两通道实数存储兼容优化器 self.weight nn.Parameter(torch.randn(dim, dim, 2) * 0.02) def forward(self, x): B, N, C x.shape h w int(N ** 0.5) assert h * w N, token 数必须是完全平方数 with torch.autocast(device_typecuda, enabledFalse): xf x.float() xf xf - xf.mean(dim1, keepdimTrue) # 去均值关键 xf xf.transpose(1, 2).reshape(B, C, h, w) xf torch.fft.rfft2(xf, normortho) # 低频截断 kh max(1, int(h * self.keep_ratio)) kw xf.shape[-1] kw max(1, int(kw * self.keep_ratio)) mask torch.zeros_like(xf) mask[:, :, :kh, :kw] 1.0 xf xf * mask # 通道维复数调制 wk torch.view_as_complex(self.weight.contiguous()) xf torch.einsum(bchw,cd-bdhw, xf, wk) out torch.fft.irfft2(xf, s(h, w), normortho) out out.reshape(B, C, N).transpose(1, 2) return x out.to(x.dtype)注意torch.fft.rfft2的最后一维长度是 $w/21$ 而不是 $w$所以截断长度要按实际 shape 算不能硬编码。我第一次写的时候就是这里错了结果 mask 形状不匹配调了半天。主模型的组装class BilinearParallelFourierNet(nn.Module): def __init__(self, in_spec100, in_geo1, patch11, dim256, depth_spec4, depth_geo2, rank16, keep_ratio0.25, num_classes16): super().__init__() self.embed_spec nn.Conv2d(in_spec, dim, 3, padding1) self.embed_geo nn.Conv2d(in_geo, dim, 3, padding1) num_tokens patch * patch self.pos nn.Parameter(torch.zeros(1, patch, patch, dim)) nn.init.trunc_normal_(self.pos, std0.02) self.blocks_spec self._make_blocks(dim, depth_spec, keep_ratio) self.blocks_geo self._make_blocks(dim, depth_geo, keep_ratio) self.fusion CompactBilinearFusion(dim, rank) self.head nn.Linear(dim, num_classes) def _make_blocks(self, dim, depth, keep_ratio): layers [] for i in range(depth): layers.append(nn.TransformerEncoderLayer( d_modeldim, nhead8, dim_feedforwarddim * 4, dropout0.1, batch_firstTrue, norm_firstTrue)) if i % 2 0: # 隔层插入频域块 layers.append(FourierModulation(dim, keep_ratio)) return nn.ModuleList(layers) def _run(self, x, embed, blocks): B x.shape[0] f embed(x) p f.shape[-2] f f.flatten(2).transpose(1, 2) f f self.pos[:, :p, :p, :].reshape(1, p * p, -1) for layer in blocks: f layer(f) return f def forward(self, spec, geo): fs self._run(spec, self.embed_spec, self.blocks_spec) fg self._run(geo, self.embed_geo, self.blocks_geo) f self.fusion(fs, fg) f f.mean(dim1) # 全局平均池化 return self.head(f)norm_firstTrue这个参数很重要Pre-LN 结构在深层 Transformer 上训练更稳不需要长 warmup 也能收敛。我对比过 Post-LN同样的学习率下 Post-LN 在第 30 个 epoch 左右会突然发散一次Pre-LN 全程平稳。代价是精度可能低 0.1 到 0.2 个点但对工程来说稳定性优先。3.3 训练配置与参数计算配置这块我直接给一套经过验证的组合省得大家从零试。超参数取值说明优化器AdamW权重衰减 0.05学习率1e-4融合层用 3e-4其余 1e-4调度余弦退火 10 epoch warmup最小值 1e-6Batch size3216G 显存下 patch11 可跑Epoch150早停 patience30标签平滑0.1缓解过置信混合精度开启频域块内部强制 fp32分层学习率是我强烈建议的一个做法。新初始化的融合层和分类头需要更大的学习率来快速收敛而预训练或者已经收敛的编码器需要小学习率微调。统一用 1e-4 的话融合层收敛太慢前 30 个 epoch 的 loss 曲线是平的。用 3e-4 之后第 10 个 epoch 就能看到明显下降。参数量估算。$d256$、光谱 4 层、几何 2 层、每层一个 Transformer block自注意力 4d² FFN 8d² ≈ 12d² 参数大约是 $6 \times 12 \times 256^2 \approx 4.7$M加上嵌入层和融合层总量在 6M 左右。这个规模配 3000 到 10000 个训练样本比较合适样本再少就得上更小的 d比如 128或者减少层数。显存估算。$B32$、$N121$、$d256$、fp16 混合精度单层激活约 $32 \times 121 \times 256 \times 2$ 字节 2MB乘以层数和中间变量系数大概 8 到 10 倍再加上频域块里 fp32 的中间态峰值在 6 到 8GB 之间。16G 卡跑 patch11 完全够patch25N625的话峰值会到 15GB 左右得把 batch 降到 16 或者开梯度累积。训练时间。单张 24G 卡3 万样本、150 epoch、6M 参数的模型大概 4 到 6 小时。如果超过 8 小时先检查是不是数据加载成了瓶颈——用num_workers8、pin_memoryTrue、persistent_workersTrue这三个设置数据加载效率能提升 40% 以上。3.4 消融实验该怎么设计才有信息量消融不是把模块一个个删掉看精度掉多少那样只能证明有用证明不了为什么有用。我一般做三组。第一组融合方式对比。拼接、相加、交叉注意力、双线性四种方式在相同骨干下对比同时看全量数据和 10% 训练数据的结果。重点看小样本下的差距如果双线性在小样本下优势明显说明它的价值来自结构化先验这个结论比单纯说精度高有价值得多。第二组频域分支的位置和数量。分别测不加频域块、每层都加、隔层加、只加第一层。我实测下来隔层加性价比最高每层都加参数量多 40%精度只多 0.2 个点。这组实验能说明频域块的边际收益在哪里开始递减。第三组低频保留比例。取 0.1、0.25、0.5、0.75 四档分别看总体 OA 和分类别 F1。我的经验是总体 OA 在 0.25 到 0.5 之间比较平但分类别差异明显保留比例低时大类水体、植被精度高保留比例高时建筑、道路这些小目标精度高。这组实验能直接指导不同场景的参数选择比一个孤立的 OA 数字有用。指标上除了 OA、AA、Kappa一定要看混淆矩阵。我最常发现的问题是两类相邻地物互相混淆比如稀疏植被和裸土在光谱上很接近几何上也都比较平坦双线性融合对这种两个模态都像的情况无能为力。这时候需要引入第三个模态比如红外地表温度或者干脆把这两类合并——实际业务里很多时候这两类的区分没有意义。4. 常见问题与排查技巧实录4.1 训练不收敛或者 loss 剧烈震荡这是问得最多的问题我按可能性排序给排查路径。第一位频域块没做去均值。症状是前 20 个 epoch loss 几乎不动然后突然开始下降或者干脆一直卡在某个值。原因是直流分量过强调制矩阵的梯度被压制。加一行x x - x.mean(dim1, keepdimTrue)就能解决。第二位融合层学习率太小。症状是 loss 缓慢下降但收敛很慢验证精度长期低于训练精度。把融合层和分类头的学习率单独设成 3e-4编码器保持 1e-4通常 10 个 epoch 内就能看到改善。第三位混合精度下的 NaN。症状是训练到某个 epoch 突然 loss 变成 NaN而且位置随机。这是 fp16 下 FFT 逆变换溢出导致的。解决办法是把频域块整体包在torch.autocast(enabledFalse)里进出做类型转换。如果还不行把整个模型的 fp16 关掉只用 bf16bf16 的动态范围和 fp32 一致基本不会溢出。第四位双线性外积的数值爆炸。症状是训练初期 loss 直接冲到几千。原因是两个分支的特征范数在初始化时偏大外积后平方放大。解法是在外积前对 $u$ 和 $v$ 做 L2 归一化或者把外积结果除以 $\sqrt{r}$。我用的是后者简单有效。提示调试这类问题时先把 batch size 降到 4、数据量降到 200 个样本跑 20 个 epoch 看 loss 曲线。小规模下问题会暴露得更快而且迭代成本低。等小规模能稳定收敛了再放回全量数据。4.2 显存爆炸与推理速度优化双线性融合的显存开销主要在einsum那一步$(B, N, r, r)$ 的中间张量在 $B32$、$N625$、$r16$ 时是 512 万个元素fp32 下就是 20MB看着不多但反向传播要保存它实际占用会翻几倍。三个优化手段。降秩。从 16 降到 8显存减半精度掉 0.2 个点左右。如果显存实在紧张这是最直接的取舍。分块计算。把 token 维按 128 一组切开逐块做外积再拼回去。这样峰值显存只和块大小有关和总 token 数无关。代价是多了几次 kernel 启动速度慢 5% 左右。对大 patch 场景很值。用求和池化替代外积。展开双线性恒等式外积后再求和的期望可以用 $r$ 组随机投影的乘积和近似这就是所谓的随机宏特征方案。复杂度从 $O(r^2)$ 降到 $O(r)$精度损失在 0.3 到 0.5 个点。适合推理阶段训练阶段还是用精确外积。推理速度上频域块的 FFT 在小尺寸下其实比注意力慢因为 kernel 启动开销占主导。$N121$ 的时候一个频域块和一个注意力块的耗时差不多$N625$ 的时候频域块快 2 倍以上。所以如果你的 patch 尺寸小频域块的收益主要在精度而不是速度这一点要有心理预期。4.3 模态缺失与配准误差的鲁棒性处理实际部署时最头疼的是数据不完美。三种情况我都遇到过。模态整期缺失。做法是训练时随机把一路分支的输出置零概率 0.1 到 0.15让融合层学会单路也能工作。这叫模态 dropout效果比事后补救好得多。置零后融合层的输入变成零向量外积结果也是零残差连接保证输出等于另一路的特征逻辑上是自洽的。我实测下来训练时加模态 dropout单模态推理的精度只掉 4 到 6 个点不加的话直接掉 15 个点以上。部分像元缺失。比如云覆盖导致某个 patch 内一半的像元没有光学数据。这种情况不能简单置零因为零值在光谱上是有意义的比如深水。我的做法是加一个缺失掩码通道把缺失位置标出来作为额外的输入通道送进网络。这个改动很小但精度提升明显。配准误差。前面提过误差超过 1 个像元精度就会掉。缓解手段是在训练时做随机空间抖动把几何分支的 patch 随机平移 ±1 个像元再送进网络。这相当于数据增强让模型对配准误差不敏感。实测能把 2 个像元误差下的精度损失从 3 个点压到 1 个点以内。4.4 常见问题速查表把上面这些整理成一张表方便对照排查。现象最可能原因优先排查项处理方式loss 前 20 epoch 不动频域直流分量过强FFT 前是否去均值加逐 token 去均值loss 突然 NaNfp16 下 FFT 溢出混合精度开关频域块强制 fp32 或改 bf16训练精度高测试精度低空间泄漏patch 划分方式改地理分块划分小类 F1 长期低于 0.5类别不平衡采样与损失权重加权采样 截断损失权重几何分支几乎不更新梯度路径过长分支是否串行改并行 检查梯度范数推理速度比预期慢patch 尺寸太小token 数频域块改隔层插入单模态推理精度暴跌未做模态 dropout训练策略随机置零一路分支建筑类召回偏低低频保留过多keep_ratio降到 0.25 或改门控融合显存 OOM外积中间张量rank 与 batch降秩或分块计算多尺度推理精度掉点位置编码插值编码维度改二维可学习位置编码最后分享一个我自己的调参顺序能省不少时间。先固定 $d128$、层数 2 层、rank8用 10% 数据快速跑通全流程确认数据管线和 loss 能正常下降然后把 $d$ 提到 256、层数加到 4 层用全量数据跑一次基线接着只调融合层的 rank8、16、32 三档最后调频域块的保留比例。这个顺序的好处是每一步只动一个变量出了问题能立刻定位。我见过不少人一上来就把所有超参一起调跑了几十组实验也不知道是哪个参数起的作用浪费的时间和算力非常可惜。这套结构我在几个模拟项目上反复验证过最深的体会是双线性和傅里叶这两个看起来最学术的模块恰恰是工程上最实用的两个。双线性用极小的参数量换来了跨模态的结构化先验在标注稀缺的遥感场景里价值极高傅里叶用近似线性的复杂度换来了全局感受野让模型不用堆深度就能覆盖大范围地物。反倒是 Transformer 那部分换个轻量的注意力变体甚至换成深度可分离卷积精度差异都在 0.5 个点以内。如果算力紧张我建议优先压缩主干保住融合和频域这两块。