多模态融合何时失效ACM MM 2026 · CoReFuse-Med多模态并不是越多越好。当MRI已经空间对齐但是T1、T2、FLAIR等模态的采样质量差别很大时低质量模态可能会把高质量模态中产生的重采样伪影一起带入到融合网络中去。CoReFuse-Med从浅层污染和深层模态偏置这两个方面来对症下药地进行修复。论文标题When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation作者Yuchen Pei, Xiaoyu Hu, Yixiong Zou, Dingwen Hu, Hui Chu, Yutao Ma, Shijun Qiu, Gang Li单位华中师范大学、华中科技大学、广州中医药大学及其第一附属医院、北卡罗来纳大学教堂山分校论文链接https://arxiv.org/abs/2609.10261代码链接https://github.com/lrever/CoReFuse01对齐好了但是融合为什么还不能成功呢FUSION FAILURE · FIG. 1论文在IH EPVS数据集中对高分辨率T1单模态DSC进行了观察并发现了一个出乎意料的结果高分辨率T1单模态DSC为0.703融合T1、T2 和 FLAIR 后反而降到大约 0.695。空间对齐并不等同于信息质量的一致性。低分辨率序列经过重采样之后其图像和T1同大小但是可能会含有不可靠的信息。三个证据污染和偏见作者把问题限定在了分辨率不同所引起的质量问题下降上并没有涉及到未对齐或者模态全部缺失的情况。首先比较浅层特征的F-CNR然后联合训练梯度和遮挡测试最后跟踪跳跃连接的噪声传播由此可以解释为什么“弱训练贡献”也有可能是“强推理干扰”。证据一低分辨率产生噪声论文中提出的特征对比噪声比F-CNR用病灶区和背景区的均值之差除以背景区的标准差来衡量可分性。第三页特征可视化显示T1的F-CNR值是1.0283T2的F-CNR值是0.4301FLAIR的F-CNR值只有0.2980T1 约为 FLAIR 的 3.4 倍。即使从几何上来说是重合的但是浅层表征的可靠性却不一样。式(1)F-CNR病灶和背景特征可以区分证据二优化和推理不一致在EPVS的3D U-Net中T1占据了77.4%的梯度贡献FLAIR只占到了13.1%但是遮挡FLAIR会使DSC降低70.2%和遮挡T1的影响一样大。梯度更新次数少并不代表在预测的时候就没有影响了。论文把反差看作是优化——推理不一致性的主要证据。证据三Skip 连接会传染U 型网络中的 skip connections 本来是用来把空间细节送入解码器的在各向异性MRI中它也会把重采样的结构伪影一起带到新的图像中去。网络又倾向于依靠更加“干净”的、容易被优化的高质量模态因此出现了特征污染和贪婪模态选择的问题。T1、T2、FLAIR等浅层特征F-CNRTable 1 梯度贡献、模态遮挡之后DSC下降02首先进行净化然后对各个模态的贡献进行平衡COREFUSE-MED·FIG.3CoReFuse-Med 不是简单的再堆一个更强大的cross-attention而把融合分成两部分LACE首先给每个MRI序列构建出高效的各向异性编码IMSH对浅层结构基底和残差之间的可靠传递负责MBCF 在深层次共享语义空间中重新校准模态贡献。仍然是一套三流、对称U型分割网络。01LACEIMSH浅层先“去污染”LACE 使用局部DoubleConv和沿着D、H、W三个方向的条带卷积分支来分别保留细节、捕获轴向上下文之后用可选的通道注意力融合两支特征。IMSH使用无参数的3×3×3平均池化分离结构作为基础并且用高频残差来代替低频残差基底部分用竞争性的Softmax权重选择可靠解剖结构残差部分由共享Sigmoid门控过滤重采样伪影组成最后用轻量级DSConv3D来整合。**LACE 双分支选择性融合**局部边界和轴向上下文分别提取出来之后再用自适应权重进行合成。式(2)LACE选择性特征融合**IMSH 空间尺度分解**平滑分量承担共享解剖布局残差包含有效的细节和重采样的噪声。式(3)平均池化构建结构基底和残差式(4)竞争加权之后回写浅层特征02MBCF对深层纠正模态偏见MBCF的作用是针对L3-L4深层跳连特征。首先把T1、T2、FLAIR的全局描述拼接起来经过共享MLP产生通道权重再利用空间门控来排除由于位置不稳而产生的不可靠响应最后得到的是一个不属于任何一个单一模态的公共查询Q对三模态拼接并下采样K、V执行对称交叉注意力。目的并不是要迫使所有的模态都以相同的权重来发言而是在融合的时候给可信的信息合理的贡献。全局通道校准并不是通过Softmax强行使三个模态的权重相加等于1而是在共享MLP和Sigmoid之间产生条件化的通道权重空间门控和共享查询更加限制了模态的竞争。式(5)为全局通道可靠性的校正式(6)不依赖于一个单一的模态来共享查询式(7)三模态拼接和降采样的后K、V式(8)对称跨模态注意力融合实验的结果和边界怎么去读呢在EPVS上Ours(Med)DSC0.7326、HD957.35好于对比中的MedNeXt的0.7085、8.17在 BraTS 上DSC0.8528、HD954.43比MedNeXt的0.8314、7.59要好一些。在 WMH 上DSC0.80HD956.22IAVD0.171参数量只有2.665M。论文还对BraTS中20%和30%轴向切片的保留情况进行考察并且分别重新训练了每个模型在两种不同的设置下取得了最好的DSC/HD95但这不是同一个权重直接跨退化等级测试。额外的高斯噪声是作为补充来验证的。**消融实验**在EPVS中BaselineDSC为0.7146组合LACEIMSHMBCF之后的Ours(Base)为0.7322表示这三个模块之间存在互相补充的作用。在EPVS上已经严重退化的地区模型主要是防止污染破坏T1并不是“凭空恢复”T2/FLAIR已经丢失的信息。**研究边界**主要问题就是空间对齐之后的分辨率下降并不是所有的模态都缺失了也没有解决所有的强噪声场景。未来的方向是动态模态缺失以及更多的采集伪影。往期精彩推荐 
长河君 · 2026/10/31 2:11:06 · 阅读 1.2k ACM MM 2026｜华中师大 CoReFuse-Med：先净化再融合，让低质模态不再拖后腿
多模态融合何时失效ACM MM 2026 · CoReFuse-Med多模态并不是越多越好。当MRI已经空间对齐但是T1、T2、FLAIR等模态的采样质量差别很大时低质量模态可能会把高质量模态中产生的重采样伪影一起带入到融合网络中去。CoReFuse-Med从浅层污染和深层模态偏置这两个方面来对症下药地进行修复。论文标题When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation作者Yuchen Pei, Xiaoyu Hu, Yixiong Zou, Dingwen Hu, Hui Chu, Yutao Ma, Shijun Qiu, Gang Li单位华中师范大学、华中科技大学、广州中医药大学及其第一附属医院、北卡罗来纳大学教堂山分校论文链接https://arxiv.org/abs/2609.10261代码链接https://github.com/lrever/CoReFuse01对齐好了但是融合为什么还不能成功呢FUSION FAILURE · FIG. 1论文在IH EPVS数据集中对高分辨率T1单模态DSC进行了观察并发现了一个出乎意料的结果高分辨率T1单模态DSC为0.703融合T1、T2 和 FLAIR 后反而降到大约 0.695。空间对齐并不等同于信息质量的一致性。低分辨率序列经过重采样之后其图像和T1同大小但是可能会含有不可靠的信息。三个证据污染和偏见作者把问题限定在了分辨率不同所引起的质量问题下降上并没有涉及到未对齐或者模态全部缺失的情况。首先比较浅层特征的F-CNR然后联合训练梯度和遮挡测试最后跟踪跳跃连接的噪声传播由此可以解释为什么“弱训练贡献”也有可能是“强推理干扰”。证据一低分辨率产生噪声论文中提出的特征对比噪声比F-CNR用病灶区和背景区的均值之差除以背景区的标准差来衡量可分性。第三页特征可视化显示T1的F-CNR值是1.0283T2的F-CNR值是0.4301FLAIR的F-CNR值只有0.2980T1 约为 FLAIR 的 3.4 倍。即使从几何上来说是重合的但是浅层表征的可靠性却不一样。式(1)F-CNR病灶和背景特征可以区分证据二优化和推理不一致在EPVS的3D U-Net中T1占据了77.4%的梯度贡献FLAIR只占到了13.1%但是遮挡FLAIR会使DSC降低70.2%和遮挡T1的影响一样大。梯度更新次数少并不代表在预测的时候就没有影响了。论文把反差看作是优化——推理不一致性的主要证据。证据三Skip 连接会传染U 型网络中的 skip connections 本来是用来把空间细节送入解码器的在各向异性MRI中它也会把重采样的结构伪影一起带到新的图像中去。网络又倾向于依靠更加“干净”的、容易被优化的高质量模态因此出现了特征污染和贪婪模态选择的问题。T1、T2、FLAIR等浅层特征F-CNRTable 1 梯度贡献、模态遮挡之后DSC下降02首先进行净化然后对各个模态的贡献进行平衡COREFUSE-MED·FIG.3CoReFuse-Med 不是简单的再堆一个更强大的cross-attention而把融合分成两部分LACE首先给每个MRI序列构建出高效的各向异性编码IMSH对浅层结构基底和残差之间的可靠传递负责MBCF 在深层次共享语义空间中重新校准模态贡献。仍然是一套三流、对称U型分割网络。01LACEIMSH浅层先“去污染”LACE 使用局部DoubleConv和沿着D、H、W三个方向的条带卷积分支来分别保留细节、捕获轴向上下文之后用可选的通道注意力融合两支特征。IMSH使用无参数的3×3×3平均池化分离结构作为基础并且用高频残差来代替低频残差基底部分用竞争性的Softmax权重选择可靠解剖结构残差部分由共享Sigmoid门控过滤重采样伪影组成最后用轻量级DSConv3D来整合。**LACE 双分支选择性融合**局部边界和轴向上下文分别提取出来之后再用自适应权重进行合成。式(2)LACE选择性特征融合**IMSH 空间尺度分解**平滑分量承担共享解剖布局残差包含有效的细节和重采样的噪声。式(3)平均池化构建结构基底和残差式(4)竞争加权之后回写浅层特征02MBCF对深层纠正模态偏见MBCF的作用是针对L3-L4深层跳连特征。首先把T1、T2、FLAIR的全局描述拼接起来经过共享MLP产生通道权重再利用空间门控来排除由于位置不稳而产生的不可靠响应最后得到的是一个不属于任何一个单一模态的公共查询Q对三模态拼接并下采样K、V执行对称交叉注意力。目的并不是要迫使所有的模态都以相同的权重来发言而是在融合的时候给可信的信息合理的贡献。全局通道校准并不是通过Softmax强行使三个模态的权重相加等于1而是在共享MLP和Sigmoid之间产生条件化的通道权重空间门控和共享查询更加限制了模态的竞争。式(5)为全局通道可靠性的校正式(6)不依赖于一个单一的模态来共享查询式(7)三模态拼接和降采样的后K、V式(8)对称跨模态注意力融合实验的结果和边界怎么去读呢在EPVS上Ours(Med)DSC0.7326、HD957.35好于对比中的MedNeXt的0.7085、8.17在 BraTS 上DSC0.8528、HD954.43比MedNeXt的0.8314、7.59要好一些。在 WMH 上DSC0.80HD956.22IAVD0.171参数量只有2.665M。论文还对BraTS中20%和30%轴向切片的保留情况进行考察并且分别重新训练了每个模型在两种不同的设置下取得了最好的DSC/HD95但这不是同一个权重直接跨退化等级测试。额外的高斯噪声是作为补充来验证的。**消融实验**在EPVS中BaselineDSC为0.7146组合LACEIMSHMBCF之后的Ours(Base)为0.7322表示这三个模块之间存在互相补充的作用。在EPVS上已经严重退化的地区模型主要是防止污染破坏T1并不是“凭空恢复”T2/FLAIR已经丢失的信息。**研究边界**主要问题就是空间对齐之后的分辨率下降并不是所有的模态都缺失了也没有解决所有的强噪声场景。未来的方向是动态模态缺失以及更多的采集伪影。往期精彩推荐