ECCV 2026先融合后进行时间建模DRT-VF一步扩散的红外-可见光视频融合导读红外-可见光图像融合已经很卷了但是从一张图片变成一段视频之后问题就变了这一帧看起来还不错不代表下一幅就不会突然闪一下单张图片的细节非常清晰但是这并不意味着移动的目标边缘就不会产生拖影。DRT-VF 把矛头指向了某个流程上的问题很多的方法会在每一个模态内进行时间建模之后再进行跨模态融合。当低照度、遮挡、运动模糊或者红外闪烁使得单一模态运动估计出现失真时错误就会被一路带入到融合的结果中去。作者的答案是Fusion FirstTemporal Second首先使红外线和可见光线相互补充然后再在更加可靠的时间一致性的基础上进行工作。顺序的变化就是整篇论文最核心的一条主线。核心信息论文标题Degradation-Robust and Temporally Consistent Infrared–Visible Video Fusion via One-step Diffusion Framework作者Songcheng Du*, Haoyuan Xu*, Xingyuan Li, Yang Zou, Jinyuan Liu, Yunpeng Bai†, Ying Li†**单位**西北工业大学大连理工大学浙江大学论文链接https://eccv.ecva.net/virtual/2026/poster/528501(研究动机)DRT-VF·INFRARED-VISUAL VIDEO FUSION退化场景、Temporal-First范式和Fusion-First范式比较传统的思路大概就是红外视频先自己看前后帧可见光视频也先自己看前后帧然后把两个模态处理后得到的结果进行融合。问题就出在这里面默认了“单模态可以先对运动进行判断”。现实中并不一定如此。可见光夜间低照、遮挡、运动模糊的时候光流或者对齐就很容易出现错误红外序列中也有可能出现传感器噪声以及闪烁现象。如果前面的时间估计有误那么这个错误就会传递到后面的时间融合中。DRT-VF的核心假设为跨模态互补的方式是先做好观测然后再进行时间建模。Fig.1 中最核心的部分并不是网络的具体情况而是在把两个步骤之间的先后顺序全部颠倒过来。这篇论文到底修改了些什么呢第一流程由原来的Temporal-First改为Fusion-First。时间模块不先吃掉两个容易被削弱的单模态表示而是吃已经被补充好的联合表示。第二时间一致性的划分成了两个标准GTC 负责全局闪烁LMC 负责局部运动边界。作者并没有要求一个模块来解决亮度波动、几何错位以及边缘模糊的问题。第三一步RectifiedFlow/DiT负责生成式细节恢复不把传统的多步扩散直接搬到视频管线中去。由于论文没有提供FPS表所以不能把“一步”直接等同于已经验证过的实时。02(核心方法)DRT-VF·INFRARED-VISUAL VIDEO FUSIONDRT-VF总体结构。Stage 1 建立融合表示Stage 2 进行全局和局部时间一致性的建模。Stage I: MCA one-step DiT可见光先经过预训练VAE编码红外则使用轻量级可以训练的adapter。两路特征进入Modality-Collaborative AttentionMCA拼接之后产生一个共享的Query然后分别对可见光和红外的Key/Value做注意力。共享Query可以理解为在确定“这一帧目前真正缺少的是什么”的时候就分别从可见光纹理和红外热目标中获取信息。它比简单的concat更加积极地利用了互补性。需要记住的是作者并不是简单的“加扩散”而是在第一步推理中就把生成先验压了。Stage I 首先要为后面的阶段建立一个更加纯净的空间基础。Stage IIGTCLMCGTC(Global Temporal Consistency)放在低分辨率联合latent上利用连续三帧的通道统计来抑制整帧亮度和对比度的变化不需要显式的空间对齐。LMC(Local Motion Compensation)放在解码器最后面的一层中在全分辨率下对移动的目标进行处理。首先使用DCN对齐相邻的帧然后用Context Aggregation来聚合上下文、Boundary Refinement专门去修复运动边界。整个设计方案可以用一句话来概括大范围闪烁由低分辨率统计来完成小范围运动边界用高分辨率几何补偿来处理。03(实验结果)DRT-VF·INFRARED-VISUAL VIDEO FUSION论文在HDO、M3SVD、NOT-156和VFBench处理后得到的VTMOT子集中进行测试。每个数据集选择17个视频进行测试其他的用来训练每一个测试序列都选取前50帧。空间质量用MI、VIF、SSIM来表示时间稳定性的评价指标是BiSWE和MS2R其中BiSWE和MS2R值越小越好。从空间指标来看在四个数据集的MI/VIF/SSIM中DRT-VF一直排在前面两位。NOT-156 和 VTMOT 三項空間指標均為表格內最大值。并不是所有的指标都是第一比如HDO的VIF小于UniVF、M3SVD的SSIM不是最高。HDO、M3SVD、NOT-156、VTMOT 四个数据集的定性结果Table 1四个数据集空间融合的质量指标时间指标可以更好的体现出DRT-VF的目标。HDO上BiSWE/MS2R为6.232/0.210M3SVD 为 6.479/0.222NOT-156 是 7.542/0.574。三组都在表中最好的或者并列最好的。在VTMOT上DRT-VF的MS2R是0.332为表中最优的结果但是BiSWE 4.822并不是第一TemCOCO和UniVF更低。消融最重要的就是“顺序”、“分层”最有趣的是把结构恢复为Temporal-First。在 M3SVD 上完整的模型MI/VIF/SSIM分别为3.373、0.934、0.712而Temporal-First降为3.152/0.883/0.651BiSWE/MS2R 也由原来的 6.479/0.222 变成了现在的 7.854/0.283。也就是说Fusion-First 不仅仅是把流程图箭头的方向换一下但是它也提高了之后的时间建模所用到的表示的质量。M3SVD 和 NOT-156 上的消融实验另外一个很重要的现象来自于w/o Stage II单帧的空间指标会稍微高一些但是时间指标却非常糟糕。NOT-156 上w/o Stage II 的 MI/VIF/SSIM 为 4.466/0.939/0.653但是它对应的BiSWE/MS2R为9.684/0.725完整的模型是 4.449/0.934/0.642 和 7.542/0.574。这就意味着视频融合不能仅仅盯着每一个画面单帧更加锐利并不意味着整个视频都好。去掉GTC之后主要就是全局亮度波动的问题而去掉LMC之后就容易出现动态区域模糊和重影的情况。各个模块对于跨帧连续性的不同影响下游跟踪稳定的融合也可以服务于机器视觉作者在NOT-156上用冻结的YOLOv11nByteTrack做零样本目标跟踪。DRT-VF 的AUC、DP20、SR0.5、SR0.75分别为0.244、0.236、0.248、0.116四者均为表格中最大的一项。这部分可以解释为更加稳定融合的视频可以为之后的检测、跟踪提供更为连续的结构信息而应该把DRT-VF看作一个新的跟踪模型。这篇工作是怎样的呢DRT-VF 最重要的是不要把MCA、GTC、LMC这几个模块的名字记住了而要记住的是它改变了问题的因果关系首先通过跨模态互补来提升当前帧的可靠性然后利用前后的两帧来提高时间稳定性。对于真实的场景来说这个思路非常自然可见光可能会突然变暗红外可能会突然闪烁两种模态不一定同时出现故障。先融合就是说先让两个传感器互相兜底。边界也要明确一下目前论文主要研究的是红外-可见光视频融合GTC/LMC 用的是三个帧局部时间窗口测试统一取每段前50帧正文并没有提供FPS或者端到端时延表。因此更合适把贡献理解为“融合顺序分层时间一致性”而不能直接宣传成已经验证了实时系统的说法。往期推荐END 
长河君 · 2026/10/16 9:12:05 · 阅读 1.2k ECCV 2026 | 单模态运动估计一退化就不稳？DRT-VF改成“先融合、后时间建模”
ECCV 2026先融合后进行时间建模DRT-VF一步扩散的红外-可见光视频融合导读红外-可见光图像融合已经很卷了但是从一张图片变成一段视频之后问题就变了这一帧看起来还不错不代表下一幅就不会突然闪一下单张图片的细节非常清晰但是这并不意味着移动的目标边缘就不会产生拖影。DRT-VF 把矛头指向了某个流程上的问题很多的方法会在每一个模态内进行时间建模之后再进行跨模态融合。当低照度、遮挡、运动模糊或者红外闪烁使得单一模态运动估计出现失真时错误就会被一路带入到融合的结果中去。作者的答案是Fusion FirstTemporal Second首先使红外线和可见光线相互补充然后再在更加可靠的时间一致性的基础上进行工作。顺序的变化就是整篇论文最核心的一条主线。核心信息论文标题Degradation-Robust and Temporally Consistent Infrared–Visible Video Fusion via One-step Diffusion Framework作者Songcheng Du*, Haoyuan Xu*, Xingyuan Li, Yang Zou, Jinyuan Liu, Yunpeng Bai†, Ying Li†**单位**西北工业大学大连理工大学浙江大学论文链接https://eccv.ecva.net/virtual/2026/poster/528501(研究动机)DRT-VF·INFRARED-VISUAL VIDEO FUSION退化场景、Temporal-First范式和Fusion-First范式比较传统的思路大概就是红外视频先自己看前后帧可见光视频也先自己看前后帧然后把两个模态处理后得到的结果进行融合。问题就出在这里面默认了“单模态可以先对运动进行判断”。现实中并不一定如此。可见光夜间低照、遮挡、运动模糊的时候光流或者对齐就很容易出现错误红外序列中也有可能出现传感器噪声以及闪烁现象。如果前面的时间估计有误那么这个错误就会传递到后面的时间融合中。DRT-VF的核心假设为跨模态互补的方式是先做好观测然后再进行时间建模。Fig.1 中最核心的部分并不是网络的具体情况而是在把两个步骤之间的先后顺序全部颠倒过来。这篇论文到底修改了些什么呢第一流程由原来的Temporal-First改为Fusion-First。时间模块不先吃掉两个容易被削弱的单模态表示而是吃已经被补充好的联合表示。第二时间一致性的划分成了两个标准GTC 负责全局闪烁LMC 负责局部运动边界。作者并没有要求一个模块来解决亮度波动、几何错位以及边缘模糊的问题。第三一步RectifiedFlow/DiT负责生成式细节恢复不把传统的多步扩散直接搬到视频管线中去。由于论文没有提供FPS表所以不能把“一步”直接等同于已经验证过的实时。02(核心方法)DRT-VF·INFRARED-VISUAL VIDEO FUSIONDRT-VF总体结构。Stage 1 建立融合表示Stage 2 进行全局和局部时间一致性的建模。Stage I: MCA one-step DiT可见光先经过预训练VAE编码红外则使用轻量级可以训练的adapter。两路特征进入Modality-Collaborative AttentionMCA拼接之后产生一个共享的Query然后分别对可见光和红外的Key/Value做注意力。共享Query可以理解为在确定“这一帧目前真正缺少的是什么”的时候就分别从可见光纹理和红外热目标中获取信息。它比简单的concat更加积极地利用了互补性。需要记住的是作者并不是简单的“加扩散”而是在第一步推理中就把生成先验压了。Stage I 首先要为后面的阶段建立一个更加纯净的空间基础。Stage IIGTCLMCGTC(Global Temporal Consistency)放在低分辨率联合latent上利用连续三帧的通道统计来抑制整帧亮度和对比度的变化不需要显式的空间对齐。LMC(Local Motion Compensation)放在解码器最后面的一层中在全分辨率下对移动的目标进行处理。首先使用DCN对齐相邻的帧然后用Context Aggregation来聚合上下文、Boundary Refinement专门去修复运动边界。整个设计方案可以用一句话来概括大范围闪烁由低分辨率统计来完成小范围运动边界用高分辨率几何补偿来处理。03(实验结果)DRT-VF·INFRARED-VISUAL VIDEO FUSION论文在HDO、M3SVD、NOT-156和VFBench处理后得到的VTMOT子集中进行测试。每个数据集选择17个视频进行测试其他的用来训练每一个测试序列都选取前50帧。空间质量用MI、VIF、SSIM来表示时间稳定性的评价指标是BiSWE和MS2R其中BiSWE和MS2R值越小越好。从空间指标来看在四个数据集的MI/VIF/SSIM中DRT-VF一直排在前面两位。NOT-156 和 VTMOT 三項空間指標均為表格內最大值。并不是所有的指标都是第一比如HDO的VIF小于UniVF、M3SVD的SSIM不是最高。HDO、M3SVD、NOT-156、VTMOT 四个数据集的定性结果Table 1四个数据集空间融合的质量指标时间指标可以更好的体现出DRT-VF的目标。HDO上BiSWE/MS2R为6.232/0.210M3SVD 为 6.479/0.222NOT-156 是 7.542/0.574。三组都在表中最好的或者并列最好的。在VTMOT上DRT-VF的MS2R是0.332为表中最优的结果但是BiSWE 4.822并不是第一TemCOCO和UniVF更低。消融最重要的就是“顺序”、“分层”最有趣的是把结构恢复为Temporal-First。在 M3SVD 上完整的模型MI/VIF/SSIM分别为3.373、0.934、0.712而Temporal-First降为3.152/0.883/0.651BiSWE/MS2R 也由原来的 6.479/0.222 变成了现在的 7.854/0.283。也就是说Fusion-First 不仅仅是把流程图箭头的方向换一下但是它也提高了之后的时间建模所用到的表示的质量。M3SVD 和 NOT-156 上的消融实验另外一个很重要的现象来自于w/o Stage II单帧的空间指标会稍微高一些但是时间指标却非常糟糕。NOT-156 上w/o Stage II 的 MI/VIF/SSIM 为 4.466/0.939/0.653但是它对应的BiSWE/MS2R为9.684/0.725完整的模型是 4.449/0.934/0.642 和 7.542/0.574。这就意味着视频融合不能仅仅盯着每一个画面单帧更加锐利并不意味着整个视频都好。去掉GTC之后主要就是全局亮度波动的问题而去掉LMC之后就容易出现动态区域模糊和重影的情况。各个模块对于跨帧连续性的不同影响下游跟踪稳定的融合也可以服务于机器视觉作者在NOT-156上用冻结的YOLOv11nByteTrack做零样本目标跟踪。DRT-VF 的AUC、DP20、SR0.5、SR0.75分别为0.244、0.236、0.248、0.116四者均为表格中最大的一项。这部分可以解释为更加稳定融合的视频可以为之后的检测、跟踪提供更为连续的结构信息而应该把DRT-VF看作一个新的跟踪模型。这篇工作是怎样的呢DRT-VF 最重要的是不要把MCA、GTC、LMC这几个模块的名字记住了而要记住的是它改变了问题的因果关系首先通过跨模态互补来提升当前帧的可靠性然后利用前后的两帧来提高时间稳定性。对于真实的场景来说这个思路非常自然可见光可能会突然变暗红外可能会突然闪烁两种模态不一定同时出现故障。先融合就是说先让两个传感器互相兜底。边界也要明确一下目前论文主要研究的是红外-可见光视频融合GTC/LMC 用的是三个帧局部时间窗口测试统一取每段前50帧正文并没有提供FPS或者端到端时延表。因此更合适把贡献理解为“融合顺序分层时间一致性”而不能直接宣传成已经验证了实时系统的说法。往期推荐END