一、概述本文的特点是将物理先验融入扩散模型利用少量已知光谱波段生成具有合理空间结构和光谱物理特征的完整高光谱图像。不同于简单图像修复高光谱图像必须满足空间合理性建筑物、植被、道路等结构应当保持一致。光谱合理性不同波段之间应具有真实的相关关系。观测一致性生成结果应与已知观测数据相符。物理合理性植被指数、辐射特征等不能出现明显不合理的结果。为了实现上面的要求本文提出了Any-Diff模型包含三个组件MCD掩码条件扩散、MSPL多尺度物理损失、PGS物理引导采样。三个模块的分工分别是MCD让模型学会从任意波段子集恢复完整光谱PGS利用物理损失梯度修正扩散去噪轨迹MSPL通过多尺度物理损失训练出更合理的光谱分布。可以理解为MCD 决定模型能接收什么条件MSPL 决定模型学到什么分布PGS 决定生成过程往什么方向走。二、方法2.1MCD掩码条件扩散2.1.1模拟传感器观测本文首先构建了一个光谱响应函数库SRF这些光谱响应函数均来自真实的传感器Sentinel-2、Landsat-8/9、EO-1 Hyperion 等。每次训练时会随机选择一个传感器对整个高光谱图像进行观测变换对于单个辐射波段来说可以描述为。假设目标高光谱图像有103个波段Sentinel-2 某个宽光谱波段观测到的并不是103个波段中的某一个而是多个波长处反射率的加权积分。物理传感器模拟比简单地选择某几个波段更加接近真实跨传感器观测过程。2.1.2随机掩码完成2.1观测模拟后模型进一步采用随机掩码模拟缺失上式中表示稀疏观测数据。表示哪些位置、哪些波段具有有效观测。表示随机丢弃概率0.1~0.72.1.3通过CAM注入扩散U-Net不同于普通条件扩散AnyBand-Diff不仅将条件作为输入而是让条件信息动态改变U-Net中间状态的分布。首先使用轻量化编码器为U-Net不同层生成调制参数再进行特征调制。它本质上是一种条件仿射调制相较于传统拼接主要在输入层引入观测信息CAM 可以在多个特征层持续影响网络使中间特征随输入波段集合变化。在真正的实现中可以将其拆成三个组件Condition Encoder对编码CAM Generator将条件特征映射为各层的Diffusion U-Net在各层 ResNet 后应用调制。2.1.4MCD的训练目标MCD采用的是标准噪声预测框架。关键在于随机掩码作用于条件输入而非直接改变目标图像的前向扩散定义。2.2 PGS 物理引导生成2.2.1可微物理算子可微物理算子用于把生成的高光谱图像转换为具有物理意义的描述。如NDVI植被指数NDWI水体指数RTM Emulator辐射传输模型的可微替代模型。设存在目标物理观测那么构造物理一致性损失。这意味着在每个去噪步骤都要检查当前预测结果是否满足物理条件。假如使用NDVI如果存在可信的 NDVI 参考图那么模型就可以比较当前重建结果与参考图之间的差异。但要注意推理阶段不能默认使用真实完整高光谱图像计算目标 NDVI否则会造成真实目标信息泄漏。对于只给出部分波段的场景需要从已观测数据、独立先验或物理可行域构造目标约束。2.2.2当前扩散状态的物理梯度针对这个问题本文提出了公式。注意梯度并不是对网络参数求导而是对当前扩散状态求导。计算图如下所示在PyTorch实现中意味着推理过程中不需要通过优化器更新 U-Net 权重。物理先验通过梯度影响采样状态而不是通过反向传播反复训练网络。2.2.3DDPM的梯度注入可以描述为公式其中表示物理引导强度是当前物理损失噪声的梯度是噪声水平相关的缩放因子。修正后的即可代替正常预测噪声执行DDPM的反向更新。需要注意的是物理引导强度并非越大越好实验结果表明物理引导强度在超过一定限度会让结果出现劣化。2.3MSPL多尺度物理损失如果说 PGS 是在推理时修正结果那么 MSPL 就是在训练时让网络提前学习合理的光谱物理结构。论文将其分成三个层次像素层区域层图像层描述为数学公式原文中权重参数分别为。2.3.1像素层像素层主要负责光谱相关性约束实际约束的是跨空间像元统计得到的波段相关矩阵。对于输入高光谱图像首相将其变形为。对每两个波段计算Pearsib相关系数构建函数然后与物理先验相关矩阵比较但原文并未给出先验矩阵的来源可能是通过训练数据统计、材质类别统计还是从外部光谱库获得。直观上这要求生成的各个波段之间保持合理的统计依赖关系。2.3.2区域层由于HSI存在同物异谱的特性单纯进行波段约束难以保证生成数据的质量。本文还在局部patch上进行物理计算具体流程为提取局部patch-计算NDVI/NDWI-计算KDEKL散度。对应的损失函数为其中是真实图像patch是生成图像patch是第个物理指数算子KDE是核密度估计。2.3.3图像层图像层的作用主要是负责辐射传输的一致性使用RTM代理模型来对整体辐射特性施加约束。可以描述为公式其目的不是让像素值简单接近而是让生成图像和真实图像在物理代理模型的特征空间中接近。2.4最终损失函数正文分别给出了 MCD 与 MSPL 的损失但没有明确写出完整的联合训练总损失以及所有权重。可以描述为其中需要进行调优。