文章目录01 基础信息02 背景03 方法04 结果05 思考06 新掌握的表达01 基础信息标题Self-supervised learning of physics-guided reconstruction neural networks without fully sampled reference data。作者Burhaneddin Yaman、Seyed Amir Hossein Hosseini、Steen Moeller、Jutta Ellermann、Kâmil Uğurbil、Mehmet Akçakaya。期刊Magnetic Resonance in Medicine84:3172–31912020。关键词自监督学习SSDU物理引导重建算法展开多线圈 MRI。论文DOI10.1002/mrm.28378。总结SSDU 将已经采集的欠采样 k-space 分成互不重叠的两部分一部分用于网络中的数据一致性另一部分用于计算测量域训练损失从而不依赖全采样参考训练重建网络。前面的 MoDL 解决了网络如何结合物理模型的问题。这篇文章继续追问如果无法采集全采样标签能否利用现有欠采样数据本身构造训练信号02 背景为什么全采样标签难以获得对于心脏、动态增强和高分辨率脑 MRI采集受到运动、信号衰减或时间限制。全采样扫描可能过慢甚至无法满足相同的时空分辨率要求。因此先要求获得大量高质量全采样训练数据再训练加速模型可能与实际成像条件矛盾。物理引导重建模型y Ω E Ω x n y_\OmegaE_\Omega xnyΩEΩxnΩ \OmegaΩ是实际采集的位置集合E Ω E_\OmegaEΩ包含线圈灵敏度、傅里叶变换和采样操作。传统物理引导网络在 CNN 正则化与 DC 更新之间交替训练时通常用完整参考计算误差。重新整理的一些背景知识什么是自监督从已有观测中构造监督信号。它不意味着没有损失也不意味着没有数据或没有训练而是不再需要额外的全采样真值作为训练目标。它与 DIP 有什么不同DIP 主要对当前图像重新优化网络本文使用一批欠采样扫描训练共享的重建网络再用于未见过的受试者。二者不需要相同类型的标签但学习与使用方式不同。为什么不能仅检查网络是否符合输入测量DC 本身就会使输出接近已输入的测量。若再只在同一批位置上计算训练损失网络可能缺少学习预测未见位置的有效约束。SSDU 因此将用于 DC 与用于损失的数据分开。03 方法1只拆分已经采集的位置Ω Θ ∪ Λ , Θ ∩ Λ ∅ \boxed{\Omega\Theta\cup\Lambda,\qquad\Theta\cap\Lambda\varnothing}ΩΘ∪Λ,Θ∩Λ∅Θ \ThetaΘ训练时提供给网络用于初始化和各个 DC 单元。Λ \LambdaΛ从 DC 输入中留出只用于评价网络预测并更新参数。Ω c \Omega^cΩc没有实际测量的位置不能直接拿来构造真值损失。这里不是把完整 k-space 分成训练与标签而是把原本已经欠采样的观测再做内部划分。图 1来源于原文 Figure 2。两个集合对应同一次扫描中的不同测量位置。2在留出位置上计算测量域损失令f θ ( y Θ , E Θ ) f_\theta(y_\Theta,E_\Theta)fθ(yΘ,EΘ)为重建网络的输出训练目标为min θ 1 N ∑ i 1 N L ( y Λ i ( i ) , E Λ i ( i ) f θ ( y Θ i ( i ) , E Θ i ( i ) ) ) \boxed{ \min_\theta\frac1N\sum_{i1}^N \mathcal L\left(y_{\Lambda_i}^{(i)}, E_{\Lambda_i}^{(i)}f_\theta(y_{\Theta_i}^{(i)},E_{\Theta_i}^{(i)})\right) }θminN1i1∑NL(yΛi(i),EΛi(i)fθ(yΘi(i),EΘi(i)))先将输出图像通过编码算子映射到各线圈 k-space再仅在Λ i \Lambda_iΛi对应位置与真实采集值比较。损失衡量的是网络能否预测没有进入当前 DC 的那部分已知测量。原文使用归一化混合范数损失L ( u , v ) ∥ u − v ∥ 2 ∥ u ∥ 2 ∥ u − v ∥ 1 ∥ u ∥ 1 \mathcal L(u,v)\frac{\|u-v\|_2}{\|u\|_2}\frac{\|u-v\|_1}{\|u\|_1}L(u,v)∥u∥2∥u−v∥2∥u∥1∥u−v∥1为使监督基线可比主要实验中的监督版本也使用 k-space 损失比较的核心是训练监督来源。3保留物理引导重建主干主干通过变量分裂将 CNN 正则化与 DC 分开。若z ( k ) z^{(k)}z(k)是 CNN 给出的中间结果DC 形式为x ( k 1 ) ( E Θ H E Θ μ I ) − 1 ( E Θ H y Θ μ z ( k ) ) x^{(k1)}(E_\Theta^HE_\Theta\mu I)^{-1} (E_\Theta^Hy_\Theta\mu z^{(k)})x(k1)(EΘHEΘμI)−1(EΘHyΘμz(k))通过 CG 求解对应线性系统不显式计算大矩阵逆。训练时这里使用Θ \ThetaΘ而不是全部Ω \OmegaΩ。网络展开 10 次每个 DC 中 CG 展开 10 步正则化 CNN 为 ResNet包含 15 个残差块及输入/输出卷积采用3 × 3 3\times33×3卷积、中间 64 通道和 0.1 倍残差缩放。论文报告 592,129 个可训练参数跨外层迭代共享。4划分的比例和分布很重要定义ρ ∣ Λ ∣ ∣ Ω ∣ \rho\frac{|\Lambda|}{|\Omega|}ρ∣Ω∣∣Λ∣ρ \rhoρ太小损失覆盖的留出测量不足太大则网络 DC 可用信息减少。作者比较均匀随机和 Gaussian 变密度选择并比较不同ρ \rhoρ与重叠程度。最终采用 Gaussian 选择、ρ 0.4 \rho0.4ρ0.4和互不重叠集合每张训练切片可以使用不同的划分。实现中还保留中心4 × 4 4\times44×4区域在Θ \ThetaΘ以维持重要低频成分。注意0.4 是已采集位置中的留出比例不是完整 k-space 的 40%也不能直接等价为某个真实扫描加速倍数因为这种离线选点不必组成完整的读出线。5推理使用所有已采集数据训练完成后对新扫描重建时输入x ^ f θ ∗ ( y Ω , E Ω ) \widehat xf_{\theta^*}(y_\Omega,E_\Omega)xfθ∗(yΩ,EΩ)没有必要继续扣留Λ \LambdaΛ。训练期间的内部划分不会使推理永久丢掉 40% 的有效测量。作者用 Adam、batch size 1 训练 100 个 epoch膝关节主要学习率为10 − 3 10^{-3}10−3。线圈灵敏度由已采集中心校准区使用 ESPIRiT 估计缺少全采样真值不等于不需要物理编码信息。04 结果1损失掩膜选择五折交叉验证中Gaussian 选择优于均匀随机。ρ 0.1 \rho0.1ρ0.1时SSIM 中位数分别为 0.9457 和 0.9380NMSE 中位数分别为 0.0019 和 0.0021。下表为 Gaussian 选择时不同留出比例的结果中位数来自原文第 4.1 节不将中位数写作均值ρ \rhoρSSIMNMSE0.10.94570.00190.20.94770.00180.30.94880.00180.40.95070.00170.50.94500.00200.60.93910.0022作者还增加Θ \ThetaΘ与Λ \LambdaΛ的重叠观察到性能下降。当全部测量同时用于 DC 与损失时出现明显噪声放大。这支持了互斥划分的设计但 0.4 不能直接作为所有数据集的普适最优值。2膝关节数据使用 fastMRI 多线圈原始数据考察冠状 PD、冠状 PD-FS、矢状 PD、矢状 T2 和轴位 T2 五类序列采用回顾性 4 倍等间隔欠采样并保留中心 24 条校准线。每类序列使用 300 张训练切片冠状两类来自 15 名受试者其余三类来自 10 人每类测试使用另外 10 名受试者的全部切片。Figure 8 的总体分布显示SSDU 与相同主干的监督训练在 SSIM 和 NMSE 上接近均优于 CG-SENSE。部分图像还展示了 TGV 对比但 TGV 没有覆盖全部测试数据因此不能虚构一个完整 TGV 总体排名表。3没有全采样参考的脑 MRI使用 19 名健康受试者的 0.7 mm 各向同性 3D-MPRAGE先以真实前瞻性R 2 R2R2采集再进一步回顾性抽样到总目标加速率R 4 , 6 , 8 R4,6,8R4,6,8。训练为 10 人的 300 张切片测试为另外 9 人。图 2来源于 Figure 9。基础采集是前瞻性 2 倍更高目标加速率通过后续抽样获得不能将所有列都描述成独立前瞻性 4、6、8 倍扫描。在这些设置下SSDU 高加速重建减少了噪声与伪影。由于没有全采样参考不能用这一组数据证明它比全监督训练更好也不能报告相对于不存在真值的 PSNR。阅片评价一名有经验的放射科医师对 SNR、模糊、混叠和整体质量评分。膝关节中监督与自监督结果整体接近但冠状 PD-FS 的模糊评价存在例外。脑 MRI 中 SSDU 的较高加速率结果在混叠与整体质量上优于R 2 R2R2的 CG-SENSE随着 SSDU 加速率提高整体质量仍下降。这些是特定样本与阅片设置下的证据统计上未发现差异也不能直接等同于严格证明两种方法等效。05 思考这篇文章的创新主要是网络结构吗关键在于监督信号的构造。作者固定同一主干比较监督与自监督使结果更能回答“没有全采样标签还能否训练”而不是被不同模型容量混淆。它是不是只把交叉验证搬到了 k-space两者都有留出信息的思想但 SSDU 在每个训练样本内部划分测量并用留出误差更新模型。它不是仅在训练结束后评价一个独立验证集。受试者层面的训练/测试划分仍需要另外保留。自监督目标是否等于干净图像误差损失目标来自真实采集的测量其中也有噪声。它提供了不依赖全采样参考的训练方式但并没有自动保证所有噪声分布下都与干净图像监督完全等价。编码误差、掩膜分布和校准质量仍会影响结果。可以学习的点将“网络见到的数据”与“用于评价预测的数据”区分从测量空间设计训练信号用相同主干控制实验变量并明确区分无全采样标签、无外部训练集和无需逐例优化这几种不同概念。06 新掌握的表达通过数据欠采样实现自监督self-supervised learning via data undersampling互不重叠的集合disjoint sets物理引导重建physics-guided reconstruction损失掩膜loss mask全采样参考数据fully sampled reference data前瞻性加速采集prospectively accelerated acquisition归一化混合范数损失normalized mixed-norm loss 
长河君 · 2026/10/23 4:59:54 · 阅读 1.2k 【论文阅读】SSDU：没有全采样真值，如何训练物理引导 MRI 重建网络？
文章目录01 基础信息02 背景03 方法04 结果05 思考06 新掌握的表达01 基础信息标题Self-supervised learning of physics-guided reconstruction neural networks without fully sampled reference data。作者Burhaneddin Yaman、Seyed Amir Hossein Hosseini、Steen Moeller、Jutta Ellermann、Kâmil Uğurbil、Mehmet Akçakaya。期刊Magnetic Resonance in Medicine84:3172–31912020。关键词自监督学习SSDU物理引导重建算法展开多线圈 MRI。论文DOI10.1002/mrm.28378。总结SSDU 将已经采集的欠采样 k-space 分成互不重叠的两部分一部分用于网络中的数据一致性另一部分用于计算测量域训练损失从而不依赖全采样参考训练重建网络。前面的 MoDL 解决了网络如何结合物理模型的问题。这篇文章继续追问如果无法采集全采样标签能否利用现有欠采样数据本身构造训练信号02 背景为什么全采样标签难以获得对于心脏、动态增强和高分辨率脑 MRI采集受到运动、信号衰减或时间限制。全采样扫描可能过慢甚至无法满足相同的时空分辨率要求。因此先要求获得大量高质量全采样训练数据再训练加速模型可能与实际成像条件矛盾。物理引导重建模型y Ω E Ω x n y_\OmegaE_\Omega xnyΩEΩxnΩ \OmegaΩ是实际采集的位置集合E Ω E_\OmegaEΩ包含线圈灵敏度、傅里叶变换和采样操作。传统物理引导网络在 CNN 正则化与 DC 更新之间交替训练时通常用完整参考计算误差。重新整理的一些背景知识什么是自监督从已有观测中构造监督信号。它不意味着没有损失也不意味着没有数据或没有训练而是不再需要额外的全采样真值作为训练目标。它与 DIP 有什么不同DIP 主要对当前图像重新优化网络本文使用一批欠采样扫描训练共享的重建网络再用于未见过的受试者。二者不需要相同类型的标签但学习与使用方式不同。为什么不能仅检查网络是否符合输入测量DC 本身就会使输出接近已输入的测量。若再只在同一批位置上计算训练损失网络可能缺少学习预测未见位置的有效约束。SSDU 因此将用于 DC 与用于损失的数据分开。03 方法1只拆分已经采集的位置Ω Θ ∪ Λ , Θ ∩ Λ ∅ \boxed{\Omega\Theta\cup\Lambda,\qquad\Theta\cap\Lambda\varnothing}ΩΘ∪Λ,Θ∩Λ∅Θ \ThetaΘ训练时提供给网络用于初始化和各个 DC 单元。Λ \LambdaΛ从 DC 输入中留出只用于评价网络预测并更新参数。Ω c \Omega^cΩc没有实际测量的位置不能直接拿来构造真值损失。这里不是把完整 k-space 分成训练与标签而是把原本已经欠采样的观测再做内部划分。图 1来源于原文 Figure 2。两个集合对应同一次扫描中的不同测量位置。2在留出位置上计算测量域损失令f θ ( y Θ , E Θ ) f_\theta(y_\Theta,E_\Theta)fθ(yΘ,EΘ)为重建网络的输出训练目标为min θ 1 N ∑ i 1 N L ( y Λ i ( i ) , E Λ i ( i ) f θ ( y Θ i ( i ) , E Θ i ( i ) ) ) \boxed{ \min_\theta\frac1N\sum_{i1}^N \mathcal L\left(y_{\Lambda_i}^{(i)}, E_{\Lambda_i}^{(i)}f_\theta(y_{\Theta_i}^{(i)},E_{\Theta_i}^{(i)})\right) }θminN1i1∑NL(yΛi(i),EΛi(i)fθ(yΘi(i),EΘi(i)))先将输出图像通过编码算子映射到各线圈 k-space再仅在Λ i \Lambda_iΛi对应位置与真实采集值比较。损失衡量的是网络能否预测没有进入当前 DC 的那部分已知测量。原文使用归一化混合范数损失L ( u , v ) ∥ u − v ∥ 2 ∥ u ∥ 2 ∥ u − v ∥ 1 ∥ u ∥ 1 \mathcal L(u,v)\frac{\|u-v\|_2}{\|u\|_2}\frac{\|u-v\|_1}{\|u\|_1}L(u,v)∥u∥2∥u−v∥2∥u∥1∥u−v∥1为使监督基线可比主要实验中的监督版本也使用 k-space 损失比较的核心是训练监督来源。3保留物理引导重建主干主干通过变量分裂将 CNN 正则化与 DC 分开。若z ( k ) z^{(k)}z(k)是 CNN 给出的中间结果DC 形式为x ( k 1 ) ( E Θ H E Θ μ I ) − 1 ( E Θ H y Θ μ z ( k ) ) x^{(k1)}(E_\Theta^HE_\Theta\mu I)^{-1} (E_\Theta^Hy_\Theta\mu z^{(k)})x(k1)(EΘHEΘμI)−1(EΘHyΘμz(k))通过 CG 求解对应线性系统不显式计算大矩阵逆。训练时这里使用Θ \ThetaΘ而不是全部Ω \OmegaΩ。网络展开 10 次每个 DC 中 CG 展开 10 步正则化 CNN 为 ResNet包含 15 个残差块及输入/输出卷积采用3 × 3 3\times33×3卷积、中间 64 通道和 0.1 倍残差缩放。论文报告 592,129 个可训练参数跨外层迭代共享。4划分的比例和分布很重要定义ρ ∣ Λ ∣ ∣ Ω ∣ \rho\frac{|\Lambda|}{|\Omega|}ρ∣Ω∣∣Λ∣ρ \rhoρ太小损失覆盖的留出测量不足太大则网络 DC 可用信息减少。作者比较均匀随机和 Gaussian 变密度选择并比较不同ρ \rhoρ与重叠程度。最终采用 Gaussian 选择、ρ 0.4 \rho0.4ρ0.4和互不重叠集合每张训练切片可以使用不同的划分。实现中还保留中心4 × 4 4\times44×4区域在Θ \ThetaΘ以维持重要低频成分。注意0.4 是已采集位置中的留出比例不是完整 k-space 的 40%也不能直接等价为某个真实扫描加速倍数因为这种离线选点不必组成完整的读出线。5推理使用所有已采集数据训练完成后对新扫描重建时输入x ^ f θ ∗ ( y Ω , E Ω ) \widehat xf_{\theta^*}(y_\Omega,E_\Omega)xfθ∗(yΩ,EΩ)没有必要继续扣留Λ \LambdaΛ。训练期间的内部划分不会使推理永久丢掉 40% 的有效测量。作者用 Adam、batch size 1 训练 100 个 epoch膝关节主要学习率为10 − 3 10^{-3}10−3。线圈灵敏度由已采集中心校准区使用 ESPIRiT 估计缺少全采样真值不等于不需要物理编码信息。04 结果1损失掩膜选择五折交叉验证中Gaussian 选择优于均匀随机。ρ 0.1 \rho0.1ρ0.1时SSIM 中位数分别为 0.9457 和 0.9380NMSE 中位数分别为 0.0019 和 0.0021。下表为 Gaussian 选择时不同留出比例的结果中位数来自原文第 4.1 节不将中位数写作均值ρ \rhoρSSIMNMSE0.10.94570.00190.20.94770.00180.30.94880.00180.40.95070.00170.50.94500.00200.60.93910.0022作者还增加Θ \ThetaΘ与Λ \LambdaΛ的重叠观察到性能下降。当全部测量同时用于 DC 与损失时出现明显噪声放大。这支持了互斥划分的设计但 0.4 不能直接作为所有数据集的普适最优值。2膝关节数据使用 fastMRI 多线圈原始数据考察冠状 PD、冠状 PD-FS、矢状 PD、矢状 T2 和轴位 T2 五类序列采用回顾性 4 倍等间隔欠采样并保留中心 24 条校准线。每类序列使用 300 张训练切片冠状两类来自 15 名受试者其余三类来自 10 人每类测试使用另外 10 名受试者的全部切片。Figure 8 的总体分布显示SSDU 与相同主干的监督训练在 SSIM 和 NMSE 上接近均优于 CG-SENSE。部分图像还展示了 TGV 对比但 TGV 没有覆盖全部测试数据因此不能虚构一个完整 TGV 总体排名表。3没有全采样参考的脑 MRI使用 19 名健康受试者的 0.7 mm 各向同性 3D-MPRAGE先以真实前瞻性R 2 R2R2采集再进一步回顾性抽样到总目标加速率R 4 , 6 , 8 R4,6,8R4,6,8。训练为 10 人的 300 张切片测试为另外 9 人。图 2来源于 Figure 9。基础采集是前瞻性 2 倍更高目标加速率通过后续抽样获得不能将所有列都描述成独立前瞻性 4、6、8 倍扫描。在这些设置下SSDU 高加速重建减少了噪声与伪影。由于没有全采样参考不能用这一组数据证明它比全监督训练更好也不能报告相对于不存在真值的 PSNR。阅片评价一名有经验的放射科医师对 SNR、模糊、混叠和整体质量评分。膝关节中监督与自监督结果整体接近但冠状 PD-FS 的模糊评价存在例外。脑 MRI 中 SSDU 的较高加速率结果在混叠与整体质量上优于R 2 R2R2的 CG-SENSE随着 SSDU 加速率提高整体质量仍下降。这些是特定样本与阅片设置下的证据统计上未发现差异也不能直接等同于严格证明两种方法等效。05 思考这篇文章的创新主要是网络结构吗关键在于监督信号的构造。作者固定同一主干比较监督与自监督使结果更能回答“没有全采样标签还能否训练”而不是被不同模型容量混淆。它是不是只把交叉验证搬到了 k-space两者都有留出信息的思想但 SSDU 在每个训练样本内部划分测量并用留出误差更新模型。它不是仅在训练结束后评价一个独立验证集。受试者层面的训练/测试划分仍需要另外保留。自监督目标是否等于干净图像误差损失目标来自真实采集的测量其中也有噪声。它提供了不依赖全采样参考的训练方式但并没有自动保证所有噪声分布下都与干净图像监督完全等价。编码误差、掩膜分布和校准质量仍会影响结果。可以学习的点将“网络见到的数据”与“用于评价预测的数据”区分从测量空间设计训练信号用相同主干控制实验变量并明确区分无全采样标签、无外部训练集和无需逐例优化这几种不同概念。06 新掌握的表达通过数据欠采样实现自监督self-supervised learning via data undersampling互不重叠的集合disjoint sets物理引导重建physics-guided reconstruction损失掩膜loss mask全采样参考数据fully sampled reference data前瞻性加速采集prospectively accelerated acquisition归一化混合范数损失normalized mixed-norm loss