文章目录01 基础信息02 背景03 方法04 结果05 思考06 新掌握的表达01 基础信息标题Deep unregistered multi-contrast MRI reconstruction。作者Xinwen Liu、Jing Wang、Jin Jin、Mingyan Li、Fangfang Tang、Stuart Crozier、Feng Liu。期刊Magnetic Resonance Imaging81:33–412021。关键词多对比度 MRI图像重建图像配准空间变换数据一致性。论文DOI10.1016/j.mri.2021.05.005。总结利用同一患者已经采集的另一种对比度图像辅助欠采样重建并在网络前端引入可微空间变换模块自动缓解参考图像与目标图像的错位。整个模型将配准与重建联合训练。前面的级联网络主要利用当前序列的信息。如果已经有一张清晰的 T1w 图像能否帮助重建 T2w这篇文章进一步考虑参考图像与当前图像没有对齐时直接共享信息还可靠吗02 背景为什么不同对比度可以互相帮助T1w、T2w、FLAIR 等图像的组织亮暗关系不同但同一患者的脑沟、脑室和组织边界具有大量共享结构。充分利用这些信息可以减轻目标序列欠采样造成的信息缺失。给定目标测量y yy与参考图像x r e f x_{\mathrm{ref}}xref原文将问题写为x ∗ arg min x { ∥ F x − y ∥ 2 λ R ( x , x r e f ) } x^*\arg\min_x\left\{\|Fx-y\|_2\lambda R(x,x_{\mathrm{ref}})\right\}x∗argxmin{∥Fx−y∥2λR(x,xref)}F FF是欠采样傅里叶算子第一项约束目标测量第二项利用目标图像与参考图像之间的关系。问题出在哪里不同序列通常先后采集患者可能平移或转头。此时参考图像某个位置的组织未必对应目标图像相同位置的组织。直接拼接两张图像可能把不属于当前位置的信息带入重建。重新整理的一些背景知识多对比度与多线圈有什么区别多对比度指不同序列产生的不同组织对比多线圈指不同接收线圈提供的空间编码信息。本文重点处理前者不能将“有多个输入图像”直接理解为已经验证了多线圈原始数据重建。什么是图像配准寻找空间坐标变换使不同图像中对应的解剖结构对齐。它改变的是空间位置不要求把 T1w 的组织强度变成 T2w 的组织强度。什么是空间变换模块Spatial TransformationST由网络预测坐标变换再通过可微采样得到变换后的图像。这样后续的重建误差也可以反向影响配准参数。03 方法1整体框架ST 级联 CNN/DC输入是零填充重建图像x 0 x^0x0与完整参考图像x r e f x_{\mathrm{ref}}xref。ST 模块首先输出对齐参考T θ L l o c ( x r e f , x 0 ) , x r e f ′ Warp ( x r e f ; T θ ) \mathcal T_\thetaL_{\mathrm{loc}}(x_{\mathrm{ref}},x^0), \qquad x_{\mathrm{ref}}\operatorname{Warp}(x_{\mathrm{ref}};\mathcal T_\theta)TθLloc(xref,x0),xref′Warp(xref;Tθ)之后将同一张x r e f ′ x_{\mathrm{ref}}xref′与每轮当前重建拼接送入 CNN再经过 DC 更新。图 1来源于原论文 Fig. 1。ST 根据参考图像与欠采样输入预测变换变换后的参考图像参与各级联的特征提取。注意图中 ST 位于重建网络前端不是每个级联都重新执行一次独立配准。2定位网络预测六个变换参数定位模块使用卷积、最大池化和全连接层输出一个2 × 3 2\times32×3坐标变换矩阵T θ [ θ 11 θ 12 θ 13 θ 21 θ 22 θ 23 ] \mathcal T_\theta \begin{bmatrix} \theta_{11}\theta_{12}\theta_{13}\\ \theta_{21}\theta_{22}\theta_{23} \end{bmatrix}Tθ[θ11θ21θ12θ22θ13θ23]论文主要针对平移、旋转等头部运动。严格地说六个自由参数构成二维仿射形式可以表示的变换范围比仅有旋转和平移的刚体变换更广不能因为实验模拟的是刚体运动就把网络说成只输出三个刚体参数。定位模块首先使用 8 个3 × 3 3\times33×3卷积核再经池化与 ReLU随后使用 10 个卷积核及进一步池化最后展平并通过全连接层回归参数。初始化时输出恒等变换以减少训练初期的破坏。3网格采样器完成可微变形对输出图像的每个网格位置通过变换计算其在输入参考图像中的采样坐标再用双线性插值获得像素值。这种“输出位置寻找输入采样点”的形式与直接把输入像素推到输出位置不同。坐标变换与插值均可参与反向传播ST 才能与重建网络一起优化。4配准参考与当前重建一起进入 CNN重建主干包含 5 个级联每个 CNN 使用 5 层卷积、4 个 ReLU、32 个特征通道和残差连接主要卷积核为3 × 3 3\times33×3。每个级联先融合当前目标图像与已对齐参考再由 DC 结合目标序列实际采集的 k-space 信息进行校正。参考图像提供先验目标测量仍然提供独立约束。5联合重建误差与配准相似性训练损失为L ∥ x T − x g t ∥ 1 − ω NCC ( x r e f ′ , x g t ) \boxed{\mathcal L\|x^T-x_{\mathrm{gt}}\|_1-\omega\operatorname{NCC}(x_{\mathrm{ref}},x_{\mathrm{gt}})}L∥xT−xgt∥1−ωNCC(xref′,xgt)第一项减少最终重建与真值之间的绝对误差第二项鼓励变换后的参考与目标真值在空间结构上更相关。NCC 表示归一化互相关原文采用局部均值定义。这里尤其要区分训练与推理训练时有目标真值用它构造损失推理时 ST 接收的是参考图像和欠采样输入不需要目标真值。因此这是监督重建框架并不是因为配准过程没有变换标签就变成了完全自监督重建。作者设置ω 10 − 4 \omega10^{-4}ω10−4使用 Adam初始学习率 0.001训练 100 个 epoch并采用权重的ℓ 2 \ell_2ℓ2正则化。04 结果数据与运动设置BraTS100 名患者的 T1w/T2w 图像训练、验证、测试分别为 80/10/10 人对应 4880/610/610 张切片。目标是 T2w参考是 T1w图像为240 × 240 240\times240240×240。BraTS 原数据已经对齐因此人为加入[ − 5 , 5 ] [-5,5][−5,5]度旋转、横纵向[ − 5 , 5 ] [-5,5][−5,5]像素平移及其组合。MRBrainS7 名受试者的 T1w-IR/T2w-FLAIR原本存在错位。6 人用于训练通过增强形成 3000 张切片1 人用于测试。对目标序列沿相位编码方向进行回顾性 Gaussian 掩膜欠采样考察 8 倍与 16 倍加速。BraTS 上的比较下表摘自原文 Table 1单位为 PSNR / dB。所有方法与对应运动条件比较加速与运动不使用参考直接使用未配准参考本文方法8 倍平移32.8432.8934.638 倍旋转32.8433.2534.398 倍平移加旋转32.8432.8434.3216 倍平移28.7328.9031.3016 倍旋转28.7329.8131.6316 倍平移加旋转28.7328.8731.09以 16 倍、平移加旋转为例本文方法比不使用参考提高2.36 dB比直接拼接未配准参考提高2.22 dB。这说明参考图像是否对齐会明显影响共享信息的收益。图 2来源于 Fig. 4对应 BraTS 的 16 倍欠采样。依次为真值、零填充、不使用参考、使用未配准参考和本文方法下方包含局部放大及误差图。MRBrainS 上的比较下表摘自 Table 2数值为 PSNR / SSIMSSIM 沿用原文的百分数表示加速不使用参考未配准参考本文方法8 倍33.45 / 93.00%35.96 / 96.01%36.39 / 96.38%16 倍28.76 / 85.58%32.97 / 93.33%33.58 / 93.76%这里未配准参考本身已有较大收益ST 又带来进一步改善。增益大小与错位程度、序列配对和欠采样程度有关不能认定“未配准参考一定没有帮助”。配准是否真的起作用作者在 Fig. 5 将参考与目标用彩色叠加显示比较 ST 前后的空间位置观察到错位减少。这提供了中间机制的可视化证据而不只是最终 PSNR 的比较。原文主要给出质量结果没有给出足以支持某个毫秒级推理结论的定量耗时表不能将单次前向传播直接换算成已验证的实时性能。05 思考跨对比度共享的应该是什么主要是对应的解剖结构而不是简单复制强度。参考中清晰的边界可能有帮助但某些病灶只在目标序列中明显不能假设所有结构都应相同。为什么将配准放入重建网络严重欠采样图像本身有混叠独立配准可能难以找到稳定对应。联合训练让配准不仅追求相似性也受到最终重建任务的约束。但训练时使用了真值引导 NCC这一优势依赖监督数据与 SSDU 等无全采样参考的训练机制需要区分。参考图像是否意味着“免费加速”本文假设完整参考已经获得。8 倍或 16 倍描述目标序列的欠采样不等于整个多序列检查时间同样缩短 8 倍或 16 倍。评价完整扫描流程时还需要计入参考序列。哪些运动还没有充分覆盖主要实验是二维平移和旋转以及有限受试者的原生错位。层间对应错误、离面运动、大幅非刚性变形与采集过程中的运动并不能直接由这些结果保证。作者也将非刚性配准列为后续方向。可以学习的点先检查辅助信息的对应关系再设计特征融合把可微坐标变换接入任务网络用“不使用参考—直接使用参考—配准后使用参考”逐级实验判断改进究竟来自哪里。06 新掌握的表达多对比度 MRImulti-contrast MRI未配准参考图像unregistered reference images可共享信息shareable information空间变换模块spatial transformation module归一化互相关normalized cross-correlation定位模块localization module网格采样器grid sampler 
长河君 · 2026/10/23 4:59:54 · 阅读 1.2k 【论文阅读】未配准多对比度 MRI：让网络先对齐，再共享解剖信息
文章目录01 基础信息02 背景03 方法04 结果05 思考06 新掌握的表达01 基础信息标题Deep unregistered multi-contrast MRI reconstruction。作者Xinwen Liu、Jing Wang、Jin Jin、Mingyan Li、Fangfang Tang、Stuart Crozier、Feng Liu。期刊Magnetic Resonance Imaging81:33–412021。关键词多对比度 MRI图像重建图像配准空间变换数据一致性。论文DOI10.1016/j.mri.2021.05.005。总结利用同一患者已经采集的另一种对比度图像辅助欠采样重建并在网络前端引入可微空间变换模块自动缓解参考图像与目标图像的错位。整个模型将配准与重建联合训练。前面的级联网络主要利用当前序列的信息。如果已经有一张清晰的 T1w 图像能否帮助重建 T2w这篇文章进一步考虑参考图像与当前图像没有对齐时直接共享信息还可靠吗02 背景为什么不同对比度可以互相帮助T1w、T2w、FLAIR 等图像的组织亮暗关系不同但同一患者的脑沟、脑室和组织边界具有大量共享结构。充分利用这些信息可以减轻目标序列欠采样造成的信息缺失。给定目标测量y yy与参考图像x r e f x_{\mathrm{ref}}xref原文将问题写为x ∗ arg min x { ∥ F x − y ∥ 2 λ R ( x , x r e f ) } x^*\arg\min_x\left\{\|Fx-y\|_2\lambda R(x,x_{\mathrm{ref}})\right\}x∗argxmin{∥Fx−y∥2λR(x,xref)}F FF是欠采样傅里叶算子第一项约束目标测量第二项利用目标图像与参考图像之间的关系。问题出在哪里不同序列通常先后采集患者可能平移或转头。此时参考图像某个位置的组织未必对应目标图像相同位置的组织。直接拼接两张图像可能把不属于当前位置的信息带入重建。重新整理的一些背景知识多对比度与多线圈有什么区别多对比度指不同序列产生的不同组织对比多线圈指不同接收线圈提供的空间编码信息。本文重点处理前者不能将“有多个输入图像”直接理解为已经验证了多线圈原始数据重建。什么是图像配准寻找空间坐标变换使不同图像中对应的解剖结构对齐。它改变的是空间位置不要求把 T1w 的组织强度变成 T2w 的组织强度。什么是空间变换模块Spatial TransformationST由网络预测坐标变换再通过可微采样得到变换后的图像。这样后续的重建误差也可以反向影响配准参数。03 方法1整体框架ST 级联 CNN/DC输入是零填充重建图像x 0 x^0x0与完整参考图像x r e f x_{\mathrm{ref}}xref。ST 模块首先输出对齐参考T θ L l o c ( x r e f , x 0 ) , x r e f ′ Warp ( x r e f ; T θ ) \mathcal T_\thetaL_{\mathrm{loc}}(x_{\mathrm{ref}},x^0), \qquad x_{\mathrm{ref}}\operatorname{Warp}(x_{\mathrm{ref}};\mathcal T_\theta)TθLloc(xref,x0),xref′Warp(xref;Tθ)之后将同一张x r e f ′ x_{\mathrm{ref}}xref′与每轮当前重建拼接送入 CNN再经过 DC 更新。图 1来源于原论文 Fig. 1。ST 根据参考图像与欠采样输入预测变换变换后的参考图像参与各级联的特征提取。注意图中 ST 位于重建网络前端不是每个级联都重新执行一次独立配准。2定位网络预测六个变换参数定位模块使用卷积、最大池化和全连接层输出一个2 × 3 2\times32×3坐标变换矩阵T θ [ θ 11 θ 12 θ 13 θ 21 θ 22 θ 23 ] \mathcal T_\theta \begin{bmatrix} \theta_{11}\theta_{12}\theta_{13}\\ \theta_{21}\theta_{22}\theta_{23} \end{bmatrix}Tθ[θ11θ21θ12θ22θ13θ23]论文主要针对平移、旋转等头部运动。严格地说六个自由参数构成二维仿射形式可以表示的变换范围比仅有旋转和平移的刚体变换更广不能因为实验模拟的是刚体运动就把网络说成只输出三个刚体参数。定位模块首先使用 8 个3 × 3 3\times33×3卷积核再经池化与 ReLU随后使用 10 个卷积核及进一步池化最后展平并通过全连接层回归参数。初始化时输出恒等变换以减少训练初期的破坏。3网格采样器完成可微变形对输出图像的每个网格位置通过变换计算其在输入参考图像中的采样坐标再用双线性插值获得像素值。这种“输出位置寻找输入采样点”的形式与直接把输入像素推到输出位置不同。坐标变换与插值均可参与反向传播ST 才能与重建网络一起优化。4配准参考与当前重建一起进入 CNN重建主干包含 5 个级联每个 CNN 使用 5 层卷积、4 个 ReLU、32 个特征通道和残差连接主要卷积核为3 × 3 3\times33×3。每个级联先融合当前目标图像与已对齐参考再由 DC 结合目标序列实际采集的 k-space 信息进行校正。参考图像提供先验目标测量仍然提供独立约束。5联合重建误差与配准相似性训练损失为L ∥ x T − x g t ∥ 1 − ω NCC ( x r e f ′ , x g t ) \boxed{\mathcal L\|x^T-x_{\mathrm{gt}}\|_1-\omega\operatorname{NCC}(x_{\mathrm{ref}},x_{\mathrm{gt}})}L∥xT−xgt∥1−ωNCC(xref′,xgt)第一项减少最终重建与真值之间的绝对误差第二项鼓励变换后的参考与目标真值在空间结构上更相关。NCC 表示归一化互相关原文采用局部均值定义。这里尤其要区分训练与推理训练时有目标真值用它构造损失推理时 ST 接收的是参考图像和欠采样输入不需要目标真值。因此这是监督重建框架并不是因为配准过程没有变换标签就变成了完全自监督重建。作者设置ω 10 − 4 \omega10^{-4}ω10−4使用 Adam初始学习率 0.001训练 100 个 epoch并采用权重的ℓ 2 \ell_2ℓ2正则化。04 结果数据与运动设置BraTS100 名患者的 T1w/T2w 图像训练、验证、测试分别为 80/10/10 人对应 4880/610/610 张切片。目标是 T2w参考是 T1w图像为240 × 240 240\times240240×240。BraTS 原数据已经对齐因此人为加入[ − 5 , 5 ] [-5,5][−5,5]度旋转、横纵向[ − 5 , 5 ] [-5,5][−5,5]像素平移及其组合。MRBrainS7 名受试者的 T1w-IR/T2w-FLAIR原本存在错位。6 人用于训练通过增强形成 3000 张切片1 人用于测试。对目标序列沿相位编码方向进行回顾性 Gaussian 掩膜欠采样考察 8 倍与 16 倍加速。BraTS 上的比较下表摘自原文 Table 1单位为 PSNR / dB。所有方法与对应运动条件比较加速与运动不使用参考直接使用未配准参考本文方法8 倍平移32.8432.8934.638 倍旋转32.8433.2534.398 倍平移加旋转32.8432.8434.3216 倍平移28.7328.9031.3016 倍旋转28.7329.8131.6316 倍平移加旋转28.7328.8731.09以 16 倍、平移加旋转为例本文方法比不使用参考提高2.36 dB比直接拼接未配准参考提高2.22 dB。这说明参考图像是否对齐会明显影响共享信息的收益。图 2来源于 Fig. 4对应 BraTS 的 16 倍欠采样。依次为真值、零填充、不使用参考、使用未配准参考和本文方法下方包含局部放大及误差图。MRBrainS 上的比较下表摘自 Table 2数值为 PSNR / SSIMSSIM 沿用原文的百分数表示加速不使用参考未配准参考本文方法8 倍33.45 / 93.00%35.96 / 96.01%36.39 / 96.38%16 倍28.76 / 85.58%32.97 / 93.33%33.58 / 93.76%这里未配准参考本身已有较大收益ST 又带来进一步改善。增益大小与错位程度、序列配对和欠采样程度有关不能认定“未配准参考一定没有帮助”。配准是否真的起作用作者在 Fig. 5 将参考与目标用彩色叠加显示比较 ST 前后的空间位置观察到错位减少。这提供了中间机制的可视化证据而不只是最终 PSNR 的比较。原文主要给出质量结果没有给出足以支持某个毫秒级推理结论的定量耗时表不能将单次前向传播直接换算成已验证的实时性能。05 思考跨对比度共享的应该是什么主要是对应的解剖结构而不是简单复制强度。参考中清晰的边界可能有帮助但某些病灶只在目标序列中明显不能假设所有结构都应相同。为什么将配准放入重建网络严重欠采样图像本身有混叠独立配准可能难以找到稳定对应。联合训练让配准不仅追求相似性也受到最终重建任务的约束。但训练时使用了真值引导 NCC这一优势依赖监督数据与 SSDU 等无全采样参考的训练机制需要区分。参考图像是否意味着“免费加速”本文假设完整参考已经获得。8 倍或 16 倍描述目标序列的欠采样不等于整个多序列检查时间同样缩短 8 倍或 16 倍。评价完整扫描流程时还需要计入参考序列。哪些运动还没有充分覆盖主要实验是二维平移和旋转以及有限受试者的原生错位。层间对应错误、离面运动、大幅非刚性变形与采集过程中的运动并不能直接由这些结果保证。作者也将非刚性配准列为后续方向。可以学习的点先检查辅助信息的对应关系再设计特征融合把可微坐标变换接入任务网络用“不使用参考—直接使用参考—配准后使用参考”逐级实验判断改进究竟来自哪里。06 新掌握的表达多对比度 MRImulti-contrast MRI未配准参考图像unregistered reference images可共享信息shareable information空间变换模块spatial transformation module归一化互相关normalized cross-correlation定位模块localization module网格采样器grid sampler