LSM-YOLO: 一种紧凑且有效的医学检测ROI检测器

              LSM-YOLO: A Compact and Effective ROI Detector for Medical Detection

  解释：compact"紧凑"意味着这个模型在保持高效率的同时，可能在计算资源需求上更为节省。Effective"有效"则表明它在检测任务上表现出良好的性能。"ROI"是"Region of Interest"的缩写，指的是图像中需要特别关注的部分，例如在医学图像中可能是指病变区域。所以，LSM-YOLO是一个专门针对医学图像中感兴趣区域进行快速且准确检测的改进版YOLO算法。

原文地址：官方论文地址
代码地址：官方代码地址

摘要：
  在现有的医学感兴趣区域（ROI）检测中，缺乏能够同时满足实时性能和准确性的算法，这无法满足医学自动检测日益增长的需求。尽管基本的YOLO框架由于其快速速度确保了实时检测，但它在同时保持精度方面仍然面临挑战。为了缓解上述问题，我们提出了一种名为轻量级旁路匹配Lightweight Shunt Matching-YOLO（LSM-YOLO）的新型模型，该模型包含轻量级自适应提取（LAE）和多路径旁路特征匹配（MSFM）。 首先，通过使用LAE 来精细化特征提取，模型可以从多尺度特征图中获得更多的上下文信息和高分辨率细节 ，从而在减少噪声影响的同时提取医学图像中ROI的详细特征 。其次，MSFM 被用来进一步细化高级语义特征和低级视觉特征的融合，使得ROI特征与邻近特征之间的融合更好，从而提高检测率，以更好地辅助诊断。 实验结果表明，LSM-YOLO在胰腺肿瘤的私有数据集上达到了48.6%的AP，在BCCD血细胞检测公共数据集上达到了65.1%的AP，在Br35h脑肿瘤检测公共数据集上达到了73.0%的AP。我们的模型在上述三个数据集上以最小的参数成本实现了最先进的性能。

1.介绍

  医学成像技术，如计算机断层扫描（CT）和磁共振成像（MRI），在放射学检查中被广泛使用。相应的诊断，如肿瘤筛查和血液成像分析，主要依赖于资深医生对图像的目视分析。在医学图像中自动检测感兴趣区域（ROI）的工具和方法缺乏。基于医学成像的现有分析大多侧重于医学图像分割，很少有成熟的检测结果被应用于临床实践。医学成像中病变的大小并不统一，且早期病变难以检测。此外，医学ROI检测模型稀缺。更重要的是，医学数据集的规模较小，不利于数据驱动方法，如深度学习。因此，我们的工作希望在这一领域扩展，结合自动检测与医学，旨在提供一个轻量级、易于部署、高效的医学对象检测模型。

  如今，主流的检测器分为两类：基于CNN的，以YOLO为例，以及基于Transformer的，以DETR为例。YOLO框架以其在速度和准确性之间的显著平衡而脱颖而出，能够实现图像中的快速可靠对象检测。尽管DETR在像MS-COCO这样的大型数据集上具有卓越的准确性，但其高计算成本和参数数量阻碍了其全面性能， 特别是在像医学这样的特定领域，数据集较小，YOLO表现出色。正是这种优越性激发了本工作中YOLO的使用。

  在医学成像中，检测的ROI相对较小，因为病变通常只发生在CT或MRI扫描中某个器官的特定部分。ROI与周围区域的关系至关重要。如何妥善处理两者之间的关系是一个重要问题。通常，部署在医疗设备上的函数应该是轻量级的，不应消耗太多资源，降低运营成本，同时提高医疗服务质量。这就是我们旨在实现轻量级模型的原因。

  为了应对上述挑战，我们开发了一个轻量级且易于部署的LSM-YOLO框架，以促进医学图像检测。最初，我们引入了 感受野注意力卷积操作（RFAConv），利用空间注意力机制共享卷积核参数。这意味着在特征提取的初始阶段，模型学习了对象区域及其周围环境之间的相似性和差异性。 为了提取多尺度特征图，我们设计了 轻量级自适应提取（LAE），允许在保留尽可能多的信息丰富特征的基础上进行下采样，这不仅避免了与传统卷积相关的高计算需求问题，而且还可以动态地在多尺度采样期间提取特征，使模型的注意力更多地集中在对象区域。在获得多尺度特征图后，自然地，我们提供了一个合理的 特征融合机制——多路径旁路特征匹配（MSFM）这使得模型在特征融合过程中更多地关注具有更大权重值的坐标，从而学习关键信息， 如肿瘤特征和位置。通过上述方法，我们可以获得更丰富的上下文和高分辨率信息，提高模型的检测准确性和泛化能力。此外，为了解决医学成像中众多小对象的问题，我们优化了输出头部，特别是扩展了路径聚合-特征金字塔网络（PA-FPN）结构，以提高对小对象的检测能力，使用四个检测头完成最终输出任务。

2.相关工作

2.1医学感兴趣区域（ROI）检测

  医学ROI检测在提高诊断准确性、治疗计划和外科干预方面发挥着至关重要的作用。通过自动识别和定位ROI的目标，它帮助放射科医生和医生检测疾病的早期迹象，如癌症，从而实现及时干预和更好的患者治疗。
  针对不同的器官区域，有许多工作利用深度学习方法实现自动医学ROI检测。Kang等人提出了RCS-YOLO来解决脑肿瘤的检测问题。Ahmed等人将YOLO模型引入到手腕异常检测中。DeGPR是一个专注于细胞检测和计数的模型，它可以协助其他对象检测器。Huynh等人利用对象检测模型自动检测痤疮皮肤病。CircleNet是一个为检测球形生物医学对象（如肾小球和细胞核）而设计的模型，作者还提出了在医学任务中使用圆形边界框来检测球形对象，目的是更好地适应具有独特形状的检测任务。在医学图像处理领域，Shamshad等人对Transformer的各种应用进行了全面的综述，包括分类、分割、检测、重建和配准。这种系统的汇编是非常值得称赞的。

2.2多尺度特征用于对象检测

  将多尺度特征引入对象检测模型是至关重要的。通常，较大的特征捕捉较小物体的纹理细节，而较小的特征包含较大物体的语义属性。仅依赖单尺度特征会遗漏细节信息。例如，在腹部CT图像中，胃和胰腺的大小差异显著。仅靠单尺度特征的帮助，检测器很难完全学习胃和胰腺的独特特征，可能导致模型只识别出胃而不知道胰腺是什么样子。
  平衡高级语义信息与低级视觉信息一直是众多工作的重点。在这种情况下，特征金字塔网络（FPN）结构因其跨尺度连接和多尺度特征融合的方法而被广泛采用 。后续工作对FPN进行了优化，以进一步解决上述问题。路径聚合网络（PAN）通过自下而上的路径增强了不同级别特征的整合。双向特征金字塔网络（BiFPN），一种加权双向特征金字塔网络，引入可学习权重，反复从上到下和从下到上应用多尺度特征融合。与层间交互不同，集中式特征金字塔（CFP）专注于层内特征，以捕获全局长距离依赖。此外，渐近特征金字塔网络（AFPN）通过融合两个相邻层的低级信息进展到高级特征，支持非相邻层之间的交互。然而，将多尺度特征引入模型不可避免地增加了计算成本。可变形DETR以牺牲计算资源为代价实现了多尺度特征的良好融合。尽管如此，过多的信息交换可能导致低级信息的丢失，并在平衡效率、准确性和轻量级设计方面带来挑战。

3方法

  所提出的LSM-YOLO网络的结构如图1所示。该网络主要在主干部分提取特征，在头部区域整合特征，并与四个输出头结合以输出。

图1. LSM-YOLO网络架构概览。1) LAE作为一个模块来提取多尺度特征图；2) MSFM作为一个模块来细化和融合高级语义和低级空间特征。

3.1LAE(轻量级自适应提取）

  在多尺度特征提取中，与传统的卷积方法相比，LAE显著减少了参数数量和计算成本，同时还提取了包含更丰富语义信息的特征。图2显示了LAE的结构示意图。

图2：LAE的结构示意图
  在传统卷积过程中，边缘和角落的像素信息会丢失，但这些局部信息在医学成像中尤其重要，因为它代表了ROI目标与周围区域之间的隐含信息。此外，特征图中相邻像素之间的信息存在差异，包含物体的像素比其邻近像素具有更高的信息熵，因此我们希望在采样过程中保留信息含量较高的像素。
  考虑到卷积操作的局部特性，难以捕获全局信息，同时也涉及复杂的计算。我们参考了Focus的概念，它使用切片操作按行和列分离采样。这在减少信息丢失的同时实现了采样的目的，本质上将特征图的高度和宽度信息集中在通道级别。然而，我们没有直接采用切片操作，因为它的高计算成本与我们轻量级处理的目标相矛盾。
  我们设计了两个具有共享参数的并行分支，采用 组卷积的概念，以低参数高效地将输入映射到输出维度。通过使用N组的组卷积，参数数量比传统卷积减少了1/N。
  每个LAE单元实现了 四倍下采样，这意味着高度和宽度都按两倍因子缩放。为了减轻采样过程中边缘信息的丢失，在将特征图的高度和宽度信息保存到通道后，特征图的维度从四维（批次、通道、高度、宽度）变为五维（批次、通道、高度、宽度、n），其中’n’代表采样因子。自适应提取路径通过平均池化和卷积交换信息。本质上，在这条路径上的下采样是根据四个相邻像素（如左上角的四个像素）重新组合特征图，它们各自的权重通过softmax表示，也将维度转换为五维。在’n’维度上，自适应权重与另一分支结合。这种方法可以被理解为在从高分辨率到低分辨率信息的转换过程中，隐式地在通道级别包含全局信息。总体而言，两个分支分别负责将高度和宽度信息集中到通道中，并计算相应的信息权重。我们的LAE模块在使用时是无参数的，便于即插即用转移。

3.2MSFM(多路径旁路特征匹配)

  在多尺度特征融合中，我们的目标是摆脱传统方法，即仅依赖于通道信息的交换。这是因为提取的多尺度特征代表了不同大小物体在特征图上的映射。特别是在医学成像中，如肿瘤检测，肿瘤的存在通常与侵袭现象相关，并且以多发性和高度转移倾向为特征。这在特征图上表现为空间和通道维度上的高度相关性。通道信息的交换可以增强模型捕获视觉信息的能力。然而，大量的语义信息在空间上是集中的，空间信息的交互可以帮助检测不同尺度的ROI。例如，具有低分辨率但高语义信息的特征图本质上用于预测更大的目标。如果我们 将高级空间信息与低级视觉信息合并，它可以产生互补效果，使用来自更大接受域的全局信息帮助低级特征图预测更小的物体。因此，我们提出的MSFM模块对从低到高级别的特征进行空间和通道信息的全面分析。图3显示了MSFM的结构示意图。
  MSFM模块遵循旁路概念，其中MatchNeck块用于增强模型表示ROI区域特征的能力，同时控制参数数量和计算复杂性。该过程首先使用分裂操作符将信息流分割，保留原始特征以供后续的残差连接。MSFM模块以计算效率高的方式从输入特征张量的高、宽和通道维度提取信息。设平均池化和全局平均池化操作分别为Pavg和Pgavg，从输入特征Fin提取F’out的过程如下：


图3：MSFM结构

  将高度和宽度信息归一化后纳入通道可以帮助级联全局信息，从而捕获ROI位置及其邻域的共同特征，以促进上下文信息的交互。同时，空间信息流被整合到通道中，作为辅助权重保存，然后通过乘法操作符将这些权重传回给空间张量。设经过后处理的高度和宽度信息分别为F^h和F^w，相应的权重为weighth和weightw，空间信息的处理过程如下：

  设经过后处理的通道信息为Fc，输出为Fout，通道信息分支的处理过程如下：

  在与原始源信息进行拼接并通过1x1卷积后，然后产生输出。
  MSFM模块有两个版本：一个带有残差连接，一个不带。在主干中，我们使用带有残差连接的版本，因为在这个阶段的主要任务是提取对象的主要特征，为后续阶段提供有意义的特征表示。使用残差连接有助于缓解梯度消失的问题，从而加速模型的收敛。在头部，我们采用不带残差连接的版本。在这个阶段，模型已经提取了足够的特征信息，任务是分析这些特征以预测物体。因此，在这里残差连接变得多余。

3.3损失函数

  LSM-YOLO的损失函数分为分类分支和回归分支。分类分支采用 二元交叉熵损失（BCE），而回归分支分为 分布焦点损失（DFL）和SCYLLA-IoU（SIoU）损失。本文中的总体损失是上述三个部分的加权组合，每个组成部分按比例加权。当γ = 0.5，ζ = 1.5，η = 7.5时，其定义如下：

4.实验和结果

4.1数据集

  为了评估所提出的LSM-YOLO模型，我们使用了三个不同的医学数据集。我们的私有CT胰腺肿瘤数据集包括浆液性囊性肿瘤和粘液性囊性肿瘤，训练集有1173张图像，验证集有309张图像。我们使用了MRI脑肿瘤数据集（Br35H）[4]，总共包含701张图像。其中，500张图像用于训练，201张图像用于验证。此外，我们还利用了血细胞计数和检测（BCCD）[17]数据集，训练集包含292张图像，验证集包含72张图像。

4.2实验

  对于模型训练和推理，我们使用了两块NVIDIA GeForce RTX 4090 GPU。对于YOLO系列模型，我们统一将训练周期（epoch）设置为300，输入图像尺寸设置为640 × 640。对于非YOLO模型，我们根据它们各自原始论文中指定的训练周期设置进行实验。然而，对于RT-DETR，我们将训练周期设置为300，因为我们发现使用原始论文[29]中的72个训练周期并没有在这些数据集上实现完全收敛。

4.3结果

  我们将比较模型分为YOLO系列和端到端DETR系列，这两者目前是目标检测领域的两大主流类别。
  表1首先比较了在胰腺肿瘤数据集上与LSM-YOLO尺寸最接近的YOLO系列探测器。LSM-YOLO实现了更少的参数和显著更高的准确性。进一步将其与更大的模型进行比较，LSM-YOLO在胰腺肿瘤数据集上仍然具有明显优势。
  在与DETR系列模型的比较中，比较模型的大量参数和计算负荷并没有带来正面收益。原因是DETR系列模型缺乏多尺度特征的处理，导致更深层的网络无法为预测获取足够的ROI肿瘤特征。

表1：在胰腺肿瘤数据集上与最先进的探测器进行比较。

  我们提出的LSM-YOLO在胰腺肿瘤数据集上达到了48.6%的AP50:95和60.8%的AP50，以更低的参数数量和计算成本超越了众多最先进的探测器。LSM-YOLO在小型、中型和大型物体检测方面展现出了绝对的优越性。
  我们还尝试了更大尺寸的模型，但结果表明与较小尺寸的模型相比性能较差。从表1可以看出，随着模型尺寸的增加，检测准确性降低。因此，可以得出结论，对于较小规模的医学数据集，较小尺寸的模型表现更好。

  表2将我们的LSM-YOLO与其他探测器在BCCD血细胞数据集上进行了比较。我们的LSM-YOLO达到了65.1%的AP50:95和92.7%的AP50，以相对较低的参数数量和计算成本展示了最先进的性能。可以看出，在血细胞数据集上，这是一项密集的多目标检测任务，YOLO系列模型和DETR系列模型表现相似。原因是这类数据集的分布特点是大型目标容易检测，但多个重叠目标难以检测。两种类型的模型在检测后者方面表现都不佳。然而，我们的LSM-YOLO由于其有效的特点融合机制，对目标周围的区域敏感，并更好地捕捉潜在的ROI区域特征，从而实现了更好的检测率。与RT-DETR-R50相比，LSM-YOLO减少了93.2%的参数数量和90.4%的计算量，同时显著提高了准确性。实验结果突出了LSM-YOLO在整体AP指标上的明显优势。在确保易于检测的大型目标高检测率的同时，它还展示了对重叠和覆盖的小目标和中型目标的出色检测性能。

表2：在BCCD数据集上与最先进的探测器进行比较。

  表3展示了我们的LSM-YOLO在Br35H脑肿瘤数据集上与其他探测器的比较。我们的LSM-YOLO达到了73.0%的AP50:95和95.6%的AP50，超越了之前的最先进模型RCS-YOLO，同时显著减少了参数数量和计算成本。这确立了LSM-YOLO作为该数据集上的新最先进的模型。

  从表3的AP指标来看，LSM-YOLO在检测小肿瘤方面具有显著优势。这进一步证明，对于ROI区域，我们的模型有效地学习了目标区域与周围环境之间的对比特征，从而实现了更高的召回率。这证明了LSM-YOLO可以利用其性能优势，更好地协助临床医生进行诊断。
  基于这三个数据集的实验结果，我们提出的LSM-YOLO展示了其在多个器官ROI目标检测任务中的适应性。与当前流行的YOLO系列探测器和DETR系列探测器相比，LSM-YOLO在不增加过多计算成本的情况下实现了最先进的性能。这对于临床应用具有明显的实际意义。

4.4可视化

  为了更好地展示检测性能，我们使用检测结果的可视化和类激活图（CAM）直观地展示感兴趣区域（ROI）的检测效果。在可视化图中，第一行子图展示了检测结果，而第二行代表类激活图。

图4. 在胰腺肿瘤数据集上进行肿瘤ROI检测的可视化比较。
  从图4的第一行可以看出，图4(a)显示LSM-YOLO成功检测到肿瘤位置，达到了最高的置信度0.92。图4(b)展示了RT-DETR的一个误检案例，而图4©显示YOLOv9错误分类了目标。在图4的第二行中，可以观察到与其他检测器相比，LSM-YOLO展现出最佳的激活效果。此外，很明显，我们的LSM-YOLO成功检测到了肿瘤右侧衍生的一小部分，而其他检测器未能检测到。

图5. 在BCCD血细胞数据集（上半部分）和Br35H脑肿瘤数据集（下半部分）上进行细胞ROI检测的可视化比较。

  图5的上半部分显示，LSM-YOLO能够准确检测重叠的细胞，并在密集场景中表现良好，这是其他检测器无法实现的结果。在类激活图中，LSM-YOLO对边缘不完整细胞的激活效果明显优于其他检测器。

  从图5的下半部分可以观察到，LSM-YOLO在正确分类脑肿瘤方面具有最高的置信度，类激活图的激活区域最大。这表明LSM-YOLO对肿瘤ROI特征的学习最为全面。

4.5相关研究

  为了评估所提出的RFABlock、LAE和MSFM模块的有效性，我们进行了消融实验。如表4所示，与没有这三个模块的实验相比，分别添加RFABlock、LAE、MSFM每个模块都提高了检测精度。此外，分别结合LAE和MSFM模块，实验结果表明这两个模块进一步增强了检测性能。最后，结合所有三个模块，我们获得了最优结果。

  如表5所示，我们对LAE模块内部的轻量提取（LE）和自适应提取（AE）模块进行了消融实验，它们分别对应于图2的上半部分和下半部分，以及维度映射（DM）模块。在没有LE的实验中，使用卷积进行替代。将LE和AE结合到LAE模块中增强了检测率，通过DM集成和优化进一步改善。这证明了LAE内部模块的合理性。

表4. 在胰腺肿瘤数据集上对提出的RFABlock、LAE和MSFM模块进行消融研究

表5. 在胰腺肿瘤数据集上对LAE内部模块进行消融研究

表6. 在胰腺肿瘤数据集上对MSFM内部模块进行消融研究

表6展示了MSFM中空间部分和通道部分的消融实验，每个部分代表了在不同维度上对特征进行精细化融合，这有利于医学图像中ROI区域及其邻域内的交互。AP50:95指标从44.8%提高到了48.6%，证明了这两个内部组件的有效性。

5.结论

  在本文中，我们提出了LSM-YOLO网络，这是一种轻量级且准确的医学ROI检测网络，它通过结合LAE和MSFM模块创新性地增强了特征提取和融合能力，特别是在医学图像中小目标的检测中。此外，RFABlock被用来通过在卷积过程中引入注意力机制来扩大接收场。与其他目标检测器相比，LSM-YOLO在胰腺肿瘤数据集、血细胞数据集和脑肿瘤数据集的评估中展现出了卓越的性能，同时具有较低的参数数量和计算成本，证明了其在不同医学图像检测任务中的泛化能力和实用性，适合实时医学图像处理。同时，我们在实验中发现并验证了对于小规模医学影像数据集，大型模型的表现并不如小型模型。未来，我们将继续探索可靠的医学图像检测器以协助临床诊断。