自然图像与医学图像的深度语义分割这个方向近两年关注度一直在涨。这篇综述把两类图像的分割问题放在同一个框架里做梳理角度比较少见读完之后最大的感受是与其说是两个领域不如说是一个底层的技术体系在应对两种不同的数据特征。自然图像追求的是多类别、多尺度的精细边界医学图像追求的是结构先验明确、目标形态相对固定条件下的高精度定位。两者的难点有交集但侧重点完全不同。这篇综述的价值在于把FCN、U-Net、DeepLab、Transformer这些模型放在统一坐标系里做对比同时对两者面临的核心挑战、评估指标、数据集差异做了系统梳理。对于刚入门语义分割的人来说它是一份完整的地图对于已经在工业场景里实践过分割任务的人它又像一面镜子让你回头审视自己在数据和策略选择上有没有走弯路。1. 综述全景为什么要把自然图像和医学图像放在一起看1.1 这篇综述到底在解决什么问题语义分割是计算机视觉里典型的“稠密预测”任务意思是图像里每个像素都要被分配一个语义类别标签。这和图像分类完全不同——分类只回答“这张图里有什么”分割必须回答“这个物体占哪些像素、边界在哪”。早期的方法高度依赖手工特征和传统机器学习方法比如随机森林、条件随机场需要人为设计大量特征来描述颜色、纹理、边缘位置。这些方法在简单场景能跑但一旦遇到复杂背景、遮挡、类内差异大的情况效果就会断崖式下跌。深度学习方法彻底改变了这个局面。基于卷积神经网络的编码器可以自动学习从低级边缘到高级语义的分层特征表示这让分割精度出现了质的提升。综述梳理的核心问题是在过去几年的技术演进中自然图像和医学图像两个方向分别沉淀了哪些关键方法它们之间的方法迁移是否有效哪些经验是具有普适性的哪些策略又是场景特化的这类问题在实际工程中非常现实。很多团队做医学图像分割时会直接跑去用自然图像领域的SOTA模型反过来也有人尝试把医学图像里的结构先验思想带回自然场景。但效果经常打折扣。原因在于两个领域的数据分布、标注成本、目标形态有本质差异方法迁移不是简单的“换个数据集重训”就能完成。综述最重要的贡献就是把技术演化与领域特性结合起来解释而不是停留在“哪个模型分数最高”的浅层比较。1.2 自然图像与医学图像的核心差异要理解综述的对比逻辑必须先抓住两类图像各自的“脾性”。自然图像的特点是开放场景、语义类别丰富、目标尺度跨度极大。一张街景图里可能有行人、车辆、树、天空、建筑、路牌目标大小从几十像素到几万像素不等而且环境光照、遮挡、视角变化都很剧烈。数据集往往来自相机拍摄采集成本相对可控。代表性数据集包括常用于自动驾驶语义分割的Cityscapes、常用于场景解析的ADE20K以及类别规模更大的COCO。医学图像是另一种极端。医学图像来源高度受控成像模态多样——CT、MRI、超声、病理切片、眼底照相每种模态的物理原理完全不同。目标通常是特定的解剖结构器官或病灶比如肝脏、肺结节、视网膜血管、脑肿瘤。类别数量少但要求的分割精度极高因为直接关系到临床诊断和治疗规划。另一个显著特征是数据获取困难医学图像标注需要专业医生成本极高而且涉及隐私合规能拿到的数据量往往只有几百到几千例。这两类图像的差异决定了技术选型的核心取舍。自然图像要求模型具备强大的泛化能力和对开放世界的感知能力所以在网络结构上偏向更强的特征提取与上下文聚合医学图像则更强调利用结构先验、处理样本不平衡、在小数据集上稳健训练。综述把这两个领域并置恰好让读者看到哪些技术是“通吃”的哪些是“水土不服”的。2. 核心技术演进从FCN到U-Net再到Transformer2.1 全卷积网络——分割任务的基石传统CNN解决分割问题的笨办法是滑窗把图像切成一堆小patch挨个分类每个中心像素。这个方案的致命伤是计算冗余极大且感受野受限。Long等人提出的全卷积网络FCN把网络最后的全连接层全部换成卷积层让网络可以直接接受任意尺寸的输入并输出对应尺寸的密集预测图。这个看似简单的改动实际上是把“图像到标签”的空间映射保留在特征图中解决了分割问题的根本矛盾。FCN的关键操作包括卷积化、上采样和跳跃连接。卷积化是指用卷积层替换全连接层从而保留空间信息上采样通常用转置卷积或双线性插值实现把低分辨率的特征图恢复到输入尺寸跳跃连接把浅层的高分辨率特征与深层的语义特征融合改善边界定位精度。FCN-32s、FCN-16s、FCN-8s是根据融合不同层级特征得到的变体。这个问题今天回看已经不算复杂但奠定了后续所有分割模型的设计基石。在工程部署上FCN时代留下的一个教训是转置卷积的初始化很重要处理不当会带来棋盘格伪影。很多入门者以为这是模型能力问题其实是上采样核的初始化方式不对。我当时实践时直接采用双线性插值初始化转置卷积权重后续再让网络自己微调事实证明比随机初始化稳定得多。综述里虽然没有讲这么细但对于真正要复现历史的读者这个细节值得记住。2.2 编码器-解码器结构如何解决分辨率退化FCN存在的明显问题是连续下采样导致边缘信息大量丢失深层特征虽有语义但缺乏空间细节。编码器-解码器架构提供了系统性的解决方案。编码器逐层提取语义特征并降低分辨率解码器逐步恢复空间分辨率并通过跳跃连接把编码器对应层的细节特征引入解码路径。U-Net是这一思路最具代表性的模型。U-Net最初是针对医学图像分割提出的其对称结构和一个关键设计——同层跳跃连接——让它在少量数据条件下依然能训练得很好。跳跃连接把编码器的高分辨率特征直接用特征拼接方式传给解码器等于给解码器提供了详尽的底层边缘信息帮助恢复精细结构。这个设计的价值在医学图像上被反复验证后来又反向迁移到自然图像分割中。DeepLab系列则是另一种路线的代表。DeepLab v1引入空洞卷积扩大感受野而不增加参数量DeepLab v2引入ASPP空洞空间金字塔池化用多个不同膨胀率的空洞卷积并行提取多尺度上下文DeepLab v3和v3进一步优化了ASPP结构并引入编码器-解码器结构。空洞卷积的核心价值在于你想扩大感受野时不必非得下采样可以在保持特征图分辨率的前提下让卷积核“散开”采样。对比U-Net和DeepLab可以看到解决同一个问题可以走截然不同的结构路线关键要结合任务的数据特点来判断。2.3 注意力机制与Transformer的引入分割任务中的注意力机制经历了几个阶段。SE模块最初用于通道注意力对特征通道做加权再缩放CBAM组合了通道注意力和空间注意力效果进一步提升而自注意力机制则是更大的变革它让每一个位置的特征都能与整张图像的所有位置建立关联天然具有全局建模能力。Transformer结构被引入计算机视觉领域后ViT证明了纯注意力模型在大规模数据上能取得优异的分类性能。在分割领域SETR将图像视为序列输入标准Transformer编码器但要处理高分辨率图像计算复杂度依然过高。真正让Transformer成为主流的转捩点是“卷积Transformer混合”的思路——用卷积做底层特征提取用Transformer做全局关系建模。这类混合架构与主流的U-Net式编码器-解码器结合后在自然图像和医学图像上都取得了SOTA级别的表现。值得思考的地方是Transformer能流行并非只是因为“注意力好用”更核心的是它让模型具备了动态建模任意位置关系的能力。卷积操作是局部且权重共享的它的归纳偏置适合建模空间局部相关性但对远距离依赖的建模依赖层数堆叠Transformer则直接用注意力机制突破了这个限制。不过从工业落地视角看Transformer模型普遍计算量较大部署到边缘设备时需要进行通道裁剪、结构化剪枝或量化压缩这是一个实践中不可回避的问题。3. 自然图像与医学图像的技术对比难点与对策3.1 数据集、标注与预训练策略的差异化处理数据集是分割领域最容易被低估的变量。自然图像数据集标签类别多每类含有大量样本标注粒度之间存在差异——比如Cityscapes只标注19个类别但要求像素级的精细边界COCO的标注则允许模糊的遮挡边界存在。这类数据的处理重点在于类别不平衡和场景多样性常用数据增强手段包括随机裁剪、翻转、尺度抖动、颜色抖动有时还会引入风格迁移模拟不同天气条件。医学图像数据的处理逻辑完全不同。以CT影像为例一张原始CT的体积是512×512×N临床使用时通常只取掩膜周围一个子区域训练病理切片更是全幅大图动辄10万×10万像素必须切块训练。针对器官边界模糊、病灶占比小的问题数据增强要设计成形状感知的比如弹性形变模拟器官变形随机遮挡模拟伪影。此外医学图像存在强烈的模态特异性同一病灶在CT和MRI中的表观完全不同直接用ImageNet预训练权重不一定有益——迁移特征未必匹配目标模态的纹理分布。预训练策略上综述倾向于强调自然图像预训练能够加速通用特征的学习但医学图像领域更常见的是“先在相似模态的大规模数据上预训练再在目标任务上微调”。我个人的实际体会是如果在目标数据量很小的情况下预训练权重最好是“半冻结”使用即冻结底层浅层特征只微调深层等模型有了一定适应能力后再解冻底层做进一步微调。这样做的直观原因是浅层特征提取的边缘、纹理模式相对通用深层特征逐渐任务特异性增强一上来就全部更新容易过拟合。3.2 多类别边界精细度 vs 小目标与类不平衡自然图像分割的核心难点在于多类别场景下的边界精细度和上下文歧义。行人和自行车重叠、树木被建筑遮挡、远处的小目标只有几个像素大小。类与类之间特征相似度高模型容易在边界处产生混淆。主流解决方案包括ASPP的多尺度上下文聚合、注意力机制的长距离依赖建模、以及基于边缘的辅助监督loss。预测后处理也常用CRF条件随机场做精细平滑虽然现在已经不是主流但针对特定低对比场景依然有效。医学图像分割的核心难点有两个小目标与类不平衡。在许多任务中目标器官或病灶占整个像素的比例不到1%如果直接用交叉熵损失训练模型会倾向于把所有像素都预测为背景。另一个典型困难是目标边界在影像中并不清晰。以低剂量CT的肺结节分割为例结节边缘与肺实质灰度接近医生标注本身也存在较大的观察者间差异。处理类不平衡的代表性手段是使用Dice损失或其变体。Dice系数的本质是预测区域与真实区域的重叠度对类别像素占比不敏感因此天然适合医学分割。组合损失函数比如Dice加Focal已经在多个任务中验证有效Dice损失负责最大化重叠Focal损失负责聚焦难分类样本。我在实际操作中的感受是医学分割任务中单独的Dice损失容易导致训练震荡尤其是小目标梯度不稳定的时候。配置交叉熵损失配合Dice损失做加权组合比单用Dice更稳收敛曲线也更平滑。权重比例通常从交叉熵:Dice1:1起步再根据各类别的反向传播梯度分布做微调。3.3 评价指标背后的使用场景漩涡语义分割最常用的评价指标是mIoU计算方式为预测类别与真实类别的交集除以并集再对所有类别取平均。mIoU对类别的像素数量不敏感这点和PixAcc不同——PixAcc在类别极不平衡时会被大占比类别主导数值虚高。自然图像评测普遍采用mIoU与其多类别、重心在边界清晰度的特性匹配。医学分割常用的指标包括Dice系数、IoU、HD95、ASSD。Dice和IoU虽然都衡量重叠程度但Dice对微小重叠更敏感——Dice值更低时对差异放大作用更强因此适合评估小目标。HD95衡量预测边界与真实边界之间的最大距离对边缘质量更敏感适合临床场景对器官轮廓和手术边界有严格要求的任务。这里最容易踩的坑是不同指标反映的能力不同只盯着单一指标做模型选型会导致系统性偏差。比如两个模型Dice一样但一个边界整体向内收缩一个边界随机抖动临床后的表现完全不同。因此当我做医学图像项目时通常同时追踪Dice、HD95和ASSD并在报告里写明优先指标。综述里专门花篇幅讨论评估指标本质上是提醒读者比较模型之前先确认这个分数是否在合理的度量框架下有意义。4. 实操经验训练语义分割模型时的核心细节4.1 数据准备的几个反直觉原则准备高质量的分割数据常见的错误是“刷样本量”。我踩过不少坑后总结的经验是分割模型对数据质量的敏感度远高于对数量的敏感度。首先要做的是标签一致性检查。不同标注者之间的一致性对分割模型的学习上限有直接影响低一致性会引入噪声标签模型会在边界学习到矛盾的信息。我的做法是在标注完成后随机抽取10%~20%样本让第二个标注者独立标注计算像素级IoU。如果低于0.85说明标注标准需要重新对齐。第二个原则是保留足够的背景信息。很多医学图像segmentation错误地裁到只包住目标导致模型完全没学到目标的上下文。比如肝分割时应该保留肝胆脾胰等相邻器官的轮廓因为人体解剖位置关系固定这种上下文信息正是模型需要的“结构先验”。第三点关乎数据划分。医学图像常见情况是不同患者的数据相关性更强因此必须按患者划分train/val/test而不是按切片或patch划分。否则测试集与训练集来自同一患者模型学到的是患者特化特征评估结果严重虚高。这在自然图像中也存在——场景分割应该避免同一地点不同帧的数据同时出现在训练和测试中。4.2 损失函数配置与训练策略分割训练的另一个重头戏是损失函数。单纯使用交叉熵训练医学图像模型小目标会被彻底淹没单纯使用Dice训练则可能收敛到局部最优解。经验上推荐组合损失DiceLoss加FocalLoss。FocalLoss以调节难度权重的方式强行聚焦hard样本而DiceLoss提供更平滑的类别平衡梯度。组合比例可以用网格搜索确定但实践上从1:1起步做调整已经能覆盖大多数场景。训练策略上有几个细节直接影响最终效果。第一是学习率的设置。分割模型普遍使用较大的初始学习率1e-3量级配合poly式衰减策略——在训练过程中按(1 - iter/max_iter)^0.9的比例逐步降低学习率。实现证明poly衰减比固定的step decay在分割任务中普遍多涨一个点以上因为它能在训练后期持续微调参数。第二是数据增强的在线生成。对于医学图像在线增强比离线增强有效得多每一轮epoch都生成不同的形变版本等价于让模型接触了无限多的训练样本。推荐配置包括随机旋转10度、随机缩放0.9~1.1、弹性形变和坐标采样扰动。对于不同模态增强手段有差异CT图像加高斯噪声恰当但在视网膜眼底图像上加光照扰动反而不合适因为临床设备的光照条件相对固定。4.3 推理阶段与模型部署的思考模型训练完成不等于交付完成。推理阶段与部署阶段还有不少细节容易疏忽。第一点测试时增强TTA。在验证和测试时同时使用原始图像和水平翻转、垂直翻转等变换对预测结果取平均可以显著降低预测方差对不确定性较大的场景尤其有效。但要注意这项技术会消耗更多推理时间实际落地时要权衡。第二点滑动窗口推理。对于医学大图像整图直接进网络可能显存溢出常见做法是切片预测再拼接。切片的边界部分预测质量低于中心区域因此做拼接时需要配合权重图对靠近切片边缘的预测结果降低置信度。另一个容易忽视的点是重叠切片的步长选择通常重叠20%~30%能在计算量和拼接质量之间达到平衡。第三点多模型集成。在比赛实践中几乎都能看到集成的效果多个不同结构的模型预测取平均或投票一般能提升Dice 0.5~2个百分点。但正是因为收益显著集成会掩盖单个模型的真实表现如果最终目标是部署一个轻量模型那么在集成调试后还必须回头用单模型做一次独立验证。5. 常见问题排查速查表下面这份表格是我在多个分割项目里沉淀下来的问题排查清单遇到问题时按表逐项检查比从头懵着调参快得多。表现可能原因排查手段训练loss下降但验证指标不动过拟合检查增强强度增加正则化提前停止边界预测模糊下采样次数过多导致细节丢失减少编码器下采样次数或换成保留细节结构的网络小目标全部漏检类不平衡主导改损失函数为Dice/Focal组合并检查数据增强是否真的覆盖小目标出现的尺度结果出现棋盘格伪影转置卷积上采样初始化不当使用双线性插值初始化上采样核训练和验证精度高但临床测试差数据分布偏移按子组分析按患者/个体划分数据严格隔离多类别类别间混淆严重上下文信息不足增加ASPP、注意力机制或使用更大感受野的主干同样的代码换数据训练效果差很多数据预处理不一致对比像素值范围、归一化方式、裁剪策略模型收敛慢学习率设置不当或优化器不匹配用带warmup的poly衰减策略考虑换AdamW配合线性学习率微调此外还有一个我反复强调的经验一定要可视化预测结果而不只是看数字指标。mIoU和Dice是宏观统计但它们没法告诉你错误发生在哪里。每隔几个epoch就把预测结果覆盖到原图上保存几张仔细看边界重合情况和小目标检出情况很多问题一眼就能定位。数值showoff有时候是欺骗性的可视化才是直击问题的抓手。6. 对未来技术路线的个人观察综述在结尾部分讨论了未来方向多模态融合、终身学习、开放语义分割、以及高效轻量化模型这几个方向。我比较关注的是多模态融合在医学图像上的落地空间。医学图像本身具备天然的多模态特性CT提供密度信息MRI提供软组织对比度PET提供代谢信息超声提供实时动态信息。现有的大多数分割模型仍然采用单模态输入融合方式也比较简陋大多靠简单的通道拼接或特征相加。真正的融合应该发生在特征学习的多个层级且要处理不同模态间的对齐、缺失和噪声问题。这个方向潜力很大但技术挑战同样明显。另一个趋势是“基础分割模型”。随着大规模图像-文本预训练模型的发展分割任务也有望实现更强的少样本与零样本泛化能力。自然图像分割的通用能力可以先验证可行性再逐步迁移到医学图像。不过医学图像对精度的要求严格加上标注成本高通用化道路不会平坦。在我个人看来未来一段时间内混合架构仍然会持续主导技术进步不一定会完全替换现有U-Net式的骨干结构。在实际应用中数据质量、标注策略、训练细节和推理部署方面的优化往往能带来比换个SOTA模型更大的提升空间。7. 最后的几句心里话把这篇综述认真读完后我最深的感受是语义分割远非“堆模型”就能做好的事情。自然图像与医学图像在技术层面实现了高度共享但每个方向都有属于自己的狡猾细节。自然图像的难点在于开放世界和多尺度上下文医学图像的难点在于小样本、小目标和结构先验的利用。把这些差异理解透了读每一篇新论文、试每一个新模型时才能真正知道它在解决哪个具体问题又会在哪个环节失效。在实践上我的建议只有一条——多动手多可视化。不要只看论文榜单上的数字拿到自己的数据上跑一遍哪些方法管用、哪些地方会崩立刻心里有数。语义分割这个方向没有银弹但只要你建立了数据、结构、损失、训练策略这四根支柱的完整认知绝大多数任务都能找到可靠的解法路径。这条路值得持续投入。 
长河君 · 2026/10/17 10:34:31 · 阅读 1.2k 自然图像与医学图像语义分割全解析：从FCN到Transformer
自然图像与医学图像的深度语义分割这个方向近两年关注度一直在涨。这篇综述把两类图像的分割问题放在同一个框架里做梳理角度比较少见读完之后最大的感受是与其说是两个领域不如说是一个底层的技术体系在应对两种不同的数据特征。自然图像追求的是多类别、多尺度的精细边界医学图像追求的是结构先验明确、目标形态相对固定条件下的高精度定位。两者的难点有交集但侧重点完全不同。这篇综述的价值在于把FCN、U-Net、DeepLab、Transformer这些模型放在统一坐标系里做对比同时对两者面临的核心挑战、评估指标、数据集差异做了系统梳理。对于刚入门语义分割的人来说它是一份完整的地图对于已经在工业场景里实践过分割任务的人它又像一面镜子让你回头审视自己在数据和策略选择上有没有走弯路。1. 综述全景为什么要把自然图像和医学图像放在一起看1.1 这篇综述到底在解决什么问题语义分割是计算机视觉里典型的“稠密预测”任务意思是图像里每个像素都要被分配一个语义类别标签。这和图像分类完全不同——分类只回答“这张图里有什么”分割必须回答“这个物体占哪些像素、边界在哪”。早期的方法高度依赖手工特征和传统机器学习方法比如随机森林、条件随机场需要人为设计大量特征来描述颜色、纹理、边缘位置。这些方法在简单场景能跑但一旦遇到复杂背景、遮挡、类内差异大的情况效果就会断崖式下跌。深度学习方法彻底改变了这个局面。基于卷积神经网络的编码器可以自动学习从低级边缘到高级语义的分层特征表示这让分割精度出现了质的提升。综述梳理的核心问题是在过去几年的技术演进中自然图像和医学图像两个方向分别沉淀了哪些关键方法它们之间的方法迁移是否有效哪些经验是具有普适性的哪些策略又是场景特化的这类问题在实际工程中非常现实。很多团队做医学图像分割时会直接跑去用自然图像领域的SOTA模型反过来也有人尝试把医学图像里的结构先验思想带回自然场景。但效果经常打折扣。原因在于两个领域的数据分布、标注成本、目标形态有本质差异方法迁移不是简单的“换个数据集重训”就能完成。综述最重要的贡献就是把技术演化与领域特性结合起来解释而不是停留在“哪个模型分数最高”的浅层比较。1.2 自然图像与医学图像的核心差异要理解综述的对比逻辑必须先抓住两类图像各自的“脾性”。自然图像的特点是开放场景、语义类别丰富、目标尺度跨度极大。一张街景图里可能有行人、车辆、树、天空、建筑、路牌目标大小从几十像素到几万像素不等而且环境光照、遮挡、视角变化都很剧烈。数据集往往来自相机拍摄采集成本相对可控。代表性数据集包括常用于自动驾驶语义分割的Cityscapes、常用于场景解析的ADE20K以及类别规模更大的COCO。医学图像是另一种极端。医学图像来源高度受控成像模态多样——CT、MRI、超声、病理切片、眼底照相每种模态的物理原理完全不同。目标通常是特定的解剖结构器官或病灶比如肝脏、肺结节、视网膜血管、脑肿瘤。类别数量少但要求的分割精度极高因为直接关系到临床诊断和治疗规划。另一个显著特征是数据获取困难医学图像标注需要专业医生成本极高而且涉及隐私合规能拿到的数据量往往只有几百到几千例。这两类图像的差异决定了技术选型的核心取舍。自然图像要求模型具备强大的泛化能力和对开放世界的感知能力所以在网络结构上偏向更强的特征提取与上下文聚合医学图像则更强调利用结构先验、处理样本不平衡、在小数据集上稳健训练。综述把这两个领域并置恰好让读者看到哪些技术是“通吃”的哪些是“水土不服”的。2. 核心技术演进从FCN到U-Net再到Transformer2.1 全卷积网络——分割任务的基石传统CNN解决分割问题的笨办法是滑窗把图像切成一堆小patch挨个分类每个中心像素。这个方案的致命伤是计算冗余极大且感受野受限。Long等人提出的全卷积网络FCN把网络最后的全连接层全部换成卷积层让网络可以直接接受任意尺寸的输入并输出对应尺寸的密集预测图。这个看似简单的改动实际上是把“图像到标签”的空间映射保留在特征图中解决了分割问题的根本矛盾。FCN的关键操作包括卷积化、上采样和跳跃连接。卷积化是指用卷积层替换全连接层从而保留空间信息上采样通常用转置卷积或双线性插值实现把低分辨率的特征图恢复到输入尺寸跳跃连接把浅层的高分辨率特征与深层的语义特征融合改善边界定位精度。FCN-32s、FCN-16s、FCN-8s是根据融合不同层级特征得到的变体。这个问题今天回看已经不算复杂但奠定了后续所有分割模型的设计基石。在工程部署上FCN时代留下的一个教训是转置卷积的初始化很重要处理不当会带来棋盘格伪影。很多入门者以为这是模型能力问题其实是上采样核的初始化方式不对。我当时实践时直接采用双线性插值初始化转置卷积权重后续再让网络自己微调事实证明比随机初始化稳定得多。综述里虽然没有讲这么细但对于真正要复现历史的读者这个细节值得记住。2.2 编码器-解码器结构如何解决分辨率退化FCN存在的明显问题是连续下采样导致边缘信息大量丢失深层特征虽有语义但缺乏空间细节。编码器-解码器架构提供了系统性的解决方案。编码器逐层提取语义特征并降低分辨率解码器逐步恢复空间分辨率并通过跳跃连接把编码器对应层的细节特征引入解码路径。U-Net是这一思路最具代表性的模型。U-Net最初是针对医学图像分割提出的其对称结构和一个关键设计——同层跳跃连接——让它在少量数据条件下依然能训练得很好。跳跃连接把编码器的高分辨率特征直接用特征拼接方式传给解码器等于给解码器提供了详尽的底层边缘信息帮助恢复精细结构。这个设计的价值在医学图像上被反复验证后来又反向迁移到自然图像分割中。DeepLab系列则是另一种路线的代表。DeepLab v1引入空洞卷积扩大感受野而不增加参数量DeepLab v2引入ASPP空洞空间金字塔池化用多个不同膨胀率的空洞卷积并行提取多尺度上下文DeepLab v3和v3进一步优化了ASPP结构并引入编码器-解码器结构。空洞卷积的核心价值在于你想扩大感受野时不必非得下采样可以在保持特征图分辨率的前提下让卷积核“散开”采样。对比U-Net和DeepLab可以看到解决同一个问题可以走截然不同的结构路线关键要结合任务的数据特点来判断。2.3 注意力机制与Transformer的引入分割任务中的注意力机制经历了几个阶段。SE模块最初用于通道注意力对特征通道做加权再缩放CBAM组合了通道注意力和空间注意力效果进一步提升而自注意力机制则是更大的变革它让每一个位置的特征都能与整张图像的所有位置建立关联天然具有全局建模能力。Transformer结构被引入计算机视觉领域后ViT证明了纯注意力模型在大规模数据上能取得优异的分类性能。在分割领域SETR将图像视为序列输入标准Transformer编码器但要处理高分辨率图像计算复杂度依然过高。真正让Transformer成为主流的转捩点是“卷积Transformer混合”的思路——用卷积做底层特征提取用Transformer做全局关系建模。这类混合架构与主流的U-Net式编码器-解码器结合后在自然图像和医学图像上都取得了SOTA级别的表现。值得思考的地方是Transformer能流行并非只是因为“注意力好用”更核心的是它让模型具备了动态建模任意位置关系的能力。卷积操作是局部且权重共享的它的归纳偏置适合建模空间局部相关性但对远距离依赖的建模依赖层数堆叠Transformer则直接用注意力机制突破了这个限制。不过从工业落地视角看Transformer模型普遍计算量较大部署到边缘设备时需要进行通道裁剪、结构化剪枝或量化压缩这是一个实践中不可回避的问题。3. 自然图像与医学图像的技术对比难点与对策3.1 数据集、标注与预训练策略的差异化处理数据集是分割领域最容易被低估的变量。自然图像数据集标签类别多每类含有大量样本标注粒度之间存在差异——比如Cityscapes只标注19个类别但要求像素级的精细边界COCO的标注则允许模糊的遮挡边界存在。这类数据的处理重点在于类别不平衡和场景多样性常用数据增强手段包括随机裁剪、翻转、尺度抖动、颜色抖动有时还会引入风格迁移模拟不同天气条件。医学图像数据的处理逻辑完全不同。以CT影像为例一张原始CT的体积是512×512×N临床使用时通常只取掩膜周围一个子区域训练病理切片更是全幅大图动辄10万×10万像素必须切块训练。针对器官边界模糊、病灶占比小的问题数据增强要设计成形状感知的比如弹性形变模拟器官变形随机遮挡模拟伪影。此外医学图像存在强烈的模态特异性同一病灶在CT和MRI中的表观完全不同直接用ImageNet预训练权重不一定有益——迁移特征未必匹配目标模态的纹理分布。预训练策略上综述倾向于强调自然图像预训练能够加速通用特征的学习但医学图像领域更常见的是“先在相似模态的大规模数据上预训练再在目标任务上微调”。我个人的实际体会是如果在目标数据量很小的情况下预训练权重最好是“半冻结”使用即冻结底层浅层特征只微调深层等模型有了一定适应能力后再解冻底层做进一步微调。这样做的直观原因是浅层特征提取的边缘、纹理模式相对通用深层特征逐渐任务特异性增强一上来就全部更新容易过拟合。3.2 多类别边界精细度 vs 小目标与类不平衡自然图像分割的核心难点在于多类别场景下的边界精细度和上下文歧义。行人和自行车重叠、树木被建筑遮挡、远处的小目标只有几个像素大小。类与类之间特征相似度高模型容易在边界处产生混淆。主流解决方案包括ASPP的多尺度上下文聚合、注意力机制的长距离依赖建模、以及基于边缘的辅助监督loss。预测后处理也常用CRF条件随机场做精细平滑虽然现在已经不是主流但针对特定低对比场景依然有效。医学图像分割的核心难点有两个小目标与类不平衡。在许多任务中目标器官或病灶占整个像素的比例不到1%如果直接用交叉熵损失训练模型会倾向于把所有像素都预测为背景。另一个典型困难是目标边界在影像中并不清晰。以低剂量CT的肺结节分割为例结节边缘与肺实质灰度接近医生标注本身也存在较大的观察者间差异。处理类不平衡的代表性手段是使用Dice损失或其变体。Dice系数的本质是预测区域与真实区域的重叠度对类别像素占比不敏感因此天然适合医学分割。组合损失函数比如Dice加Focal已经在多个任务中验证有效Dice损失负责最大化重叠Focal损失负责聚焦难分类样本。我在实际操作中的感受是医学分割任务中单独的Dice损失容易导致训练震荡尤其是小目标梯度不稳定的时候。配置交叉熵损失配合Dice损失做加权组合比单用Dice更稳收敛曲线也更平滑。权重比例通常从交叉熵:Dice1:1起步再根据各类别的反向传播梯度分布做微调。3.3 评价指标背后的使用场景漩涡语义分割最常用的评价指标是mIoU计算方式为预测类别与真实类别的交集除以并集再对所有类别取平均。mIoU对类别的像素数量不敏感这点和PixAcc不同——PixAcc在类别极不平衡时会被大占比类别主导数值虚高。自然图像评测普遍采用mIoU与其多类别、重心在边界清晰度的特性匹配。医学分割常用的指标包括Dice系数、IoU、HD95、ASSD。Dice和IoU虽然都衡量重叠程度但Dice对微小重叠更敏感——Dice值更低时对差异放大作用更强因此适合评估小目标。HD95衡量预测边界与真实边界之间的最大距离对边缘质量更敏感适合临床场景对器官轮廓和手术边界有严格要求的任务。这里最容易踩的坑是不同指标反映的能力不同只盯着单一指标做模型选型会导致系统性偏差。比如两个模型Dice一样但一个边界整体向内收缩一个边界随机抖动临床后的表现完全不同。因此当我做医学图像项目时通常同时追踪Dice、HD95和ASSD并在报告里写明优先指标。综述里专门花篇幅讨论评估指标本质上是提醒读者比较模型之前先确认这个分数是否在合理的度量框架下有意义。4. 实操经验训练语义分割模型时的核心细节4.1 数据准备的几个反直觉原则准备高质量的分割数据常见的错误是“刷样本量”。我踩过不少坑后总结的经验是分割模型对数据质量的敏感度远高于对数量的敏感度。首先要做的是标签一致性检查。不同标注者之间的一致性对分割模型的学习上限有直接影响低一致性会引入噪声标签模型会在边界学习到矛盾的信息。我的做法是在标注完成后随机抽取10%~20%样本让第二个标注者独立标注计算像素级IoU。如果低于0.85说明标注标准需要重新对齐。第二个原则是保留足够的背景信息。很多医学图像segmentation错误地裁到只包住目标导致模型完全没学到目标的上下文。比如肝分割时应该保留肝胆脾胰等相邻器官的轮廓因为人体解剖位置关系固定这种上下文信息正是模型需要的“结构先验”。第三点关乎数据划分。医学图像常见情况是不同患者的数据相关性更强因此必须按患者划分train/val/test而不是按切片或patch划分。否则测试集与训练集来自同一患者模型学到的是患者特化特征评估结果严重虚高。这在自然图像中也存在——场景分割应该避免同一地点不同帧的数据同时出现在训练和测试中。4.2 损失函数配置与训练策略分割训练的另一个重头戏是损失函数。单纯使用交叉熵训练医学图像模型小目标会被彻底淹没单纯使用Dice训练则可能收敛到局部最优解。经验上推荐组合损失DiceLoss加FocalLoss。FocalLoss以调节难度权重的方式强行聚焦hard样本而DiceLoss提供更平滑的类别平衡梯度。组合比例可以用网格搜索确定但实践上从1:1起步做调整已经能覆盖大多数场景。训练策略上有几个细节直接影响最终效果。第一是学习率的设置。分割模型普遍使用较大的初始学习率1e-3量级配合poly式衰减策略——在训练过程中按(1 - iter/max_iter)^0.9的比例逐步降低学习率。实现证明poly衰减比固定的step decay在分割任务中普遍多涨一个点以上因为它能在训练后期持续微调参数。第二是数据增强的在线生成。对于医学图像在线增强比离线增强有效得多每一轮epoch都生成不同的形变版本等价于让模型接触了无限多的训练样本。推荐配置包括随机旋转10度、随机缩放0.9~1.1、弹性形变和坐标采样扰动。对于不同模态增强手段有差异CT图像加高斯噪声恰当但在视网膜眼底图像上加光照扰动反而不合适因为临床设备的光照条件相对固定。4.3 推理阶段与模型部署的思考模型训练完成不等于交付完成。推理阶段与部署阶段还有不少细节容易疏忽。第一点测试时增强TTA。在验证和测试时同时使用原始图像和水平翻转、垂直翻转等变换对预测结果取平均可以显著降低预测方差对不确定性较大的场景尤其有效。但要注意这项技术会消耗更多推理时间实际落地时要权衡。第二点滑动窗口推理。对于医学大图像整图直接进网络可能显存溢出常见做法是切片预测再拼接。切片的边界部分预测质量低于中心区域因此做拼接时需要配合权重图对靠近切片边缘的预测结果降低置信度。另一个容易忽视的点是重叠切片的步长选择通常重叠20%~30%能在计算量和拼接质量之间达到平衡。第三点多模型集成。在比赛实践中几乎都能看到集成的效果多个不同结构的模型预测取平均或投票一般能提升Dice 0.5~2个百分点。但正是因为收益显著集成会掩盖单个模型的真实表现如果最终目标是部署一个轻量模型那么在集成调试后还必须回头用单模型做一次独立验证。5. 常见问题排查速查表下面这份表格是我在多个分割项目里沉淀下来的问题排查清单遇到问题时按表逐项检查比从头懵着调参快得多。表现可能原因排查手段训练loss下降但验证指标不动过拟合检查增强强度增加正则化提前停止边界预测模糊下采样次数过多导致细节丢失减少编码器下采样次数或换成保留细节结构的网络小目标全部漏检类不平衡主导改损失函数为Dice/Focal组合并检查数据增强是否真的覆盖小目标出现的尺度结果出现棋盘格伪影转置卷积上采样初始化不当使用双线性插值初始化上采样核训练和验证精度高但临床测试差数据分布偏移按子组分析按患者/个体划分数据严格隔离多类别类别间混淆严重上下文信息不足增加ASPP、注意力机制或使用更大感受野的主干同样的代码换数据训练效果差很多数据预处理不一致对比像素值范围、归一化方式、裁剪策略模型收敛慢学习率设置不当或优化器不匹配用带warmup的poly衰减策略考虑换AdamW配合线性学习率微调此外还有一个我反复强调的经验一定要可视化预测结果而不只是看数字指标。mIoU和Dice是宏观统计但它们没法告诉你错误发生在哪里。每隔几个epoch就把预测结果覆盖到原图上保存几张仔细看边界重合情况和小目标检出情况很多问题一眼就能定位。数值showoff有时候是欺骗性的可视化才是直击问题的抓手。6. 对未来技术路线的个人观察综述在结尾部分讨论了未来方向多模态融合、终身学习、开放语义分割、以及高效轻量化模型这几个方向。我比较关注的是多模态融合在医学图像上的落地空间。医学图像本身具备天然的多模态特性CT提供密度信息MRI提供软组织对比度PET提供代谢信息超声提供实时动态信息。现有的大多数分割模型仍然采用单模态输入融合方式也比较简陋大多靠简单的通道拼接或特征相加。真正的融合应该发生在特征学习的多个层级且要处理不同模态间的对齐、缺失和噪声问题。这个方向潜力很大但技术挑战同样明显。另一个趋势是“基础分割模型”。随着大规模图像-文本预训练模型的发展分割任务也有望实现更强的少样本与零样本泛化能力。自然图像分割的通用能力可以先验证可行性再逐步迁移到医学图像。不过医学图像对精度的要求严格加上标注成本高通用化道路不会平坦。在我个人看来未来一段时间内混合架构仍然会持续主导技术进步不一定会完全替换现有U-Net式的骨干结构。在实际应用中数据质量、标注策略、训练细节和推理部署方面的优化往往能带来比换个SOTA模型更大的提升空间。7. 最后的几句心里话把这篇综述认真读完后我最深的感受是语义分割远非“堆模型”就能做好的事情。自然图像与医学图像在技术层面实现了高度共享但每个方向都有属于自己的狡猾细节。自然图像的难点在于开放世界和多尺度上下文医学图像的难点在于小样本、小目标和结构先验的利用。把这些差异理解透了读每一篇新论文、试每一个新模型时才能真正知道它在解决哪个具体问题又会在哪个环节失效。在实践上我的建议只有一条——多动手多可视化。不要只看论文榜单上的数字拿到自己的数据上跑一遍哪些方法管用、哪些地方会崩立刻心里有数。语义分割这个方向没有银弹但只要你建立了数据、结构、损失、训练策略这四根支柱的完整认知绝大多数任务都能找到可靠的解法路径。这条路值得持续投入。