简介这份资源是第七届“泰迪杯”数据挖掘挑战赛B题“直肠癌淋巴结转移的智能诊断”的完整参赛方案面向刚接触数据挖掘竞赛的初学者与在校大学生帮助其理解医学影像分类任务的建模流程与代码实现。压缩包共24个文件约2.37MB以Python脚本和Jupyter Notebook为主辅以PNG图片、GIF动图、TXT说明及Markdown文档覆盖数据生成、模型训练、测试推理与结果检查等环节。其中Notebook记录了实验思路与函数测试过程脚本文件则对应训练与预测的完整链路说明文档用于辅助理解各模块用途。目前已有114人学习下载。读者可借此获得一套可运行的赛题基线方案包括数据预处理、模型构建、结果生成与验证的参考代码以及便于复现和排错的目录组织方式适合作为入门数据挖掘竞赛的实践素材。1. 从一份竞赛源码说起直肠癌淋巴结转移诊断到底难在哪直肠癌淋巴结转移的智能诊断本质是一个医学图像分割加分类的复合任务。竞赛方给的是盆腔 CT 或 MRI 的切片序列要求参赛者先勾画出淋巴结区域再判断它是否发生了转移。听起来像普通的图像分类但真正动手就会发现两个要命的地方一是淋巴结在影像里又小又散和周围脂肪、血管的灰度差极小分割边界全靠像素级标注撑着二是正负样本极度不均衡转移的淋巴结占比很低模型很容易学会“全猜没转移”这种偷懒策略。这份《第七届“泰迪杯”数据挖掘挑战赛 B题直肠癌淋巴结转移的智能诊断 初学小白的解决方案.zip》就是针对这两个痛点给出的一套完整可跑通的方案里面包含 U-Net 分割网络、HDF5 数据管道、训练与推理脚本以及若干用于理解代码的实验 notebook。它适合刚接触医学图像分割、想拿一个真实竞赛案例练手的学生和转行开发者也适合需要快速搭出 baseline 的从业者。关键词里提到的“挑战杯 大学生 大赛 源码”其实指向的就是这类竞赛资源的复用价值——不是让你照抄拿奖而是让你看清一个完整方案从数据到结果的每一环是怎么接上的。2. 拆开压缩包U-Net 分割与 HDF5 数据管道的配合逻辑2.1 为什么选 U-Net 而不是直接上分类网络医学图像分割里U-Net 几乎是绕不开的 baseline。它的编码器-解码器结构配合跳跃连接能把浅层的高分辨率特征和深层的语义特征拼在一起对小目标分割特别友好。这份源码里的Unet.py就是标准实现编码器用卷积加池化逐层降采样解码器用反卷积逐层恢复尺寸每一层解码前把对应编码层的特征图拼接过来。这样做的好处是淋巴结这种小结构在浅层还有清晰的边界信息深层又有了“这是不是淋巴结”的语义判断两者结合比单纯用分类网络硬猜位置要稳得多。另一个现实原因是数据量。竞赛给的有标注切片通常只有几百张从零训练一个大型分割网络必然过拟合。U-Net 参数量相对可控配合数据增强和早停在小数据集上更容易收敛。源码里没有用预训练权重说明作者也是按“小数据从头训”的思路走的这对初学者反而友好——不用折腾权重加载和层冻结。2.2 HDF5 数据管道把散落的切片打包成训练集医学图像竞赛的数据往往是一堆 DICOM 或 PNG 切片直接读硬盘训练会慢到怀疑人生。源码里的HDF5DatasetWriter.py和HDF5DatasetGenerator.py就是解决这个问题的先把所有图像和掩码写进一个 HDF5 文件训练时再从内存映射里按 batch 读。HDF5 的好处是读写快、支持压缩、能存大数据集而不爆内存。写数据集的典型流程是这样的# HDF5DatasetWriter.py 核心逻辑示意 import h5py import numpy as np class HDF5DatasetWriter: def __init__(self, dims, outputPath, dataKeyimages, bufSize1000): # dims: (样本数, 高, 宽, 通道) self.db h5py.File(outputPath, w) self.data self.db.create_dataset(dataKey, dims, dtypefloat32) self.labels self.db.create_dataset(labels, (dims[0],), dtypeint) self.bufSize bufSize self.buffer {data: [], labels: []} self.idx 0 def add(self, rows, labels): # 攒够 bufSize 再一次性写入减少 I/O 次数 self.buffer[data].extend(rows) self.buffer[labels].extend(labels) if len(self.buffer[data]) self.bufSize: self.flush() def flush(self): if len(self.buffer[data]) 0: return i self.idx len(self.buffer[data]) self.data[self.idx:i] self.buffer[data] self.labels[self.idx:i] self.buffer[labels] self.idx i self.buffer {data: [], labels: []} def close(self): if self.idx 0: self.flush() self.db.close()这段代码的关键参数是bufSize它决定攒多少样本才写一次硬盘。设太小会频繁 I/O设太大占内存。我一般会按单张切片的大小算如果一张图是 256×256 的 float32大约 256KB1000 张就是 256MB内存够就设 1000不够就降到 200。dims必须提前算准HDF5 数据集创建后不能改形状所以要先遍历一遍所有切片确认尺寸一致不一致的要么裁剪要么缩放。对应的HDF5DatasetGenerator.py负责按 batch 读# HDF5DatasetGenerator.py 核心逻辑示意 import h5py class HDF5DatasetGenerator: def __init__(self, dbPath, batchSize, preprocessorsNone): self.batchSize batchSize self.preprocessors preprocessors self.db h5py.File(dbPath, r) self.numImages self.db[labels].shape[0] def generator(self, passesnp.inf): epochs 0 while epochs passes: for i in range(0, self.numImages, self.batchSize): images self.db[images][i: i self.batchSize] labels self.db[labels][i: i self.batchSize] if self.preprocessors is not None: for p in self.preprocessors: images p.preprocess(images) yield images, labels epochs 1 self.db.close()这里passes控制遍历多少轮设np.inf就是无限循环由外部训练循环控制停止。preprocessors是数据增强的钩子比如随机旋转、翻转、加噪声在 batch 级别做比单张做更高效。注意self.db[images][i: i self.batchSize]这种切片读法是 HDF5 的强项它不会把整个数据集加载进内存只读需要的部分。2.3 训练脚本怎么串起分割和分类train.py是主入口它先调用generate_train.py生成 HDF5 训练集然后实例化 U-Net 和 HDF5DatasetGenerator最后跑训练循环。损失函数通常用 Dice loss 加二值交叉熵的组合Dice 负责解决正负样本不均衡交叉熵负责稳定梯度。优化器用 Adam学习率从 1e-4 开始每 10 个 epoch 衰减一次。源码里没有写复杂的学习率调度初学者可以先跑通再调。一个容易忽略的点是输入尺寸。U-Net 要求输入尺寸能被 16 整除四次池化所以切片要 resize 到 256×256 或 512×512。resize 会损失小目标的细节但竞赛数据通常分辨率不高256 够用。如果显存够512 会好一些但 batch size 要降到 4 或 2。3. 从零跑通数据准备、训练与推理的完整命令链3.1 环境依赖与目录结构确认拿到压缩包后先别急着跑代码把目录结构看清楚。根目录下有utils.py、train.py、test.py、Unet.py、HDF5DatasetWriter.py、HDF5DatasetGenerator.py、generate_train.py、generate_test.py、result_test.py、result_name.py、result_generate.py还有几个 notebook 和说明文件。images文件夹里是示例图README.md是总说明。环境依赖主要是 Python 3.6、TensorFlow 或 Keras看Unet.py的 import、h5py、numpy、opencv-python、scikit-image。我一般会先建虚拟环境python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install numpy h5py opencv-python scikit-image tensorflow2.6.0版本不用完全照搬但 TensorFlow 2.x 和 Keras 的 API 有差异如果Unet.py用的是keras.layers而不是tf.keras.layers可能要装独立 Keras 或改 import。先跑python -c import tensorflow确认没报错。3.2 生成 HDF5 数据集参数怎么设generate_train.py负责把原始切片和掩码打包成 HDF5。运行前要改几个路径原始图像目录、掩码目录、输出 HDF5 路径。常见做法是在脚本开头用 argparse 传参但这份源码可能是硬编码需要手动改。# 假设原始数据在 data/train/images 和 data/train/masks python generate_train.py \ --images data/train/images \ --masks data/train/masks \ --output data/train.hdf5 \ --bufSize 1000如果脚本不支持命令行参数就打开文件改IMAGES_PATH、MASKS_PATH、OUTPUT_PATH这几个变量。注意掩码必须是二值图像素值 0 或 255如果原图是 0/1 要乘 255 或归一化。尺寸不一致的切片要在这一步统一 resize否则 HDF5 写入会报形状错误。生成完后用h5py检查一下import h5py db h5py.File(data/train.hdf5, r) print(db[images].shape, db[labels].shape) db.close()正常输出应该是(样本数, 256, 256, 1)和(样本数,)。如果通道数是 3说明读图时没转灰度要在generate_train.py里加cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)。3.3 启动训练与监控指标train.py跑起来后控制台会打印每个 epoch 的 loss 和准确率。分割任务看像素准确率会虚高因为背景占大多数真正要看的是 Dice 系数或 IoU。源码里可能只打印了 loss建议自己加一个 Dice 计算def dice_coef(y_true, y_pred, smooth1): y_true_f K.flatten(y_true) y_pred_f K.flatten(y_pred) intersection K.sum(y_true_f * y_pred_f) return (2. * intersection smooth) / (K.sum(y_true_f) K.sum(y_pred_f) smooth)把这个函数传给model.compile的metrics参数训练时就能看到 Dice 变化。如果 Dice 长期在 0.3 以下说明模型没学到东西检查数据标签是否对齐、学习率是否太大。如果 Dice 震荡厉害把 batch size 调大或学习率调小。训练轮数一般设 50 到 100配合早停EarlyStopping防止过拟合。模型保存用ModelCheckpoint只存验证集 Dice 最好的那一版。3.4 推理与结果生成从掩码到转移判断test.py和result_test.py负责推理。流程是加载训练好的权重对测试集切片逐张预测掩码然后根据掩码区域的特征面积、灰度均值、形状因子判断是否转移。源码里的result_generate.py和result_name.py应该是生成提交文件用的把预测结果按竞赛要求的格式写成 CSV 或 JSON。推理时要注意测试集的预处理必须和训练集完全一致同样的 resize、同样的归一化。如果训练时用了img / 255.0测试时也要除。否则模型看到的分布变了预测会崩。# 推理单张切片的示意 model.load_weights(best_model.h5) img cv2.imread(test_slice.png, cv2.IMREAD_GRAYSCALE) img cv2.resize(img, (256, 256)) / 255.0 img img.reshape(1, 256, 256, 1) mask model.predict(img)[0] mask (mask 0.5).astype(np.uint8) * 255得到掩码后用连通域分析找出每个淋巴结区域再提取特征做分类。如果竞赛只要求分割到掩码这步就结束了如果要求转移判断还要接一个分类器或规则判断。4. 避坑与排查这份源码跑不起来时先看这几条4.1 现象HDF5 写入时报 “Shape mismatch”原因通常是切片尺寸不一致或者掩码和原图尺寸对不上。HDF5 数据集创建时形状就固定了后续写入的每一批必须严格匹配。解决方法是先在generate_train.py里加一段遍历打印所有切片的 shape找出异常的那几张统一 resize 到目标尺寸。掩码也要同步 resize且用最近邻插值避免产生中间灰度值。4.2 现象训练 loss 不下降Dice 一直在 0.1 左右先检查标签是否反了。有些数据集掩码里 0 是目标、255 是背景如果按常规当 255 是目标模型就学反了。用np.unique(mask)看一眼像素值分布。另一个常见原因是学习率太大Adam 默认 1e-3 对分割任务偏大改成 1e-4 试试。如果还不行把输入归一化到 [0,1] 而不是 [0,255]U-Net 对输入尺度很敏感。4.3 现象显存不足batch size 降到 1 还是 OOMU-Net 在 512×512 输入下参数量不小如果显卡只有 4GB基本跑不动。解决办法有三个把输入降到 256×256把 U-Net 的 base filter 数从 64 降到 32 或 16用梯度累积模拟大 batch。源码里的Unet.py如果写死了 64就手动改小。注意改小后模型容量下降Dice 可能会掉几个点但至少能跑起来。4.4 现象推理结果全是黑图或全白图全黑说明模型输出接近 0全白说明接近 1。先确认推理时的预处理和训练时一致尤其是归一化。如果训练时用了img / 255.0推理时忘了除输入值在 0-255 范围模型会饱和。另一个可能是加载权重时层名不匹配Keras 会静默跳过不匹配的层导致部分层是随机初始化。用model.summary()对比一下结构确保权重加载完整。4.5 现象notebook 里的实验代码跑不通助于理解代码的实验.ipynb、求体积.ipynb、【学习】测试函数.ipynb、检查模型结果.ipynb这几个 notebook 依赖的库可能和主脚本不同比如用了 matplotlib、pandas、skimage。先pip install jupyter matplotlib pandas scikit-image然后注意 notebook 里的路径是相对路径还是绝对路径如果是作者本机的路径要改成自己的。notebook 的价值在于可视化中间结果比如看掩码叠加、看体积计算跑不通不影响主流程但能帮你理解代码在干什么。5. 进阶技巧用体积特征和模型集成把 Dice 再抬一截5.1 从掩码到体积一个被低估的后处理特征淋巴结转移判断里体积是一个很强的特征。转移的淋巴结通常体积更大、形状更不规则。源码里的求体积.ipynb就是在做这件事对预测掩码做连通域标记统计每个区域的像素数乘以切片层厚和像素间距得到物理体积。这个特征可以直接喂给一个简单的分类器逻辑回归或随机森林比端到端分类网络更可解释也更不容易过拟合。from skimage.measure import label, regionprops import numpy as np def extract_volume_features(mask, pixel_spacing(1.0, 1.0), slice_thickness1.0): labeled label(mask) regions regionprops(labeled) features [] for r in regions: area r.area volume area * pixel_spacing[0] * pixel_spacing[1] * slice_thickness perimeter r.perimeter circularity 4 * np.pi * area / (perimeter ** 2) if perimeter 0 else 0 features.append([volume, area, circularity, r.eccentricity]) return np.array(features)pixel_spacing和slice_thickness要从数据集的元信息里读竞赛方一般会给。如果没给就用默认值 1.0但物理体积就没意义了只能当相对特征用。circularity越接近 1 越圆转移的淋巴结往往偏离圆形。5.2 模型集成多折训练加权重平均单模型 Dice 到 0.7 左右就容易卡住想再往上走最稳的办法是 K 折交叉验证加权重平均。把训练集分成 5 折每折训一个 U-Net推理时把 5 个模型的预测概率平均再二值化。这样能降低方差Dice 通常能涨 2 到 5 个点。# 推理时集成 5 折模型 models [load_model(ffold_{i}.h5) for i in range(5)] preds np.zeros_like(test_image) for m in models: preds m.predict(test_image) preds / len(models) mask (preds 0.5).astype(np.uint8)注意每个折的模型结构要完全一致只是训练数据不同。如果显存不够同时加载 5 个模型就逐个加载、逐个预测、累加结果最后统一平均。5.3 验证方法别只看 Dice看混淆矩阵分割任务里 Dice 高不代表转移判断准。最终评估的是分类指标所以要单独看混淆矩阵。把预测掩码提取的特征输入分类器后统计 TP、FP、TN、FN算敏感度和特异度。医学场景下敏感度更重要宁可多报几个可疑的也别漏掉真的转移。如果敏感度低把分类阈值从 0.5 降到 0.3 试试。我自己的习惯是每次改完模型或后处理都强制跑一遍完整的验证流程从 HDF5 生成到推理到混淆矩阵一步不跳。有一次偷懒只看了训练集的 Dice结果测试集上敏感度只有 0.4回头查发现是推理时忘了做同样的归一化。从那以后我每次跑推理前都先拿一张训练集图片过一遍确认输出和训练时一致再跑全量。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/9 21:13:05 · 阅读 1.2k 基于U-Net与HDF5的直肠癌淋巴结转移智能诊断竞赛方案解析
简介这份资源是第七届“泰迪杯”数据挖掘挑战赛B题“直肠癌淋巴结转移的智能诊断”的完整参赛方案面向刚接触数据挖掘竞赛的初学者与在校大学生帮助其理解医学影像分类任务的建模流程与代码实现。压缩包共24个文件约2.37MB以Python脚本和Jupyter Notebook为主辅以PNG图片、GIF动图、TXT说明及Markdown文档覆盖数据生成、模型训练、测试推理与结果检查等环节。其中Notebook记录了实验思路与函数测试过程脚本文件则对应训练与预测的完整链路说明文档用于辅助理解各模块用途。目前已有114人学习下载。读者可借此获得一套可运行的赛题基线方案包括数据预处理、模型构建、结果生成与验证的参考代码以及便于复现和排错的目录组织方式适合作为入门数据挖掘竞赛的实践素材。1. 从一份竞赛源码说起直肠癌淋巴结转移诊断到底难在哪直肠癌淋巴结转移的智能诊断本质是一个医学图像分割加分类的复合任务。竞赛方给的是盆腔 CT 或 MRI 的切片序列要求参赛者先勾画出淋巴结区域再判断它是否发生了转移。听起来像普通的图像分类但真正动手就会发现两个要命的地方一是淋巴结在影像里又小又散和周围脂肪、血管的灰度差极小分割边界全靠像素级标注撑着二是正负样本极度不均衡转移的淋巴结占比很低模型很容易学会“全猜没转移”这种偷懒策略。这份《第七届“泰迪杯”数据挖掘挑战赛 B题直肠癌淋巴结转移的智能诊断 初学小白的解决方案.zip》就是针对这两个痛点给出的一套完整可跑通的方案里面包含 U-Net 分割网络、HDF5 数据管道、训练与推理脚本以及若干用于理解代码的实验 notebook。它适合刚接触医学图像分割、想拿一个真实竞赛案例练手的学生和转行开发者也适合需要快速搭出 baseline 的从业者。关键词里提到的“挑战杯 大学生 大赛 源码”其实指向的就是这类竞赛资源的复用价值——不是让你照抄拿奖而是让你看清一个完整方案从数据到结果的每一环是怎么接上的。2. 拆开压缩包U-Net 分割与 HDF5 数据管道的配合逻辑2.1 为什么选 U-Net 而不是直接上分类网络医学图像分割里U-Net 几乎是绕不开的 baseline。它的编码器-解码器结构配合跳跃连接能把浅层的高分辨率特征和深层的语义特征拼在一起对小目标分割特别友好。这份源码里的Unet.py就是标准实现编码器用卷积加池化逐层降采样解码器用反卷积逐层恢复尺寸每一层解码前把对应编码层的特征图拼接过来。这样做的好处是淋巴结这种小结构在浅层还有清晰的边界信息深层又有了“这是不是淋巴结”的语义判断两者结合比单纯用分类网络硬猜位置要稳得多。另一个现实原因是数据量。竞赛给的有标注切片通常只有几百张从零训练一个大型分割网络必然过拟合。U-Net 参数量相对可控配合数据增强和早停在小数据集上更容易收敛。源码里没有用预训练权重说明作者也是按“小数据从头训”的思路走的这对初学者反而友好——不用折腾权重加载和层冻结。2.2 HDF5 数据管道把散落的切片打包成训练集医学图像竞赛的数据往往是一堆 DICOM 或 PNG 切片直接读硬盘训练会慢到怀疑人生。源码里的HDF5DatasetWriter.py和HDF5DatasetGenerator.py就是解决这个问题的先把所有图像和掩码写进一个 HDF5 文件训练时再从内存映射里按 batch 读。HDF5 的好处是读写快、支持压缩、能存大数据集而不爆内存。写数据集的典型流程是这样的# HDF5DatasetWriter.py 核心逻辑示意 import h5py import numpy as np class HDF5DatasetWriter: def __init__(self, dims, outputPath, dataKeyimages, bufSize1000): # dims: (样本数, 高, 宽, 通道) self.db h5py.File(outputPath, w) self.data self.db.create_dataset(dataKey, dims, dtypefloat32) self.labels self.db.create_dataset(labels, (dims[0],), dtypeint) self.bufSize bufSize self.buffer {data: [], labels: []} self.idx 0 def add(self, rows, labels): # 攒够 bufSize 再一次性写入减少 I/O 次数 self.buffer[data].extend(rows) self.buffer[labels].extend(labels) if len(self.buffer[data]) self.bufSize: self.flush() def flush(self): if len(self.buffer[data]) 0: return i self.idx len(self.buffer[data]) self.data[self.idx:i] self.buffer[data] self.labels[self.idx:i] self.buffer[labels] self.idx i self.buffer {data: [], labels: []} def close(self): if self.idx 0: self.flush() self.db.close()这段代码的关键参数是bufSize它决定攒多少样本才写一次硬盘。设太小会频繁 I/O设太大占内存。我一般会按单张切片的大小算如果一张图是 256×256 的 float32大约 256KB1000 张就是 256MB内存够就设 1000不够就降到 200。dims必须提前算准HDF5 数据集创建后不能改形状所以要先遍历一遍所有切片确认尺寸一致不一致的要么裁剪要么缩放。对应的HDF5DatasetGenerator.py负责按 batch 读# HDF5DatasetGenerator.py 核心逻辑示意 import h5py class HDF5DatasetGenerator: def __init__(self, dbPath, batchSize, preprocessorsNone): self.batchSize batchSize self.preprocessors preprocessors self.db h5py.File(dbPath, r) self.numImages self.db[labels].shape[0] def generator(self, passesnp.inf): epochs 0 while epochs passes: for i in range(0, self.numImages, self.batchSize): images self.db[images][i: i self.batchSize] labels self.db[labels][i: i self.batchSize] if self.preprocessors is not None: for p in self.preprocessors: images p.preprocess(images) yield images, labels epochs 1 self.db.close()这里passes控制遍历多少轮设np.inf就是无限循环由外部训练循环控制停止。preprocessors是数据增强的钩子比如随机旋转、翻转、加噪声在 batch 级别做比单张做更高效。注意self.db[images][i: i self.batchSize]这种切片读法是 HDF5 的强项它不会把整个数据集加载进内存只读需要的部分。2.3 训练脚本怎么串起分割和分类train.py是主入口它先调用generate_train.py生成 HDF5 训练集然后实例化 U-Net 和 HDF5DatasetGenerator最后跑训练循环。损失函数通常用 Dice loss 加二值交叉熵的组合Dice 负责解决正负样本不均衡交叉熵负责稳定梯度。优化器用 Adam学习率从 1e-4 开始每 10 个 epoch 衰减一次。源码里没有写复杂的学习率调度初学者可以先跑通再调。一个容易忽略的点是输入尺寸。U-Net 要求输入尺寸能被 16 整除四次池化所以切片要 resize 到 256×256 或 512×512。resize 会损失小目标的细节但竞赛数据通常分辨率不高256 够用。如果显存够512 会好一些但 batch size 要降到 4 或 2。3. 从零跑通数据准备、训练与推理的完整命令链3.1 环境依赖与目录结构确认拿到压缩包后先别急着跑代码把目录结构看清楚。根目录下有utils.py、train.py、test.py、Unet.py、HDF5DatasetWriter.py、HDF5DatasetGenerator.py、generate_train.py、generate_test.py、result_test.py、result_name.py、result_generate.py还有几个 notebook 和说明文件。images文件夹里是示例图README.md是总说明。环境依赖主要是 Python 3.6、TensorFlow 或 Keras看Unet.py的 import、h5py、numpy、opencv-python、scikit-image。我一般会先建虚拟环境python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install numpy h5py opencv-python scikit-image tensorflow2.6.0版本不用完全照搬但 TensorFlow 2.x 和 Keras 的 API 有差异如果Unet.py用的是keras.layers而不是tf.keras.layers可能要装独立 Keras 或改 import。先跑python -c import tensorflow确认没报错。3.2 生成 HDF5 数据集参数怎么设generate_train.py负责把原始切片和掩码打包成 HDF5。运行前要改几个路径原始图像目录、掩码目录、输出 HDF5 路径。常见做法是在脚本开头用 argparse 传参但这份源码可能是硬编码需要手动改。# 假设原始数据在 data/train/images 和 data/train/masks python generate_train.py \ --images data/train/images \ --masks data/train/masks \ --output data/train.hdf5 \ --bufSize 1000如果脚本不支持命令行参数就打开文件改IMAGES_PATH、MASKS_PATH、OUTPUT_PATH这几个变量。注意掩码必须是二值图像素值 0 或 255如果原图是 0/1 要乘 255 或归一化。尺寸不一致的切片要在这一步统一 resize否则 HDF5 写入会报形状错误。生成完后用h5py检查一下import h5py db h5py.File(data/train.hdf5, r) print(db[images].shape, db[labels].shape) db.close()正常输出应该是(样本数, 256, 256, 1)和(样本数,)。如果通道数是 3说明读图时没转灰度要在generate_train.py里加cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)。3.3 启动训练与监控指标train.py跑起来后控制台会打印每个 epoch 的 loss 和准确率。分割任务看像素准确率会虚高因为背景占大多数真正要看的是 Dice 系数或 IoU。源码里可能只打印了 loss建议自己加一个 Dice 计算def dice_coef(y_true, y_pred, smooth1): y_true_f K.flatten(y_true) y_pred_f K.flatten(y_pred) intersection K.sum(y_true_f * y_pred_f) return (2. * intersection smooth) / (K.sum(y_true_f) K.sum(y_pred_f) smooth)把这个函数传给model.compile的metrics参数训练时就能看到 Dice 变化。如果 Dice 长期在 0.3 以下说明模型没学到东西检查数据标签是否对齐、学习率是否太大。如果 Dice 震荡厉害把 batch size 调大或学习率调小。训练轮数一般设 50 到 100配合早停EarlyStopping防止过拟合。模型保存用ModelCheckpoint只存验证集 Dice 最好的那一版。3.4 推理与结果生成从掩码到转移判断test.py和result_test.py负责推理。流程是加载训练好的权重对测试集切片逐张预测掩码然后根据掩码区域的特征面积、灰度均值、形状因子判断是否转移。源码里的result_generate.py和result_name.py应该是生成提交文件用的把预测结果按竞赛要求的格式写成 CSV 或 JSON。推理时要注意测试集的预处理必须和训练集完全一致同样的 resize、同样的归一化。如果训练时用了img / 255.0测试时也要除。否则模型看到的分布变了预测会崩。# 推理单张切片的示意 model.load_weights(best_model.h5) img cv2.imread(test_slice.png, cv2.IMREAD_GRAYSCALE) img cv2.resize(img, (256, 256)) / 255.0 img img.reshape(1, 256, 256, 1) mask model.predict(img)[0] mask (mask 0.5).astype(np.uint8) * 255得到掩码后用连通域分析找出每个淋巴结区域再提取特征做分类。如果竞赛只要求分割到掩码这步就结束了如果要求转移判断还要接一个分类器或规则判断。4. 避坑与排查这份源码跑不起来时先看这几条4.1 现象HDF5 写入时报 “Shape mismatch”原因通常是切片尺寸不一致或者掩码和原图尺寸对不上。HDF5 数据集创建时形状就固定了后续写入的每一批必须严格匹配。解决方法是先在generate_train.py里加一段遍历打印所有切片的 shape找出异常的那几张统一 resize 到目标尺寸。掩码也要同步 resize且用最近邻插值避免产生中间灰度值。4.2 现象训练 loss 不下降Dice 一直在 0.1 左右先检查标签是否反了。有些数据集掩码里 0 是目标、255 是背景如果按常规当 255 是目标模型就学反了。用np.unique(mask)看一眼像素值分布。另一个常见原因是学习率太大Adam 默认 1e-3 对分割任务偏大改成 1e-4 试试。如果还不行把输入归一化到 [0,1] 而不是 [0,255]U-Net 对输入尺度很敏感。4.3 现象显存不足batch size 降到 1 还是 OOMU-Net 在 512×512 输入下参数量不小如果显卡只有 4GB基本跑不动。解决办法有三个把输入降到 256×256把 U-Net 的 base filter 数从 64 降到 32 或 16用梯度累积模拟大 batch。源码里的Unet.py如果写死了 64就手动改小。注意改小后模型容量下降Dice 可能会掉几个点但至少能跑起来。4.4 现象推理结果全是黑图或全白图全黑说明模型输出接近 0全白说明接近 1。先确认推理时的预处理和训练时一致尤其是归一化。如果训练时用了img / 255.0推理时忘了除输入值在 0-255 范围模型会饱和。另一个可能是加载权重时层名不匹配Keras 会静默跳过不匹配的层导致部分层是随机初始化。用model.summary()对比一下结构确保权重加载完整。4.5 现象notebook 里的实验代码跑不通助于理解代码的实验.ipynb、求体积.ipynb、【学习】测试函数.ipynb、检查模型结果.ipynb这几个 notebook 依赖的库可能和主脚本不同比如用了 matplotlib、pandas、skimage。先pip install jupyter matplotlib pandas scikit-image然后注意 notebook 里的路径是相对路径还是绝对路径如果是作者本机的路径要改成自己的。notebook 的价值在于可视化中间结果比如看掩码叠加、看体积计算跑不通不影响主流程但能帮你理解代码在干什么。5. 进阶技巧用体积特征和模型集成把 Dice 再抬一截5.1 从掩码到体积一个被低估的后处理特征淋巴结转移判断里体积是一个很强的特征。转移的淋巴结通常体积更大、形状更不规则。源码里的求体积.ipynb就是在做这件事对预测掩码做连通域标记统计每个区域的像素数乘以切片层厚和像素间距得到物理体积。这个特征可以直接喂给一个简单的分类器逻辑回归或随机森林比端到端分类网络更可解释也更不容易过拟合。from skimage.measure import label, regionprops import numpy as np def extract_volume_features(mask, pixel_spacing(1.0, 1.0), slice_thickness1.0): labeled label(mask) regions regionprops(labeled) features [] for r in regions: area r.area volume area * pixel_spacing[0] * pixel_spacing[1] * slice_thickness perimeter r.perimeter circularity 4 * np.pi * area / (perimeter ** 2) if perimeter 0 else 0 features.append([volume, area, circularity, r.eccentricity]) return np.array(features)pixel_spacing和slice_thickness要从数据集的元信息里读竞赛方一般会给。如果没给就用默认值 1.0但物理体积就没意义了只能当相对特征用。circularity越接近 1 越圆转移的淋巴结往往偏离圆形。5.2 模型集成多折训练加权重平均单模型 Dice 到 0.7 左右就容易卡住想再往上走最稳的办法是 K 折交叉验证加权重平均。把训练集分成 5 折每折训一个 U-Net推理时把 5 个模型的预测概率平均再二值化。这样能降低方差Dice 通常能涨 2 到 5 个点。# 推理时集成 5 折模型 models [load_model(ffold_{i}.h5) for i in range(5)] preds np.zeros_like(test_image) for m in models: preds m.predict(test_image) preds / len(models) mask (preds 0.5).astype(np.uint8)注意每个折的模型结构要完全一致只是训练数据不同。如果显存不够同时加载 5 个模型就逐个加载、逐个预测、累加结果最后统一平均。5.3 验证方法别只看 Dice看混淆矩阵分割任务里 Dice 高不代表转移判断准。最终评估的是分类指标所以要单独看混淆矩阵。把预测掩码提取的特征输入分类器后统计 TP、FP、TN、FN算敏感度和特异度。医学场景下敏感度更重要宁可多报几个可疑的也别漏掉真的转移。如果敏感度低把分类阈值从 0.5 降到 0.3 试试。我自己的习惯是每次改完模型或后处理都强制跑一遍完整的验证流程从 HDF5 生成到推理到混淆矩阵一步不跳。有一次偷懒只看了训练集的 Dice结果测试集上敏感度只有 0.4回头查发现是推理时忘了做同样的归一化。从那以后我每次跑推理前都先拿一张训练集图片过一遍确认输出和训练时一致再跑全量。希望帮到你。本文还有配套的精品资源点击获取