DAIMS 赋能结直肠癌精准预后当多模态数据残缺、跨中心异质时如何靠一张病理切片完成治疗分层的生存预测文献来源Cao C, Li ZY, He C, et al.A Generalizable Multimodal Model for Treatment-Stratified Risk and Survival Assessment under Real-World Constraints: A Multi-Center Study of Colorectal Cancer. Advanced Science, 2026; 06: e78019. 通讯作者Chengqun Dou杜克大学医学院、Junhan Zhao哈佛医学院/芝加哥大学医学院合作机构包括中南大学湘雅医院、University of Chicago、Wake Forest 等。现有的多模态预后模型大部分都假设训练和部署时数据完整、人群一致、结局分布相同而这个假设在真实临床中往往不成立——训练集里少一个模态、换一家医院模型的表现就可能大幅下降。更棘手的是大量多模态模型在源中心source domain表现漂亮换到外部队列上立刻水土不服因为它学到的可能是某个特定扫描仪、某种染色习惯的伪影而不是真正的肿瘤规律。今天和大家分享的这个模型 DAIMSDomain-Adaptive Incomplete Multimodal Stratification域自适应不完整多模态分层框架目的很明确在源域TCGA用病理图像基因组临床文本把患者信息尽可能完整包含进去即便验证集只剩一张病理切片也能保证性能不出现大幅下降而且只更新极少的参数、不需要外部数据重新训练就能把风险预测校准到验证集上。DAIMS 架构梳理左栏 A 列出三个队列——TCGA351 例同时拥有病理切片、基因组和临床报告外部的 F1CRC420 例和 Surgen422 例只有病理切片可用临床和基因数据缺失。右栏 B 是预处理流水线病理切片先被切成无数小方块分别交给 UNI v1、UNI2-h、CONCH v1.5、Virchow2 四个病理基础模型编码自由文本病历先让 LLM 清洗并抽取出诊断、癌种、位置等结构化字段再走 PubMedBERT 变成向量基因组数据则被汇总成 hypoxia、DNA repair、MYC 等通路级别的特征。三路上来的都是异构向量格式统一、语义不同。多模态输入先进入特征选择模块围绕 Prototype Anchors原型锚点把每一路里真正和风险相关的片段挑出来你可以理解为模型在一堆特征里圈出高风险典型形态和低风险典型形态各几个原型再让每个模态的片段向这些原型靠拢。挑出来的片段分别经过可训练的 Adapter送进一个冻结不动的大型语言模型LLM做跨模态融合最后由分类器输出风险分层和生存曲线。在 TCGA 上训练时模型刻意把基因组或临床那一列打叉逼自己从病理图像里去脑补另外两路的表征这就是图里那些橙色的 representation imputation 模块一旦换到 F1CRC/Surgen 这种只有 WSI 的新医院模型就靠自己先生成一份伪风险标签再只动 WSI 适配器和分类头这两个小零件用更低的学习率做一轮轻量适应病理编码器和 LLM 主干全程冻结所以不需要目标医院提供任何基因或病历数据就能把预测校准到当地人群上。MedX知识岛看完一篇好论文下一步该做什么找代码、查数据还是尝试复现在MedX知识岛既有医学AI领域最新的顶刊复现也有最全面的公开代码和数据库查询系统注册登录即可免费探索让医工交叉领域的前沿探索不再为代码和数据所困一、DAIMS和传统多模态模型的本质差异传统做法是把图像、基因组、临床报告三路特征直接拼接到一起喂给分类器三路缺一路就跑不动DAIMS 反其道而行——它把多模态融合严格限制在训练阶段到了测试阶段允许只给病理图像。第一步用四个病理基础大模型把整图切成可计算的向量全切片动辄上亿像素没法直接喂进模型。论文采用 TRIDENT 流水线把 WSI 切成小块patch再分别用四种经过大规模自监督预训练的病理视觉编码器——UNI v1、UNI2-h、Virchow2、CONCH v1.5——把每个小块编码成特征向量。与此同时临床报告经过 BioBERT 变成句向量基因组学信息被汇总成通路级别的特征。第二步基于原型的跨模态特征选择这是 DAIMS 最核心的创新点它不直接平均所有 patch而是学习一组可微分的原型prototype每个原型代表一类高风险或低风险的病理模式——比如低分化、背靠背腺体、伴坏死就是高风险原型成熟腺体、伴大量炎性背景就是低风险原型。模型给每个 patch 计算它与各个原型的相似度权重再把权重加权聚合得到紧凑的全局表征。你可以把它理解为模型不是把整张图糊成一团模糊印象而是拿着放大镜在图上找哪一块最像那些预后差的典型形态并把注意力聚焦过去。消融实验证明把 PGAF 换成普通的 mean pooling 或 attention poolingC-index 平均要掉 0.03–0.05说明这套原型引导确实在挑选真正有用的风险 token。第三步模态表征补全训练时模型见过完整的基因组和临床表征到了目标域只有图像时它不是简单地忽略另外两路而是用图像侧学到的表征去重构出基因组 token 和临床报告 token 的替身surrogate tokens。论文用余弦相似度和决定系数 R² 验证重构的基因组通路特征与真实值余弦相似度高达 0.966、R²0.854临床报告稍难一些余弦 0.780、R²0.422因为医生自由叙述本身就比结构化通路更发散。第四步轻量级域适应从 TCGA 换到 F1CRC 或 SURGEN病人种族、染色、扫描仪全都变了。DAIMS 的做法不是把整个模型推倒重训而是用源域模型给目标域每张未标签切片生成伪标签pseudo-label再反向微调两个小部件——WSI 适配器和最终预测头——病理视觉编码器和冻结的 LLM backbone 完全不动。论文报告整个模型约 1.71 亿参数却只有约 6300 万可训练在 48GB GPU 上推理延迟约 32 毫秒吞吐每秒约 31 张切片。二、在1193 例患者的队列上进行验证论文在三个独立的结直肠癌队列对 DAIMS进行测试 TCGAn351以白人为主、分子分型齐全作为源域训练集F1CRCn420以东亚病人为主带治疗信息外部验证SURGENn422欧美人群带 BRAF/KRAS/MMR 等分子标记这三个队列在年龄、性别、肿瘤位置、分期、种族上差异巨大——比如直肠肿瘤在 F1CRC 占 48.6%在 TCGA 只有 16%SURGEN 中 III 期病人占 45%而 TCGA 只有 29%。数据残缺时还准不准研究者在 TCGA 上做了受控模态消融——把基因组和临床报告按不同比例随机抽走30%/30%、20%/40%、40%/20%只留 WSI。结果无论哪种缺失比例、无论用哪种病理编码器DAIMS 都能把高低风险组显著分开log-rank 检验 p 值最小到 1.20×10⁻³¹定量上以 CONCH v1.5 为例完整多模态下 C-index 达到 0.761在最苛刻的20%/40%缺失设置下仍有 0.744下滑不到 0.02。这组实验证明 DAIMS 在真实临床那种基因检测没做、病历没写全的常见情境下依然有效。换一家医院还准不准TCGA 训好的模型直接拿到 F1CRC 和 SURGEN 上做病理-only 推理。在未做域适应时DAIMS 已经超过了 ABMLIL、ILRA、TransMIL、MILAN、WIKG、PathChEF、CMTA、MOTCAT 等一批病理-only 基线做了轻量伪标签适应后F1CRC 上 C-index 从 0.734 提升到 0.810以 CONCH v1.5 为例SURGEN 上从 0.711 提升到 0.752。论文摘要里那句在 F1CRC 上 C-index 相对 SOTA 提升 5.6%–13.9%、在 SURGEN 上提升 4.1%–9.0%指的就是这组跨域对比。更有意思的是分布对齐用 t-SNE 看适应前 F1CRC 和 SURGEN 的高、低风险预测分布互相搅在一起适应后用 Gaussians fit 计算的 Overlap AreaOA在 F1CRC 从 0.744 降到 0.858在 SURGEN 从 0.887 降到 0.925——数字越小代表预测风险分布和真实事件分布贴合得越紧。能不能在同一种治疗内部再分高下这是临床最关心的问题病人 A 和病人 B 都做了化疗预后凭什么一个好一个差DAIMS 在 TCGA 内按放疗、药物治疗、化疗、手术四种治疗方式分别分层每一种治疗亚组里高风险和低风险的生存曲线都显著分开log-rank p 值最小到 1.75×10⁻³。到了 F1CRC它又能在手术化疗“仅手术”“未化疗”“双药方案四个亚组内部继续分层甚至进一步细化到 Dixon/AR 保肛手术、结肠切除、姑息手术、Miles/APR 腹会阴联合切除四种术式——这意味着模型捕捉到的形态学风险信号不是简单地挑治疗方案”而是同一方案下谁更容易复发。SURGEN 队列则把检验推进到分子层面在早期I–II和晚期III–IV、BRAF 野生/突变、KRAS2 野生/突变、MMR 完整/缺失八个分子亚组内部DAIMS 都能再次把病人劈成生存曲线明显分离的两组全部 p0.05。换句话说病理图像里编码的预后信息超出了分期和已知分子标记所能解释的范围——这正是形态学影像组学真正的价值所在。模型到底在看哪里DAIMS 用原型引导注意力热图把模型的视线可视化在 TCGA 一位 61 岁、术后存活 475 天的患者切片上高风险注意力集中在低分化、背靠背排列的恶性腺体而在另一位 40 岁、290 天内死亡的患者切片上高风险区域覆盖了大片坏死、多形性恶性细胞和不规则腺体低风险注意力则落在平滑的固有肌层和结缔组织上。这种高风险原型盯着侵袭性肿瘤腺体、低风险原型盯着良性/间质组织的规律在 F1CRC 和 SURGEN 上也一致——哪怕三家医院的染色和扫描仪完全不同模型关心的仍然是同一类生物学结构而不是某个中心特有的伪影。三、从用得起到看得懂把沉睡的病理切片重新唤醒过去多模态预后研究几乎只在像 TCGA 这样数据齐全的大型科研队列里做得动因为它要求同时有 WSI、基因组、随访结局而全世界医院档案室里积压了几十年的真实切片绝大多数都没有配套的基因检测临床记录还是非结构化的自由文本。DAIMS 把这个门槛拆掉了——只要有一张 HE 染色切片一个轻量适配器模型就能在当地重新校准。论文作者在讨论里明确把这一点称为unlocking the potential of existing prognostic risk assessment。对临床决策来说在同一治疗方案、同一分期、同一分子亚型内部病理图像仍然携带额外的预后信息。这意味着未来的治疗分层不再只依赖分期基因突变这两个粗粒度维度AI 可以从腺体结构、间质反应、免疫浸润这些显微镜下的细节里把看似同一种病人再细分出谁需要更密切随访、谁可能从强化治疗中获益。论文也坦承它并不打算替代分子检测而是作为现有诊断管线之外的第二条信息通道——当基因检测缺失或不可及的时候多一份来自组织形态的判断。当然论文也诚实地表明了目前研究的局限三个队列在种族上仍不够均衡TCGA 偏白人、F1CRC 偏东亚、SURGEN 偏高加索BRAF 突变和 dMMR 这类稀有亚组的样本量仍然有限伪标签域适应有可能在反复迭代中累积偏差临床自由文本的重构精度R²0.42也明显弱于基因组通路。作者把这些列为下一步方向跨转录组等多组学融合、更大规模的多中心前瞻性验证、以及更严格的可解释性核查。MedX知识岛看完一篇好论文下一步该做什么找代码、查数据还是尝试复现在MedX知识岛既有医学AI领域最新的顶刊复现也有最全面的公开代码和数据库查询系统注册登录即可免费探索让医工交叉领域的前沿探索不再为代码和数据所困 
长河君 · 2026/10/13 16:45:23 · 阅读 1.2k 哈佛大学联合湘雅医院等团队发表跨中心的多模态研究，验证集即便只有单一模态，也能实现治疗风险的精准分层和预后评估
DAIMS 赋能结直肠癌精准预后当多模态数据残缺、跨中心异质时如何靠一张病理切片完成治疗分层的生存预测文献来源Cao C, Li ZY, He C, et al.A Generalizable Multimodal Model for Treatment-Stratified Risk and Survival Assessment under Real-World Constraints: A Multi-Center Study of Colorectal Cancer. Advanced Science, 2026; 06: e78019. 通讯作者Chengqun Dou杜克大学医学院、Junhan Zhao哈佛医学院/芝加哥大学医学院合作机构包括中南大学湘雅医院、University of Chicago、Wake Forest 等。现有的多模态预后模型大部分都假设训练和部署时数据完整、人群一致、结局分布相同而这个假设在真实临床中往往不成立——训练集里少一个模态、换一家医院模型的表现就可能大幅下降。更棘手的是大量多模态模型在源中心source domain表现漂亮换到外部队列上立刻水土不服因为它学到的可能是某个特定扫描仪、某种染色习惯的伪影而不是真正的肿瘤规律。今天和大家分享的这个模型 DAIMSDomain-Adaptive Incomplete Multimodal Stratification域自适应不完整多模态分层框架目的很明确在源域TCGA用病理图像基因组临床文本把患者信息尽可能完整包含进去即便验证集只剩一张病理切片也能保证性能不出现大幅下降而且只更新极少的参数、不需要外部数据重新训练就能把风险预测校准到验证集上。DAIMS 架构梳理左栏 A 列出三个队列——TCGA351 例同时拥有病理切片、基因组和临床报告外部的 F1CRC420 例和 Surgen422 例只有病理切片可用临床和基因数据缺失。右栏 B 是预处理流水线病理切片先被切成无数小方块分别交给 UNI v1、UNI2-h、CONCH v1.5、Virchow2 四个病理基础模型编码自由文本病历先让 LLM 清洗并抽取出诊断、癌种、位置等结构化字段再走 PubMedBERT 变成向量基因组数据则被汇总成 hypoxia、DNA repair、MYC 等通路级别的特征。三路上来的都是异构向量格式统一、语义不同。多模态输入先进入特征选择模块围绕 Prototype Anchors原型锚点把每一路里真正和风险相关的片段挑出来你可以理解为模型在一堆特征里圈出高风险典型形态和低风险典型形态各几个原型再让每个模态的片段向这些原型靠拢。挑出来的片段分别经过可训练的 Adapter送进一个冻结不动的大型语言模型LLM做跨模态融合最后由分类器输出风险分层和生存曲线。在 TCGA 上训练时模型刻意把基因组或临床那一列打叉逼自己从病理图像里去脑补另外两路的表征这就是图里那些橙色的 representation imputation 模块一旦换到 F1CRC/Surgen 这种只有 WSI 的新医院模型就靠自己先生成一份伪风险标签再只动 WSI 适配器和分类头这两个小零件用更低的学习率做一轮轻量适应病理编码器和 LLM 主干全程冻结所以不需要目标医院提供任何基因或病历数据就能把预测校准到当地人群上。MedX知识岛看完一篇好论文下一步该做什么找代码、查数据还是尝试复现在MedX知识岛既有医学AI领域最新的顶刊复现也有最全面的公开代码和数据库查询系统注册登录即可免费探索让医工交叉领域的前沿探索不再为代码和数据所困一、DAIMS和传统多模态模型的本质差异传统做法是把图像、基因组、临床报告三路特征直接拼接到一起喂给分类器三路缺一路就跑不动DAIMS 反其道而行——它把多模态融合严格限制在训练阶段到了测试阶段允许只给病理图像。第一步用四个病理基础大模型把整图切成可计算的向量全切片动辄上亿像素没法直接喂进模型。论文采用 TRIDENT 流水线把 WSI 切成小块patch再分别用四种经过大规模自监督预训练的病理视觉编码器——UNI v1、UNI2-h、Virchow2、CONCH v1.5——把每个小块编码成特征向量。与此同时临床报告经过 BioBERT 变成句向量基因组学信息被汇总成通路级别的特征。第二步基于原型的跨模态特征选择这是 DAIMS 最核心的创新点它不直接平均所有 patch而是学习一组可微分的原型prototype每个原型代表一类高风险或低风险的病理模式——比如低分化、背靠背腺体、伴坏死就是高风险原型成熟腺体、伴大量炎性背景就是低风险原型。模型给每个 patch 计算它与各个原型的相似度权重再把权重加权聚合得到紧凑的全局表征。你可以把它理解为模型不是把整张图糊成一团模糊印象而是拿着放大镜在图上找哪一块最像那些预后差的典型形态并把注意力聚焦过去。消融实验证明把 PGAF 换成普通的 mean pooling 或 attention poolingC-index 平均要掉 0.03–0.05说明这套原型引导确实在挑选真正有用的风险 token。第三步模态表征补全训练时模型见过完整的基因组和临床表征到了目标域只有图像时它不是简单地忽略另外两路而是用图像侧学到的表征去重构出基因组 token 和临床报告 token 的替身surrogate tokens。论文用余弦相似度和决定系数 R² 验证重构的基因组通路特征与真实值余弦相似度高达 0.966、R²0.854临床报告稍难一些余弦 0.780、R²0.422因为医生自由叙述本身就比结构化通路更发散。第四步轻量级域适应从 TCGA 换到 F1CRC 或 SURGEN病人种族、染色、扫描仪全都变了。DAIMS 的做法不是把整个模型推倒重训而是用源域模型给目标域每张未标签切片生成伪标签pseudo-label再反向微调两个小部件——WSI 适配器和最终预测头——病理视觉编码器和冻结的 LLM backbone 完全不动。论文报告整个模型约 1.71 亿参数却只有约 6300 万可训练在 48GB GPU 上推理延迟约 32 毫秒吞吐每秒约 31 张切片。二、在1193 例患者的队列上进行验证论文在三个独立的结直肠癌队列对 DAIMS进行测试 TCGAn351以白人为主、分子分型齐全作为源域训练集F1CRCn420以东亚病人为主带治疗信息外部验证SURGENn422欧美人群带 BRAF/KRAS/MMR 等分子标记这三个队列在年龄、性别、肿瘤位置、分期、种族上差异巨大——比如直肠肿瘤在 F1CRC 占 48.6%在 TCGA 只有 16%SURGEN 中 III 期病人占 45%而 TCGA 只有 29%。数据残缺时还准不准研究者在 TCGA 上做了受控模态消融——把基因组和临床报告按不同比例随机抽走30%/30%、20%/40%、40%/20%只留 WSI。结果无论哪种缺失比例、无论用哪种病理编码器DAIMS 都能把高低风险组显著分开log-rank 检验 p 值最小到 1.20×10⁻³¹定量上以 CONCH v1.5 为例完整多模态下 C-index 达到 0.761在最苛刻的20%/40%缺失设置下仍有 0.744下滑不到 0.02。这组实验证明 DAIMS 在真实临床那种基因检测没做、病历没写全的常见情境下依然有效。换一家医院还准不准TCGA 训好的模型直接拿到 F1CRC 和 SURGEN 上做病理-only 推理。在未做域适应时DAIMS 已经超过了 ABMLIL、ILRA、TransMIL、MILAN、WIKG、PathChEF、CMTA、MOTCAT 等一批病理-only 基线做了轻量伪标签适应后F1CRC 上 C-index 从 0.734 提升到 0.810以 CONCH v1.5 为例SURGEN 上从 0.711 提升到 0.752。论文摘要里那句在 F1CRC 上 C-index 相对 SOTA 提升 5.6%–13.9%、在 SURGEN 上提升 4.1%–9.0%指的就是这组跨域对比。更有意思的是分布对齐用 t-SNE 看适应前 F1CRC 和 SURGEN 的高、低风险预测分布互相搅在一起适应后用 Gaussians fit 计算的 Overlap AreaOA在 F1CRC 从 0.744 降到 0.858在 SURGEN 从 0.887 降到 0.925——数字越小代表预测风险分布和真实事件分布贴合得越紧。能不能在同一种治疗内部再分高下这是临床最关心的问题病人 A 和病人 B 都做了化疗预后凭什么一个好一个差DAIMS 在 TCGA 内按放疗、药物治疗、化疗、手术四种治疗方式分别分层每一种治疗亚组里高风险和低风险的生存曲线都显著分开log-rank p 值最小到 1.75×10⁻³。到了 F1CRC它又能在手术化疗“仅手术”“未化疗”“双药方案四个亚组内部继续分层甚至进一步细化到 Dixon/AR 保肛手术、结肠切除、姑息手术、Miles/APR 腹会阴联合切除四种术式——这意味着模型捕捉到的形态学风险信号不是简单地挑治疗方案”而是同一方案下谁更容易复发。SURGEN 队列则把检验推进到分子层面在早期I–II和晚期III–IV、BRAF 野生/突变、KRAS2 野生/突变、MMR 完整/缺失八个分子亚组内部DAIMS 都能再次把病人劈成生存曲线明显分离的两组全部 p0.05。换句话说病理图像里编码的预后信息超出了分期和已知分子标记所能解释的范围——这正是形态学影像组学真正的价值所在。模型到底在看哪里DAIMS 用原型引导注意力热图把模型的视线可视化在 TCGA 一位 61 岁、术后存活 475 天的患者切片上高风险注意力集中在低分化、背靠背排列的恶性腺体而在另一位 40 岁、290 天内死亡的患者切片上高风险区域覆盖了大片坏死、多形性恶性细胞和不规则腺体低风险注意力则落在平滑的固有肌层和结缔组织上。这种高风险原型盯着侵袭性肿瘤腺体、低风险原型盯着良性/间质组织的规律在 F1CRC 和 SURGEN 上也一致——哪怕三家医院的染色和扫描仪完全不同模型关心的仍然是同一类生物学结构而不是某个中心特有的伪影。三、从用得起到看得懂把沉睡的病理切片重新唤醒过去多模态预后研究几乎只在像 TCGA 这样数据齐全的大型科研队列里做得动因为它要求同时有 WSI、基因组、随访结局而全世界医院档案室里积压了几十年的真实切片绝大多数都没有配套的基因检测临床记录还是非结构化的自由文本。DAIMS 把这个门槛拆掉了——只要有一张 HE 染色切片一个轻量适配器模型就能在当地重新校准。论文作者在讨论里明确把这一点称为unlocking the potential of existing prognostic risk assessment。对临床决策来说在同一治疗方案、同一分期、同一分子亚型内部病理图像仍然携带额外的预后信息。这意味着未来的治疗分层不再只依赖分期基因突变这两个粗粒度维度AI 可以从腺体结构、间质反应、免疫浸润这些显微镜下的细节里把看似同一种病人再细分出谁需要更密切随访、谁可能从强化治疗中获益。论文也坦承它并不打算替代分子检测而是作为现有诊断管线之外的第二条信息通道——当基因检测缺失或不可及的时候多一份来自组织形态的判断。当然论文也诚实地表明了目前研究的局限三个队列在种族上仍不够均衡TCGA 偏白人、F1CRC 偏东亚、SURGEN 偏高加索BRAF 突变和 dMMR 这类稀有亚组的样本量仍然有限伪标签域适应有可能在反复迭代中累积偏差临床自由文本的重构精度R²0.42也明显弱于基因组通路。作者把这些列为下一步方向跨转录组等多组学融合、更大规模的多中心前瞻性验证、以及更严格的可解释性核查。MedX知识岛看完一篇好论文下一步该做什么找代码、查数据还是尝试复现在MedX知识岛既有医学AI领域最新的顶刊复现也有最全面的公开代码和数据库查询系统注册登录即可免费探索让医工交叉领域的前沿探索不再为代码和数据所困