论文题目ZUMA: Training-Free Zero-Shot Unified Multimodal Anomaly DetectionZUMA无需训练的零样本统一多模态异常检测期刊IEEE Transactions on Pattern Analysis and Machine IntelligenceTPAMI2026摘要多模态异常检测MAD旨在结合纹理属性与空间属性识别复杂场景中偏离正常模式的情况。然而由隐私顾虑或保密限制带来的零样本ZS设定给现有 MAD 方法提出了重大挑战。为解决这一问题本文提出 ZUMA一种无需训练的零样本统一多模态异常检测框架释放 CLIP 的跨模态潜力以完成零样本 MAD。为缓解 CLIP 预训练空间与点云之间的域差距作者提出跨域校准CDC通过源域语义迁移有效弥合流形错位并构建混合语义空间实现 2D 与 3D 表示的联合嵌入。随后ZUMA 采用动态语义交互DSI在 CDC 构建的高维嵌入空间中实现异常区域的结构性解耦其中自然语言作为语义锚点帮助 DSI 在混合模态表示中建立具有判别性的超平面。在这一框架下ZUMA 无需训练或微调即可即插即用地检测 2D、3D 或多模态异常也适用于跨数据集或模态不完整的场景。此外为进一步研究无需训练的 ZUMA 在基于训练的范式下的潜力作者开发了微调版本 ZUMA-FT以较小的参数代价获得显著改进。论文在 MVTec 3D-AD 和 Eyecandies 两个多模态异常检测基准上进行了广泛实验。值得注意的是无需训练的 ZUMA 在两个数据集上取得了最先进的性能超过包括训练型方法在内的现有零样本 MAD 方法。ZUMA-FT 仅使用 675 万个可学习参数进一步拓展了 ZUMA 的性能上限。源码GitHub - yif-ma/ZUMA: The official implementation of ZUMA for our paper submitted to IEEE TPAMI. The full code will be released after the review process. · GitHub一、研究背景与核心问题工业异常检测通常希望模型通过正常样本认识产品再识别缺陷。但在实际生产中出于隐私、保密或数据获取限制目标产品的训练样本可能完全不可用。此时“先收集正常样本再训练异常检测器”的常规方案就失效了。零样本异常检测试图不依赖目标类别的训练数据直接利用预训练模型的迁移能力进行检测。已有零样本方法仍有两个问题。第一许多方法只处理 RGB 图像或 3D 点云单一模态存在天然盲区细微几何凹陷可能几乎不改变颜色而颜色污染也可能不影响物体形状。第二一些所谓的零样本多模态方法仍需利用其他类别数据训练再迁移到未见类别即使分别有 2D 和 3D 分支也常在最后简单合并分数没有充分利用跨模态语义关系。论文 Figure 2无监督、基于训练的零样本和无需训练的零样本多模态异常检测范式Figure 2 的区别在于数据依赖传统无监督方法依赖同类别正常数据基于训练的零样本方法在基础类别上训练、到新类别测试ZUMA 希望直接处理未见类别不在目标任务上训练或微调。但“无需训练”不等于从头没有任何学习ZUMA 仍使用已经预训练好的 CLIP。本文的关键洞察是既然 CLIP 已经建立图像与自然语言的共享语义空间那么可以把点云转成多视角图像通过无需学习参数的跨域校准把 RGB、3D 和文本连接起来再利用统计差异与文本语义判断异常。二、方法整体框架把 RGB、点云和文本接到同一条检测流程论文 Figure 4ZUMA 的五分支整体框架与零样本推理流程Figure 4 可以按照“输入预处理 → 跨域校准 → 动态语义交互 → 辅助异常图 → 输出”的顺序阅读。虽然原图画了五条分支真正需要抓住的主线只有CDC 和 DSI 两个核心模块。首先预处理分支将 3D 点云从多个视角渲染成 2D 投影图像默认使用 9 个视角RGB 图像与这些投影随后交给同一个预训练 CLIP 视觉编码器提取 Patch 特征。这样便不必另行训练专门的点云—文本编码器。接着文本分支使用预先定义的正常/异常自然语言模板经 CLIP 文本编码器得到文本语义锚点。主分支先通过CDCCross-Domain Calibration将 RGB 特征中的语义信息迁移到点云渲染特征上缓解两种图像在纹理、结构连续性与成像风格上的差别形成混合表示再通过DSIDynamic Semantic Interaction结合特征分布与正常/异常文本相似度生成各个视角的异常响应。之后多视角结果被投影回三维空间。与此同时辅助分支根据不同层级 Patch 之间的语义相似性生成补充异常图最后与主分支共同形成预测结果。整条流程可以压缩为RGB 点云多视角渲染→ CLIP 视觉特征 → CDC 跨域语义校准 → DSI 异常判别 → 视角回投影与辅助增强 → 图像级异常分数、像素级异常图。对于只有 RGB 或只有 3D 的输入也可以使用相应模态执行检测统一的关键不是训练一个新骨干网络而是使用共享的预训练语义表示与免训练计算模块。三、CDC点云渲染图为什么不能直接送进 CLIP3.1 问题同属图像却不在同一种特征分布里CLIP 主要在自然图像—文本数据上预训练。RGB 图像保留自然纹理和光照而点云渲染图通常更突出几何轮廓纹理与颜色分布差异明显。即使两个输入来自同一个产品CLIP 提取出的 Token 也不一定自然对齐。因此把 RGB 和渲染图简单拼接或分别评分可能无法真正实现语义互补。CDC 的目标不是重新训练编码器而是在已经得到的特征上进行跨域语义校准。作者把 RGB 特征看作源域语义参考把多视角点云特征看作待校准的目标域特征再用 Token 间关系建立迁移权重。3.2 怎么做划分语义子空间再建立 Token 对应记 RGB 特征为点云渲染特征为其中 V 是渲染视角数N是 Token 数D 是特征维度。两者先进行 L2 归一化再把通道维划分为 H 个子空间每个维度为。这种划分只是确定性的通道重排并没有引入可学习的投影层。在每个视角、每个子空间内作者计算点云 Token 与 RGB Token 的平方欧氏距离再通过高斯核得到对应关系其中与分别表示某个点云视角和 RGB 的 Token控制距离转换为相似度时的敏感程度。距离越小相似度越高说明这些局部特征更有可能表达相近语义。接着CDC 对相似度矩阵交替进行行、列归一化论文采用 3 次迭代再计算注意力加权的 RGB 表示。这样做既能避免少数 Token 权重过度集中也能在无需训练的条件下建立较稳定的跨模态对应。3.3 自适应注入 RGB 语义构造 Hybrid Representation作者没有直接用 RGB 特征替换点云特征而是通过全局门控将校准后的 RGB 语义加到原来的点云表示中形成每个视角的混合特征。门控由输入特征计算并经过 Sigmoid 控制注入强度RGB 语义可信时增强补充信息不可靠时减轻影响。直观来说CDC 是让“几何外观”借助“自然图像语义”校准但仍保留点云自身的几何信息。其价值在于无需额外训练参数就可以把两种来源不同的视觉特征放到更容易交互的表示空间中为后续 DSI 提供输入。四、DSI不用异常训练样本怎样得到异常图4.1 文本分支先提供正常/异常的语义锚点ZUMA 使用固定的自然语言 Prompt而不是像 Prompt Learning 方法那样训练 Soft Prompt。模板从较通用的 “a [s] object”扩展到包含类别或上下文的描述其中[s]代表正常/异常状态[o]代表物体类别。文本经过 CLIP Text Encoder 后形成正常和异常两类文本特征为视觉 Patch 提供可比较的语义方向。这样即使没有目标类别的异常训练图片模型也能利用 CLIP 的语言先验进行判断。但固定 Prompt 难以独自完成细粒度定位因此 DSI 还引入统计分支。4.2 两条异常线索分布偏离与文本语义第一条线索是 Patch 的统计离群程度。对每个视角的混合特征作者利用当前特征集合计算均值和协方差再通过马氏距离刻画 Patch 偏离整体特征分布的程度这里表示协方差矩阵的伪逆分数越大说明该 Patch 在当前特征分布中越不寻常。这种计算不依赖预先收集的目标类别正常特征库。第二条线索是语言语义。作者一方面计算混合特征的 L1 稀疏性响应突出较显著的特征另一方面计算 Patch 与正常/异常文本特征的相似度得到语义响应。两者按照系数加权并映射为正常/异常的双通道分数。这一步试图让缺陷不仅在统计上“不同”也在语言语义上被区分为“异常”。最终DSI 将两条分支按系数融合。其中是统计距离分支是稀疏性与文本相似度分支。它们分别解决“局部是否偏离整体分布”和“这种偏离是否符合异常语义”的问题。多视角异常结果再被投影回 3D 空间以实现点云异常定位。4.3 辅助分支与 ZUMA-FT 是什么关系主分支之外作者还利用 CLIP 不同层级的 Patch 特征计算局部语义相似性形成补充异常图用来增强分割结果。这是一个与 CDC、DSI 并行的辅助过程而不是额外训练一个异常重建网络。论文还提出ZUMA-FT用于研究“允许在其他类别上微调时还能提升多少”。它与无需训练的 ZUMA 共享主要框架但把固定文本语义换成可学习的正常/异常 Prompt并加入可学习位置编码与语义细化模块。ZUMA-FT 在辅助类别上训练测试类别与训练类别不同因此仍是未见类别的零样本迁移却不再属于完全无需训练的方案。这是阅读实验时必须区分的两种设置。五、实验结果与消融分析5.1 数据集与评价指标作者在两个公开多模态工业异常检测数据集上评估MVTec 3D-AD提供 10 类产品的 RGB 与 3D 点云Eyecandies则包含渲染生成的 2D/3D 异常场景。主要指标包括图像级异常检测的 I-AUC以及像素级异常定位的 P-AUC 和 PRO。实验采用预训练 CLIP ViT-L/14336pxZUMA 本身不更新其参数ZUMA-FT 则在辅助类别上微调文本相关模块。5.2 代表性对比ZUMA 与 PointAD论文 Table IZUMA 与无需训练的零样本多模态异常检测方法的性能对比在MVTec 3D-AD 的多模态、无需训练设置下ZUMA 达到97.6% P-AUC、92.5% PRO、84.0% I-AUC。同样无需训练的 PointAD 分别为94.0%、81.6%、67.5%ZUMA 在定位与图像级判断上都有明显提升。这组比较最能体现 CDC 与 DSI 在严格无目标样本、无微调条件下的价值。 另外在 MVTec 3D-AD 的 2D 设置中ZUMA 的 P-AUC 为97.0%WinCLIP 为91.6%在 3D 设置中ZUMA 为95.6%PointCLIP V2 为87.4%。这些数值均在各自相同模态的条件下比较。论文 Table IIZUMA 与需要训练的零样本多模态异常检测方法的性能对比再与基于训练的 PointAD比较其多模态结果为97.2% P-AUC、90.2% PRO、86.9% I-AUC。ZUMA 虽不需要任务训练P-AUC 和 PRO 仍分别高出 0.4、2.3 个百分点但 I-AUC 低 2.9 个百分点。因此更准确的结论是ZUMA 的异常定位尤其突出而图像级排序能力仍可能受缺乏训练参考信息的限制不能简单说所有指标全面领先。5.3 ZUMA-FT少量可学习参数带来的补充结果论文 Table IIIZUMA-FT 与训练型零样本多模态检测方法的效果对比允许在其他类别上微调后ZUMA-FT 在 MVTec 3D-AD 多模态设置下达到97.8% P-AUC、93.1% PRO、88.2% I-AUC相对基于训练的 PointAD97.2%、90.2%、86.9%进一步提高。ZUMA-FT 的可学习参数为6.75M而无需训练的 ZUMA 为0M 新增可学习参数。这里比较的是不同训练条件ZUMA-FT 的提升说明文本语义还有适配空间但不能把它的结果当作无需训练 ZUMA 的成绩。5.4 消融实验作者验证了哪些设计模态缺失实验设置仅 RGB 缺失、仅点云缺失及两种模态均部分缺失并改变缺失比例检验不完整模态输入时的鲁棒性。CDC 替换实验用 Cosweight、ResAttention、CORAL 等无需训练的特征校准方式替代 CDC检验跨域校准设计。DSI 移除实验分别在 2D、3D 和多模态输入中去掉 DSI检验动态语义交互的必要性。Prompt 长度实验改变 ZUMA-FT 可学习文本 Prompt 的长度考察文本表示规模的选择。低层差异鲁棒性实验改变点云渲染模糊程度、光度条件、采样比例和遮挡情况考察 CDC 对不同输入扰动的适应性。六、总结与思考ZUMA 最值得学习的不是简单把点云渲染成图片而是围绕严格零样本检测构建了一条不依赖目标训练样本的跨模态语义计算链先利用预训练 CLIP 提取 RGB 与点云投影视觉特征再通过 CDC 把两者校准到可交互的混合表示随后由 DSI 结合统计离群程度和自然语言语义识别异常最终通过回投影与辅助异常图完成定位。与需要积累正常样本特征库或让一批未标注样本互相比较的路线不同ZUMA 的关键判断来自当前输入的视觉表示、固定文本语义和预训练基础模型。因此Training-Free 的真正含义是无需为目标异常检测任务再训练不是无需预训练模型也不是完全没有计算代价。从工程角度看点云多视角渲染、CLIP 特征提取以及跨视角回投影仍会增加推理流程的复杂度当模态缺失严重、渲染质量下降时检测效果也可能受影响。另一方面论文明确区分 ZUMA 与 ZUMA-FT提醒我们评价零样本方法时必须同时看是否需要目标样本、是否在其他类别训练以及报告的究竟是图像级还是像素级指标。如果把本文压缩成一句话ZUMA 用 CDC 解决 RGB 与点云渲染特征“难对齐”的问题再用 DSI 将“统计异常”与“文本异常语义”结合起来在不做任务训练的情况下完成统一的 2D/3D 异常检测。 
长河君 · 2026/11/5 3:51:20 · 阅读 1.2k （论文速读）ZUMA：无需训练的零样本统一多模态异常检测
论文题目ZUMA: Training-Free Zero-Shot Unified Multimodal Anomaly DetectionZUMA无需训练的零样本统一多模态异常检测期刊IEEE Transactions on Pattern Analysis and Machine IntelligenceTPAMI2026摘要多模态异常检测MAD旨在结合纹理属性与空间属性识别复杂场景中偏离正常模式的情况。然而由隐私顾虑或保密限制带来的零样本ZS设定给现有 MAD 方法提出了重大挑战。为解决这一问题本文提出 ZUMA一种无需训练的零样本统一多模态异常检测框架释放 CLIP 的跨模态潜力以完成零样本 MAD。为缓解 CLIP 预训练空间与点云之间的域差距作者提出跨域校准CDC通过源域语义迁移有效弥合流形错位并构建混合语义空间实现 2D 与 3D 表示的联合嵌入。随后ZUMA 采用动态语义交互DSI在 CDC 构建的高维嵌入空间中实现异常区域的结构性解耦其中自然语言作为语义锚点帮助 DSI 在混合模态表示中建立具有判别性的超平面。在这一框架下ZUMA 无需训练或微调即可即插即用地检测 2D、3D 或多模态异常也适用于跨数据集或模态不完整的场景。此外为进一步研究无需训练的 ZUMA 在基于训练的范式下的潜力作者开发了微调版本 ZUMA-FT以较小的参数代价获得显著改进。论文在 MVTec 3D-AD 和 Eyecandies 两个多模态异常检测基准上进行了广泛实验。值得注意的是无需训练的 ZUMA 在两个数据集上取得了最先进的性能超过包括训练型方法在内的现有零样本 MAD 方法。ZUMA-FT 仅使用 675 万个可学习参数进一步拓展了 ZUMA 的性能上限。源码GitHub - yif-ma/ZUMA: The official implementation of ZUMA for our paper submitted to IEEE TPAMI. The full code will be released after the review process. · GitHub一、研究背景与核心问题工业异常检测通常希望模型通过正常样本认识产品再识别缺陷。但在实际生产中出于隐私、保密或数据获取限制目标产品的训练样本可能完全不可用。此时“先收集正常样本再训练异常检测器”的常规方案就失效了。零样本异常检测试图不依赖目标类别的训练数据直接利用预训练模型的迁移能力进行检测。已有零样本方法仍有两个问题。第一许多方法只处理 RGB 图像或 3D 点云单一模态存在天然盲区细微几何凹陷可能几乎不改变颜色而颜色污染也可能不影响物体形状。第二一些所谓的零样本多模态方法仍需利用其他类别数据训练再迁移到未见类别即使分别有 2D 和 3D 分支也常在最后简单合并分数没有充分利用跨模态语义关系。论文 Figure 2无监督、基于训练的零样本和无需训练的零样本多模态异常检测范式Figure 2 的区别在于数据依赖传统无监督方法依赖同类别正常数据基于训练的零样本方法在基础类别上训练、到新类别测试ZUMA 希望直接处理未见类别不在目标任务上训练或微调。但“无需训练”不等于从头没有任何学习ZUMA 仍使用已经预训练好的 CLIP。本文的关键洞察是既然 CLIP 已经建立图像与自然语言的共享语义空间那么可以把点云转成多视角图像通过无需学习参数的跨域校准把 RGB、3D 和文本连接起来再利用统计差异与文本语义判断异常。二、方法整体框架把 RGB、点云和文本接到同一条检测流程论文 Figure 4ZUMA 的五分支整体框架与零样本推理流程Figure 4 可以按照“输入预处理 → 跨域校准 → 动态语义交互 → 辅助异常图 → 输出”的顺序阅读。虽然原图画了五条分支真正需要抓住的主线只有CDC 和 DSI 两个核心模块。首先预处理分支将 3D 点云从多个视角渲染成 2D 投影图像默认使用 9 个视角RGB 图像与这些投影随后交给同一个预训练 CLIP 视觉编码器提取 Patch 特征。这样便不必另行训练专门的点云—文本编码器。接着文本分支使用预先定义的正常/异常自然语言模板经 CLIP 文本编码器得到文本语义锚点。主分支先通过CDCCross-Domain Calibration将 RGB 特征中的语义信息迁移到点云渲染特征上缓解两种图像在纹理、结构连续性与成像风格上的差别形成混合表示再通过DSIDynamic Semantic Interaction结合特征分布与正常/异常文本相似度生成各个视角的异常响应。之后多视角结果被投影回三维空间。与此同时辅助分支根据不同层级 Patch 之间的语义相似性生成补充异常图最后与主分支共同形成预测结果。整条流程可以压缩为RGB 点云多视角渲染→ CLIP 视觉特征 → CDC 跨域语义校准 → DSI 异常判别 → 视角回投影与辅助增强 → 图像级异常分数、像素级异常图。对于只有 RGB 或只有 3D 的输入也可以使用相应模态执行检测统一的关键不是训练一个新骨干网络而是使用共享的预训练语义表示与免训练计算模块。三、CDC点云渲染图为什么不能直接送进 CLIP3.1 问题同属图像却不在同一种特征分布里CLIP 主要在自然图像—文本数据上预训练。RGB 图像保留自然纹理和光照而点云渲染图通常更突出几何轮廓纹理与颜色分布差异明显。即使两个输入来自同一个产品CLIP 提取出的 Token 也不一定自然对齐。因此把 RGB 和渲染图简单拼接或分别评分可能无法真正实现语义互补。CDC 的目标不是重新训练编码器而是在已经得到的特征上进行跨域语义校准。作者把 RGB 特征看作源域语义参考把多视角点云特征看作待校准的目标域特征再用 Token 间关系建立迁移权重。3.2 怎么做划分语义子空间再建立 Token 对应记 RGB 特征为点云渲染特征为其中 V 是渲染视角数N是 Token 数D 是特征维度。两者先进行 L2 归一化再把通道维划分为 H 个子空间每个维度为。这种划分只是确定性的通道重排并没有引入可学习的投影层。在每个视角、每个子空间内作者计算点云 Token 与 RGB Token 的平方欧氏距离再通过高斯核得到对应关系其中与分别表示某个点云视角和 RGB 的 Token控制距离转换为相似度时的敏感程度。距离越小相似度越高说明这些局部特征更有可能表达相近语义。接着CDC 对相似度矩阵交替进行行、列归一化论文采用 3 次迭代再计算注意力加权的 RGB 表示。这样做既能避免少数 Token 权重过度集中也能在无需训练的条件下建立较稳定的跨模态对应。3.3 自适应注入 RGB 语义构造 Hybrid Representation作者没有直接用 RGB 特征替换点云特征而是通过全局门控将校准后的 RGB 语义加到原来的点云表示中形成每个视角的混合特征。门控由输入特征计算并经过 Sigmoid 控制注入强度RGB 语义可信时增强补充信息不可靠时减轻影响。直观来说CDC 是让“几何外观”借助“自然图像语义”校准但仍保留点云自身的几何信息。其价值在于无需额外训练参数就可以把两种来源不同的视觉特征放到更容易交互的表示空间中为后续 DSI 提供输入。四、DSI不用异常训练样本怎样得到异常图4.1 文本分支先提供正常/异常的语义锚点ZUMA 使用固定的自然语言 Prompt而不是像 Prompt Learning 方法那样训练 Soft Prompt。模板从较通用的 “a [s] object”扩展到包含类别或上下文的描述其中[s]代表正常/异常状态[o]代表物体类别。文本经过 CLIP Text Encoder 后形成正常和异常两类文本特征为视觉 Patch 提供可比较的语义方向。这样即使没有目标类别的异常训练图片模型也能利用 CLIP 的语言先验进行判断。但固定 Prompt 难以独自完成细粒度定位因此 DSI 还引入统计分支。4.2 两条异常线索分布偏离与文本语义第一条线索是 Patch 的统计离群程度。对每个视角的混合特征作者利用当前特征集合计算均值和协方差再通过马氏距离刻画 Patch 偏离整体特征分布的程度这里表示协方差矩阵的伪逆分数越大说明该 Patch 在当前特征分布中越不寻常。这种计算不依赖预先收集的目标类别正常特征库。第二条线索是语言语义。作者一方面计算混合特征的 L1 稀疏性响应突出较显著的特征另一方面计算 Patch 与正常/异常文本特征的相似度得到语义响应。两者按照系数加权并映射为正常/异常的双通道分数。这一步试图让缺陷不仅在统计上“不同”也在语言语义上被区分为“异常”。最终DSI 将两条分支按系数融合。其中是统计距离分支是稀疏性与文本相似度分支。它们分别解决“局部是否偏离整体分布”和“这种偏离是否符合异常语义”的问题。多视角异常结果再被投影回 3D 空间以实现点云异常定位。4.3 辅助分支与 ZUMA-FT 是什么关系主分支之外作者还利用 CLIP 不同层级的 Patch 特征计算局部语义相似性形成补充异常图用来增强分割结果。这是一个与 CDC、DSI 并行的辅助过程而不是额外训练一个异常重建网络。论文还提出ZUMA-FT用于研究“允许在其他类别上微调时还能提升多少”。它与无需训练的 ZUMA 共享主要框架但把固定文本语义换成可学习的正常/异常 Prompt并加入可学习位置编码与语义细化模块。ZUMA-FT 在辅助类别上训练测试类别与训练类别不同因此仍是未见类别的零样本迁移却不再属于完全无需训练的方案。这是阅读实验时必须区分的两种设置。五、实验结果与消融分析5.1 数据集与评价指标作者在两个公开多模态工业异常检测数据集上评估MVTec 3D-AD提供 10 类产品的 RGB 与 3D 点云Eyecandies则包含渲染生成的 2D/3D 异常场景。主要指标包括图像级异常检测的 I-AUC以及像素级异常定位的 P-AUC 和 PRO。实验采用预训练 CLIP ViT-L/14336pxZUMA 本身不更新其参数ZUMA-FT 则在辅助类别上微调文本相关模块。5.2 代表性对比ZUMA 与 PointAD论文 Table IZUMA 与无需训练的零样本多模态异常检测方法的性能对比在MVTec 3D-AD 的多模态、无需训练设置下ZUMA 达到97.6% P-AUC、92.5% PRO、84.0% I-AUC。同样无需训练的 PointAD 分别为94.0%、81.6%、67.5%ZUMA 在定位与图像级判断上都有明显提升。这组比较最能体现 CDC 与 DSI 在严格无目标样本、无微调条件下的价值。 另外在 MVTec 3D-AD 的 2D 设置中ZUMA 的 P-AUC 为97.0%WinCLIP 为91.6%在 3D 设置中ZUMA 为95.6%PointCLIP V2 为87.4%。这些数值均在各自相同模态的条件下比较。论文 Table IIZUMA 与需要训练的零样本多模态异常检测方法的性能对比再与基于训练的 PointAD比较其多模态结果为97.2% P-AUC、90.2% PRO、86.9% I-AUC。ZUMA 虽不需要任务训练P-AUC 和 PRO 仍分别高出 0.4、2.3 个百分点但 I-AUC 低 2.9 个百分点。因此更准确的结论是ZUMA 的异常定位尤其突出而图像级排序能力仍可能受缺乏训练参考信息的限制不能简单说所有指标全面领先。5.3 ZUMA-FT少量可学习参数带来的补充结果论文 Table IIIZUMA-FT 与训练型零样本多模态检测方法的效果对比允许在其他类别上微调后ZUMA-FT 在 MVTec 3D-AD 多模态设置下达到97.8% P-AUC、93.1% PRO、88.2% I-AUC相对基于训练的 PointAD97.2%、90.2%、86.9%进一步提高。ZUMA-FT 的可学习参数为6.75M而无需训练的 ZUMA 为0M 新增可学习参数。这里比较的是不同训练条件ZUMA-FT 的提升说明文本语义还有适配空间但不能把它的结果当作无需训练 ZUMA 的成绩。5.4 消融实验作者验证了哪些设计模态缺失实验设置仅 RGB 缺失、仅点云缺失及两种模态均部分缺失并改变缺失比例检验不完整模态输入时的鲁棒性。CDC 替换实验用 Cosweight、ResAttention、CORAL 等无需训练的特征校准方式替代 CDC检验跨域校准设计。DSI 移除实验分别在 2D、3D 和多模态输入中去掉 DSI检验动态语义交互的必要性。Prompt 长度实验改变 ZUMA-FT 可学习文本 Prompt 的长度考察文本表示规模的选择。低层差异鲁棒性实验改变点云渲染模糊程度、光度条件、采样比例和遮挡情况考察 CDC 对不同输入扰动的适应性。六、总结与思考ZUMA 最值得学习的不是简单把点云渲染成图片而是围绕严格零样本检测构建了一条不依赖目标训练样本的跨模态语义计算链先利用预训练 CLIP 提取 RGB 与点云投影视觉特征再通过 CDC 把两者校准到可交互的混合表示随后由 DSI 结合统计离群程度和自然语言语义识别异常最终通过回投影与辅助异常图完成定位。与需要积累正常样本特征库或让一批未标注样本互相比较的路线不同ZUMA 的关键判断来自当前输入的视觉表示、固定文本语义和预训练基础模型。因此Training-Free 的真正含义是无需为目标异常检测任务再训练不是无需预训练模型也不是完全没有计算代价。从工程角度看点云多视角渲染、CLIP 特征提取以及跨视角回投影仍会增加推理流程的复杂度当模态缺失严重、渲染质量下降时检测效果也可能受影响。另一方面论文明确区分 ZUMA 与 ZUMA-FT提醒我们评价零样本方法时必须同时看是否需要目标样本、是否在其他类别训练以及报告的究竟是图像级还是像素级指标。如果把本文压缩成一句话ZUMA 用 CDC 解决 RGB 与点云渲染特征“难对齐”的问题再用 DSI 将“统计异常”与“文本异常语义”结合起来在不做任务训练的情况下完成统一的 2D/3D 异常检测。