做图像分类时模型准确率看着不错但一问“它到底根据什么判断的”很多人就答不上来了。前阵子我处理一个图像分类模拟项目X模型把样本分成某一类时几乎每次都被背景干扰光看输出完全定位不到原因。后来我把图像梯度、CAM热力图和PyTorch的反向传播代码串在一起才算真正“看到”模型在图像上圈了哪些区域。这篇内容就围绕这套流程展开先讲清楚CAM热力图背后的原理再给出能直接跑的PyTorch实现最后把我在实际写代码过程中踩过的坑列出来。1. 先把“图像梯度”“CAM”“热力图”这三件事分清楚很多人看到“图像梯度”四个字第一反应是边缘检测里的Sobel、Canny。实际上深度学习可视化里说的“图像梯度”跟经典图像处理里的梯度并不是一回事。如果不先把概念分清后面代码很容易写偏。这一节我把三者之间的边界划清楚。1.1 传统图像梯度与网络反传梯度别再混为一谈传统图像梯度是对像素值做差分比如横向差分 $I(x1, y) - I(x-1, y)$得到的是亮度变化剧烈的边缘信息。Sobel、Scharr、Laplacian都是这一类它们描述的是图像本身的局部结构。神经网络可视化里的“梯度”指的是损失函数或某个类别得分对网络中某层张量的偏导数由反向传播计算得到。它描述的是“如果我微调这个位置的数值模型输出会往哪个方向变化”本质是一种敏感性分析。这里有两个不同的求梯度对象对输入图像求梯度得到的是像素级显著图也就是Saliency Map。对最后一个卷积层的特征图求梯度得到的是Grad-CAM最重要的原料。两种都叫“图像梯度”但作用完全不同。Grad-CAM使用的是后者也就是“类别得分对特征图的梯度”。如果你对输入图像求梯度然后画热力图得到的是噪声很大的显著性图不是CAM。这一点我在排查问题时见过太多次不少人在网上找代码把对输入求梯度的部分直接当CAM用结果热力图全是纹理边缘根本圈不中物体。1.2 CAM的核心思路为什么通道加权能画出一张热力图CAM全称Class Activation Mapping核心思想很朴素某个类别得分主要由最后一个卷积层的各个通道共同决定。如果某个通道对目标类别有正面贡献那这个通道对应的空间激活位置就可以看作模型做出判断时的“证据区域”。早期CAM实现依赖一种特殊网络结构。卷积层输出特征图A接一个全局平均池化GAP再接全连接层。类别得分可以写成score(c) sum_k W_k * GAP(A_k)把全局平均池化展开之后每个空间位置的贡献自然就落在特征图上。所以CAM热力图的公式可以理解为CAM sum_k W_k * A_k这里的W是最后一个全连接层对应类别c的权重。这个思路可以直接画出热力图但限制也非常明显网络结构必须是“卷积层 GAP 全连接”如果模型里没有GAP这套方法就用不了。实际项目里大家很少专门改模型结构于是就有了Grad-CAM。1.3 热力图不是“模型逻辑全解”需要提前泼一盆冷水热力图只是视觉化呈现模型决策中的“局部证据分布”并不意味着模型真的像热力图那样思考。比如一个分类模型把鸟识别对了热力图可能高亮鸟头也可能高亮树枝两种情况下模型输出都可能正确。只能说热力图告诉我们“模型在做出这个判断时哪些位置的响应贡献较大”它不能保证覆盖所有因果路径。所以在项目里热力图更适合作为诊断工具而不是解释模型的最终结论。配合遮挡实验、错误样本分析一起用才能判断模型是学到了真正的类别特征还是被背景骗了。下面开始说Grad-CAM它绕开了CAM的结构限制用梯度替代全连接权重。2. Grad-CAM 原理拆解梯度是怎么一步步变成权重的Grad-CAM的全称是Gradient-weighted Class Activation Mapping。它不要求模型带GAP层也不要求最后一个分类层是线性全连接只要模型可微就能用。这一步的关键是怎么把“类别得分对特征图的梯度”变成“通道的权重”。2.1 特征图梯度定义和计算路径假设最后一个卷积层的输出特征图是 A形状是 [C, H, W]。类别得分是 y_c。我们关心的梯度是dy_c / dA[k, i, j]意思就是特征图第k个通道、第i行第j列的值发生微小变化时类别得分会变化多少。如果这个位置的梯度很大说明该位置对类别c的判断有很强影响。这个梯度不是手动算的PyTorch的autograd会自动完成。只要让类别得分执行.backward()目标层输出张量就会带上一份.grad记录的就是每个位置对得分的偏导。注意这里的梯度不是对特征图的“像素值变化”做边缘检测而是对“网络内部响应”做敏感度分析。拿到原始梯度后Grad-CAM对每个通道做全局平均池化alpha_k (1 / (H * W)) * sum_i sum_j dy_c / dA[k, i, j]为什么用全局平均而不是全局最大因为平均能反映一个通道整体上对类别得分的贡献最大池化则只盯着一个点容易被单个极端位置带偏。平均池化之后每个通道得到一个标量权重alpha表示“这个通道对类别c的重要程度”。2.2 加权求和之后为什么还要用ReLU有了alpha就可以对特征图做线性加权L ReLU(sum_k alpha_k * A_k)这里必须解释两个问题为什么是线性加权为什么加ReLU类别得分对特征图的一阶近似就可以看作alpha和A的内积。我们在可视化时只取一阶近似不再继续求高阶导数所以是线性组合。ReLU的作用是只保留正贡献。因为alpha可能是负的加权之后特征图某个位置的响应也可能是负的负响应代表“抑制该类别”并不是“支持该类别”的证据。如果目标是把“模型认为哪些位置支持该类别”画出来就只用正响应。如果你想分析模型为什么会出现某个误判也可以暂时去掉ReLU把正负响应都显示出来。负响应高亮的地方往往就是模型被干扰的关键区域。这个开关在调试中非常有用后面常见问题部分还会再提。2.3 三种可视化方法对照CAM、Grad-CAM、Saliency Map为了让你快速理解我直接列个表。方法权重来源输出形态主要局限CAMGAP 全连接权重特征图线性加权模型必须带GAP结构Grad-CAM特征图梯度全局平均特征图梯度加权空间分辨率较低、梯度可能饱和Saliency Map对输入图像求梯度像素级显著图噪声大、语义信息弱实际项目中Grad-CAM是性价比最高的选择。它不挑模型结构torchvision里的分类模型随便拿一个都能用。Saliency Map也有它的价值比如定位图像上的细微纹理扰动但它和CAM解决的问题不同不要混着用。3. 完整的 PyTorch 实现从 Hook 到热力图叠加现在开始写代码。我尽量给的是可以直接复制运行的完整流程不依赖特殊环境只要你有PyTorch、torchvision、OpenCV、PIL、NumPy就行。3.1 环境准备与模型加载import torch import torch.nn.functional as F import torchvision.models as models import cv2 import numpy as np from PIL import Image import matplotlib.pyplot as plt device cuda if torch.cuda.is_available() else cpu # 加载预训练模型并切到评估模式 model models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT).to(device) model.eval() # 目标层ResNet18最后一个卷积块 target_layer model.layer4[-1]这里有一点要注意model.eval()会影响BatchNorm和Dropout。可视化时一般我们希望看到的是“训练好的模型在推理时的行为”所以切到eval模式是对的。如果你用在训练过程中查看中间结果也可以不切但热力图的稳定性会差一些。如果torchvision版本比较旧weights参数可能不支持可以改成models.resnet18(pretrainedTrue)。新版本里pretrainedTrue已经被标记为弃用但依然能跑。3.2 用Hook捕获前向特征图和反向梯度PyTorch里要在某个层拿到前向输出和反向梯度最干净的方式是注册hook。forward hook会在前向传播时触发backward hook会在反向传播经过该层时触发。activation {} gradient {} def forward_hook(module, input, output): activation[value] output def backward_hook(module, grad_input, grad_output): gradient[value] grad_output[0] forward_handle target_layer.register_forward_hook(forward_hook) backward_handle target_layer.register_full_backward_hook(backward_hook)需要特别说明一下backward hook的参数。register_full_backward_hook回调里grad_output是一个元组代表该层输出来自下游的梯度。我们要的正是“目标层输出特征图的梯度”所以取grad_output[0]。如果你用的是老版本PyTorchregister_backward_hook的参数顺序看起来差不多但它在某些模块上拿到的grad_input含义可能和你想象的不一致。我建议直接使用register_full_backward_hookPyTorch 1.13以上都有这个API就是为了避免传统backward hook在接口上的混乱。3.3 前向计算、反向传播、生成CAM热力图接下来是核心过程。要点是先前向拿分类得分再构造目标类别的one-hot标量执行反向传播最后从activation和gradient里取数。def preprocess_image(pil_img): # 使用官方预训练权重自带的预处理方法 transform models.ResNet18_Weights.DEFAULT.transforms() # 输入为PIL Image输出形状 [1, 3, 224, 224] img_tensor transform(pil_img).unsqueeze(0).to(device) # 如果要同时可视化输入梯度可以设置 requires_grad_(True) img_tensor.requires_grad_(True) return img_tensor def get_grad_cam(pil_img, class_idxNone, alpha0.5): img_tensor preprocess_image(pil_img) # 前向 output model(img_tensor) if class_idx is None: class_idx output.argmax(dim1).item() # 构造目标类别得分只保留当前样本的目标类别 one_hot torch.zeros_like(output) one_hot[0, class_idx] 1.0 target_score (output * one_hot).sum() # 梯度清零避免累加 model.zero_grad() target_score.backward() # 取hook保存的特征图和梯度 activations activation[value] # [1, C, H, W] grads gradient[value] # [1, C, H, W] # 对梯度做全局平均池化得到每个通道的权重 weights grads.mean(dim(2, 3), keepdimTrue) # [1, C, 1, 1] # 加权特征图并求和得到单通道CAM cam (weights * activations).sum(dim1, keepdimTrue) # [1, 1, H, W] cam F.relu(cam) # 上采样到模型输入尺寸 cam F.interpolate(cam, size(224, 224), modebilinear, align_cornersFalse) cam cam.squeeze().cpu().detach().numpy() # 归一化到 [0, 1] cam (cam - cam.min()) / (cam.max() - cam.min() 1e-8) # 转成伪彩色热力图 heatmap np.uint8(255 * cam) heatmap cv2.applyColorMap(heatmap, cv2.COLORMAP_JET) heatmap cv2.cvtColor(heatmap, cv2.COLOR_BGR2RGB) # 把原始图像resize到224与热力图叠加 img_show pil_img.resize((224, 224)).convert(RGB) img_show np.array(img_show).astype(np.float32) overlay (heatmap.astype(np.float32) * alpha img_show * (1.0 - alpha)).astype(np.uint8) return overlay, cam这段代码里有两个小细节值得展开。第一个model.zero_grad()不能省。如果不清零多次调用之后梯度会累加热力图会越来越失真。第二个cam.squeeze().cpu().detach().numpy()这几步缺一不可。cam可能仍有梯度信息直接转NumPy会报错所以要先detach()。如果模型在GPU上还要先.cpu()。3.4 可视化调用与Hook清理if __name__ __main__: img Image.open(test.jpg).convert(RGB) overlay, cam get_grad_cam(img, class_idxNone) plt.figure(figsize(8, 8)) plt.imshow(overlay) plt.axis(off) plt.show() # 用完记得移除hook避免内存泄漏 forward_handle.remove() backward_handle.remove()运行之后你会看到热力图高亮区域基本围绕在目标物体附近。如果高亮区域大量落在背景上说明模型确实被背景信息带偏了这也是热力图最常见的用法之一找bad case而不是只看精度。4. 实操细节目标层、预处理、归一化这些关键选择代码能跑通只是第一步。实际项目里热力图质量取决于几个容易被忽略的选择目标层选在哪、图像预处理是否和模型一致、叠加参数怎么调。这部分是我在实验中反复调整最多的地方。4.1 目标层怎么选最后一个卷积块不是唯一答案大多数Grad-CAM实现会把目标层选在“最后一个卷积层”或“最后一个卷积块”。原因是这个位置既保留了高层语义又有空间结构。太浅的层只能看到纹理和边缘太深的层如果已经进入全连接就没有空间位置信息了。ResNet18里model.layer4[-1]是最后一个BasicBlock输出特征图是7x7。这个位置获得的热力图语义最清晰。如果换到model.layer3[-1]特征是14x14高亮区域会更细碎但可能更适合细粒度分类任务因为位置信息保留得更多。下面是我自己的经验普通图像分类选最后一个卷积block。细粒度分类比如区分鸟类品种可以试试倒数第二个block定位更精细。目标存在较大尺度变化考虑融合多个层分别输出热力图再平均。模型有多个分支选分支融合之前的卷积输出不要选融合后的向量层。不是目标层越深越好。最后一层卷积的感受野很大热力图在空间上会很“糊”高亮区域可能覆盖大半个物体。如果遇到这种情况不要急着怀疑代码先换一层试试。4.2 预处理和还原的坑图像分类模型通常要求标准化输入。以torchvision官方预训练模型为例输入需要resize到合适尺度、中心裁剪到224x224、按通道均值和标准差归一化。如果你加载的是官方权重用weights.DEFAULT.transforms()是最省事的它会帮你配好预处理。但这里有一个常见坑你做预处理时图像被归一化了显示时如果随手把归一化后的张量转成图片颜色会偏得一塌糊涂。所以我的建议是预处理张量只送进模型叠加热力图时使用原始PIL图的resize版本。代码里已经按这个思路处理了这样可以避开反归一化的麻烦。还有一个细节如果你用了CenterCrop而原始图片比例不是正方形显示热力图时也必须用裁剪后的图像否则热力图位置会整体偏移。最简单的处理是像示例代码一样直接把整张PIL图resize到224x224不要做CenterCrop这样显示和计算完全统一。4.3 Batch 与多类别选择的处理很多教程只处理单张图、单一类别。实际调试时你可能想一次过一个batch并且每张图选不同的目标类别。这时候构造目标得分要用“逐样本one-hot”的方式。如果你有一个batch的输出output形状是[N, C]另一个矩阵target_indices形状是[N]可以用torch.gather取出每个样本对应类别的得分。这样得到的loss是一个长度为N的向量不能直接backward()需要先.sum()。由于反向传播对加和不敏感loss.sum().backward()等价于对每个样本同时反传梯度会按照batch维度存储。之后在生成热力图时weights和activations都还带着batch维度。你可以先按batch依次切片再逐张画热力图。如果任务需要分析多个类别对同一张图的影响就循环每个类别分别反向一次。注意每次反向前都要model.zero_grad()。5. 常见问题与排查技巧梯度消失、尺寸错乱、热力图漂移最后这部分我把实际踩过的坑都列出来。很多问题看起来千奇百怪但根因往往就是那几个。下面是我常用的排查顺序。5.1 热力图全黑或者全白热力图全黑通常意味着ReLU之后的CAM全为0也就是所有通道的加权贡献都是负的。可能原因有很多在torch.no_grad()上下文里执行了forward和backward。这样梯度根本不会被记录。目标层的梯度没有回传。比如你计算score时取错了输出分支梯度根本没经过target_layer。model.zero_grad()没有调用梯度累积导致结果异常但全黑的情况相对少见。归一化时最大值等于0除以0得到NaN显示出来也是一片黑。排查方法是先打印gradient[value]和activation[value]的shape和数值范围。如果梯度为None说明反向路径断了。如果梯度有值但激活值全为0说明hook挂错了层或者模型输入本身是全黑图。还有一个临时办法把F.relu(cam)去掉直接看未经过ReLU的加权结果。如果去掉之后能显示负响应说明模型对目标类别的证据分布在“负贡献异常”的方向这种情况也值得分析。另外如果你设置了img_tensor.requires_grad_(True)但目标层之前的输入本身是叶子张量有没有梯度要求并不影响特征图梯度计算。不过如果你想同时输出Saliency Map那必须开启requires_grad。5.2 热力图尺寸对不上、叠加错位热力图尺寸问题是最容易修也最容易犯的。目标层的特征图可能是7x7或14x14必须上采样到模型输入尺寸通常是224x224。上采样建议用F.interpolatemodebilinear且align_cornersFalse这样边缘不会出现明显锯齿。如果你用cv2.resize来放大NumPy数组效果也差不多但要记得指定插值方式。叠加错位通常出在预处理链路上。比如官方transform内部先resize再CenterCrop但你在显示时用了原图热力图自然就会偏。最简单的统一方案是直接resize到224x224不裁剪。这样显示和模型输入完全一致。如果一定要用CenterCrop那就必须对原图做同样的裁剪并把裁剪后的图保存下来用于叠加。不要只保存原始图否则你会在定位上浪费很多时间。5.3 高亮区域在背景或者边缘模型把注意力放到背景上有两种可能。第一种是模型真的把背景当成有效特征比如常见的“牛在草地上”这种数据偏差模型可能通过草地判断牛。这种情况热力图本身没有错它只是在告诉你模型学到了什么。第二种是目标层选得太深感受野过大导致高亮区域向外扩散连背景一起圈进去。解决方案可以分几个方向换更浅的卷积层看定位是否更精细。去掉ReLU观察负响应的位置。如果背景区域出现在负响应里说明模型正在抑制背景而不是依赖背景。用Grad-CAM这类变体它会对梯度做二阶加权突出激活区域内的峰值响应对定位更友好。结合输入梯度Saliency Map看像素级信号判断是否存在高频纹理干扰。如果是数据偏差导致的背景依赖就要回到数据层面去解决比如做目标区域裁剪或增加背景多样性。不要把热力图当结论它只是辅助定位问题的工具。5.4 多次调用时热力图结果不一致最后一个比较隐蔽的问题。你在循环里对多张图调用Grad-CAM结果发现同一张图每次热力图都不一样。这通常不是因为随机性而是因为你没有在每次backward前清理梯度或者hook保存的activation和gradient没有清空下次调用时取到了上一次的旧值。解决方法是每次调用前重置两个字典或者在读取后立即删除。再者如果目标层之前有Dropout且模型在train模式下Dropout会带来随机性。确认model.eval()已经调用就能规避大部分不稳定问题。我个人在实际项目里更习惯把Grad-CAM封装成一个类接收model、target_layer、图片、类别索引输出叠加图。这样反复调试错题样本时会非常省事。封装的要点是hook的注册和移除要成对出现最后统一做一个clear_hooks()。在模拟项目X里我就是靠这套工具找出了好几个被背景带偏的bad case改完数据和模型之后混淆矩阵明显干净了很多。如果你只是临时验证一两个样本手写hook完全够用。但如果后续还会持续调试模型建议把可视化函数沉淀成独立模块。等到下次遇到“模型准确率很高但你解释不了为什么”的情况直接拿热力图一照问题往往就能看见。 
长河君 · 2026/10/21 17:05:12 · 阅读 1.2k PyTorch实现Grad-CAM热力图：看清图像分类模型的决策依据
做图像分类时模型准确率看着不错但一问“它到底根据什么判断的”很多人就答不上来了。前阵子我处理一个图像分类模拟项目X模型把样本分成某一类时几乎每次都被背景干扰光看输出完全定位不到原因。后来我把图像梯度、CAM热力图和PyTorch的反向传播代码串在一起才算真正“看到”模型在图像上圈了哪些区域。这篇内容就围绕这套流程展开先讲清楚CAM热力图背后的原理再给出能直接跑的PyTorch实现最后把我在实际写代码过程中踩过的坑列出来。1. 先把“图像梯度”“CAM”“热力图”这三件事分清楚很多人看到“图像梯度”四个字第一反应是边缘检测里的Sobel、Canny。实际上深度学习可视化里说的“图像梯度”跟经典图像处理里的梯度并不是一回事。如果不先把概念分清后面代码很容易写偏。这一节我把三者之间的边界划清楚。1.1 传统图像梯度与网络反传梯度别再混为一谈传统图像梯度是对像素值做差分比如横向差分 $I(x1, y) - I(x-1, y)$得到的是亮度变化剧烈的边缘信息。Sobel、Scharr、Laplacian都是这一类它们描述的是图像本身的局部结构。神经网络可视化里的“梯度”指的是损失函数或某个类别得分对网络中某层张量的偏导数由反向传播计算得到。它描述的是“如果我微调这个位置的数值模型输出会往哪个方向变化”本质是一种敏感性分析。这里有两个不同的求梯度对象对输入图像求梯度得到的是像素级显著图也就是Saliency Map。对最后一个卷积层的特征图求梯度得到的是Grad-CAM最重要的原料。两种都叫“图像梯度”但作用完全不同。Grad-CAM使用的是后者也就是“类别得分对特征图的梯度”。如果你对输入图像求梯度然后画热力图得到的是噪声很大的显著性图不是CAM。这一点我在排查问题时见过太多次不少人在网上找代码把对输入求梯度的部分直接当CAM用结果热力图全是纹理边缘根本圈不中物体。1.2 CAM的核心思路为什么通道加权能画出一张热力图CAM全称Class Activation Mapping核心思想很朴素某个类别得分主要由最后一个卷积层的各个通道共同决定。如果某个通道对目标类别有正面贡献那这个通道对应的空间激活位置就可以看作模型做出判断时的“证据区域”。早期CAM实现依赖一种特殊网络结构。卷积层输出特征图A接一个全局平均池化GAP再接全连接层。类别得分可以写成score(c) sum_k W_k * GAP(A_k)把全局平均池化展开之后每个空间位置的贡献自然就落在特征图上。所以CAM热力图的公式可以理解为CAM sum_k W_k * A_k这里的W是最后一个全连接层对应类别c的权重。这个思路可以直接画出热力图但限制也非常明显网络结构必须是“卷积层 GAP 全连接”如果模型里没有GAP这套方法就用不了。实际项目里大家很少专门改模型结构于是就有了Grad-CAM。1.3 热力图不是“模型逻辑全解”需要提前泼一盆冷水热力图只是视觉化呈现模型决策中的“局部证据分布”并不意味着模型真的像热力图那样思考。比如一个分类模型把鸟识别对了热力图可能高亮鸟头也可能高亮树枝两种情况下模型输出都可能正确。只能说热力图告诉我们“模型在做出这个判断时哪些位置的响应贡献较大”它不能保证覆盖所有因果路径。所以在项目里热力图更适合作为诊断工具而不是解释模型的最终结论。配合遮挡实验、错误样本分析一起用才能判断模型是学到了真正的类别特征还是被背景骗了。下面开始说Grad-CAM它绕开了CAM的结构限制用梯度替代全连接权重。2. Grad-CAM 原理拆解梯度是怎么一步步变成权重的Grad-CAM的全称是Gradient-weighted Class Activation Mapping。它不要求模型带GAP层也不要求最后一个分类层是线性全连接只要模型可微就能用。这一步的关键是怎么把“类别得分对特征图的梯度”变成“通道的权重”。2.1 特征图梯度定义和计算路径假设最后一个卷积层的输出特征图是 A形状是 [C, H, W]。类别得分是 y_c。我们关心的梯度是dy_c / dA[k, i, j]意思就是特征图第k个通道、第i行第j列的值发生微小变化时类别得分会变化多少。如果这个位置的梯度很大说明该位置对类别c的判断有很强影响。这个梯度不是手动算的PyTorch的autograd会自动完成。只要让类别得分执行.backward()目标层输出张量就会带上一份.grad记录的就是每个位置对得分的偏导。注意这里的梯度不是对特征图的“像素值变化”做边缘检测而是对“网络内部响应”做敏感度分析。拿到原始梯度后Grad-CAM对每个通道做全局平均池化alpha_k (1 / (H * W)) * sum_i sum_j dy_c / dA[k, i, j]为什么用全局平均而不是全局最大因为平均能反映一个通道整体上对类别得分的贡献最大池化则只盯着一个点容易被单个极端位置带偏。平均池化之后每个通道得到一个标量权重alpha表示“这个通道对类别c的重要程度”。2.2 加权求和之后为什么还要用ReLU有了alpha就可以对特征图做线性加权L ReLU(sum_k alpha_k * A_k)这里必须解释两个问题为什么是线性加权为什么加ReLU类别得分对特征图的一阶近似就可以看作alpha和A的内积。我们在可视化时只取一阶近似不再继续求高阶导数所以是线性组合。ReLU的作用是只保留正贡献。因为alpha可能是负的加权之后特征图某个位置的响应也可能是负的负响应代表“抑制该类别”并不是“支持该类别”的证据。如果目标是把“模型认为哪些位置支持该类别”画出来就只用正响应。如果你想分析模型为什么会出现某个误判也可以暂时去掉ReLU把正负响应都显示出来。负响应高亮的地方往往就是模型被干扰的关键区域。这个开关在调试中非常有用后面常见问题部分还会再提。2.3 三种可视化方法对照CAM、Grad-CAM、Saliency Map为了让你快速理解我直接列个表。方法权重来源输出形态主要局限CAMGAP 全连接权重特征图线性加权模型必须带GAP结构Grad-CAM特征图梯度全局平均特征图梯度加权空间分辨率较低、梯度可能饱和Saliency Map对输入图像求梯度像素级显著图噪声大、语义信息弱实际项目中Grad-CAM是性价比最高的选择。它不挑模型结构torchvision里的分类模型随便拿一个都能用。Saliency Map也有它的价值比如定位图像上的细微纹理扰动但它和CAM解决的问题不同不要混着用。3. 完整的 PyTorch 实现从 Hook 到热力图叠加现在开始写代码。我尽量给的是可以直接复制运行的完整流程不依赖特殊环境只要你有PyTorch、torchvision、OpenCV、PIL、NumPy就行。3.1 环境准备与模型加载import torch import torch.nn.functional as F import torchvision.models as models import cv2 import numpy as np from PIL import Image import matplotlib.pyplot as plt device cuda if torch.cuda.is_available() else cpu # 加载预训练模型并切到评估模式 model models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT).to(device) model.eval() # 目标层ResNet18最后一个卷积块 target_layer model.layer4[-1]这里有一点要注意model.eval()会影响BatchNorm和Dropout。可视化时一般我们希望看到的是“训练好的模型在推理时的行为”所以切到eval模式是对的。如果你用在训练过程中查看中间结果也可以不切但热力图的稳定性会差一些。如果torchvision版本比较旧weights参数可能不支持可以改成models.resnet18(pretrainedTrue)。新版本里pretrainedTrue已经被标记为弃用但依然能跑。3.2 用Hook捕获前向特征图和反向梯度PyTorch里要在某个层拿到前向输出和反向梯度最干净的方式是注册hook。forward hook会在前向传播时触发backward hook会在反向传播经过该层时触发。activation {} gradient {} def forward_hook(module, input, output): activation[value] output def backward_hook(module, grad_input, grad_output): gradient[value] grad_output[0] forward_handle target_layer.register_forward_hook(forward_hook) backward_handle target_layer.register_full_backward_hook(backward_hook)需要特别说明一下backward hook的参数。register_full_backward_hook回调里grad_output是一个元组代表该层输出来自下游的梯度。我们要的正是“目标层输出特征图的梯度”所以取grad_output[0]。如果你用的是老版本PyTorchregister_backward_hook的参数顺序看起来差不多但它在某些模块上拿到的grad_input含义可能和你想象的不一致。我建议直接使用register_full_backward_hookPyTorch 1.13以上都有这个API就是为了避免传统backward hook在接口上的混乱。3.3 前向计算、反向传播、生成CAM热力图接下来是核心过程。要点是先前向拿分类得分再构造目标类别的one-hot标量执行反向传播最后从activation和gradient里取数。def preprocess_image(pil_img): # 使用官方预训练权重自带的预处理方法 transform models.ResNet18_Weights.DEFAULT.transforms() # 输入为PIL Image输出形状 [1, 3, 224, 224] img_tensor transform(pil_img).unsqueeze(0).to(device) # 如果要同时可视化输入梯度可以设置 requires_grad_(True) img_tensor.requires_grad_(True) return img_tensor def get_grad_cam(pil_img, class_idxNone, alpha0.5): img_tensor preprocess_image(pil_img) # 前向 output model(img_tensor) if class_idx is None: class_idx output.argmax(dim1).item() # 构造目标类别得分只保留当前样本的目标类别 one_hot torch.zeros_like(output) one_hot[0, class_idx] 1.0 target_score (output * one_hot).sum() # 梯度清零避免累加 model.zero_grad() target_score.backward() # 取hook保存的特征图和梯度 activations activation[value] # [1, C, H, W] grads gradient[value] # [1, C, H, W] # 对梯度做全局平均池化得到每个通道的权重 weights grads.mean(dim(2, 3), keepdimTrue) # [1, C, 1, 1] # 加权特征图并求和得到单通道CAM cam (weights * activations).sum(dim1, keepdimTrue) # [1, 1, H, W] cam F.relu(cam) # 上采样到模型输入尺寸 cam F.interpolate(cam, size(224, 224), modebilinear, align_cornersFalse) cam cam.squeeze().cpu().detach().numpy() # 归一化到 [0, 1] cam (cam - cam.min()) / (cam.max() - cam.min() 1e-8) # 转成伪彩色热力图 heatmap np.uint8(255 * cam) heatmap cv2.applyColorMap(heatmap, cv2.COLORMAP_JET) heatmap cv2.cvtColor(heatmap, cv2.COLOR_BGR2RGB) # 把原始图像resize到224与热力图叠加 img_show pil_img.resize((224, 224)).convert(RGB) img_show np.array(img_show).astype(np.float32) overlay (heatmap.astype(np.float32) * alpha img_show * (1.0 - alpha)).astype(np.uint8) return overlay, cam这段代码里有两个小细节值得展开。第一个model.zero_grad()不能省。如果不清零多次调用之后梯度会累加热力图会越来越失真。第二个cam.squeeze().cpu().detach().numpy()这几步缺一不可。cam可能仍有梯度信息直接转NumPy会报错所以要先detach()。如果模型在GPU上还要先.cpu()。3.4 可视化调用与Hook清理if __name__ __main__: img Image.open(test.jpg).convert(RGB) overlay, cam get_grad_cam(img, class_idxNone) plt.figure(figsize(8, 8)) plt.imshow(overlay) plt.axis(off) plt.show() # 用完记得移除hook避免内存泄漏 forward_handle.remove() backward_handle.remove()运行之后你会看到热力图高亮区域基本围绕在目标物体附近。如果高亮区域大量落在背景上说明模型确实被背景信息带偏了这也是热力图最常见的用法之一找bad case而不是只看精度。4. 实操细节目标层、预处理、归一化这些关键选择代码能跑通只是第一步。实际项目里热力图质量取决于几个容易被忽略的选择目标层选在哪、图像预处理是否和模型一致、叠加参数怎么调。这部分是我在实验中反复调整最多的地方。4.1 目标层怎么选最后一个卷积块不是唯一答案大多数Grad-CAM实现会把目标层选在“最后一个卷积层”或“最后一个卷积块”。原因是这个位置既保留了高层语义又有空间结构。太浅的层只能看到纹理和边缘太深的层如果已经进入全连接就没有空间位置信息了。ResNet18里model.layer4[-1]是最后一个BasicBlock输出特征图是7x7。这个位置获得的热力图语义最清晰。如果换到model.layer3[-1]特征是14x14高亮区域会更细碎但可能更适合细粒度分类任务因为位置信息保留得更多。下面是我自己的经验普通图像分类选最后一个卷积block。细粒度分类比如区分鸟类品种可以试试倒数第二个block定位更精细。目标存在较大尺度变化考虑融合多个层分别输出热力图再平均。模型有多个分支选分支融合之前的卷积输出不要选融合后的向量层。不是目标层越深越好。最后一层卷积的感受野很大热力图在空间上会很“糊”高亮区域可能覆盖大半个物体。如果遇到这种情况不要急着怀疑代码先换一层试试。4.2 预处理和还原的坑图像分类模型通常要求标准化输入。以torchvision官方预训练模型为例输入需要resize到合适尺度、中心裁剪到224x224、按通道均值和标准差归一化。如果你加载的是官方权重用weights.DEFAULT.transforms()是最省事的它会帮你配好预处理。但这里有一个常见坑你做预处理时图像被归一化了显示时如果随手把归一化后的张量转成图片颜色会偏得一塌糊涂。所以我的建议是预处理张量只送进模型叠加热力图时使用原始PIL图的resize版本。代码里已经按这个思路处理了这样可以避开反归一化的麻烦。还有一个细节如果你用了CenterCrop而原始图片比例不是正方形显示热力图时也必须用裁剪后的图像否则热力图位置会整体偏移。最简单的处理是像示例代码一样直接把整张PIL图resize到224x224不要做CenterCrop这样显示和计算完全统一。4.3 Batch 与多类别选择的处理很多教程只处理单张图、单一类别。实际调试时你可能想一次过一个batch并且每张图选不同的目标类别。这时候构造目标得分要用“逐样本one-hot”的方式。如果你有一个batch的输出output形状是[N, C]另一个矩阵target_indices形状是[N]可以用torch.gather取出每个样本对应类别的得分。这样得到的loss是一个长度为N的向量不能直接backward()需要先.sum()。由于反向传播对加和不敏感loss.sum().backward()等价于对每个样本同时反传梯度会按照batch维度存储。之后在生成热力图时weights和activations都还带着batch维度。你可以先按batch依次切片再逐张画热力图。如果任务需要分析多个类别对同一张图的影响就循环每个类别分别反向一次。注意每次反向前都要model.zero_grad()。5. 常见问题与排查技巧梯度消失、尺寸错乱、热力图漂移最后这部分我把实际踩过的坑都列出来。很多问题看起来千奇百怪但根因往往就是那几个。下面是我常用的排查顺序。5.1 热力图全黑或者全白热力图全黑通常意味着ReLU之后的CAM全为0也就是所有通道的加权贡献都是负的。可能原因有很多在torch.no_grad()上下文里执行了forward和backward。这样梯度根本不会被记录。目标层的梯度没有回传。比如你计算score时取错了输出分支梯度根本没经过target_layer。model.zero_grad()没有调用梯度累积导致结果异常但全黑的情况相对少见。归一化时最大值等于0除以0得到NaN显示出来也是一片黑。排查方法是先打印gradient[value]和activation[value]的shape和数值范围。如果梯度为None说明反向路径断了。如果梯度有值但激活值全为0说明hook挂错了层或者模型输入本身是全黑图。还有一个临时办法把F.relu(cam)去掉直接看未经过ReLU的加权结果。如果去掉之后能显示负响应说明模型对目标类别的证据分布在“负贡献异常”的方向这种情况也值得分析。另外如果你设置了img_tensor.requires_grad_(True)但目标层之前的输入本身是叶子张量有没有梯度要求并不影响特征图梯度计算。不过如果你想同时输出Saliency Map那必须开启requires_grad。5.2 热力图尺寸对不上、叠加错位热力图尺寸问题是最容易修也最容易犯的。目标层的特征图可能是7x7或14x14必须上采样到模型输入尺寸通常是224x224。上采样建议用F.interpolatemodebilinear且align_cornersFalse这样边缘不会出现明显锯齿。如果你用cv2.resize来放大NumPy数组效果也差不多但要记得指定插值方式。叠加错位通常出在预处理链路上。比如官方transform内部先resize再CenterCrop但你在显示时用了原图热力图自然就会偏。最简单的统一方案是直接resize到224x224不裁剪。这样显示和模型输入完全一致。如果一定要用CenterCrop那就必须对原图做同样的裁剪并把裁剪后的图保存下来用于叠加。不要只保存原始图否则你会在定位上浪费很多时间。5.3 高亮区域在背景或者边缘模型把注意力放到背景上有两种可能。第一种是模型真的把背景当成有效特征比如常见的“牛在草地上”这种数据偏差模型可能通过草地判断牛。这种情况热力图本身没有错它只是在告诉你模型学到了什么。第二种是目标层选得太深感受野过大导致高亮区域向外扩散连背景一起圈进去。解决方案可以分几个方向换更浅的卷积层看定位是否更精细。去掉ReLU观察负响应的位置。如果背景区域出现在负响应里说明模型正在抑制背景而不是依赖背景。用Grad-CAM这类变体它会对梯度做二阶加权突出激活区域内的峰值响应对定位更友好。结合输入梯度Saliency Map看像素级信号判断是否存在高频纹理干扰。如果是数据偏差导致的背景依赖就要回到数据层面去解决比如做目标区域裁剪或增加背景多样性。不要把热力图当结论它只是辅助定位问题的工具。5.4 多次调用时热力图结果不一致最后一个比较隐蔽的问题。你在循环里对多张图调用Grad-CAM结果发现同一张图每次热力图都不一样。这通常不是因为随机性而是因为你没有在每次backward前清理梯度或者hook保存的activation和gradient没有清空下次调用时取到了上一次的旧值。解决方法是每次调用前重置两个字典或者在读取后立即删除。再者如果目标层之前有Dropout且模型在train模式下Dropout会带来随机性。确认model.eval()已经调用就能规避大部分不稳定问题。我个人在实际项目里更习惯把Grad-CAM封装成一个类接收model、target_layer、图片、类别索引输出叠加图。这样反复调试错题样本时会非常省事。封装的要点是hook的注册和移除要成对出现最后统一做一个clear_hooks()。在模拟项目X里我就是靠这套工具找出了好几个被背景带偏的bad case改完数据和模型之后混淆矩阵明显干净了很多。如果你只是临时验证一两个样本手写hook完全够用。但如果后续还会持续调试模型建议把可视化函数沉淀成独立模块。等到下次遇到“模型准确率很高但你解释不了为什么”的情况直接拿热力图一照问题往往就能看见。