人工智能计算机视觉深度学习【免费下载链接】ViTPoseThe official repo for [NeurIPS22] ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation and [TPAMI23] ViTPose: Vision Transformer for Generic Body Pose Estimation项目地址https://gitcode.com/gh_mirrors/vi/ViTPose点击查看免费下载导读本文以 ViTPose 开源仓库中 resnext_coco.md 文档为主体系统讲解如何在 COCO 数据集上使用ResNeXtAggregated Residual Transformations骨干网络构建 Top-Down 热图式heatmap-based2D 人体姿态估计模型。读完本文你将掌握六套 ResNeXt 官方配置50/101/152 三种深度 × 256x192/384x288 两种输入分辨率的完整参数含义、配置文件中骨干与头部、优化器、学习率、数据管线、推理后处理的逐项解读以及对应的训练、分布式训练与评测命令。一、方法背景ResNeXt 骨干与 COCO 数据集ResNeXt 由 Xie 等人在 CVPR 2017 提出论文标题为《Aggregated residual transformations for deep neural networks》。其核心思想是在 ResNet 的残差分支上引入cardinality基数维度——把中间 3x3 卷积替换为多个并行的分组卷积从而在不显著增加参数量的情况下提升表征能力。仓库中对应论文引用记录如下inproceedings{xie2017aggregated, title{Aggregated residual transformations for deep neural networks}, author{Xie, Saining and Girshick, Ross and Doll{\a}r, Piotr and Tu, Zhuowen and He, Kaiming}, booktitle{Proceedings of the IEEE conference on computer vision and pattern recognition}, pages{1492--1500}, year{2017} }评测使用的数据集为COCOCommon Objects in ContextECCV 2014其引用记录为inproceedings{lin2014microsoft, title{Microsoft coco: Common objects in context}, author{Lin, Tsung-Yi and Maire, Michael and Belongie, Serge and Hays, James and Perona, Pietro and Ramanan, Deva and Doll{\a}r, Piotr and Zitnick, C Lawrence}, booktitle{European conference on computer vision}, pages{740--755}, year{2014}, organization{Springer} }在 ViTPose 仓库中ResNeXt 是作为人体姿态估计骨干网络家族ResNet、ResNeXt、ResNest、SEResNet、SCNet 等的一员被完整集成到 Top-Down 姿态估计框架中的相关源码见 resnext.py。二、官方评测结果总览以下结果来自 resnext_coco.md 与 resnext_coco.yml评测协议为COCO val2017使用在 COCO val2017 上人体 AP 为56.4的检测器提供候选框即COCO_val2017_detections_AP_H_56_person.json对应tools/misc/keypoints2coco_without_mmdet.py配套的检测结果文件。指标含义AP/AP50/AP75 为 COCO 关键点平均精度AR/AR50 为平均召回率。Arch输入尺寸APAP50AP75ARAR50配置文件pose_resnext_50256x1920.7140.8980.7890.7710.937resnext50_coco_256x192.pypose_resnext_50384x2880.7240.8990.7940.7770.935resnext50_coco_384x288.pypose_resnext_101256x1920.7260.9000.8010.7820.940resnext101_coco_256x192.pypose_resnext_101384x2880.7430.9030.8150.7950.939resnext101_coco_384x288.pypose_resnext_152256x1920.7300.9040.8080.7860.940resnext152_coco_256x192.pypose_resnext_152384x2880.7420.9020.8100.7940.939resnext152_coco_384x288.py从结果可以观察到的规律在相同输入分辨率下骨干越深 AP 越高256x192 下 50→101→152 的 AP 为 0.714→0.726→0.730在相同骨干深度下更高的输入分辨率384x288带来约 0.01 AP 的提升同时伴随着更大的计算开销。每个模型的预训练权重ckpt与训练日志log下载地址均登记在 resnext_coco.yml 中Weights字段可直接按模型名topdown_heatmap_resnext{50,101,152}_coco_{256x192,384x288}检索获取。三、配置文件逐段解析六套配置共享完全相同的结构仅骨干深度、输入分辨率、预训练权重与部分训练超参不同。以下以 resnext50_coco_256x192.py 为基准逐段拆解。3.1 继承的公共配置_base_ [ ../../../../_base_/default_runtime.py, ../../../../_base_/datasets/coco.py ]default_runtime.py见 default_runtime.py定义了运行时公共设置checkpoint_config dict(interval10)每 10 个 epoch 保存一次 checkpoint、log_config每 50 次迭代输出一次日志、dist_params dict(backendnccl)、workflow [(train, 1)]以及关闭 OpenCV 多线程、使用fork多进程启动方式等环境优化。datasets/coco.py见 coco.py定义了 COCO 数据集的dataset_info17 个关键点nose、左右眼/耳/肩/肘/腕/髋/膝/踝、骨架连接关系、joint_weights肘/腕/膝/踝等肢体末端关键点权重更高用于加权损失以及 OKS 评估所需的sigmas。3.2 评测与优化器evaluation dict(interval10, metricmAP, save_bestAP) optimizer dict(typeAdam, lr5e-4) optimizer_config dict(grad_clipNone) lr_config dict( policystep, warmuplinear, warmup_iters500, warmup_ratio0.001, step[170, 200]) total_epochs 210每 10 个 epoch 在验证集上评测一次指标为 COCO 的mAP并以AP为准则保存最佳模型。优化器为Adam初始学习率5e-4不使用梯度裁剪。这与部分仓库中 ResNet 配置一致是 Top-Down 热图模型的常见训练设置。学习率策略为step阶梯衰减先线性 warmup 500 步初始比例 0.001在第 170 与 200 个 epoch 各衰减一次默认因子 0.1总训练 210 个 epoch。3.3 模型结构ResNeXt 骨干 简单热图头model dict( typeTopDown, pretrainedmmcls://resnext50_32x4d, backbonedict(typeResNeXt, depth50), keypoint_headdict( typeTopdownHeatmapSimpleHead, in_channels2048, out_channelschannel_cfg[num_output_channels], loss_keypointdict(typeJointsMSELoss, use_target_weightTrue)), train_cfgdict(), test_cfgdict( flip_testTrue, post_processdefault, shift_heatmapTrue, modulate_kernel11))pretrainedmmcls://resnext50_32x4d加载 mmclassification 提供的 ResNeXt-50 32x4d 在 ImageNet 上的预训练权重。101/152 对应mmcls://resnext101_32x4d、mmcls://resnext152_32x4d。backbonedict(typeResNeXt, depth50)注册在BACKBONES下的 ResNeXt 骨干默认groups32, width_per_group4即 32x4d 结构详细源码见 resnext.py。keypoint_head使用TopdownHeatmapSimpleHeadin_channels2048对应 ResNeXt 最后一个 stage 的输出通道数各深度配置均相同因为 ResNeXt 各深度最后一个 stage 输出均为 2048 通道out_channels17对应 COCO 的 17 个关键点。头部实现见 topdown_heatmap_simple_head.py。损失函数为JointsMSELoss关键点 MSE 损失use_target_weightTrue表示按关键点可见性与类型权重加权对应dataset_info中的joint_weights。推理后处理flip_testTrue开启水平翻转测试测试时对原图与翻转图分别前向并融合post_processdefault表示采用默认的热图峰值定位与坐标变换流程shift_heatmapTrue在翻转融合时对翻转热图做 1 像素平移补偿实现于TopdownHeatmapSimpleHead.inference_model见 topdown_heatmap_simple_head.pymodulate_kernel11指定了后处理中用于调制峰值定位的核大小。3.4 数据通道与检测框配置channel_cfg dict( num_output_channels17, dataset_joints17, dataset_channel[[0, 1, ..., 16]], inference_channel[0, 1, ..., 16]) data_cfg dict( image_size[192, 256], heatmap_size[48, 64], num_output_channelschannel_cfg[num_output_channels], num_jointschannel_cfg[dataset_joints], dataset_channelchannel_cfg[dataset_channel], inference_channelchannel_cfg[inference_channel], soft_nmsFalse, nms_thr1.0, oks_thr0.9, vis_thr0.2, use_gt_bboxFalse, det_bbox_thr0.0, bbox_filedata/coco/person_detection_results/ COCO_val2017_detections_AP_H_56_person.json, )image_size[192, 256]W, H为输入图像尺寸heatmap_size[48, 64]为网络输出的热图尺寸两者保持 4 倍下采样关系384x288 配置对应image_size[288, 384]、heatmap_size[72, 96]。在 COCO 上训练/测试时 17 个关键点的通道顺序与推理顺序一致因此dataset_channel与inference_channel均为[0..16]。后处理阈值soft_nmsFalse关闭软 NMS、nms_thr1.0、oks_thr0.9、vis_thr0.2。Top-Down 流程依赖外部检测器提供人体框use_gt_bboxFalse表示评测不使用 GT 框而是读取bbox_file指定的检测结果human AP 56.4 的那份检测框 JSONdet_bbox_thr0.0表示不按置信度过滤检测框。3.5 训练与验证数据管线训练管线train_pipeline完整流程为train_pipeline [ dict(typeLoadImageFromFile), dict(typeTopDownRandomFlip, flip_prob0.5), dict(typeTopDownHalfBodyTransform, num_joints_half_body8, prob_half_body0.3), dict(typeTopDownGetRandomScaleRotation, rot_factor40, scale_factor0.5), dict(typeTopDownAffine), dict(typeToTensor), dict(typeNormalizeTensor, mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), dict(typeTopDownGenerateTarget, sigma2), dict(typeCollect, keys[img, target, target_weight], meta_keys[image_file, joints_3d, joints_3d_visible, center, scale, rotation, bbox_score, flip_pairs]), ]随机水平翻转概率 0.5、半身变换一半概率只保留上半身 8 个关键点、概率 0.3、随机尺度/旋转增强旋转 ±40°、尺度 ±50%。图像归一化使用 ImageNet 的 mean/std。关键差异点TopDownGenerateTarget的sigma在 256x192 配置中为2在 384x288 配置中为3对应更高分辨率热图上的高斯核尺寸。该变换的实现见 top_down_transform.py默认采用MSRA编码方式按 3-sigma 规则在热图上放置高斯峰。验证/测试管线val_pipeline/test_pipeline不含任何随机增强仅包含加载、仿射变换、张量化、归一化与采样且只收集img。3.6 数据集与 DataLoader 配置data dict( samples_per_gpu64, workers_per_gpu2, val_dataloaderdict(samples_per_gpu32), test_dataloaderdict(samples_per_gpu32), traindict(typeTopDownCocoDataset, ann_filef{data_root}/annotations/person_keypoints_train2017.json, img_prefixf{data_root}/train2017/, data_cfgdata_cfg, pipelinetrain_pipeline, dataset_info{{_base_.dataset_info}}), valdict(typeTopDownCocoDataset, ann_filef{data_root}/annotations/person_keypoints_val2017.json, img_prefixf{data_root}/val2017/, ...), testdict(typeTopDownCocoDataset, ann_filef{data_root}/annotations/person_keypoints_val2017.json, img_prefixf{data_root}/val2017/, ...))训练samples_per_gpu64验证/测试 32数据根目录为data/coco需要预先按docs/en/data_preparation.md的说明组织目录结构train2017/、val2017/ 与 annotations/。六套配置在samples_per_gpu上有所不同resnext50 与 resnext101 的 256x192 配置为 64384x288 配置中 resnext50 为 64、resnext101 为 32resnext152 的两种配置均为 32——这与更大模型/更高分辨率下的显存占用直接相关。四、ResNeXt 骨干的源码实现仓库中的 resnext.py 复用了 ResNet 的框架ResNeXt类继承自ResNet通过重写Bottleneck与arch_settings实现分组残差变换arch_settings { 50: (Bottleneck, (3, 4, 6, 3)), 101: (Bottleneck, (3, 4, 23, 3)), 152: (Bottleneck, (3, 8, 36, 3)) }对应 ResNet-50/101/152 的四阶段堆叠结构。在Bottleneck中中间层通道数不再仅由输出通道决定而是由groups与width_per_group决定self.mid_channels groups * width_per_group * self.mid_channels // base_channels以默认 32x4d 为例groups32, width_per_group4瓶颈中间层为 128 通道的分组卷积每组 4 个通道32 组这就是 ResNeXt 相对 ResNet 的核心区别用基数维度换取更强的多分支聚合能力。配置中的backbonedict(typeResNeXt, depth50)即自动采用上述默认分组设置。五、Top-Down 简单热图头与后处理TopdownHeatmapSimpleHead见 topdown_heatmap_simple_head.py的结构为3 层转置卷积deconv每层 256 个滤波器、4x4 核、stride 2将 2048 通道的骨干特征逐级上采样再经一个 1x1 卷积输出 17 通道热图。其前向与推理流程为forwarddeconv_layers上采样 →final_layer输出[N, 17, H, W]热图开启flip_test时调用flip_back实现见 post_transforms.py按flip_pairs交换左右关键点通道并水平翻转热图若配置shift_heatmapTrue还会对翻转热图做 1 像素平移以补偿特征未对齐最终坐标通过transform_preds结合检测框的center、scale映射回原图见 post_transforms.py。六、训练与评测命令训练单卡模型python tools/train.py configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/resnext50_coco_256x192.py训练脚本 tools/train.py 支持--work-dir工作目录默认./work_dirs/config文件名、--resume-from断点续训、--no-validate关闭训练中评测、--seed、--deterministic、--cfg-options命令行覆盖配置例如--cfg-options model.backbone.depth101、--launcher等参数。多卡分布式训练bash tools/dist_train.sh configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/resnext50_coco_256x192.py 8tools/dist_train.sh通过torch.distributed.launch启动第二个参数为 GPU 数量。注意 train.py 中提供了--autoscale-lr启用后按lr × GPU数 / 8线性缩放学习率。下载对应 ckpt可从 resnext_coco.yml 的Weights字段获取地址后执行评测python tools/test.py configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/resnext50_coco_256x192.py checkpoint.pth --eval mAPtools/test.py见 tools/test.py会自动将cfg.model.pretrained None并设置测试模式--eval mAP指定 COCO 关键点评估指标还支持--out保存结果、--fuse-conv-bn融合 Conv 与 BN 以略微提升推理速度、--gpu-id等参数。要复现文档中的结果需要预先准备检测框文件data/coco/person_detection_results/COCO_val2017_detections_AP_H_56_person.json对应 human AP 56.4 的检测器输出。七、小结如何选择 ResNeXt 配置追求精度选择resnext101_coco_384x288.pyAP 0.743六套配置中最高或resnext152_coco_384x288.pyAP 0.742两者差距极小可结合显存与推理时延取舍。兼顾效率resnext50_coco_256x192.pyAP 0.714计算量最小、samples_per_gpu可达 64适合快速迭代与轻量部署。中间档位resnext101_coco_256x192.pyAP 0.726在输入分辨率与深度间取得平衡。在 ViTPose 仓库中这些 ResNeXt 配置与 ResNet、ResNest、SEResNet、HRNet 等骨干的 COCO 配置保持完全一致的框架接口Top-Down 热图 简单头因此可无缝替换骨干、直接复用训练与评测流程作为模型架构对比实验的可靠基线。赞分享人工智能计算机视觉深度学习【免费下载链接】ViTPoseThe official repo for [NeurIPS22] ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation and [TPAMI23] ViTPose: Vision Transformer for Generic Body Pose Estimation项目地址https://gitcode.com/gh_mirrors/vi/ViTPose点击查看免费下载相关推荐ViTPose 仓库 ResNetSimpleBaseline2D 人体姿态估计实战COCO Top-Down 热图配置、训练与评测深度解析ViTPose 仓库 ResNetSimpleBaseline2D 人体姿态估计实战COCO Top Down 热图配置、训练与评测深度解析 本篇技术指南以人工智能计算机视觉深度学习ViTPose 仓库中的 AlexNet 姿态估计基线COCO top-down 配置、源码实现与训练评估全解ViTPose 仓库中的 AlexNet 姿态估计基线COCO top down 配置、源码实现与训练评估全解 本指南以 ViTPose 仓库中 alexne人工智能计算机视觉深度学习REA AI 助手接入完整指南12 款客户端的接入方式与验证排障REA AI 助手接入完整指南12 款客户端的接入方式与验证排障 REA 是一个本地运行的逆向分析服务器通过 MCP模型上下文协议一种让 AI 助手调用逆向工程MCP 服务AI 技能上一篇Windows Defender Remover3步彻底解放系统性能的终极指南下一篇Windows Defender Remover终极指南3步彻底解放系统性能创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/14 20:41:42 · 阅读 1.2k ViTPose 仓库中 ResNeXt 骨干 + COCO 人体姿态估计：Top-Down Heatmap 配置、训练与评测全解析
人工智能计算机视觉深度学习【免费下载链接】ViTPoseThe official repo for [NeurIPS22] ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation and [TPAMI23] ViTPose: Vision Transformer for Generic Body Pose Estimation项目地址https://gitcode.com/gh_mirrors/vi/ViTPose点击查看免费下载导读本文以 ViTPose 开源仓库中 resnext_coco.md 文档为主体系统讲解如何在 COCO 数据集上使用ResNeXtAggregated Residual Transformations骨干网络构建 Top-Down 热图式heatmap-based2D 人体姿态估计模型。读完本文你将掌握六套 ResNeXt 官方配置50/101/152 三种深度 × 256x192/384x288 两种输入分辨率的完整参数含义、配置文件中骨干与头部、优化器、学习率、数据管线、推理后处理的逐项解读以及对应的训练、分布式训练与评测命令。一、方法背景ResNeXt 骨干与 COCO 数据集ResNeXt 由 Xie 等人在 CVPR 2017 提出论文标题为《Aggregated residual transformations for deep neural networks》。其核心思想是在 ResNet 的残差分支上引入cardinality基数维度——把中间 3x3 卷积替换为多个并行的分组卷积从而在不显著增加参数量的情况下提升表征能力。仓库中对应论文引用记录如下inproceedings{xie2017aggregated, title{Aggregated residual transformations for deep neural networks}, author{Xie, Saining and Girshick, Ross and Doll{\a}r, Piotr and Tu, Zhuowen and He, Kaiming}, booktitle{Proceedings of the IEEE conference on computer vision and pattern recognition}, pages{1492--1500}, year{2017} }评测使用的数据集为COCOCommon Objects in ContextECCV 2014其引用记录为inproceedings{lin2014microsoft, title{Microsoft coco: Common objects in context}, author{Lin, Tsung-Yi and Maire, Michael and Belongie, Serge and Hays, James and Perona, Pietro and Ramanan, Deva and Doll{\a}r, Piotr and Zitnick, C Lawrence}, booktitle{European conference on computer vision}, pages{740--755}, year{2014}, organization{Springer} }在 ViTPose 仓库中ResNeXt 是作为人体姿态估计骨干网络家族ResNet、ResNeXt、ResNest、SEResNet、SCNet 等的一员被完整集成到 Top-Down 姿态估计框架中的相关源码见 resnext.py。二、官方评测结果总览以下结果来自 resnext_coco.md 与 resnext_coco.yml评测协议为COCO val2017使用在 COCO val2017 上人体 AP 为56.4的检测器提供候选框即COCO_val2017_detections_AP_H_56_person.json对应tools/misc/keypoints2coco_without_mmdet.py配套的检测结果文件。指标含义AP/AP50/AP75 为 COCO 关键点平均精度AR/AR50 为平均召回率。Arch输入尺寸APAP50AP75ARAR50配置文件pose_resnext_50256x1920.7140.8980.7890.7710.937resnext50_coco_256x192.pypose_resnext_50384x2880.7240.8990.7940.7770.935resnext50_coco_384x288.pypose_resnext_101256x1920.7260.9000.8010.7820.940resnext101_coco_256x192.pypose_resnext_101384x2880.7430.9030.8150.7950.939resnext101_coco_384x288.pypose_resnext_152256x1920.7300.9040.8080.7860.940resnext152_coco_256x192.pypose_resnext_152384x2880.7420.9020.8100.7940.939resnext152_coco_384x288.py从结果可以观察到的规律在相同输入分辨率下骨干越深 AP 越高256x192 下 50→101→152 的 AP 为 0.714→0.726→0.730在相同骨干深度下更高的输入分辨率384x288带来约 0.01 AP 的提升同时伴随着更大的计算开销。每个模型的预训练权重ckpt与训练日志log下载地址均登记在 resnext_coco.yml 中Weights字段可直接按模型名topdown_heatmap_resnext{50,101,152}_coco_{256x192,384x288}检索获取。三、配置文件逐段解析六套配置共享完全相同的结构仅骨干深度、输入分辨率、预训练权重与部分训练超参不同。以下以 resnext50_coco_256x192.py 为基准逐段拆解。3.1 继承的公共配置_base_ [ ../../../../_base_/default_runtime.py, ../../../../_base_/datasets/coco.py ]default_runtime.py见 default_runtime.py定义了运行时公共设置checkpoint_config dict(interval10)每 10 个 epoch 保存一次 checkpoint、log_config每 50 次迭代输出一次日志、dist_params dict(backendnccl)、workflow [(train, 1)]以及关闭 OpenCV 多线程、使用fork多进程启动方式等环境优化。datasets/coco.py见 coco.py定义了 COCO 数据集的dataset_info17 个关键点nose、左右眼/耳/肩/肘/腕/髋/膝/踝、骨架连接关系、joint_weights肘/腕/膝/踝等肢体末端关键点权重更高用于加权损失以及 OKS 评估所需的sigmas。3.2 评测与优化器evaluation dict(interval10, metricmAP, save_bestAP) optimizer dict(typeAdam, lr5e-4) optimizer_config dict(grad_clipNone) lr_config dict( policystep, warmuplinear, warmup_iters500, warmup_ratio0.001, step[170, 200]) total_epochs 210每 10 个 epoch 在验证集上评测一次指标为 COCO 的mAP并以AP为准则保存最佳模型。优化器为Adam初始学习率5e-4不使用梯度裁剪。这与部分仓库中 ResNet 配置一致是 Top-Down 热图模型的常见训练设置。学习率策略为step阶梯衰减先线性 warmup 500 步初始比例 0.001在第 170 与 200 个 epoch 各衰减一次默认因子 0.1总训练 210 个 epoch。3.3 模型结构ResNeXt 骨干 简单热图头model dict( typeTopDown, pretrainedmmcls://resnext50_32x4d, backbonedict(typeResNeXt, depth50), keypoint_headdict( typeTopdownHeatmapSimpleHead, in_channels2048, out_channelschannel_cfg[num_output_channels], loss_keypointdict(typeJointsMSELoss, use_target_weightTrue)), train_cfgdict(), test_cfgdict( flip_testTrue, post_processdefault, shift_heatmapTrue, modulate_kernel11))pretrainedmmcls://resnext50_32x4d加载 mmclassification 提供的 ResNeXt-50 32x4d 在 ImageNet 上的预训练权重。101/152 对应mmcls://resnext101_32x4d、mmcls://resnext152_32x4d。backbonedict(typeResNeXt, depth50)注册在BACKBONES下的 ResNeXt 骨干默认groups32, width_per_group4即 32x4d 结构详细源码见 resnext.py。keypoint_head使用TopdownHeatmapSimpleHeadin_channels2048对应 ResNeXt 最后一个 stage 的输出通道数各深度配置均相同因为 ResNeXt 各深度最后一个 stage 输出均为 2048 通道out_channels17对应 COCO 的 17 个关键点。头部实现见 topdown_heatmap_simple_head.py。损失函数为JointsMSELoss关键点 MSE 损失use_target_weightTrue表示按关键点可见性与类型权重加权对应dataset_info中的joint_weights。推理后处理flip_testTrue开启水平翻转测试测试时对原图与翻转图分别前向并融合post_processdefault表示采用默认的热图峰值定位与坐标变换流程shift_heatmapTrue在翻转融合时对翻转热图做 1 像素平移补偿实现于TopdownHeatmapSimpleHead.inference_model见 topdown_heatmap_simple_head.pymodulate_kernel11指定了后处理中用于调制峰值定位的核大小。3.4 数据通道与检测框配置channel_cfg dict( num_output_channels17, dataset_joints17, dataset_channel[[0, 1, ..., 16]], inference_channel[0, 1, ..., 16]) data_cfg dict( image_size[192, 256], heatmap_size[48, 64], num_output_channelschannel_cfg[num_output_channels], num_jointschannel_cfg[dataset_joints], dataset_channelchannel_cfg[dataset_channel], inference_channelchannel_cfg[inference_channel], soft_nmsFalse, nms_thr1.0, oks_thr0.9, vis_thr0.2, use_gt_bboxFalse, det_bbox_thr0.0, bbox_filedata/coco/person_detection_results/ COCO_val2017_detections_AP_H_56_person.json, )image_size[192, 256]W, H为输入图像尺寸heatmap_size[48, 64]为网络输出的热图尺寸两者保持 4 倍下采样关系384x288 配置对应image_size[288, 384]、heatmap_size[72, 96]。在 COCO 上训练/测试时 17 个关键点的通道顺序与推理顺序一致因此dataset_channel与inference_channel均为[0..16]。后处理阈值soft_nmsFalse关闭软 NMS、nms_thr1.0、oks_thr0.9、vis_thr0.2。Top-Down 流程依赖外部检测器提供人体框use_gt_bboxFalse表示评测不使用 GT 框而是读取bbox_file指定的检测结果human AP 56.4 的那份检测框 JSONdet_bbox_thr0.0表示不按置信度过滤检测框。3.5 训练与验证数据管线训练管线train_pipeline完整流程为train_pipeline [ dict(typeLoadImageFromFile), dict(typeTopDownRandomFlip, flip_prob0.5), dict(typeTopDownHalfBodyTransform, num_joints_half_body8, prob_half_body0.3), dict(typeTopDownGetRandomScaleRotation, rot_factor40, scale_factor0.5), dict(typeTopDownAffine), dict(typeToTensor), dict(typeNormalizeTensor, mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), dict(typeTopDownGenerateTarget, sigma2), dict(typeCollect, keys[img, target, target_weight], meta_keys[image_file, joints_3d, joints_3d_visible, center, scale, rotation, bbox_score, flip_pairs]), ]随机水平翻转概率 0.5、半身变换一半概率只保留上半身 8 个关键点、概率 0.3、随机尺度/旋转增强旋转 ±40°、尺度 ±50%。图像归一化使用 ImageNet 的 mean/std。关键差异点TopDownGenerateTarget的sigma在 256x192 配置中为2在 384x288 配置中为3对应更高分辨率热图上的高斯核尺寸。该变换的实现见 top_down_transform.py默认采用MSRA编码方式按 3-sigma 规则在热图上放置高斯峰。验证/测试管线val_pipeline/test_pipeline不含任何随机增强仅包含加载、仿射变换、张量化、归一化与采样且只收集img。3.6 数据集与 DataLoader 配置data dict( samples_per_gpu64, workers_per_gpu2, val_dataloaderdict(samples_per_gpu32), test_dataloaderdict(samples_per_gpu32), traindict(typeTopDownCocoDataset, ann_filef{data_root}/annotations/person_keypoints_train2017.json, img_prefixf{data_root}/train2017/, data_cfgdata_cfg, pipelinetrain_pipeline, dataset_info{{_base_.dataset_info}}), valdict(typeTopDownCocoDataset, ann_filef{data_root}/annotations/person_keypoints_val2017.json, img_prefixf{data_root}/val2017/, ...), testdict(typeTopDownCocoDataset, ann_filef{data_root}/annotations/person_keypoints_val2017.json, img_prefixf{data_root}/val2017/, ...))训练samples_per_gpu64验证/测试 32数据根目录为data/coco需要预先按docs/en/data_preparation.md的说明组织目录结构train2017/、val2017/ 与 annotations/。六套配置在samples_per_gpu上有所不同resnext50 与 resnext101 的 256x192 配置为 64384x288 配置中 resnext50 为 64、resnext101 为 32resnext152 的两种配置均为 32——这与更大模型/更高分辨率下的显存占用直接相关。四、ResNeXt 骨干的源码实现仓库中的 resnext.py 复用了 ResNet 的框架ResNeXt类继承自ResNet通过重写Bottleneck与arch_settings实现分组残差变换arch_settings { 50: (Bottleneck, (3, 4, 6, 3)), 101: (Bottleneck, (3, 4, 23, 3)), 152: (Bottleneck, (3, 8, 36, 3)) }对应 ResNet-50/101/152 的四阶段堆叠结构。在Bottleneck中中间层通道数不再仅由输出通道决定而是由groups与width_per_group决定self.mid_channels groups * width_per_group * self.mid_channels // base_channels以默认 32x4d 为例groups32, width_per_group4瓶颈中间层为 128 通道的分组卷积每组 4 个通道32 组这就是 ResNeXt 相对 ResNet 的核心区别用基数维度换取更强的多分支聚合能力。配置中的backbonedict(typeResNeXt, depth50)即自动采用上述默认分组设置。五、Top-Down 简单热图头与后处理TopdownHeatmapSimpleHead见 topdown_heatmap_simple_head.py的结构为3 层转置卷积deconv每层 256 个滤波器、4x4 核、stride 2将 2048 通道的骨干特征逐级上采样再经一个 1x1 卷积输出 17 通道热图。其前向与推理流程为forwarddeconv_layers上采样 →final_layer输出[N, 17, H, W]热图开启flip_test时调用flip_back实现见 post_transforms.py按flip_pairs交换左右关键点通道并水平翻转热图若配置shift_heatmapTrue还会对翻转热图做 1 像素平移以补偿特征未对齐最终坐标通过transform_preds结合检测框的center、scale映射回原图见 post_transforms.py。六、训练与评测命令训练单卡模型python tools/train.py configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/resnext50_coco_256x192.py训练脚本 tools/train.py 支持--work-dir工作目录默认./work_dirs/config文件名、--resume-from断点续训、--no-validate关闭训练中评测、--seed、--deterministic、--cfg-options命令行覆盖配置例如--cfg-options model.backbone.depth101、--launcher等参数。多卡分布式训练bash tools/dist_train.sh configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/resnext50_coco_256x192.py 8tools/dist_train.sh通过torch.distributed.launch启动第二个参数为 GPU 数量。注意 train.py 中提供了--autoscale-lr启用后按lr × GPU数 / 8线性缩放学习率。下载对应 ckpt可从 resnext_coco.yml 的Weights字段获取地址后执行评测python tools/test.py configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/resnext50_coco_256x192.py checkpoint.pth --eval mAPtools/test.py见 tools/test.py会自动将cfg.model.pretrained None并设置测试模式--eval mAP指定 COCO 关键点评估指标还支持--out保存结果、--fuse-conv-bn融合 Conv 与 BN 以略微提升推理速度、--gpu-id等参数。要复现文档中的结果需要预先准备检测框文件data/coco/person_detection_results/COCO_val2017_detections_AP_H_56_person.json对应 human AP 56.4 的检测器输出。七、小结如何选择 ResNeXt 配置追求精度选择resnext101_coco_384x288.pyAP 0.743六套配置中最高或resnext152_coco_384x288.pyAP 0.742两者差距极小可结合显存与推理时延取舍。兼顾效率resnext50_coco_256x192.pyAP 0.714计算量最小、samples_per_gpu可达 64适合快速迭代与轻量部署。中间档位resnext101_coco_256x192.pyAP 0.726在输入分辨率与深度间取得平衡。在 ViTPose 仓库中这些 ResNeXt 配置与 ResNet、ResNest、SEResNet、HRNet 等骨干的 COCO 配置保持完全一致的框架接口Top-Down 热图 简单头因此可无缝替换骨干、直接复用训练与评测流程作为模型架构对比实验的可靠基线。赞分享人工智能计算机视觉深度学习【免费下载链接】ViTPoseThe official repo for [NeurIPS22] ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation and [TPAMI23] ViTPose: Vision Transformer for Generic Body Pose Estimation项目地址https://gitcode.com/gh_mirrors/vi/ViTPose点击查看免费下载相关推荐ViTPose 仓库 ResNetSimpleBaseline2D 人体姿态估计实战COCO Top-Down 热图配置、训练与评测深度解析ViTPose 仓库 ResNetSimpleBaseline2D 人体姿态估计实战COCO Top Down 热图配置、训练与评测深度解析 本篇技术指南以人工智能计算机视觉深度学习ViTPose 仓库中的 AlexNet 姿态估计基线COCO top-down 配置、源码实现与训练评估全解ViTPose 仓库中的 AlexNet 姿态估计基线COCO top down 配置、源码实现与训练评估全解 本指南以 ViTPose 仓库中 alexne人工智能计算机视觉深度学习REA AI 助手接入完整指南12 款客户端的接入方式与验证排障REA AI 助手接入完整指南12 款客户端的接入方式与验证排障 REA 是一个本地运行的逆向分析服务器通过 MCP模型上下文协议一种让 AI 助手调用逆向工程MCP 服务AI 技能上一篇Windows Defender Remover3步彻底解放系统性能的终极指南下一篇Windows Defender Remover终极指南3步彻底解放系统性能创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考