1. 人头识别到底在解决什么问题先聊一个我亲身踩过的坑。早些年做零售门店的客流统计第一反应是拿现成的人体检测模型直接跑结果一到周末高峰期就崩——人挤人的场景里身体互相遮挡模型要么把两个人框成一个要么干脆漏检。后来换成只检测头部准确率一下子从六成多拉到九成以上。这个经历让我彻底明白一件事在密集人群场景下头部才是那个最稳定、最不容易被遮挡的视觉锚点。人头识别说白了就是在图像或视频流里把画面中每一个人的头部位置准确地框出来。它和通用的人体检测最大的区别在于人体检测关注的是完整躯干而人头识别只盯着肩膀以上那部分。这个看似简单的范围缩小带来的好处是连锁性的——头部在拥挤场景中暴露概率远高于身体头部之间的间距通常也比身体间距大模型更容易把相邻目标分开。这个技术能做的事情比很多人想象的多。最直接的是客流统计商场、展馆、地铁站需要知道某个区域到底有多少人其次是密度估计当人数超过几百甚至上千时逐个框出人头已经不现实转而估计密度图更实用再往上是行为分析比如判断某人是否在低头看手机、是否在回头张望这些都需要先定位头部。适合谁来参考如果你正在做人流统计、安防监控、智能零售、或者任何需要“数人头”的项目这套东西就是你的基础设施。但这里有个关键问题需要提前想清楚你到底是要检测还是计数检测意味着你要输出每个人的头部坐标框适合人数在几十到一两百的场景计数则只需要一个数字适合上千人的极端密集场景。两者的技术路线完全不同选错了后面全是弯路。我见过不少团队一上来就追求“又准又快”结果在模型选型和后处理上反复横跳浪费了大量时间。所以第一步不是选模型而是定义清楚你的业务场景和精度要求。2. 技术路线选型为什么我最终选了这条组合方案2.1 从两阶段到单阶段的取舍逻辑人头识别的技术路线大致分三代。第一代是传统方法靠HOG特征加SVM分类器或者用Haar级联做滑动窗口检测。这东西在2000年代能用但一到复杂背景就废光照一变、角度一偏误检率飙升。第二代是两阶段检测器以Faster R-CNN为代表先出候选区域再分类回归。精度确实高但速度是硬伤——在1080p图像上跑单帧动辄几百毫秒根本没法做实时视频流。第三代就是现在主流的单阶段检测器以YOLO系列和SSD为代表。它的核心思路是把检测问题直接转化成回归问题一次前向传播就出结果。我实测下来YOLOv5s在1080p图像上能做到30帧以上精度也够用。但这里有个细节很多人忽略通用YOLO是在COCO数据集上训练的它的“person”类别是整个身体不是头部。你直接拿来做人头检测效果会打折扣因为模型学到的特征分布和头部特征不匹配。所以我的方案是以YOLO系列为骨架用专门的人头数据集做微调。数据集方面公开的有SCUT-HEAD、Brainwash、CityPersons的头部标注子集这些数据集的标注质量参差不齐需要做清洗。我一般会先跑一遍预训练模型把置信度低于0.3的标注框人工复核一遍去掉明显错误的。这个清洗过程大概会花掉整个项目20%的时间但绝对值得——脏数据带来的精度损失比你换个更大的模型要严重得多。2.2 骨干网络和输入分辨率的权衡骨干网络的选择直接决定了推理速度。YOLOv5s的骨干是CSPDarknet53的轻量版参数量约7M在主流GPU上单帧推理约10ms。如果你用YOLOv5m或l参数量翻倍精度提升大概2-3个点但速度掉到20ms以上。我的经验是如果场景里人头尺寸普遍大于32x32像素YOLOv5s完全够用如果人头很小比如高空俯拍才需要上更大的模型或更高分辨率。输入分辨率是个更微妙的参数。YOLO默认用640x640但监控摄像头通常是1920x1080。如果你直接把1080p缩到640远处的小人头就变成几个像素模型根本看不见。我的做法是保持长边1280短边按比例缩放这样远处人头至少还有16x16像素。代价是推理时间增加约2.5倍但漏检率能降一半以上。这个取舍需要根据你的硬件来定——如果用的是边缘设备可能还是得回到640然后通过切片推理来补偿把大图切成4块每块单独检测最后合并结果。切片推理的坑在于边界处的人头会被切一半需要在切片时留20%重叠区域合并时用NMS去重。2.3 后处理里的NMS和置信度阈值非极大值抑制NMS是检测器的标配后处理但人头识别里有个特殊问题密集场景下两个人头靠得很近时NMS的IoU阈值设高了会误删设低了会保留重复框。我试过0.45、0.5、0.6三个值最终在密集场景下选了0.6因为人头之间的重叠通常比身体小0.6能保留更多正确框。但代价是偶尔会出现同一个头被框两次的情况这时候需要加一个基于中心点距离的二次过滤如果两个框的中心点距离小于较小框宽度的0.5倍就只保留置信度高的那个。置信度阈值也不是拍脑袋定的。我一般会先在验证集上画PR曲线找到F1分数最高的那个点。实测下来YOLOv5s在自建人头数据集上置信度0.35左右是甜点区。低于0.3会引入大量误检比如把圆形物体当人头高于0.5会漏掉一些遮挡严重的头。这个值需要根据你的业务容忍度调整——安防场景宁可误检不可漏检那就调到0.25统计场景要求数字准确那就调到0.4。3. 数据准备与标注脏数据比烂模型更致命3.1 人头数据集的获取和清洗公开数据集里SCUT-HEAD有4405张图标注了111251个人头但它的标注格式是点标注不是框。你需要自己写脚本把点扩展成框——我一般以点为中心取周围64x64的区域作为初始框然后根据相邻点的距离动态调整。如果两个点距离小于32像素框就缩小到48x48避免重叠太多。Brainwash数据集更小只有几百张但它的场景是咖啡厅人头密集且遮挡严重适合做困难样本挖掘。自己标注的话工具推荐LabelImg或CVAT。LabelImg轻量适合小规模CVAT支持多人协作和视频标注适合大项目。标注规范要提前定死框只包含头部不包括脖子和肩膀戴帽子的要把帽子算进去被遮挡超过50%的头不标。我见过团队因为标注规范不统一导致模型在训练时反复震荡最后返工重标白白浪费两周。清洗环节我一般做三件事。第一尺寸过滤去掉宽高小于16像素的框这些框在训练时贡献的梯度噪声大于信号。第二长宽比过滤正常人头的宽高比在0.6到1.5之间超出这个范围的框大概率是误标。第三重叠过滤如果两个框的IoU大于0.7只保留面积大的那个。这三步做完数据集通常能瘦身15%左右但模型精度反而会提升。3.2 数据增强的实战参数数据增强是提升泛化能力的免费午餐但参数不能乱设。我常用的组合是Mosaic增强把4张图拼成1张概率0.5。这个增强对小目标检测特别有效因为它让模型在一张图里看到更多不同尺度的目标。但注意Mosaic会改变目标的相对位置如果你的场景对位置敏感比如需要判断人头在画面中的绝对坐标概率要降到0.2。随机缩放缩放范围0.5到1.5概率0.5。这个增强模拟不同距离的人头但缩放后要同步调整标注框否则框和实际目标对不上。HSV抖动色调±10饱和度±20明度±20。监控场景光照变化大这个增强能显著提升模型在逆光、暗光下的表现。随机翻转水平翻转概率0.5垂直翻转概率0.1。垂直翻转要慎用因为人头在正常场景中很少倒置过度翻转会让模型学到错误的先验。这里有个坑Mosaic增强和随机缩放同时使用时小目标可能被缩到8像素以下反而变成噪声。我的做法是加一个过滤条件增强后如果目标宽高小于12像素就跳过这次增强重新采样。3.3 训练集、验证集、测试集的划分策略划分比例不是固定的7:2:1。如果场景单一比如全是地铁站监控7:2:1够用。但如果场景多样室内、室外、白天、夜晚我建议按场景分层采样每个场景至少留20%做验证确保验证集能覆盖所有场景。测试集则要单独留一批完全没在训练中出现过的场景用来评估模型的真实泛化能力。我踩过的一个坑是验证集和训练集来自同一段视频的相邻帧导致验证集精度虚高。因为相邻帧的内容几乎一样模型在训练时已经“见过”类似画面。正确的做法是按视频片段划分同一段视频的帧只能出现在一个集合里。这个细节很多教程都不提但直接影响你对模型真实能力的判断。4. 模型训练与调参从能跑到跑好的关键步骤4.1 迁移学习的冷启动策略直接从头训练YOLO需要大量数据和算力不现实。我的标准流程是先在COCO上预训练的权重基础上冻结骨干网络只训练检测头10个epoch。这一步能让检测头快速适应人头这个新类别损失通常能从初始的5.0降到1.5左右。然后解冻全部网络用较小的学习率0.001再训练50个epoch让骨干网络也微调到人头特征上。学习率调度用余弦退火初始0.01最终0.0001。优化器选SGD动量0.937权重衰减0.0005。这些参数是YOLOv5的默认值我试过Adam收敛更快但最终精度低1-2个点所以还是用SGD。批次大小根据显存来8G显存用1616G用32。如果批次太小BatchNorm的统计量不准精度会掉。4.2 损失函数的三个组成部分YOLO的损失由三块组成边界框回归损失、目标置信度损失、类别损失。人头识别里类别只有一类所以类别损失可以忽略。重点是前两个。边界框回归用的是CIoU Loss它同时考虑重叠面积、中心点距离和长宽比。人头识别里长宽比相对固定接近1:1所以CIoU的长宽比惩罚项贡献不大但中心点距离项很重要——密集场景下两个头的中心点可能只差十几个像素CIoU能更好地区分它们。目标置信度损失用的是BCEWithLogits正样本的权重需要调高。因为人头在画面中占比很小负样本背景数量远多于正样本。我一般把正样本权重设为2.0负样本1.0这样模型不会因为负样本太多而倾向于预测背景。4.3 训练过程中的监控指标训练时不能只看loss要看mAP0.5和mAP0.5:0.95。mAP0.5衡量的是IoU阈值0.5时的平均精度对人头识别来说这个指标到0.85以上就算可用。mAP0.5:0.95更严格它要求框的位置非常准这个指标到0.5以上就很不错了。另外要监控召回率和精确率的平衡。如果召回率高但精确率低说明模型把很多非人头也框进来了需要提高置信度阈值或增加负样本。如果精确率高但召回率低说明模型太保守需要降低阈值或增加正样本权重。我一般会在训练到30个epoch时做一次验证根据PR曲线调整阈值然后再继续训练。还有一个容易被忽略的指标小目标的AP。YOLO在验证时会按目标尺寸分组统计AP如果小目标AP明显低于中大型目标说明输入分辨率不够或数据增强里小目标样本太少。这时候要么提高输入分辨率要么在增强时增加小目标的复制粘贴概率。5. 推理加速与部署从实验室到生产环境5.1 模型量化和剪枝的实际效果训练完的PyTorch模型直接部署推理速度往往不达标。我一般做两步优化量化和剪枝。量化是把FP32的权重转成FP16或INT8。FP16量化几乎无损速度提升约1.5倍几乎所有GPU都支持。INT8量化速度提升2-3倍但精度会掉1-3个点需要做量化感知训练来补偿——在训练时模拟量化误差让模型提前适应。我实测下来INT8量化后mAP0.5从0.87掉到0.84但推理速度从10ms降到4ms对于实时性要求高的场景是值得的。剪枝是去掉模型中贡献小的通道。我用的是基于L1范数的通道剪枝计算每个卷积核的L1范数去掉最小的20%然后微调10个epoch。剪枝后参数量减少约30%速度提升1.3倍精度掉0.5个点。剪枝的坑在于不能剪太多超过30%后精度会断崖式下跌因为一些看似不重要的通道其实承担了关键特征。5.2 TensorRT和ONNX的部署路径生产环境我首选TensorRT因为它在NVIDIA GPU上的优化最彻底。流程是PyTorch转ONNXONNX转TensorRT引擎。转ONNX时要注意opset版本YOLOv5建议用opset 11太高或太低都可能导致转换失败。转TensorRT时动态批次和动态分辨率要提前设好否则引擎只能处理固定输入。如果部署在CPU上用OpenVINO。它能把模型优化到在Intel CPU上跑到实时。我试过在i7上跑YOLOv5sOpenVINO优化后单帧约30ms勉强够用。如果CPU更弱就得用NCNN或MNN这两个是移动端推理框架在ARM芯片上表现更好。5.3 多路视频流的并发处理实际项目里往往要同时处理多路摄像头。我的做法是用生产者-消费者模式一个线程负责从摄像头拉流和解码把帧放进队列多个推理线程从队列取帧跑模型最后一个线程负责后处理和结果输出。队列长度设为10太短会导致丢帧太长会增加延迟。推理线程数等于GPU能并行处理的批次数。比如TensorRT引擎支持批次8那就开8个线程每个线程处理一帧凑够8帧一起推理。这样GPU利用率能到90%以上。如果只是单线程逐帧推理GPU利用率可能只有30%浪费算力。这里有个坑多线程同时调用TensorRT引擎会出问题因为引擎不是线程安全的。正确做法是每个线程创建独立的执行上下文共享同一个引擎。执行上下文的内存开销很小可以放心创建多个。6. 常见问题与排查技巧实录6.1 漏检和误检的排查思路漏检通常有三个原因。第一人头太小。如果画面里人头小于16x16像素模型基本看不见。解决办法是提高输入分辨率或切片推理。第二遮挡太严重。如果人头被遮挡超过70%模型很难判断。这时候需要引入时序信息——用前一帧的检测结果辅助当前帧或者用跟踪算法补全。第三置信度阈值太高。把阈值从0.4降到0.3漏检会明显减少但误检会增加需要权衡。误检的常见来源是圆形物体——气球、灯罩、球类都可能被误判为人头。解决办法是在训练数据里加入这些负样本让模型学会区分。另一个来源是纹理复杂的背景比如树叶、砖墙。这时候可以用注意力机制让模型更关注前景区域。我试过在YOLO里加SE模块误检率降了约15%但速度掉了5%。6.2 密集场景下的NMS调优密集场景是NMS最容易出问题的地方。标准NMS会误删靠得近的正确框。我试过Soft-NMS它不直接删除低分框而是根据重叠度降低分数。在人群密度超过0.5人/平方米时Soft-NMS比标准NMS的召回率高8-10个点。但Soft-NMS的计算量更大速度会慢20%左右。另一个方案是Cluster-NMS它把NMS变成矩阵运算能并行处理速度比Soft-NMS快效果差不多。我现在的默认配置是人数少于50用标准NMS50到200用Cluster-NMS超过200用Soft-NMS加密度估计。6.3 跨场景泛化的坑在一个场景训练的模型换到另一个场景往往精度大跌。我遇到过最夸张的情况在室内商场训练的模型拿到室外广场上mAP从0.88掉到0.52。原因是光照和背景差异太大。解决办法是多场景混合训练每个场景至少占10%的数据。如果某个场景数据太少可以用风格迁移生成合成数据把室内场景的图片转成室外风格再用来训练。还有一个坑是摄像头角度。俯拍和侧拍的人头外观差异很大。如果训练数据只有俯拍模型在侧拍场景下会漏检。我的做法是在增强时加入随机透视变换模拟不同角度。透视变换的参数要控制好角度太大超过30度会导致人头变形严重反而变成噪声。6.4 常见问题速查表问题现象可能原因排查方法解决方案漏检严重人头太小统计漏检目标的尺寸分布提高输入分辨率或切片推理漏检严重遮挡严重检查漏检目标的遮挡比例引入时序信息或跟踪算法误检多圆形物体干扰可视化误检框看是否集中在特定物体加入负样本重新训练误检多置信度阈值太低画PR曲线看F1最高点提高阈值到0.35-0.4密集场景框重叠NMS阈值不当统计重叠框的IoU分布改用Soft-NMS或Cluster-NMS跨场景精度掉场景差异大对比训练集和测试集的场景分布多场景混合训练或风格迁移推理速度慢模型太大测各层耗时量化、剪枝或换轻量骨干多路视频卡顿线程模型不对看GPU利用率和队列长度改生产者-消费者模式批量推理7. 一些实战心得和扩展方向7.1 从检测到跟踪的平滑过渡单纯做检测视频里会出现框闪烁的问题——同一颗头在相邻帧里时有时无。解决办法是加一个轻量跟踪器比如ByteTrack或OC-SORT。跟踪器会给每个检测框分配ID即使某一帧漏检也能通过前一帧的轨迹预测当前位置。我实测下来加了跟踪后客流统计的准确率从92%提升到97%因为跟踪能过滤掉瞬时误检也能补全短暂漏检。跟踪的坑在于ID切换。当两个人头交叉而过时跟踪器可能把ID搞混。解决办法是加入ReID特征用一个小网络提取人头的外观特征在匹配时同时考虑位置和外观。ReID网络可以很轻量比如MobileNetV3-small推理耗时不到1ms。7.2 密度估计作为补充当人数超过500时逐个检测已经没意义了——框会糊成一片。这时候用密度估计更合适。密度估计不输出框而是输出一张密度图图上每个像素的值表示该位置有多少人。对密度图求和就得到总人数。CSRNet和SANet是常用的密度估计网络它们用VGG或ResNet做骨干后面接空洞卷积扩大感受野。密度估计的精度用MAE和MSE衡量。在千人级场景下MAE能到10以内就算优秀。但密度估计的缺点是无法定位个体只能给总数。所以我的方案是检测和密度估计并行人数少时用检测人数多时切换到密度估计切换阈值设在200人左右。7.3 边缘设备上的部署经验如果部署在边缘设备上比如Jetson Nano或树莓派算力非常有限。Jetson Nano的GPU只有128个CUDA核心跑YOLOv5s在640分辨率下只有5帧。我的优化路径是先用TensorRT INT8量化再把输入降到416最后用剪枝去掉30%通道。三步下来速度能到15帧勉强够用。如果还不够就得换更轻的模型比如YOLOv5n或NanoDet但精度会掉5-8个点。边缘设备的散热也是问题。Jetson Nano跑满负载时温度能到80度会触发降频。我一般会加一个小风扇或者把推理频率限制在10帧让温度稳定在60度左右。这个细节在实验室里很容易忽略但到了现场就是稳定性问题。7.4 后续可以扩展的方向人头识别本身是个基础能力往上可以搭很多应用。比如姿态估计——在头部框的基础上估计头的朝向正脸、侧脸、低头这需要额外训练一个分类网络。再比如口罩检测——判断人头是否戴口罩这在公共卫生场景很有用。还有安全帽检测——工地场景里判断工人是否戴安全帽这个和口罩检测的技术路线一样只是类别不同。另一个方向是跨镜跟踪——同一个人从摄像头A走到摄像头B如何关联起来。这需要ReID特征加上时空约束。跨镜跟踪的难点在于不同摄像头的视角、光照、分辨率差异很大ReID特征很难通用。我试过用域自适应的方法在目标域上做无监督微调能提升约10个点的匹配率。最后分享一个小技巧在推理时对输入图像做直方图均衡化能显著提升暗光场景的检测率。这个操作耗时不到1ms但效果立竿见影。我试过在夜间监控上均衡化后召回率从0.65提升到0.82。代价是白天场景可能过曝所以要根据光照传感器动态决定是否启用。 
长河君 · 2026/10/18 1:26:41 · 阅读 1.2k 密集人群场景下人头识别技术：从YOLO选型到部署优化实战
1. 人头识别到底在解决什么问题先聊一个我亲身踩过的坑。早些年做零售门店的客流统计第一反应是拿现成的人体检测模型直接跑结果一到周末高峰期就崩——人挤人的场景里身体互相遮挡模型要么把两个人框成一个要么干脆漏检。后来换成只检测头部准确率一下子从六成多拉到九成以上。这个经历让我彻底明白一件事在密集人群场景下头部才是那个最稳定、最不容易被遮挡的视觉锚点。人头识别说白了就是在图像或视频流里把画面中每一个人的头部位置准确地框出来。它和通用的人体检测最大的区别在于人体检测关注的是完整躯干而人头识别只盯着肩膀以上那部分。这个看似简单的范围缩小带来的好处是连锁性的——头部在拥挤场景中暴露概率远高于身体头部之间的间距通常也比身体间距大模型更容易把相邻目标分开。这个技术能做的事情比很多人想象的多。最直接的是客流统计商场、展馆、地铁站需要知道某个区域到底有多少人其次是密度估计当人数超过几百甚至上千时逐个框出人头已经不现实转而估计密度图更实用再往上是行为分析比如判断某人是否在低头看手机、是否在回头张望这些都需要先定位头部。适合谁来参考如果你正在做人流统计、安防监控、智能零售、或者任何需要“数人头”的项目这套东西就是你的基础设施。但这里有个关键问题需要提前想清楚你到底是要检测还是计数检测意味着你要输出每个人的头部坐标框适合人数在几十到一两百的场景计数则只需要一个数字适合上千人的极端密集场景。两者的技术路线完全不同选错了后面全是弯路。我见过不少团队一上来就追求“又准又快”结果在模型选型和后处理上反复横跳浪费了大量时间。所以第一步不是选模型而是定义清楚你的业务场景和精度要求。2. 技术路线选型为什么我最终选了这条组合方案2.1 从两阶段到单阶段的取舍逻辑人头识别的技术路线大致分三代。第一代是传统方法靠HOG特征加SVM分类器或者用Haar级联做滑动窗口检测。这东西在2000年代能用但一到复杂背景就废光照一变、角度一偏误检率飙升。第二代是两阶段检测器以Faster R-CNN为代表先出候选区域再分类回归。精度确实高但速度是硬伤——在1080p图像上跑单帧动辄几百毫秒根本没法做实时视频流。第三代就是现在主流的单阶段检测器以YOLO系列和SSD为代表。它的核心思路是把检测问题直接转化成回归问题一次前向传播就出结果。我实测下来YOLOv5s在1080p图像上能做到30帧以上精度也够用。但这里有个细节很多人忽略通用YOLO是在COCO数据集上训练的它的“person”类别是整个身体不是头部。你直接拿来做人头检测效果会打折扣因为模型学到的特征分布和头部特征不匹配。所以我的方案是以YOLO系列为骨架用专门的人头数据集做微调。数据集方面公开的有SCUT-HEAD、Brainwash、CityPersons的头部标注子集这些数据集的标注质量参差不齐需要做清洗。我一般会先跑一遍预训练模型把置信度低于0.3的标注框人工复核一遍去掉明显错误的。这个清洗过程大概会花掉整个项目20%的时间但绝对值得——脏数据带来的精度损失比你换个更大的模型要严重得多。2.2 骨干网络和输入分辨率的权衡骨干网络的选择直接决定了推理速度。YOLOv5s的骨干是CSPDarknet53的轻量版参数量约7M在主流GPU上单帧推理约10ms。如果你用YOLOv5m或l参数量翻倍精度提升大概2-3个点但速度掉到20ms以上。我的经验是如果场景里人头尺寸普遍大于32x32像素YOLOv5s完全够用如果人头很小比如高空俯拍才需要上更大的模型或更高分辨率。输入分辨率是个更微妙的参数。YOLO默认用640x640但监控摄像头通常是1920x1080。如果你直接把1080p缩到640远处的小人头就变成几个像素模型根本看不见。我的做法是保持长边1280短边按比例缩放这样远处人头至少还有16x16像素。代价是推理时间增加约2.5倍但漏检率能降一半以上。这个取舍需要根据你的硬件来定——如果用的是边缘设备可能还是得回到640然后通过切片推理来补偿把大图切成4块每块单独检测最后合并结果。切片推理的坑在于边界处的人头会被切一半需要在切片时留20%重叠区域合并时用NMS去重。2.3 后处理里的NMS和置信度阈值非极大值抑制NMS是检测器的标配后处理但人头识别里有个特殊问题密集场景下两个人头靠得很近时NMS的IoU阈值设高了会误删设低了会保留重复框。我试过0.45、0.5、0.6三个值最终在密集场景下选了0.6因为人头之间的重叠通常比身体小0.6能保留更多正确框。但代价是偶尔会出现同一个头被框两次的情况这时候需要加一个基于中心点距离的二次过滤如果两个框的中心点距离小于较小框宽度的0.5倍就只保留置信度高的那个。置信度阈值也不是拍脑袋定的。我一般会先在验证集上画PR曲线找到F1分数最高的那个点。实测下来YOLOv5s在自建人头数据集上置信度0.35左右是甜点区。低于0.3会引入大量误检比如把圆形物体当人头高于0.5会漏掉一些遮挡严重的头。这个值需要根据你的业务容忍度调整——安防场景宁可误检不可漏检那就调到0.25统计场景要求数字准确那就调到0.4。3. 数据准备与标注脏数据比烂模型更致命3.1 人头数据集的获取和清洗公开数据集里SCUT-HEAD有4405张图标注了111251个人头但它的标注格式是点标注不是框。你需要自己写脚本把点扩展成框——我一般以点为中心取周围64x64的区域作为初始框然后根据相邻点的距离动态调整。如果两个点距离小于32像素框就缩小到48x48避免重叠太多。Brainwash数据集更小只有几百张但它的场景是咖啡厅人头密集且遮挡严重适合做困难样本挖掘。自己标注的话工具推荐LabelImg或CVAT。LabelImg轻量适合小规模CVAT支持多人协作和视频标注适合大项目。标注规范要提前定死框只包含头部不包括脖子和肩膀戴帽子的要把帽子算进去被遮挡超过50%的头不标。我见过团队因为标注规范不统一导致模型在训练时反复震荡最后返工重标白白浪费两周。清洗环节我一般做三件事。第一尺寸过滤去掉宽高小于16像素的框这些框在训练时贡献的梯度噪声大于信号。第二长宽比过滤正常人头的宽高比在0.6到1.5之间超出这个范围的框大概率是误标。第三重叠过滤如果两个框的IoU大于0.7只保留面积大的那个。这三步做完数据集通常能瘦身15%左右但模型精度反而会提升。3.2 数据增强的实战参数数据增强是提升泛化能力的免费午餐但参数不能乱设。我常用的组合是Mosaic增强把4张图拼成1张概率0.5。这个增强对小目标检测特别有效因为它让模型在一张图里看到更多不同尺度的目标。但注意Mosaic会改变目标的相对位置如果你的场景对位置敏感比如需要判断人头在画面中的绝对坐标概率要降到0.2。随机缩放缩放范围0.5到1.5概率0.5。这个增强模拟不同距离的人头但缩放后要同步调整标注框否则框和实际目标对不上。HSV抖动色调±10饱和度±20明度±20。监控场景光照变化大这个增强能显著提升模型在逆光、暗光下的表现。随机翻转水平翻转概率0.5垂直翻转概率0.1。垂直翻转要慎用因为人头在正常场景中很少倒置过度翻转会让模型学到错误的先验。这里有个坑Mosaic增强和随机缩放同时使用时小目标可能被缩到8像素以下反而变成噪声。我的做法是加一个过滤条件增强后如果目标宽高小于12像素就跳过这次增强重新采样。3.3 训练集、验证集、测试集的划分策略划分比例不是固定的7:2:1。如果场景单一比如全是地铁站监控7:2:1够用。但如果场景多样室内、室外、白天、夜晚我建议按场景分层采样每个场景至少留20%做验证确保验证集能覆盖所有场景。测试集则要单独留一批完全没在训练中出现过的场景用来评估模型的真实泛化能力。我踩过的一个坑是验证集和训练集来自同一段视频的相邻帧导致验证集精度虚高。因为相邻帧的内容几乎一样模型在训练时已经“见过”类似画面。正确的做法是按视频片段划分同一段视频的帧只能出现在一个集合里。这个细节很多教程都不提但直接影响你对模型真实能力的判断。4. 模型训练与调参从能跑到跑好的关键步骤4.1 迁移学习的冷启动策略直接从头训练YOLO需要大量数据和算力不现实。我的标准流程是先在COCO上预训练的权重基础上冻结骨干网络只训练检测头10个epoch。这一步能让检测头快速适应人头这个新类别损失通常能从初始的5.0降到1.5左右。然后解冻全部网络用较小的学习率0.001再训练50个epoch让骨干网络也微调到人头特征上。学习率调度用余弦退火初始0.01最终0.0001。优化器选SGD动量0.937权重衰减0.0005。这些参数是YOLOv5的默认值我试过Adam收敛更快但最终精度低1-2个点所以还是用SGD。批次大小根据显存来8G显存用1616G用32。如果批次太小BatchNorm的统计量不准精度会掉。4.2 损失函数的三个组成部分YOLO的损失由三块组成边界框回归损失、目标置信度损失、类别损失。人头识别里类别只有一类所以类别损失可以忽略。重点是前两个。边界框回归用的是CIoU Loss它同时考虑重叠面积、中心点距离和长宽比。人头识别里长宽比相对固定接近1:1所以CIoU的长宽比惩罚项贡献不大但中心点距离项很重要——密集场景下两个头的中心点可能只差十几个像素CIoU能更好地区分它们。目标置信度损失用的是BCEWithLogits正样本的权重需要调高。因为人头在画面中占比很小负样本背景数量远多于正样本。我一般把正样本权重设为2.0负样本1.0这样模型不会因为负样本太多而倾向于预测背景。4.3 训练过程中的监控指标训练时不能只看loss要看mAP0.5和mAP0.5:0.95。mAP0.5衡量的是IoU阈值0.5时的平均精度对人头识别来说这个指标到0.85以上就算可用。mAP0.5:0.95更严格它要求框的位置非常准这个指标到0.5以上就很不错了。另外要监控召回率和精确率的平衡。如果召回率高但精确率低说明模型把很多非人头也框进来了需要提高置信度阈值或增加负样本。如果精确率高但召回率低说明模型太保守需要降低阈值或增加正样本权重。我一般会在训练到30个epoch时做一次验证根据PR曲线调整阈值然后再继续训练。还有一个容易被忽略的指标小目标的AP。YOLO在验证时会按目标尺寸分组统计AP如果小目标AP明显低于中大型目标说明输入分辨率不够或数据增强里小目标样本太少。这时候要么提高输入分辨率要么在增强时增加小目标的复制粘贴概率。5. 推理加速与部署从实验室到生产环境5.1 模型量化和剪枝的实际效果训练完的PyTorch模型直接部署推理速度往往不达标。我一般做两步优化量化和剪枝。量化是把FP32的权重转成FP16或INT8。FP16量化几乎无损速度提升约1.5倍几乎所有GPU都支持。INT8量化速度提升2-3倍但精度会掉1-3个点需要做量化感知训练来补偿——在训练时模拟量化误差让模型提前适应。我实测下来INT8量化后mAP0.5从0.87掉到0.84但推理速度从10ms降到4ms对于实时性要求高的场景是值得的。剪枝是去掉模型中贡献小的通道。我用的是基于L1范数的通道剪枝计算每个卷积核的L1范数去掉最小的20%然后微调10个epoch。剪枝后参数量减少约30%速度提升1.3倍精度掉0.5个点。剪枝的坑在于不能剪太多超过30%后精度会断崖式下跌因为一些看似不重要的通道其实承担了关键特征。5.2 TensorRT和ONNX的部署路径生产环境我首选TensorRT因为它在NVIDIA GPU上的优化最彻底。流程是PyTorch转ONNXONNX转TensorRT引擎。转ONNX时要注意opset版本YOLOv5建议用opset 11太高或太低都可能导致转换失败。转TensorRT时动态批次和动态分辨率要提前设好否则引擎只能处理固定输入。如果部署在CPU上用OpenVINO。它能把模型优化到在Intel CPU上跑到实时。我试过在i7上跑YOLOv5sOpenVINO优化后单帧约30ms勉强够用。如果CPU更弱就得用NCNN或MNN这两个是移动端推理框架在ARM芯片上表现更好。5.3 多路视频流的并发处理实际项目里往往要同时处理多路摄像头。我的做法是用生产者-消费者模式一个线程负责从摄像头拉流和解码把帧放进队列多个推理线程从队列取帧跑模型最后一个线程负责后处理和结果输出。队列长度设为10太短会导致丢帧太长会增加延迟。推理线程数等于GPU能并行处理的批次数。比如TensorRT引擎支持批次8那就开8个线程每个线程处理一帧凑够8帧一起推理。这样GPU利用率能到90%以上。如果只是单线程逐帧推理GPU利用率可能只有30%浪费算力。这里有个坑多线程同时调用TensorRT引擎会出问题因为引擎不是线程安全的。正确做法是每个线程创建独立的执行上下文共享同一个引擎。执行上下文的内存开销很小可以放心创建多个。6. 常见问题与排查技巧实录6.1 漏检和误检的排查思路漏检通常有三个原因。第一人头太小。如果画面里人头小于16x16像素模型基本看不见。解决办法是提高输入分辨率或切片推理。第二遮挡太严重。如果人头被遮挡超过70%模型很难判断。这时候需要引入时序信息——用前一帧的检测结果辅助当前帧或者用跟踪算法补全。第三置信度阈值太高。把阈值从0.4降到0.3漏检会明显减少但误检会增加需要权衡。误检的常见来源是圆形物体——气球、灯罩、球类都可能被误判为人头。解决办法是在训练数据里加入这些负样本让模型学会区分。另一个来源是纹理复杂的背景比如树叶、砖墙。这时候可以用注意力机制让模型更关注前景区域。我试过在YOLO里加SE模块误检率降了约15%但速度掉了5%。6.2 密集场景下的NMS调优密集场景是NMS最容易出问题的地方。标准NMS会误删靠得近的正确框。我试过Soft-NMS它不直接删除低分框而是根据重叠度降低分数。在人群密度超过0.5人/平方米时Soft-NMS比标准NMS的召回率高8-10个点。但Soft-NMS的计算量更大速度会慢20%左右。另一个方案是Cluster-NMS它把NMS变成矩阵运算能并行处理速度比Soft-NMS快效果差不多。我现在的默认配置是人数少于50用标准NMS50到200用Cluster-NMS超过200用Soft-NMS加密度估计。6.3 跨场景泛化的坑在一个场景训练的模型换到另一个场景往往精度大跌。我遇到过最夸张的情况在室内商场训练的模型拿到室外广场上mAP从0.88掉到0.52。原因是光照和背景差异太大。解决办法是多场景混合训练每个场景至少占10%的数据。如果某个场景数据太少可以用风格迁移生成合成数据把室内场景的图片转成室外风格再用来训练。还有一个坑是摄像头角度。俯拍和侧拍的人头外观差异很大。如果训练数据只有俯拍模型在侧拍场景下会漏检。我的做法是在增强时加入随机透视变换模拟不同角度。透视变换的参数要控制好角度太大超过30度会导致人头变形严重反而变成噪声。6.4 常见问题速查表问题现象可能原因排查方法解决方案漏检严重人头太小统计漏检目标的尺寸分布提高输入分辨率或切片推理漏检严重遮挡严重检查漏检目标的遮挡比例引入时序信息或跟踪算法误检多圆形物体干扰可视化误检框看是否集中在特定物体加入负样本重新训练误检多置信度阈值太低画PR曲线看F1最高点提高阈值到0.35-0.4密集场景框重叠NMS阈值不当统计重叠框的IoU分布改用Soft-NMS或Cluster-NMS跨场景精度掉场景差异大对比训练集和测试集的场景分布多场景混合训练或风格迁移推理速度慢模型太大测各层耗时量化、剪枝或换轻量骨干多路视频卡顿线程模型不对看GPU利用率和队列长度改生产者-消费者模式批量推理7. 一些实战心得和扩展方向7.1 从检测到跟踪的平滑过渡单纯做检测视频里会出现框闪烁的问题——同一颗头在相邻帧里时有时无。解决办法是加一个轻量跟踪器比如ByteTrack或OC-SORT。跟踪器会给每个检测框分配ID即使某一帧漏检也能通过前一帧的轨迹预测当前位置。我实测下来加了跟踪后客流统计的准确率从92%提升到97%因为跟踪能过滤掉瞬时误检也能补全短暂漏检。跟踪的坑在于ID切换。当两个人头交叉而过时跟踪器可能把ID搞混。解决办法是加入ReID特征用一个小网络提取人头的外观特征在匹配时同时考虑位置和外观。ReID网络可以很轻量比如MobileNetV3-small推理耗时不到1ms。7.2 密度估计作为补充当人数超过500时逐个检测已经没意义了——框会糊成一片。这时候用密度估计更合适。密度估计不输出框而是输出一张密度图图上每个像素的值表示该位置有多少人。对密度图求和就得到总人数。CSRNet和SANet是常用的密度估计网络它们用VGG或ResNet做骨干后面接空洞卷积扩大感受野。密度估计的精度用MAE和MSE衡量。在千人级场景下MAE能到10以内就算优秀。但密度估计的缺点是无法定位个体只能给总数。所以我的方案是检测和密度估计并行人数少时用检测人数多时切换到密度估计切换阈值设在200人左右。7.3 边缘设备上的部署经验如果部署在边缘设备上比如Jetson Nano或树莓派算力非常有限。Jetson Nano的GPU只有128个CUDA核心跑YOLOv5s在640分辨率下只有5帧。我的优化路径是先用TensorRT INT8量化再把输入降到416最后用剪枝去掉30%通道。三步下来速度能到15帧勉强够用。如果还不够就得换更轻的模型比如YOLOv5n或NanoDet但精度会掉5-8个点。边缘设备的散热也是问题。Jetson Nano跑满负载时温度能到80度会触发降频。我一般会加一个小风扇或者把推理频率限制在10帧让温度稳定在60度左右。这个细节在实验室里很容易忽略但到了现场就是稳定性问题。7.4 后续可以扩展的方向人头识别本身是个基础能力往上可以搭很多应用。比如姿态估计——在头部框的基础上估计头的朝向正脸、侧脸、低头这需要额外训练一个分类网络。再比如口罩检测——判断人头是否戴口罩这在公共卫生场景很有用。还有安全帽检测——工地场景里判断工人是否戴安全帽这个和口罩检测的技术路线一样只是类别不同。另一个方向是跨镜跟踪——同一个人从摄像头A走到摄像头B如何关联起来。这需要ReID特征加上时空约束。跨镜跟踪的难点在于不同摄像头的视角、光照、分辨率差异很大ReID特征很难通用。我试过用域自适应的方法在目标域上做无监督微调能提升约10个点的匹配率。最后分享一个小技巧在推理时对输入图像做直方图均衡化能显著提升暗光场景的检测率。这个操作耗时不到1ms但效果立竿见影。我试过在夜间监控上均衡化后召回率从0.65提升到0.82。代价是白天场景可能过曝所以要根据光照传感器动态决定是否启用。