1. 从零散需求到系统梳理ReID技术现状的观察起点行人重识别Person Re-identification简称ReID这个方向这几年在学术圈和工业界的受关注程度一直居高不下。我最初接触这个领域是在一个跨摄像头追踪的模拟项目里当时需要把不同机位拍到的同一个人关联起来试了几种方案之后才发现ReID远不是“提取特征然后算距离”这么简单。光照变化、遮挡、姿态差异、分辨率不一致、跨域迁移——每一个问题单独拎出来都够写好几篇论文。也正因为如此每隔一段时间就会有新的SOTAState-of-the-Art方法冒出来刷新各个数据集的榜单。但问题在于ReID的子方向实在太多了。有人做监督学习下的全局特征有人做局部特征对齐有人搞无监督域自适应有人专攻换衣场景还有人把Transformer、扩散模型、CLIP这些新架构往ReID上搬。如果你是一个刚入门的同学或者是一个需要快速选型的工程师面对铺天盖地的论文很容易陷入“看标题都觉得厉害但不知道哪个真正适合自己”的困境。我自己就经历过这个阶段——收藏夹里堆了几十篇论文真正精读并复现过的不到五篇。所以这篇内容的目的很明确把现阶段ReID方向上公认的、有代表性的SOTA工作做一次系统性的汇总和拆解。不是简单罗列论文标题和链接而是按照技术路线分类讲清楚每一类方法解决的核心问题是什么、关键技术手段是什么、在哪些数据集上表现突出、以及在实际落地时有哪些坑。适合正在做ReID相关研究的研究生、需要做技术选型的算法工程师以及对这一领域感兴趣想快速建立认知框架的开发者。需要提前说明的是ReID领域的论文更新速度极快今天所谓的SOTA可能三个月后就被超越。所以我更倾向于把重点放在“技术思路的演进脉络”和“不同路线的适用边界”上而不是死磕某一个具体的精度数字。理解了脉络你自然知道该往哪个方向跟。2. 监督学习范式下的全局特征与局部特征之争2.1 全局特征方法的演进从IDE到强基线ReID最早的主流做法是全局特征提取也就是把整张行人图片送进骨干网络得到一个高维特征向量然后用度量学习或者分类损失来训练。早期的IDEID-Embedding基线就是典型代表用ResNet-50做骨干配合Softmax分类损失和三元组损失。这个思路简单直接但很快暴露出一个问题全局特征对遮挡和姿态变化非常敏感因为网络倾向于关注最具判别力的区域一旦这个区域被遮挡特征就废了。后来出现了一批“强基线”工作核心思路是在不改变全局特征框架的前提下通过训练技巧把性能推到极致。比如BoTBag of Tricks这篇工作系统性地验证了哪些训练技巧真正有效Warmup学习率、Random Erasing数据增强、Label Smoothing、BNNeck结构、以及Circle Loss等。BoT的意义在于它让社区意识到很多所谓的“新方法”其实不如把基础训练流程做扎实。我在自己的模拟项目里复现过BoT在Market-1501上mAP能到85%以上这个数字在当年已经相当能打了。但全局特征的天花板也很明显。当两个行人穿着相似、体型相近时全局特征很难区分。这就催生了局部特征方法。2.2 局部特征对齐PCB、MGN与它们的改进PCBPart-based Convolutional Baseline是局部特征方法的里程碑式工作。它的做法很直接把骨干网络输出的特征图在水平方向上均匀切成6份每一份单独做分类和度量学习最后拼接起来作为最终特征。这样做的好处是网络被迫关注身体的各个局部区域即使某个区域被遮挡其他区域仍然能提供判别信息。MGNMultiple Granularity Network在PCB的基础上做了进一步细化它同时使用全局分支和两个局部分支分别切成2份和3份形成多粒度的特征表示。这种多尺度思路在当时的Market-1501和DukeMTMC-reID上都取得了很好的效果。不过局部特征方法有一个共同的痛点切分是固定的但行人在图像中的位置和姿态是变化的。如果一个人侧身站着水平切分得到的“上半身”可能只包含一只胳膊。为了解决这个问题后续出现了基于注意力机制的局部特征方法比如IANetInteracting Attention Network它通过注意力图自动定位有判别力的区域而不是机械地切分。还有SCPNetSpatially Constrained Patch Network通过空间约束让局部特征在语义上保持一致。我在实际测试中发现局部特征方法对骨干网络的分辨率比较敏感。输入图像从256x128提升到384x192时PCB的mAP通常能涨2-3个点但推理速度会明显下降。所以如果是在边缘设备上部署全局特征强基线可能比局部特征更实用。2.3 注意力机制与Transformer的引入Transformer进入ReID领域是一个重要的转折点。最早引起广泛关注的是TransReID它把ViTVision Transformer作为骨干网络并针对ReID任务做了两个关键改进一是提出了SIESide Information Embedding模块把摄像头ID和视角信息编码进Transformer二是设计了JPMJigsaw Patch Module通过打乱patch顺序来增强局部特征的鲁棒性。TransReID在MSMT17和Market-1501上都刷新了当时的SOTA。但它的参数量和计算量也大幅增加训练一个TransReID模型需要的显存至少是ResNet-50基线的两倍。后来出现了很多轻量化改进比如PASSPart-Aware Self-Supervised通过自监督预训练减少对标注数据的依赖还有DCALDual-Cluster Attention Learning通过双聚类注意力来降低计算复杂度。这里有一个经验性的观察Transformer类方法在数据量充足时优势明显但在小规模数据集上反而不如CNN稳定。我试过在一个只有几千张图片的自建数据集上跑TransReID过拟合非常严重最后还是要靠强数据增强和早停来缓解。3. 无监督与域自适应让ReID走出实验室的关键路线3.1 无监督ReID的核心挑战与聚类范式监督学习下的ReID方法在标准数据集上精度很高但一到真实场景就拉胯根本原因是域偏移Domain Gap。不同摄像头、不同场景、不同时间段拍到的行人数据分布差异巨大而标注成本又极高。所以无监督ReID和域自适应ReID成为了近几年的研究热点。无监督ReID最主流的范式是“聚类伪标签”。具体来说先用一个在源域上预训练的模型提取目标域所有图片的特征然后做聚类通常是DBSCAN或K-Means把同一个簇的图片视为同一个人赋予伪标签再用这些伪标签去微调模型。这个过程迭代进行直到收敛。这个范式的代表工作是Cluster-Contrast它首次系统性地验证了聚类伪标签在无监督ReID中的有效性。后续的SpCLSelf-paced Contrastive Learning引入了自步学习策略逐步增加伪标签的可靠性ICEInter-Cluster and Inter-Instance Contrastive Embedding则通过对比学习来增强簇内紧凑性和簇间分离度。3.2 域自适应方法从风格迁移到互学习域自适应ReID的目标是利用有标注的源域数据和无标注的目标域数据训练一个在目标域上表现好的模型。早期的方法主要靠风格迁移比如SPGANSimilarity Preserving GAN用CycleGAN把源域图片转换成目标域风格从而缩小域间差异。但这类方法生成图像的质量不稳定而且训练GAN本身就很麻烦。后来主流转向了互学习Mutual Learning框架。MMTMutual Mean-Teaching是其中的代表它同时维护两个网络分别用源域监督损失和目标域伪标签损失来训练两个网络互相提供软伪标签作为对方的监督信号。这种“互相教”的机制能有效抑制伪标签噪声的累积。MMT在Market-1501到MSMT17的跨域任务上比之前的SOTA提升了近10个mAP点。还有一个值得关注的方向是DAAMDomain Adaptive Attention Model它通过注意力机制自动识别域不变特征和域特有特征在特征层面做解耦。这个思路在多个跨域基准上都表现不错但实现复杂度较高调参空间也大。3.3 无监督方法的实际落地难点虽然无监督ReID的论文指标越来越好看但实际落地时有几个坑必须注意。第一聚类算法的超参数非常敏感。DBSCAN的eps和min_samples稍微变一点聚类结果可能天差地别。我在一个模拟项目里试过同一份数据用不同的eps值最终mAP差了将近8个点。第二伪标签的噪声会累积。如果第一轮聚类把两个人错误地合并了后续迭代很难纠正回来。第三无监督方法通常需要多轮迭代训练时间成本远高于监督方法。所以我的建议是如果目标域有一些标注数据哪怕很少优先考虑半监督或域自适应方法而不是纯无监督。如果完全没有标注那至少要保证目标域的数据量足够大否则聚类本身就不稳定。4. 换衣ReID与跨模态ReID细分场景下的技术突破4.1 换衣场景从LTCC到PRCC的挑战换衣ReIDCloth-Changing ReID是近几年非常活跃的细分方向。传统ReID假设同一个人穿同一套衣服但现实中一个人今天穿外套明天穿T恤外观特征完全变了。LTCC和PRCC是两个专门针对换衣场景构建的数据集前者包含大量同一人不同着装的样本后者则进一步引入了姿态变化和遮挡。解决换衣问题的核心思路是提取与服装无关的特征主要依赖人体姿态、体型、发型、面部等生物特征。代表性工作有FSAMFeature-Style Attention Module它通过分离服装风格特征和人体结构特征来实现换衣不变性。还有CALCloth-Agnostic Learning利用人体解析模型把服装区域mask掉强制网络关注非服装区域。但换衣ReID的难度依然很大。我实测过CAL在LTCC上的表现虽然比基线提升了十几个点但绝对精度仍然不高尤其是当两个人体型相近且都换了衣服时误匹配率很高。这个方向离真正落地还有距离。4.2 跨模态ReID文本到图像的检索跨模态ReID是另一个快速崛起的子方向目标是用文本描述来检索行人图像。比如输入“一个穿红色外套、黑色裤子、背着双肩包的男性”系统要在图像库中找到匹配的人。这个任务的技术栈和传统ReID差异很大通常需要CLIP这类视觉-语言预训练模型来做跨模态对齐。代表性工作有CLIP-ReID它利用CLIP的图像编码器和文本编码器分别提取特征然后通过对比学习让匹配的图文对在特征空间中靠近。还有TIPCBText-Image Person Cross-modal Baseline专门针对跨模态ReID设计了双流架构和身份感知损失。跨模态ReID的评测指标和传统ReID不同主要看Rank-1和mAP但文本描述的多样性使得评测本身就有一定主观性。我在测试中发现同一个人的不同文本描述比如“穿蓝色衬衫”vs“穿蓝色上衣”可能导致检索结果差异很大这说明模型对细粒度语义的捕捉还不够稳定。4.3 视频ReID与3D人体建模的融合视频ReID利用多帧信息来增强特征表示核心思路是通过时序建模聚合帧级特征。早期方法用RNN或平均池化后来出现了3D卷积和时空注意力机制。代表工作有STGCNSpatio-Temporal Graph Convolutional Network它把人体骨架序列建模成图结构通过图卷积来提取时空特征。最近还有一个趋势是把3D人体建模引入ReID。比如用SMPL模型重建行人的3D体型然后提取体型特征作为补充。这个思路在换衣场景下特别有价值因为体型不随服装变化。但3D重建本身的计算开销很大而且对图像质量要求高目前还停留在研究阶段。5. 评测基准、常用数据集与指标解读5.1 主流数据集对比与选择建议ReID领域的数据集很多但常用的就那么几个。Market-1501是最经典的包含1501个行人、32668张图片由6个摄像头采集。DukeMTMC-reID规模更大有1812个行人、36411张图片场景更复杂。MSMT17是目前最大的包含4101个行人、126441张图片由15个摄像头采集跨域难度最高。数据集行人数图片数摄像头数特点Market-15011501326686经典基准场景相对简单DukeMTMC-reID1812364118场景复杂遮挡较多MSMT17410112644115规模最大跨域难度高LTCC1521713812换衣场景专用PRCC221336983换衣姿态变化选择数据集时如果你的方法主打跨域泛化MSMT17是必测的如果做换衣ReIDLTCC和PRCC是标配如果只是验证基础想法Market-1501足够。需要注意的是Market-1501的饱和程度已经很高Rank-1超过95%的方法很多区分度不大建议同时报告mAP。5.2 评测指标Rank-k与mAP的计算逻辑ReID的评测指标主要有两个Rank-k和mAP。Rank-k表示在检索结果的前k个位置中找到正确匹配的概率通常看Rank-1、Rank-5、Rank-10。mAPMean Average Precision则综合考虑了所有正确匹配的排名更能反映整体检索质量。计算mAP时对于每个查询样本先计算Precision-Recall曲线然后求APAverage Precision最后对所有查询样本的AP求平均。这里有一个容易忽略的细节ReID中通常采用“单查询”模式即每次用一个查询图像去检索图库而不是像图像检索那样用多查询。另外同一个人可能有多个正确匹配因为图库中有多张该人的图片mAP的计算需要把这些都考虑进去。我在复现论文时发现不同代码库对mAP的实现细节有差异比如是否排除同摄像头同ID的样本、是否使用CUDA加速的近似计算等。这些差异可能导致结果有1-2个点的波动。所以比较不同论文的指标时最好确认它们的评测代码是否一致。5.3 跨域评测协议Direct Transfer与Fine-tuning跨域评测通常有两种协议Direct Transfer和Fine-tuning。Direct Transfer是指模型在源域训练后直接在目标域测试不接触任何目标域数据。Fine-tuning则允许在目标域上做无监督或半监督微调。两种协议的难度差异很大Direct Transfer的指标通常比Fine-tuning低10-20个mAP点。看论文时一定要确认它用的是哪种协议。有些论文在Abstract里只写“在MSMT17上达到XX mAP”但不说是Direct Transfer还是Fine-tuning这会导致误解。我一般会直接翻到实验部分确认如果找不到明确说明就默认是Fine-tuning因为Direct Transfer的指标通常不会那么高。6. 复现与选型的实操经验从论文到可运行代码6.1 代码库选择FastReID、Torchreid与OpenUnReIDReID领域有几个比较成熟的开源代码库。FastReID是京东开源的工程化程度高支持多种骨干网络和损失函数适合做工业级部署。Torchreid是帝国理工开源的学术气息更浓复现了很多经典方法代码结构清晰适合做研究。OpenUnReID则专注于无监督和域自适应ReID集成了Cluster-Contrast、SpCL、MMT等方法。我的建议是如果你要做监督学习下的ReID从FastReID或Torchreid入手如果做无监督或域自适应OpenUnReID更合适。但要注意这些代码库的默认配置不一定是最优的比如学习率、batch size、数据增强策略等需要根据你的数据集做调整。6.2 训练调参的常见陷阱ReID训练中有几个参数特别容易踩坑。第一是学习率。ReID通常用SGD或Adam初始学习率在0.0003到0.05之间具体取决于骨干网络和batch size。如果学习率太大损失会震荡不收敛太小则收敛慢且容易陷入局部最优。我一般会先用小学习率跑几个epoch看损失曲线再决定是否调大。第二是batch size和采样策略。ReID通常用PK采样即每个batch包含P个行人每人K张图片。P和K的取值对性能影响很大。P太小会导致类内多样性不足P太大则显存吃紧。常用的配置是P16K4总batch size64。如果显存允许P32K4效果通常更好。第三是数据增强。Random Erasing、Random Crop、Color Jitter是标配但要注意增强的强度。过度增强会导致训练不稳定尤其是Color Jitter色相偏移太大会让模型学不到颜色特征。我在一个项目里把Color Jitter的hue参数设成0.1结果mAP掉了3个点后来改成0.05才恢复正常。6.3 从论文指标到实际部署的差距论文里的指标都是在标准数据集上测的实际部署时的表现往往差很多。我总结了几条经验第一论文模型通常输入分辨率是256x128但实际摄像头拍到的行人可能是任意尺寸直接resize会损失信息。建议在部署时保持原始宽高比用padding补齐。第二论文模型在训练集上过拟合严重换一个场景mAP可能掉20个点以上。如果目标场景固定最好采集一些目标场景的数据做微调。第三推理速度是论文里很少提的。TransReID类模型在V100上单张推理要几十毫秒如果要做实时追踪可能需要用TensorRT或ONNX做加速或者换回轻量级CNN骨干。还有一个容易被忽略的点ReID模型的输出是特征向量实际使用时需要建索引做最近邻检索。如果图库有几十万张图片暴力检索是不现实的需要用FAISS或ScaNN做近似最近邻搜索。这些工程细节论文里不会写但落地时绕不开。7. 当前SOTA方法的横向对比与适用场景建议7.1 监督ReID精度优先还是效率优先如果你的场景有充足的标注数据且对精度要求极高那TransReID及其改进版本是首选。它在MSMT17上能到70%以上的mAP比CNN基线高出一大截。但代价是参数量大、推理慢。如果部署在服务器端且对延迟不敏感这个代价可以接受。如果需要在边缘设备上跑或者对推理速度有要求那BoTResNet-50仍然是性价比最高的选择。虽然它的mAP比TransReID低几个点但速度快3-5倍而且训练成本低得多。我在一个模拟项目中用BoTResNet-50在Jetson Xavier上跑单张推理不到10毫秒完全能满足实时需求。7.2 无监督与域自适应数据量决定路线无监督ReID的选型主要看目标域的数据量。如果目标域有超过1万张图片Cluster-Contrast或SpCL是不错的选择它们对数据量有一定要求数据太少聚类不稳定。如果数据量在几千张左右MMT这类互学习方法更合适因为它可以利用源域的监督信号来稳定训练。如果目标域数据量极少几百张那纯无监督方法基本不可行建议考虑半监督方法或者直接用源域模型做Direct Transfer然后在目标域上做少量标注做Fine-tuning。7.3 换衣与跨模态按业务需求匹配换衣ReID目前还没有特别成熟的落地方案如果你的业务场景中换衣是主要挑战建议先评估一下是否真的需要ReID或者是否可以通过其他模态如人脸、步态来辅助。跨模态ReID则更适合有文本检索需求的场景比如安防中的“用文字描述搜人”。但要注意跨模态ReID的精度目前还不足以支撑高可靠性场景更多是作为辅助检索手段。场景推荐方法优势局限标注充足精度优先TransReID系列精度最高推理慢显存大标注充足效率优先BoTResNet-50速度快训练成本低精度略低无标注数据量大Cluster-Contrast/SpCL无需标注聚类调参敏感无标注数据量中MMT训练稳定需要源域数据换衣场景CAL/FSAM针对性强绝对精度有限文本检索CLIP-ReID跨模态对齐语义捕捉不稳定8. 我在ReID实践中的几点个人体会踩了这么多坑之后我最大的体会是ReID不是一个“选一个SOTA方法就能解决”的问题而是一个需要根据场景不断调整的系统工程。论文里的SOTA是在特定数据集、特定评测协议下测出来的换一个场景可能完全不是那么回事。所以与其追着最新的论文跑不如先把基础流程做扎实——数据清洗、采样策略、损失函数组合、学习率调度这些看似不起眼的东西往往比换一个花哨的模块更有效。另外ReID的评测一定要自己动手跑一遍。我见过太多论文的指标无法复现有的是因为评测代码不一致有的是因为超参数没调好还有的是因为数据泄露。自己跑一遍不仅能验证方法的有效性还能发现论文里没写的细节问题。最后ReID这个方向变化很快但核心问题一直没变怎么在跨摄像头、跨场景、跨时间的条件下稳定地识别同一个人。理解了这个问题你就知道该关注哪些论文、该往哪个方向优化。至于具体的SOTA方法今天的第一明天可能就变成第二了保持对技术脉络的理解比记住某个具体的精度数字重要得多。 
长河君 · 2026/10/13 1:21:20 · 阅读 1.2k 行人重识别ReID技术全景：从监督学习到无监督域自适应的SOTA方法汇总与选型指南
1. 从零散需求到系统梳理ReID技术现状的观察起点行人重识别Person Re-identification简称ReID这个方向这几年在学术圈和工业界的受关注程度一直居高不下。我最初接触这个领域是在一个跨摄像头追踪的模拟项目里当时需要把不同机位拍到的同一个人关联起来试了几种方案之后才发现ReID远不是“提取特征然后算距离”这么简单。光照变化、遮挡、姿态差异、分辨率不一致、跨域迁移——每一个问题单独拎出来都够写好几篇论文。也正因为如此每隔一段时间就会有新的SOTAState-of-the-Art方法冒出来刷新各个数据集的榜单。但问题在于ReID的子方向实在太多了。有人做监督学习下的全局特征有人做局部特征对齐有人搞无监督域自适应有人专攻换衣场景还有人把Transformer、扩散模型、CLIP这些新架构往ReID上搬。如果你是一个刚入门的同学或者是一个需要快速选型的工程师面对铺天盖地的论文很容易陷入“看标题都觉得厉害但不知道哪个真正适合自己”的困境。我自己就经历过这个阶段——收藏夹里堆了几十篇论文真正精读并复现过的不到五篇。所以这篇内容的目的很明确把现阶段ReID方向上公认的、有代表性的SOTA工作做一次系统性的汇总和拆解。不是简单罗列论文标题和链接而是按照技术路线分类讲清楚每一类方法解决的核心问题是什么、关键技术手段是什么、在哪些数据集上表现突出、以及在实际落地时有哪些坑。适合正在做ReID相关研究的研究生、需要做技术选型的算法工程师以及对这一领域感兴趣想快速建立认知框架的开发者。需要提前说明的是ReID领域的论文更新速度极快今天所谓的SOTA可能三个月后就被超越。所以我更倾向于把重点放在“技术思路的演进脉络”和“不同路线的适用边界”上而不是死磕某一个具体的精度数字。理解了脉络你自然知道该往哪个方向跟。2. 监督学习范式下的全局特征与局部特征之争2.1 全局特征方法的演进从IDE到强基线ReID最早的主流做法是全局特征提取也就是把整张行人图片送进骨干网络得到一个高维特征向量然后用度量学习或者分类损失来训练。早期的IDEID-Embedding基线就是典型代表用ResNet-50做骨干配合Softmax分类损失和三元组损失。这个思路简单直接但很快暴露出一个问题全局特征对遮挡和姿态变化非常敏感因为网络倾向于关注最具判别力的区域一旦这个区域被遮挡特征就废了。后来出现了一批“强基线”工作核心思路是在不改变全局特征框架的前提下通过训练技巧把性能推到极致。比如BoTBag of Tricks这篇工作系统性地验证了哪些训练技巧真正有效Warmup学习率、Random Erasing数据增强、Label Smoothing、BNNeck结构、以及Circle Loss等。BoT的意义在于它让社区意识到很多所谓的“新方法”其实不如把基础训练流程做扎实。我在自己的模拟项目里复现过BoT在Market-1501上mAP能到85%以上这个数字在当年已经相当能打了。但全局特征的天花板也很明显。当两个行人穿着相似、体型相近时全局特征很难区分。这就催生了局部特征方法。2.2 局部特征对齐PCB、MGN与它们的改进PCBPart-based Convolutional Baseline是局部特征方法的里程碑式工作。它的做法很直接把骨干网络输出的特征图在水平方向上均匀切成6份每一份单独做分类和度量学习最后拼接起来作为最终特征。这样做的好处是网络被迫关注身体的各个局部区域即使某个区域被遮挡其他区域仍然能提供判别信息。MGNMultiple Granularity Network在PCB的基础上做了进一步细化它同时使用全局分支和两个局部分支分别切成2份和3份形成多粒度的特征表示。这种多尺度思路在当时的Market-1501和DukeMTMC-reID上都取得了很好的效果。不过局部特征方法有一个共同的痛点切分是固定的但行人在图像中的位置和姿态是变化的。如果一个人侧身站着水平切分得到的“上半身”可能只包含一只胳膊。为了解决这个问题后续出现了基于注意力机制的局部特征方法比如IANetInteracting Attention Network它通过注意力图自动定位有判别力的区域而不是机械地切分。还有SCPNetSpatially Constrained Patch Network通过空间约束让局部特征在语义上保持一致。我在实际测试中发现局部特征方法对骨干网络的分辨率比较敏感。输入图像从256x128提升到384x192时PCB的mAP通常能涨2-3个点但推理速度会明显下降。所以如果是在边缘设备上部署全局特征强基线可能比局部特征更实用。2.3 注意力机制与Transformer的引入Transformer进入ReID领域是一个重要的转折点。最早引起广泛关注的是TransReID它把ViTVision Transformer作为骨干网络并针对ReID任务做了两个关键改进一是提出了SIESide Information Embedding模块把摄像头ID和视角信息编码进Transformer二是设计了JPMJigsaw Patch Module通过打乱patch顺序来增强局部特征的鲁棒性。TransReID在MSMT17和Market-1501上都刷新了当时的SOTA。但它的参数量和计算量也大幅增加训练一个TransReID模型需要的显存至少是ResNet-50基线的两倍。后来出现了很多轻量化改进比如PASSPart-Aware Self-Supervised通过自监督预训练减少对标注数据的依赖还有DCALDual-Cluster Attention Learning通过双聚类注意力来降低计算复杂度。这里有一个经验性的观察Transformer类方法在数据量充足时优势明显但在小规模数据集上反而不如CNN稳定。我试过在一个只有几千张图片的自建数据集上跑TransReID过拟合非常严重最后还是要靠强数据增强和早停来缓解。3. 无监督与域自适应让ReID走出实验室的关键路线3.1 无监督ReID的核心挑战与聚类范式监督学习下的ReID方法在标准数据集上精度很高但一到真实场景就拉胯根本原因是域偏移Domain Gap。不同摄像头、不同场景、不同时间段拍到的行人数据分布差异巨大而标注成本又极高。所以无监督ReID和域自适应ReID成为了近几年的研究热点。无监督ReID最主流的范式是“聚类伪标签”。具体来说先用一个在源域上预训练的模型提取目标域所有图片的特征然后做聚类通常是DBSCAN或K-Means把同一个簇的图片视为同一个人赋予伪标签再用这些伪标签去微调模型。这个过程迭代进行直到收敛。这个范式的代表工作是Cluster-Contrast它首次系统性地验证了聚类伪标签在无监督ReID中的有效性。后续的SpCLSelf-paced Contrastive Learning引入了自步学习策略逐步增加伪标签的可靠性ICEInter-Cluster and Inter-Instance Contrastive Embedding则通过对比学习来增强簇内紧凑性和簇间分离度。3.2 域自适应方法从风格迁移到互学习域自适应ReID的目标是利用有标注的源域数据和无标注的目标域数据训练一个在目标域上表现好的模型。早期的方法主要靠风格迁移比如SPGANSimilarity Preserving GAN用CycleGAN把源域图片转换成目标域风格从而缩小域间差异。但这类方法生成图像的质量不稳定而且训练GAN本身就很麻烦。后来主流转向了互学习Mutual Learning框架。MMTMutual Mean-Teaching是其中的代表它同时维护两个网络分别用源域监督损失和目标域伪标签损失来训练两个网络互相提供软伪标签作为对方的监督信号。这种“互相教”的机制能有效抑制伪标签噪声的累积。MMT在Market-1501到MSMT17的跨域任务上比之前的SOTA提升了近10个mAP点。还有一个值得关注的方向是DAAMDomain Adaptive Attention Model它通过注意力机制自动识别域不变特征和域特有特征在特征层面做解耦。这个思路在多个跨域基准上都表现不错但实现复杂度较高调参空间也大。3.3 无监督方法的实际落地难点虽然无监督ReID的论文指标越来越好看但实际落地时有几个坑必须注意。第一聚类算法的超参数非常敏感。DBSCAN的eps和min_samples稍微变一点聚类结果可能天差地别。我在一个模拟项目里试过同一份数据用不同的eps值最终mAP差了将近8个点。第二伪标签的噪声会累积。如果第一轮聚类把两个人错误地合并了后续迭代很难纠正回来。第三无监督方法通常需要多轮迭代训练时间成本远高于监督方法。所以我的建议是如果目标域有一些标注数据哪怕很少优先考虑半监督或域自适应方法而不是纯无监督。如果完全没有标注那至少要保证目标域的数据量足够大否则聚类本身就不稳定。4. 换衣ReID与跨模态ReID细分场景下的技术突破4.1 换衣场景从LTCC到PRCC的挑战换衣ReIDCloth-Changing ReID是近几年非常活跃的细分方向。传统ReID假设同一个人穿同一套衣服但现实中一个人今天穿外套明天穿T恤外观特征完全变了。LTCC和PRCC是两个专门针对换衣场景构建的数据集前者包含大量同一人不同着装的样本后者则进一步引入了姿态变化和遮挡。解决换衣问题的核心思路是提取与服装无关的特征主要依赖人体姿态、体型、发型、面部等生物特征。代表性工作有FSAMFeature-Style Attention Module它通过分离服装风格特征和人体结构特征来实现换衣不变性。还有CALCloth-Agnostic Learning利用人体解析模型把服装区域mask掉强制网络关注非服装区域。但换衣ReID的难度依然很大。我实测过CAL在LTCC上的表现虽然比基线提升了十几个点但绝对精度仍然不高尤其是当两个人体型相近且都换了衣服时误匹配率很高。这个方向离真正落地还有距离。4.2 跨模态ReID文本到图像的检索跨模态ReID是另一个快速崛起的子方向目标是用文本描述来检索行人图像。比如输入“一个穿红色外套、黑色裤子、背着双肩包的男性”系统要在图像库中找到匹配的人。这个任务的技术栈和传统ReID差异很大通常需要CLIP这类视觉-语言预训练模型来做跨模态对齐。代表性工作有CLIP-ReID它利用CLIP的图像编码器和文本编码器分别提取特征然后通过对比学习让匹配的图文对在特征空间中靠近。还有TIPCBText-Image Person Cross-modal Baseline专门针对跨模态ReID设计了双流架构和身份感知损失。跨模态ReID的评测指标和传统ReID不同主要看Rank-1和mAP但文本描述的多样性使得评测本身就有一定主观性。我在测试中发现同一个人的不同文本描述比如“穿蓝色衬衫”vs“穿蓝色上衣”可能导致检索结果差异很大这说明模型对细粒度语义的捕捉还不够稳定。4.3 视频ReID与3D人体建模的融合视频ReID利用多帧信息来增强特征表示核心思路是通过时序建模聚合帧级特征。早期方法用RNN或平均池化后来出现了3D卷积和时空注意力机制。代表工作有STGCNSpatio-Temporal Graph Convolutional Network它把人体骨架序列建模成图结构通过图卷积来提取时空特征。最近还有一个趋势是把3D人体建模引入ReID。比如用SMPL模型重建行人的3D体型然后提取体型特征作为补充。这个思路在换衣场景下特别有价值因为体型不随服装变化。但3D重建本身的计算开销很大而且对图像质量要求高目前还停留在研究阶段。5. 评测基准、常用数据集与指标解读5.1 主流数据集对比与选择建议ReID领域的数据集很多但常用的就那么几个。Market-1501是最经典的包含1501个行人、32668张图片由6个摄像头采集。DukeMTMC-reID规模更大有1812个行人、36411张图片场景更复杂。MSMT17是目前最大的包含4101个行人、126441张图片由15个摄像头采集跨域难度最高。数据集行人数图片数摄像头数特点Market-15011501326686经典基准场景相对简单DukeMTMC-reID1812364118场景复杂遮挡较多MSMT17410112644115规模最大跨域难度高LTCC1521713812换衣场景专用PRCC221336983换衣姿态变化选择数据集时如果你的方法主打跨域泛化MSMT17是必测的如果做换衣ReIDLTCC和PRCC是标配如果只是验证基础想法Market-1501足够。需要注意的是Market-1501的饱和程度已经很高Rank-1超过95%的方法很多区分度不大建议同时报告mAP。5.2 评测指标Rank-k与mAP的计算逻辑ReID的评测指标主要有两个Rank-k和mAP。Rank-k表示在检索结果的前k个位置中找到正确匹配的概率通常看Rank-1、Rank-5、Rank-10。mAPMean Average Precision则综合考虑了所有正确匹配的排名更能反映整体检索质量。计算mAP时对于每个查询样本先计算Precision-Recall曲线然后求APAverage Precision最后对所有查询样本的AP求平均。这里有一个容易忽略的细节ReID中通常采用“单查询”模式即每次用一个查询图像去检索图库而不是像图像检索那样用多查询。另外同一个人可能有多个正确匹配因为图库中有多张该人的图片mAP的计算需要把这些都考虑进去。我在复现论文时发现不同代码库对mAP的实现细节有差异比如是否排除同摄像头同ID的样本、是否使用CUDA加速的近似计算等。这些差异可能导致结果有1-2个点的波动。所以比较不同论文的指标时最好确认它们的评测代码是否一致。5.3 跨域评测协议Direct Transfer与Fine-tuning跨域评测通常有两种协议Direct Transfer和Fine-tuning。Direct Transfer是指模型在源域训练后直接在目标域测试不接触任何目标域数据。Fine-tuning则允许在目标域上做无监督或半监督微调。两种协议的难度差异很大Direct Transfer的指标通常比Fine-tuning低10-20个mAP点。看论文时一定要确认它用的是哪种协议。有些论文在Abstract里只写“在MSMT17上达到XX mAP”但不说是Direct Transfer还是Fine-tuning这会导致误解。我一般会直接翻到实验部分确认如果找不到明确说明就默认是Fine-tuning因为Direct Transfer的指标通常不会那么高。6. 复现与选型的实操经验从论文到可运行代码6.1 代码库选择FastReID、Torchreid与OpenUnReIDReID领域有几个比较成熟的开源代码库。FastReID是京东开源的工程化程度高支持多种骨干网络和损失函数适合做工业级部署。Torchreid是帝国理工开源的学术气息更浓复现了很多经典方法代码结构清晰适合做研究。OpenUnReID则专注于无监督和域自适应ReID集成了Cluster-Contrast、SpCL、MMT等方法。我的建议是如果你要做监督学习下的ReID从FastReID或Torchreid入手如果做无监督或域自适应OpenUnReID更合适。但要注意这些代码库的默认配置不一定是最优的比如学习率、batch size、数据增强策略等需要根据你的数据集做调整。6.2 训练调参的常见陷阱ReID训练中有几个参数特别容易踩坑。第一是学习率。ReID通常用SGD或Adam初始学习率在0.0003到0.05之间具体取决于骨干网络和batch size。如果学习率太大损失会震荡不收敛太小则收敛慢且容易陷入局部最优。我一般会先用小学习率跑几个epoch看损失曲线再决定是否调大。第二是batch size和采样策略。ReID通常用PK采样即每个batch包含P个行人每人K张图片。P和K的取值对性能影响很大。P太小会导致类内多样性不足P太大则显存吃紧。常用的配置是P16K4总batch size64。如果显存允许P32K4效果通常更好。第三是数据增强。Random Erasing、Random Crop、Color Jitter是标配但要注意增强的强度。过度增强会导致训练不稳定尤其是Color Jitter色相偏移太大会让模型学不到颜色特征。我在一个项目里把Color Jitter的hue参数设成0.1结果mAP掉了3个点后来改成0.05才恢复正常。6.3 从论文指标到实际部署的差距论文里的指标都是在标准数据集上测的实际部署时的表现往往差很多。我总结了几条经验第一论文模型通常输入分辨率是256x128但实际摄像头拍到的行人可能是任意尺寸直接resize会损失信息。建议在部署时保持原始宽高比用padding补齐。第二论文模型在训练集上过拟合严重换一个场景mAP可能掉20个点以上。如果目标场景固定最好采集一些目标场景的数据做微调。第三推理速度是论文里很少提的。TransReID类模型在V100上单张推理要几十毫秒如果要做实时追踪可能需要用TensorRT或ONNX做加速或者换回轻量级CNN骨干。还有一个容易被忽略的点ReID模型的输出是特征向量实际使用时需要建索引做最近邻检索。如果图库有几十万张图片暴力检索是不现实的需要用FAISS或ScaNN做近似最近邻搜索。这些工程细节论文里不会写但落地时绕不开。7. 当前SOTA方法的横向对比与适用场景建议7.1 监督ReID精度优先还是效率优先如果你的场景有充足的标注数据且对精度要求极高那TransReID及其改进版本是首选。它在MSMT17上能到70%以上的mAP比CNN基线高出一大截。但代价是参数量大、推理慢。如果部署在服务器端且对延迟不敏感这个代价可以接受。如果需要在边缘设备上跑或者对推理速度有要求那BoTResNet-50仍然是性价比最高的选择。虽然它的mAP比TransReID低几个点但速度快3-5倍而且训练成本低得多。我在一个模拟项目中用BoTResNet-50在Jetson Xavier上跑单张推理不到10毫秒完全能满足实时需求。7.2 无监督与域自适应数据量决定路线无监督ReID的选型主要看目标域的数据量。如果目标域有超过1万张图片Cluster-Contrast或SpCL是不错的选择它们对数据量有一定要求数据太少聚类不稳定。如果数据量在几千张左右MMT这类互学习方法更合适因为它可以利用源域的监督信号来稳定训练。如果目标域数据量极少几百张那纯无监督方法基本不可行建议考虑半监督方法或者直接用源域模型做Direct Transfer然后在目标域上做少量标注做Fine-tuning。7.3 换衣与跨模态按业务需求匹配换衣ReID目前还没有特别成熟的落地方案如果你的业务场景中换衣是主要挑战建议先评估一下是否真的需要ReID或者是否可以通过其他模态如人脸、步态来辅助。跨模态ReID则更适合有文本检索需求的场景比如安防中的“用文字描述搜人”。但要注意跨模态ReID的精度目前还不足以支撑高可靠性场景更多是作为辅助检索手段。场景推荐方法优势局限标注充足精度优先TransReID系列精度最高推理慢显存大标注充足效率优先BoTResNet-50速度快训练成本低精度略低无标注数据量大Cluster-Contrast/SpCL无需标注聚类调参敏感无标注数据量中MMT训练稳定需要源域数据换衣场景CAL/FSAM针对性强绝对精度有限文本检索CLIP-ReID跨模态对齐语义捕捉不稳定8. 我在ReID实践中的几点个人体会踩了这么多坑之后我最大的体会是ReID不是一个“选一个SOTA方法就能解决”的问题而是一个需要根据场景不断调整的系统工程。论文里的SOTA是在特定数据集、特定评测协议下测出来的换一个场景可能完全不是那么回事。所以与其追着最新的论文跑不如先把基础流程做扎实——数据清洗、采样策略、损失函数组合、学习率调度这些看似不起眼的东西往往比换一个花哨的模块更有效。另外ReID的评测一定要自己动手跑一遍。我见过太多论文的指标无法复现有的是因为评测代码不一致有的是因为超参数没调好还有的是因为数据泄露。自己跑一遍不仅能验证方法的有效性还能发现论文里没写的细节问题。最后ReID这个方向变化很快但核心问题一直没变怎么在跨摄像头、跨场景、跨时间的条件下稳定地识别同一个人。理解了这个问题你就知道该关注哪些论文、该往哪个方向优化。至于具体的SOTA方法今天的第一明天可能就变成第二了保持对技术脉络的理解比记住某个具体的精度数字重要得多。