RockTrack: A 3D Robust Multi-Camera-Ken Multi-Object Tracking Framework

基础信息

1. 单位：哈尔滨理工大学
2. 论文：https://arxiv.org/pdf/2409.11749
3. 代码：https://github.com/lixiaoyu2000/Rock-Track (未全部放出)
4. 数据集：nuScenes
   

摘要

1. 随着检测技术的提高，多目标跟踪算法快速发展，特别是经济实惠的多相机跟踪。
2. 现有的多相机端到端跟踪技术，由于训练的原因，导致局限于单一的检测器，导致灵活性降低了。
3. 此外，目前的通用跟踪器忽略了多摄像机检测器的特性，比如：运动观测的不可靠性和视觉信息的可行性。
4. 为了解决这些挑战，本文提出了RockTrack，一种用于多相机检测器的3D MOT方法。
5. 遵循TBD框架，RockTrack与各种现成的探测器兼容。
6. RockTrack包含了一个置信引导的预处理模块，从单个探测器的不同表示空间中提取可靠的运动和图像观测结果。
7. 然后将这些观察结果融合在一个关联模块中，该模块利用几何和外观线索来减少不匹配。
8. 得到的匹配通过分阶段估计过程传播，形成启发式噪声建模的基础。
9. 此外，我们引入了一种新的外观相似度量，明确地描述对象亲和力在多相机设置。
   10.RockTrack在59.1%的AMOTA的视觉跟踪排行榜上取得了最先进的性能，同时展示了令人印象深刻的计算效率。

引言

contributions
1. 我们提出了RockTrack，一种基于TBD框架的鲁棒和灵活的3D MOT方法，专门为多视图探测器设计。
2. 我们引入了一种新的多视图外观相似度度量来明确地捕获对象间的亲和力(affinity)
3. 我们开发了一个可扩展的几何滤波器和适应运动测量噪声，以提高空间可靠性在多相机探测器。我们还提出了一种伪视觉跟踪器滤波器，并实现了多模态匹配，以有效地利用视觉信息。
4. RockTrack建立了一个新的最先进的，59.1%的AMOTA在仅相机test排行榜（多镜头跟踪）。

相关工作

Camera-only 3D Detection.
Camera-only 3D MOT.

方法

A. Confidence-Guided Pre-Processing Module
B. Motion-Appearance Data Association Module
C. Noise-Adaptive Motion Module
D. Lifecycle Module

实验

阅读时间（2024年9月19日）