论文链接：https://arxiv.org/pdf/2405.19620
代码链接：https://github.com/swc-17/SparseDrive

解决了什么问题？

传统模块化的自动驾驶系统可以被解耦为不同的独立模块，如感知、预测和规划，这种范式会面临信息丢失和模块之间错误累积的问题。然而，端到端范式将多个任务整合为一个完全可微的框架，以规划为导向来优化整个系统。尽管端到端范式具有极大的潜力，但是在性能和效率方面而言，目前的方案仍无法令人满意，尤其是在规划安全性方面。

传统的自动驾驶系统基本是模块化的序列。虽然这套范式可解释性强、易于调试错误，但是不可避免地会造成信息丢失和模块之间的错误累积，制约了方案的性能。

最近，端到端驾驶范式是一个极有潜力的研究方向。该范式将所有的任务都整合为一个模型，朝着规划这一终极目标做优化。但是，在表现和效率方面，现有的方案都不太令人满意。一方面，之前的方法都依赖于计算成本高昂的 BEV 特征，另一方面，直接预测和规划制约了模型的表现。作者在下图(a)中将之前的方法总结为 BEV-Centric 范式。

为了充分发掘端到端范式的潜能，作者回顾了现有方案的任务设计，并认为在处理运动预测和规划模块时，它们忽略了三个主要的相似点：

• 高阶双向交互：为了预测其它交通参与者和自车的未来轨迹，运动预测和规划应考虑不同道路使用者之间高阶的、双向的关系，但是之前的方法都采用顺序设计来处理运动预测和规划，忽略了自车对周围参与者的影响。
• 语义和几何信息：准确地预测未来轨迹需要场景理解的语义信息和几何信息，这些信息对运动预测和规划都适用。虽然在上游的感知任务，已经提取了其它交通参与者的信息，但是忽略了自车的信息。
• 多模态问题和不确定性：运动预测和规划都是多模态问题，具有内在的不确定性，但是之前的方法只预测确定性的轨迹来做规划。

相关工作

多视图 3D 检测

多视图 3D 检测是自动驾驶系统安全性的前提。LSS 利用深度估计，将图像特征提升到 3D 空间，然后拍扁到 BEV 平面。后续，一些 3D 检测工作使用了 lift-splat 操作，极大提升了准确性和效率。另一些工作则预先定义一组 BEV queries，将它们映射到透视视图，再采样特征。另一条研究方向则排除了对 BEV 特征的依赖，PETR 系列引入了 3D 位置编码和全局注意力，隐式地学习视图的变换关系。Sparse4D 直接在 3D 空间设置 anchors，然后以迭代的方式，将 anchors 投影到图像视图，聚合局部特征再优化 anchors。

端到端跟踪

大多数多目标跟踪算法采用了“先检测再跟踪”的方式，需要一些后处理操作来跟踪目标，如数据关联。这样的方式无法充分利用神经网络的能力，因为数据关联通常是在检测之后进行的，而不是作为一个端到端的过程。一些工作引入了轨迹查询（track queries），以流的方式建模跟踪实例。MOTR 提出了轨迹感知的标签分配，迫使 track query 持续地检测相同的目标，但在检测和匹配之间存在冲突。Sparse4Dv3 表明在时域传递的实例已经具有了 ID 一致性，只用简单的 ID 分配过程即可取得了 SOTA 的跟踪表现。

在线建图

构建 HD 地图的成本很高，需要大量人工的付出，因此提出了一个替代方案：在线建图。HDMapNet 通过后处理，将 BEV 语义分割组合起来，得到矢量化的地图实例。VectorMapNet 利用了一个两阶段的自回归 transformer 来在线建图。MapTR 将地图元素建模为等价排列组合的点集合，避免了地图元素之间存在模糊的定义。BeMapNet 采用了分段的 Bezier 曲线来描述地图元素的细节。StreamMapNet 针对时域建模，提出了 BEV 融合和查询传递。

端到端的运动预测

提出端到端的运动预测是为了避免传统范式的错误累积。FaF 使用单个卷积网络来预测当前和未来的边框。IntentNet 进一步推理高层级的行为和长期轨迹。PnPNet 为了做运动预测，提出了一个在线跟踪模块，聚合轨迹层级的特征。ViP3D 利用 agent queries，进行跟踪和预测，输入是相机画面和高精地图。PIP 将人工标注的高精地图替换为局部的矢量地图。

端到端规划

上个世纪，人们就已经开始研究端到端的规划了。早期的工作忽略了中间任务，如感知和运动预测。由于缺乏可解释性，难以优化。一些工作直接从感知或预测结果构建代价图，以增强可解释性，但是需要人工规则来选取代价最低的最佳轨迹。UniAD 提出了一个统一的查询设计，将多项任务整合为一个目标导向的模型，在感知、预测和规划任务上都取得了优异的表现。VAD 使用矢量化的表示来学习场景和规划约束。GraphAD 利用图模型，对复杂的交通场景中的关系做建模。FusionAD 将端到端方案扩展到了多传感器输入。但是，之前的方法主要关注在场景学习，它们直接做预测和规划，没有充分地考虑这俩任务之间的相似性，极大制约了模型的性能。

提出了什么方法？

于是作者提出了稀疏表示，回顾了端到端自动驾驶的任务设计，并提出了一个新的范式 SparseDrive，如上图(b) 所示。SparseDrive 包括一个对称的稀疏感知模块和一个并行的运动规划器。对于一个实例（动态道路使用者或静态地图元素），作者用解耦的实例特征和几何 anchor 来完整地表示该实例。稀疏感知模块采用对称的模型架构，学习完全稀疏的场景表示，整合了检测、跟踪和在线建图任务。

在并行的运动规划器中，首先从自车实例初始化模块获得一个语义和几何感知的自车实例。有了自车实例和从稀疏感知获得的其它交通参与者的实例后，同时进行运动预测和规划，获得所有道路使用者的多模态轨迹。为了确保规划路径的合理性和安全性，使用一个分层的规划选择策略（融合了碰撞感知重打分模块），从多模态候选轨迹中选取最终的规划轨迹。

在全部的任务上，SparseDrive 都大幅度领先于当前的 SOTA 方法，并实现了更高的训练和推理效率。SparseDrive 显著地提升了端到端自动驾驶算法的性能，如上图c 所示。SparseDrive-B 降低了 $19.4\%$ 的平均 L2 误差和 $71.4\%$ 的碰撞率。与 UniAD 相比，小模型 SparseDrive-S 在所有的任务上都取得了优异的表现，训练速度提升了 $7.2\times$，推理速度提升了 $5.0\times$。

概览

SparseDrive 的架构如上图所示，包括三个部分：图像编码器、对称的稀疏感知和并行的运动规划器。给定多视图图像，图像编码器包括主干网络和 neck，首先将图像编码为多视图、多尺度的特征图 I = { I s ∈ R N × C × H s × W s ∣ 1 ≤ s ≤ S } I=\{I_s\in\mathbb{R}^{N\times C\times H_s\times W_s}|1\leq s\leq S\} I={Is​∈RN×C×Hs​×Ws​∣1≤s≤S}，$S$ 是尺度的个数，$N$ 是相机视角的个数。在对称的稀疏感知模块，将特征图 $I$聚合为两组实例，学习驾驶场景的稀疏表示。这两组实例分别表示其它交通参与者和地图元素，输入进并行的运动规划器，和初始化的自车实例做交流。运动规划器同时预测其它交通参与者和自车的多模态轨迹，通过分层规划选取策略，选择一条最安全的轨迹作为最终规划的结果。

对称的稀疏感知

如下图，稀疏感知模块的模型架构具有结构对称性，统一了检测、跟踪和在线建图模块。

稀疏检测

用一组实例特征 $F_d\in {\mathbb{R}}^{N_d\times C}$ 和 anchor boxes $B_d\in {\mathbb{R}}^{N_d\times 11}$ 来表示其它交通参与者，其中 $N_d$ 是 anchors 的个数，$C$ 是特征的通道维度。每个 anchor box 都用坐标、维度、偏航角和速度表示：

{ x , y , z , ln ⁡ w , ln ⁡ h , ln ⁡ l , sin ⁡ y a w , cos ⁡ y a w , v x , v y , v z } \{x,y,z,\ln{w}, \ln{h}, \ln{l}, \sin{yaw}, \cos{yaw}, vx, vy, vz\} {x,y,z,lnw,lnh,lnl,sinyaw,cosyaw,vx,vy,vz}

稀疏检测分支包括 $N_{dec}$ 个解码器，有 $1$ 个非时域解码器和 $N_{dec}-1$ 个时域解码器。每个解码器的输入是特征图 $I$、实例特征 $F_d$ 和 anchor boxes $B_d$，输出更新后的实例特征和 anchor boxes。非时域解码器的初始输入是随机初始化的实例，时域解码器的输入则来自于当前帧和历史帧。非时域解码器包括三个子模块：可变形聚合模块、前馈神经网络、做优化和分类的输出层。可变形聚合模块输出 anchor boxes $B_d$ 附近的固定或可学习的关键点，将它们映射到特征图 $I$ 上做特征采样。将实例特征 $F_d$ 与采样特征求和，更新 $F_d$。在输出层，$F_d$ 负责预测分类得分和 anchor boxes 的偏移量。时域解码器有两个额外的 multi-head 注意力层：计算最后一帧的时域实例和当前实例之间的时域 cross attention，计算当前帧的时域实例之间的 self-attention。在 multi-head 注意力层中，将 anchor boxes 变换为高维度的 anchor embedding $E_d\in {\mathbb{R}}^{N_d\times C}$，作为位置编码使用。

稀疏在线建图

在线建图分支与检测分支共享模型结构，除了实例定义不同。对于静态地图元素，anchor 表示为一个由$N_p$个点组成的多段线：

{ x 0 , y 0 , x 1 , y 1 , . . . , x N p − 1 , y N p − 1 } \{x_0, y_0,x_1,y_1,...,x_{N_p-1}, y_{N_p-1}\} {x0​,y0​,x1​,y1​,...,xNp​−1​,yNp​−1​}

然后，所有的地图元素都可以表示为地图实例特征 $F_m\in {\mathbb{R}}^{N_m\times C}$和 anchor 多段线 $L_m\in {\mathbb{R}}^{N_m\times N_p\times 2}$。

稀疏跟踪

对于跟踪，作者遵循了 Sparse4Dv3 的 ID 匹配过程：当一个实例的检测置信度高于阈值 $T_{thresh}$，它就被锁定为一个目标，并被分配一个 ID，在时域传播时该 ID 保持不变。这个跟踪策略无需任何的跟踪约束条件。该对称的设计对于稀疏感知模块而言，非常优雅、简洁。

并行的运动规划器

如下图所示，并行的运动规划器包括三个部分：自车实例初始化、时空交流、分层规划选择。

自车实例初始化

与其它交通参与者相似，用自车实例特征 $F_e\in {\mathbb{R}}^{1\times C}$ 和自车 ego box $B_e\in {\mathbb{R}}^{1\times 11}$ 表示自车。虽然在以前的方法中，自车的特征通常是随机初始化的，但本文作者认为为了做规划，自车特征应该需要丰富的语义和几何信息。但是，其它交通参与者的实例特征是从图像特征图 $I$ 聚合得到，这对自车来说就不可行了，因为自车位于画面的盲区里面。因此，我们使用前视相机的最小特征图来初始化自车实例特征：

$$F_e=\text{AveragePool}(I_{front,S})$$

这么做有两个好处：

• 最小的特征图已经编码了驾驶场景的上下文信息，
• 密集特征图可作为稀疏场景表示的补充使用，以防出现一些稀疏感知检测不到的障碍物。

对于自车 anchor $B_e$，我们知道自车的位置、维度和偏航角。对于速度，直接用 ground-truth 速度初始化会造成自车状态的泄露。因此，作者增加了一个辅助任务来解码当前自车的状态 $E{S}_T$，包括速度、加速度、角速度和转向角。在每一帧，我们使用上一帧的预测速度来初始化当前自车的 anchor 速度。

时空交流

为了考虑交通参与者之间的高层级交流，作者将自车实例和其它参与者实例 concat 起来，得到 agent-level 的实例：

$$F_a=\text{Concat}(F_d,F_e),B_a=\text{Concat}(B_d,B_e)$$

因为自车实例初始化时没有用到时域信息，作者设计了一个实例记忆队列（大小是$(N_d+1)\times H$）来做时域建模，$H$ 是存储帧的个数。然后进行三种交流，聚合时空上下文信息：agent-temporal cross-attention, agent-agent self-attention 和 agent-map cross-attention。注意，在稀疏感知模块的时域交叉注意力中，当前帧的实例会与所有的时域实例做交流，作者称之为场景级交流。对于这里的 agent-temporal cross-attention，作者采用了实例级的交流，每个实例只关注自己的历史信息。

然后，预测其他交通参与者和自车的多模态轨迹 ${\tau }_m\in {\mathbb{R}}^{N_d\times {\mathcal{K}}_m\times T_m\times 2},{\tau }_p\in {\mathbb{R}}^{N_c\times {\mathcal{K}}_p\times T_p\times 2}$，以及得分 $s_m\in {\mathbb{R}}^{N_d\times {\mathcal{K}}_m},s_p\in {\mathbb{R}}^{N_{cmd}\times {\mathcal{K}}_p}$。${\mathcal{K}}_m$ 和 ${\mathcal{K}}_p$ 是运动预测和规划的轨迹个数，$T_m$ 和 $T_p$ 是未来时间戳的个数，$N_{cmd}$ 是规划用的驾驶指令个数。作者使用了三种驾驶指令：左转、右转、直行。对于规划任务，从自车实例特征，本文方法额外预测了当前自车的状态。

分层规划选择

现在我们有了多模态的候选轨迹，为了选择一条安全的轨迹 ${\tau }_p^{\ast }$，作者设计了一个分层的规划选择策略。首先，选择候选轨迹的一个子集 ${\tau }_{p,cmd}\in {\mathcal{K}}_p\times T_p\times 2$，对应高层级指令 $cmd$。然后，采用一个碰撞感知重打分模块来确保安全性。有了运动预测的结果后，我们可以评估每条规划轨迹的碰撞风险，对于高碰撞风险的轨迹，我们降低这条轨迹的得分。在实际操作时，将碰撞轨迹的分数设为 $0$。最后，选择得分最高的那条轨迹作为规划输出。

端到端学习

多阶段训练

SparseDrive 分为两个阶段。在第一阶段，从头训练对称的稀疏感知模块，学习稀疏的场景表示。在第二阶段，联合训练稀疏感知模块和并行的运动规划器，不冻结参数，完全以端到端的方式做优化。

损失函数

损失函数包括四个任务，每个任务的损失可以进一步分为分类和回归损失。对于多模态运动预测和规划任务，作者采用了 winner-takes-all 策略。对于规划任务，有一个额外的回归损失来监督自车状态。作者也加入了深度估计作为辅助的任务，增强感知模块训练的稳定性。整体损失如下：

$$\mathcal{L}={\mathcal{L}}_{det}+{\mathcal{L}}_{map}+{\mathcal{L}}_{motion}+{\mathcal{L}}_{plan}+{\mathcal{L}}_{depth}$$

实验

感知

对于稀疏感知模块，解码层的个数 $N_{dec}$ 设为 $6$，$1$ 个非时域解码层、$5$ 个时域解码层。通过对训练数据集做 K-means 聚类获得 Anchor boxes $B_d$ 的位置，以及 anchor 多段线 $L_m$，anchor boxes 的其它参数都被初始化为 { 1 , 1 , 1 , 0 , 1 , 0 , 0 , 0 } \{1,1,1,0,1,0,0,0\} {1,1,1,0,1,0,0,0}。每个地图元素都用 $20$ 个点来表示。Anchor boxes 的个数 $N_d$ 和多段线的个数 $N_m$ 设为 900 和 100。检测和在线建图的时域实例的个数分别设为 600 和 33 个。跟踪阈值 $T_{thresh}=0.2$。对于检测任务，感知范围的半径为 55米。对于在线建图，感知范围是 $60m\times 30m$（纵向和横向）。对于 multi-head 注意力，作者采用了 Flash Attention 来降低 GPU 内存。