概述

 不同车载传感器的原理、功能各异，在不同的场景下发挥着各自的优势，其获取的信息各不相同，不能互相替代。由于每个传感器存在差异，仅通过增加单一传感器数量并不能从根本上解决问题。实现自动驾驶，就需要多个传感器相互配合，共同构成自动驾驶汽车的感知系统。在多传感器信息融合过程中，需要解决如下几个关键问题：
   1. 数据对准：对多个传感器信息进行融合前，必须将它们变换到同一个时空框架中。由于时空配准导致的舍入误差必须得到响应的补偿。
   2. 数据的不确定性：传感器数据的存在噪声部分，需要在融合过程中最大程度降低这些信息的不确定性。
   3. 数据关联：需要解决单传感器时间域上的关联问题和多传感器空间域上的关联问题，从而确定来源于同一个目标源的数据。
   4. 不完整、不一致以及虚假数据。信息融合过程中需要对不完整的数据、不一致的数据以及虚假数据进行有效的筛选、处理和融合。
 另外，对于车载系统的要求也存在：
   1. 统一的同步时钟，保证传感器信息的时间一致性和正确性。
   2. 准确的多传感器标定，保证相同时间下不同传感信息的空间一致性。

融合概述

 传感器数据融合是针对一个系统使用多种传感器这一特定问题而提出的信息处理方法，可以发挥多种传感器的联合优势，消除单一传感器的局限性。具体来说，在自动驾驶系统中使用多传感器融合技术主要有以下优势：
   1. 提高系统感知的准确度；
   2. 增加系统的感知维度，提高系统的可靠性和健壮性；
   3. 增强环境适应能力；
   4. 减少成本。
 多传感器融合可以充分利用多传感器的优势，减小单一传感器的局限性，采集多个传感器的观测信息，通过对数据和信息的合理支配和使用，利用其在空间或时间上的冗余或互补信息。基于优化算法进行分析、综合、支配和使用，以获取被观测对象的一致性解释或描述。传感器融合流程可以概括如下：
   1. 多种传感器独立工作获得观测数据
   2. 对各种传感器数据（RGB数据、点云数据等）进行预处理；
   3. 对处理数据进行特征提取、变换，并对其进行模式识别处理，获取对观测对象的描述信息；
   4. 在数据融合中心按照一定的准则进行数据关联；
   5. 使用足够优化的算法对各传感器数据进行融合，获得对观测对象的一致性描述和解释。

融合结构

 根据传感器信息在不同信息层次上的融合，我们可以将多传感器信息融合划分为Low-Level融合、High-Level融合和混合融合结构。其中，Low-Level融合包括数据级融合和特征级融合，是一种集中式融合结构；High-Level融合是一种决策级别的融合，可以是集中式融合或分布式融合；混合融合结构是多种Low-Level和High-Level融合结构组合而成。

Low-Level融合

 集中式融合结构将各传感器获得的原始数据直接送到数据融合中心，进行数据对准、数据关联、预测等。在传感器端不会进行处理，可以实现实时融合。结构图如下。集中式融合结构具有较高的融合精度，算法灵活。但是对处理器的要求高，计算量大，成本高。另外，其数据流流向单一，缺少底层传感器之间的信息交流，可靠性较低，实现难度大。

数据级融合

 数据级融合又称为像素级融合，是最低层次的融合，直接对传感器的观测数据进行融合处理，然后基于融合后的结果进行特征提取和判断决策，结构如下图。经过数据级融合以后得到的图像，不论是内容还是细节都得到了补充，有利于进一步分析、处理和理解图像。还能够把潜在的目标暴露出来，有利于判断识别潜在的目标像素点的操作。

 由于数据级融合处理的数据是传感器的原始输入数据，这就意味着计算量大、处理所耗费的时间成本大，不利于实时处理。另外，对数据的处理还受到不稳定性、不确定性因素的影响；最后其处理过程都是在同种传感器下进行，无法有效的处理异构数据。根据融合内容的不同，数据级融合又可以分为图像级融合、目标级融合和信号级融合。
   1. 图像级融合以视觉为主体，将雷达输出的整体信息进行图像特征转化，与视觉系统的图像输出进行融合；
   2. 目标级融合是对视觉和雷达的输出进行综合可信度甲醛，配合精度标定信息进行自适应的搜索匹配后融合输出；
   3. 信号级融合是对视觉和雷达传感器ECU传出的数据源机型融合，其数据损失小，可靠性高，但是需要大量的计算。

特征级融合

 特征级融合指在提取所采集数据包含的特征向量之后的融合。特征向量用来体现所监测物理量的属性，在面向检测对象特征的融合中，这些特征信息是指采集图像中的目标或特别区域，如边缘、人物、建筑或车辆等信息，如下图所示。特征级融合是通过各传感器的原始数据结合决策推理算法，对特征信息进行分类、汇集和综合，提取具有表示能力及统计信息的属性特征。对融合后的特征进行目标识别的精确度明显高于原始图像的精确度。

 特征级融合先对图像信息进行压缩，再用计算机分析和处理，所消耗的内存、时间与数量级相对减少，实时性得到了提高。特征级融合提取图像特征作为融合信息，无法避免的是会丢掉一部分细节特征。从这点来看，对图像匹配的精确度没有数据级融合高，但比数据级融合的计算速度快。根据融合内容的不同，分为了目标状态信息融合和目标特性融合两类：
   1. 目标状态信息融合：先进行数据配准，以实现对状态和参数相关估计，适用于目标追踪；
   2. 目标特性融合：借用传统模式识别技术，在特征预处理的前提下进行分类组合。

High-Level融合

 High-Level融合体系结构是一种较高语义层次上的融合，可以是分布式融合结构或者集中式融合结构（见下图）。分布式融合在各个独立节点都设置相应的处理单元，在对各个独立传感器所获得的原始数据进行局部处理的基础上，再将结果输入到数据融合中心，进行智能优化、组合、推理来获得最终的结果。分布式融合结构计算速度快、延续性好，在某一个传感器失灵的情况下仍然可以继续工作，可靠性高。另外，分布式融合结构对通信带宽的需求低，适用于远离距离传感信息反馈，但是在低通信带宽种传输会造成一定的损失，精度降低。

分布式融合结构

 集中式融合结构根据不同种类的传感器对同一目标观测的原始数据，进行一定的特征提取、分类、判别，以及简单的逻辑运算，然后根据应用需求进行较高级的决策，获得简明的综合推断结果，是高语义层次上的融合。

集中式融合结构

混合式融合结构

 混合式融合结构是由多种Low-Level和High-Level融合结构组合而成。部分传感器采用集中式融合方法，其余的传感器采用分布式融合结构，兼有二者的优点，能够根据不同需求灵活且合理地完成信息处理工作。但是，混合式融合结构对结构设计要求高，加大了通信和计算的代价。

分析比较

三种融合结构比较
体系结构	分布式	集中式	融合式
信息损失	大	小	中
精度	低	高	中
通信带宽	小	大	中
可靠性	高	低	高
计算速度	快	慢	中
可扩充性	好	差	一般
融合处理	容易	复杂	一般
融合控制	复杂	容易	一般

融合算法

 多传感器融合常用的算法大致可以分为两类：随机类方法和人工智能方法。随机类方法的杰出代表式卡尔曼滤波法，此外还有加权平均法、贝叶斯估计法、D-S证据理论等；人工智能方法常用的主要是专家系统、模糊逻辑理论、人工神经网路、遗传算法等。

随机类方法

加权平均法

 加权平均法比较简单，直观。根据多个传感器独立探测的数据（有一定的冗余），乘上响应的权重值，之后累加求和并取平均值，将其结果作为融合值、由此原理可知，加权平均法实现起来容易，实时性好；但是其权重值的分配和取值带有一定的主观性，过于简单。融合效果较差，实用性不高。

贝叶斯估计法

 贝叶斯估计法是基于先验概率，并不断结合新的数据信息来得到新的概率。贝叶斯估计法常用于静态环境下特征层的融合，主要公式为：
$$P(A_i|B)=\frac{P(B|A_i)P(A_i)}{\sum _{i=1}^{n}P(B|A_i)P(A_i)}$$
 贝叶斯估计法在融合过程中，因传感器的输出信息缺乏稳定性，故对这些数据进行似然估计，并以条件概率表示该不确定性。在工作过程红，不断结合数据来更新似然估计，并依概率将信息融合，按照一定的原则做出最优决策。贝叶斯估计法的局限性在于其工作基于先验概率，若没有先验概率，则需要通过大量的数据统计来实现，这本身来讲就是一个耗费时间和精力的工作。

D-S 证据理论

 D-S证据理论式贝叶斯估计法的拓展，是一种用于决策层的信息融合方法，其三个基本要素式基本概率赋值函数、新人函数和似然函数。D-S证据理论突破了贝叶斯估计法需要先验概率的局限，提出了置信区间和不确定区间的概念。其推论的具体过程是利用多个传感器探测到的被测物体的数据信息，并根据这些数据信息得到每个传感器对应的证据（被测物体的支持度）。D-S证据理论就是按照一定的原则对这些证据进行组合，并最终得到被测物体的一致决策。D-S证据理论不要求在未知的情况下对每个事件进行单独复制，仅将信任值赋给信任项，先将所有不确定事件都归为未知命题，然后通过证据组合来不断缩小位置的范围，直到达到判决条件。

卡尔曼滤波法

 卡尔曼滤波法是一种利用线性状态方程，通过系统输入输出观测数据，对系统状态进行最有估计的算法。卡尔曼滤波法能合理并充分地处理多种差异大的传感器信息，通过被测系统的模型以及测量得到的信息完成对被测物体的最优估计，并能适应复杂多样的环境。卡尔曼滤波具有的递推特性可以对当前状态进行估计，也可以对未来状态进行预测。卡尔曼滤波法本质是最小均方误差准则下的最优线性估计，因此这里介绍几种最优估计方法。
 估计是根据测量得出的跟目前状态x(t) 有关的数据$z(t)=h[x(t)]+v(t)$ 解算出x(t) 的计算值$\hat{x}(t)$，其中随机向量v(t) 称为量测误差，$\hat{x}(t)$称为x(t)的估计，z(t)称为x(t) 的量测。因为$\hat{x}(t)$ 是根据z(t) 确定的，所以$\hat{x}(t)$ 是z(t) 的函数。若 $\hat{x}(t)$ 是z(t) 的线性函数，则$\hat{x}(t)$ 称为x(t) 的线性估计。假设在$[t_0,t_1]$时间段内的量测为z（t），与之对应的估计为$\hat{x}(t)$，则有下面三种对应关系
   若$t=t_1$，则称$\hat{x}(t)$为$x(t)$的估计；
   若$t>t_1$，则称$\hat{x}(t)$为$x(t)$的预测；
   若$t<t_1$，则称$\hat{x}(t)$为$x(t)$的平滑；
 最优估计是指某一指标函数达到最值时的估计。若以测量估计z(t) 的偏差的平法和达到最小为指标，即
$$min(z-\hat{z}{)}^T(z-\hat{z})$$
 则所得估计$\hat{x}(t)$称为x(t) 的最小二乘估计
$$minE(x-\hat{x}{)}^T(x-\hat{x})$$
 若$\hat{x}(t)$ 又为x(t) 的线性估计，则称$\hat{x}(t)$ 为x(t) 的线性最小方差估计。
 最小二乘估计和最小方差估计是常用的估计方法。最小二乘估计是用于对随机向量或常值向量的估计，其达到的最优指标是使量测估计的精度达到最佳。估计过程中，可不使用与估计量相关的动态信息和统计信息，所以估计精度不高，但方法简单，对被估计量和量测误差之间的关系不做要求。最小方差估计使用均方差最小的估计，是估计方法中精度最高的。但是最小方差估计只确定了估计值在量测空间上的条件均值这一抽象关系，而条件均值的求取较为困难，所以按照条件均值来进行最小方差估计较为困难。

线性离散卡尔曼滤波方程

 假设$t_k$ 时刻，随机离散系统状态方程为
$$X_k={\Phi }_{k,k-1}{X}_{k-1}+T_{k-1}{W}_{k-1}$$
 相应的量测方程为
$$Z_k=H_k{X}_k+V_k$$
   $X_k$ 表示$t_k$ 时刻的被估计状态；
   ${\Phi }_{k,k-1}$ 表示是$t_{k-1}$ 时刻系统的$n\times n$ 维状态转移阵；
   $T_{k-1}$ 表示$t_{k-1}$ 时刻系统的$n\times p$ 维噪声驱动矩阵；
   $W_{k-1}$表示$t_{k-1}$ 时刻激励噪声；
   $Z_k$表示$t_k$ 时刻的量测量；
   $H_k$表示$t_k$ 时刻$m\times n$ 维量测矩阵；
   $V_k$表示$t_k$ 时刻量测噪声。
 在这里，系统激励噪声$W_k$和量测噪声$V_k$应具有以下性质：
$$\{\begin{array}{l}E[W_k]=0\\ E[V_k]=0\\ Cov[W_k,V_j]=E[W_k{V}_j^T]=0\\ Cov[W_k,V_j]=E[W_k{V}_j^T]=Q_k{\delta }_{kj}\\ Cov[W_k,V_j]=E[W_k{V}_j^T]=R_k{\delta }_{kj}\end{array}$$

   $Q_k$ 是系统噪声的非负定方差矩阵；
   $R_k$ 是系统量测噪声的正定方差阵；
   ${\delta }_{kj}$ 表示克罗内克函数。
 若$X_k$和$Z_k$能分别满足上述状态方程和相对应的量测方程，$W_k$和$V_k$ 能同时满足方程组，则k 时刻$X_k$的最优估计值${\hat{X}}_k$ 可由以下方程递推得到
$${\hat{X}}_{k,k-1}={\Phi }_{k,k-1}{X}_{k-1}$$

状态估计

$${\hat{X}}_k={\hat{X}}_{k,k-1}+K_k(Z_k-H_k{\hat{X}}_{k,k-1})$$
 滤波增益矩阵：
$$K_k=P_{k,k-1}{H}_k^T(H_k{P}_{k,k-1}{H}_k^T+R_k{)}^{-1}$$
   或：
$$H_k=P_k{H}_k^T{P}_k^{-1}$$
 进一步预测误差方差阵：
$$P_{k,k-1}={\Phi }_{k,k-1}{P}_{k-1}{\Phi }_{k,k-1}^T+T_{k-1}{Q}_{k-1}{T}_{k-1}^T$$
 估计均方误差：
$$P_k=(I-K_k{H}_k)P_{k,k-1}(I-K_k{H}_k{)}^T+K_k{R}_k{K}_k^T$$
   或：
$$P_k=(I-K_k{H}_k)P_{k,k-1}$$
   或：
$$P_k^{-1}=P_{k,k-1}^{-1}+H_k^T{R}_k^{-1}{H}_k$$
 上述公式即离散型卡尔曼滤波的基本方程。在假定已知系统初始估计值${\hat{X}}_0$ 和初始估计均方误差阵$P_0$ 的条件下，再结合$t_k$ 时刻的量测量$Z_k$就可以利用卡尔曼滤波方程得到系统$t_k$ 时刻的状态估计${\hat{X}}_k$