说起融合，大家肯定会想到 融合的几个层次。数据级融合、特征级融合、决策级融合。

目前我们所采用的融合策略是决策级融合。

（ 1）特征级融合的特点，主要是雷达辅助图像。

基本的思路是将雷达的点目标投影到图像上，围绕该点我们生成一个矩阵的感兴趣区域，然后我们只对该区域内进行搜索，搜索到以后跟雷达点目标进行匹配。它的优点是可以迅速地排除大量不会有车辆的区域，极大地提高识别速度。而且呢，可以迅速排除掉雷达探测到的非车辆目标，增强结果的可靠性。

缺点： 1）首先，这个方法实现起来有难度。理想情况下雷达点出现在车辆中间。首先因为雷达提供的目标横向距离不准确，再加上摄像头标定的误差，导致雷达的投影点对车的偏离可能比较严重。我们只能把感兴趣区域设置的比较大。感兴趣区域过大后导致里面含有不止一辆车，这个时候目标就会被重复探测，这会造成目标匹配上的混乱。交通拥挤的时候尤其容易出来这种情况。

2）另一方面是这种方法本质上只是对雷达目标的一种验证，无法充分发挥视觉的作用。雷达和摄像头的视野其实并不完全重合，最左边那辆车根本没有被检测到。

当然了，也有一些学者在雷达和图像联合标定完之后，在图像坐标系下面进行 图像分割，在分割完之后，通过训练完的特征去检测分割后的区域是什么。

（2）决策级融合的特点：

JPDA：概率数据关联算法，它是利用了多个传感器的数据进行关联，然后做的。

相比原来的算法，PDA有很多优点。

1）很重要的一点是模块化，我们把目标识别和融合分开了，这使得算法更容易实现和调试。

2）传感器测量值有效地和车辆目标关联。右边是一个示意图，十字形表示雷达的探测目标，小矩形表示图像探测到的目标。大矩形是融合的结果。对于雷达和摄像头共同探测到的结果，我们进行了有效的融合。
3）传感器的信息得到了充分利用。雷达和摄像头的视野并不完全一样。雷达长距离探测比较准确，但视野相对较窄。摄像头长距离较弱，但视野较宽。有些目标只被单个的传感器探测到，此时这个目标会得到保留并进行跟踪。

（3）这里面有几个概念需要了解清楚：

1）多目标跟踪的核心是数据关联，卡尔曼只是一种滤波算法，可以作为跟踪来使用，但前提是

知道哪个目标对哪个目标，也就是知道了这个目标的上一次是对应于哪个的，不然无法处理。

JPDA是多目标跟踪里面的数据关联的内容，PDA是单个目标里面的数据关联的内容。

2）融合的关键点：时间上同步（时间戳解决），空间上同步（标定解决）。

融合涉及到多个过程：目标关联+目标滤波+目标跟踪等。

最后的实现：

最后在图像和雷达数据当中，需要解决几个关键问题。

1. 观察值匹配问题， 如何验证 图像和毫米波得到的观测值 与上一个周期的目标值相匹配。
2. 数据融合问题， 如何将已经确认的雷达和图像的观测值 进行融合，得到当前目标值。
3. 维护有效目标库，为了对跟踪序列的目标进行删除、新建、跟踪，需要对目标的个数进行限定。对于新目标，我们需要建立新的轨迹进行跟踪。

NN+互补滤波，跟踪用常速度模型来做。

毫米波雷达与单目相机融合