首页 > 代码库 > 毫米波雷达与单目相机融合

毫米波雷达与单目相机融合

 

说起融合,大家肯定会想到 融合的几个层次。数据级融合、特征级融合、决策级融合。

目前我们所采用的融合策略是决策级融合。

( 1)特征级融合的特点,主要是雷达辅助图像。

基本的思路是将雷达的点目标投影到图像上,围绕该点我们生成一个矩阵的感兴趣区域,然后我们只对该区域内进行搜索,搜索到以后跟雷达点目标进行匹配。它的优点是可以迅速地排除大量不会有车辆的区域,极大地提高识别速度。而且呢,可以迅速排除掉雷达探测到的非车辆目标,增强结果的可靠性。

缺点: 1)首先,这个方法实现起来有难度。理想情况下雷达点出现在车辆中间。首先因为雷达提供的目标横向距离不准确,再加上摄像头标定的误差,导致雷达的投影点对车的偏离可能比较严重。我们只能把感兴趣区域设置的比较大。感兴趣区域过大后导致里面含有不止一辆车,这个时候目标就会被重复探测,这会造成目标匹配上的混乱。交通拥挤的时候尤其容易出来这种情况。

2)另一方面是这种方法本质上只是对雷达目标的一种验证,无法充分发挥视觉的作用。雷达和摄像头的视野其实并不完全重合,最左边那辆车根本没有被检测到。

当然了,也有一些学者在雷达和图像联合标定完之后,在图像坐标系下面进行 图像分割,在分割完之后,通过训练完的特征去检测分割后的区域是什么。

(2)决策级融合的特点:

JPDA:概率数据关联算法,它是利用了多个传感器的数据进行关联,然后做的。

相比原来的算法,PDA有很多优点。

1)很重要的一点是模块化,我们把目标识别和融合分开了,这使得算法更容易实现和调试。

2)传感器测量值有效地和车辆目标关联。右边是一个示意图,十字形表示雷达的探测目标,小矩形表示图像探测到的目标。大矩形是融合的结果。对于雷达和摄像头共同探测到的结果,我们进行了有效的融合。
3)传感器的信息得到了充分利用。雷达和摄像头的视野并不完全一样。雷达长距离探测比较准确,但视野相对较窄。摄像头长距离较弱,但视野较宽。有些目标只被单个的传感器探测到,此时这个目标会得到保留并进行跟踪。

 

(3)这里面有几个概念需要了解清楚:

1)多目标跟踪的核心是数据关联,卡尔曼只是一种滤波算法,可以作为跟踪来使用,但前提是

知道哪个目标对哪个目标,也就是知道了这个目标的上一次是对应于哪个的,不然无法处理。

JPDA是多目标跟踪里面的数据关联的内容,PDA是单个目标里面的数据关联的内容。

2)融合的关键点:时间上同步(时间戳解决),空间上同步(标定解决)。

融合涉及到多个过程:目标关联+目标滤波+目标跟踪等。

 

 

 

最后的实现:

最后在图像和雷达数据当中,需要解决几个关键问题。

  1. 观察值匹配问题, 如何验证 图像和毫米波得到的观测值 与上一个周期的目标值相匹配。
  2. 数据融合问题, 如何将已经确认的雷达和图像的观测值 进行融合,得到当前目标值。
  3. 维护有效目标库,为了对跟踪序列的目标进行删除、新建、跟踪,需要对目标的个数进行限定。对于新目标,我们需要建立新的轨迹进行跟踪。

 

NN+互补滤波,跟踪用常速度模型来做。

毫米波雷达与单目相机融合