基于毫米波雷达与单目相机的三维目标检测系统及方法

摘要

基于毫米波雷达与单目相机的三维目标检测系统及方法，包括图像数据与毫米波雷达数据的时空对齐模块、图像数据与毫米波雷达数据的特征提取模块以及图像数据与毫米波雷达数据的融合检测模块；本发明是基于毫米波雷达和单目相机这两种传感器的融合目标检测方法，与基于三维激光的目标检测算法相比成本较为低廉。可以达到较好的三维目标检测效果，毫米波雷达可以提供准确的物体深度和速度等信息，相机可以提供准确的物体类别信息，两种传感器优缺点互补。

说明书

技术领域

本发明属于计算机视觉结合深度学习技术领域，特别涉及基于毫米波雷达与单目相机的三维目标检测系统及方法。

背景技术

环境感知是无人驾驶系统的关键部分，是规划决策模块的前端输入，为规划决策模块提供了重要依据。环境感知包括多方面的任务，其中包括交通灯检测、障碍物检测、车道线检测等，其中三维目标检测尤为重要。无人驾驶车辆需要判断周围环境中有没有障碍物，从而进行规划决策，确定无人驾驶车辆的未来行驶轨迹。大多数自动驾驶车辆都利用相机、雷达和激光雷达等传感器，使用不同类型的传感器在诸如目标检测之类的任务中具有优势，并可以得到更准确和可靠的检测，但同时也使设计实时感知系统更具挑战性。

虽然毫米波雷达可以提供目标准确的距离和速度信息，但它不适合于目标分类等任务。另一方面，相机是非常有效的目标分类传感器，但它无法提供精确的目标速度以及深度等信息。这使得毫米波雷达和图像数据的融合成为自主驾驶应用中一个非常有趣的课题。

而随着大规模并行计算和GPU的兴起，基于深度神经网络的方法在无人驾驶平台的目标检测领域中得到了大规模的应用。但由于开源的毫米波雷达数据集的缺少，基于深度学习的毫米波雷达与图像数据的融合的方法还较少。

发明内容

本发明的目的在于提供基于毫米波雷达与单目相机的三维目标检测系统及方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：(定稿后再补)

与现有技术相比，本发明有以下技术效果：

本发明是基于毫米波雷达和单目相机这两种传感器的融合目标检测方法，与基于三维激光的目标检测算法相比成本较为低廉。可以达到较好的三维目标检测效果，毫米波雷达可以提供准确的物体深度和速度等信息，相机可以提供丰富的外观特征，包括准确的物体类别信息，但不是深度估计的良好信息来源，两种传感器优缺点互补。

本发明所述基于毫米波雷达与单目相机的时间空间对齐，特征提取以及融合检测三个模块，重点是将雷达的检测结果与从图像中获得的初步检测结果相关联，然后对雷达数据进行特征提取，并结合图像特征来准确估计目标的三维检测框，实现了无人驾驶场景中对于障碍物的准确检测。我们使用CenterNet以及PointNet分别对图像以及毫米波雷达数据进行特征提取，并且利用融合的特征准确估计物体的三维属性，如深度、旋转和速度信息。对于现有的毫米波雷达与相机融合的深度学习检测网络进行了改进，实现了性能上的显著提升。

附图说明

图1为本发明毫米波雷达与相机的标定板示意图；

图2为本发明的毫米波雷达与相机的融合检测网络的结构示意图；

图3为本发明中的毫米波雷达与相机的数据关联模块示意图；

图4为本发明中毫米波雷达点的特征提取模块的示意图；

具体实施方式

以下结合附图对本发明进一步说明：

请参阅图1至图4，首先，对于图像与毫米波雷达数据进行时间空间对齐。

在这两种传感器采集数据的同时也采集其时间戳，为了保证数据的可靠性，将毫米波雷达的数据对齐到图像的时间戳上。对于每一帧图像数据使用最近邻算法匹配到一帧毫米波雷达的数据

上式中t

在实现了这两种传感器的时间对齐之后，最终可以得到一帧雷达与图像数据融合的数据。然后将时间上已经对齐的两种传感器的数据进行空间上的对齐。

假定毫米波雷达在与地面平行的平面上检测障碍物，这个平面即为雷达平面。因此毫米波雷达的数据可以被表示为Z

空间对齐就是建立毫米波雷达点云数据所在的二维俯视坐标系与图像坐标系之间的投影变换。毫米波雷达数据与图像之间的映射关系如下式所示：

其中

由上式可得

参见图1，为本发明的毫米波雷达与图像标定板示意图。通过制作一个标定板来实现对于两个传感器坐标系变换矩阵的计算。的标定板是一个贴有四个圆形图案的板子，四个圆形图案的中间放置了一个金属三面体角反射器，金属三面体角反射器距离标定板下边的高度与毫米波雷达安装的高度相同，用以确保金属三面体角反射器则可以被毫米波雷达检测到，且检测的结果都在同一平面内。使用霍夫检测来检测采集到的图像中的四个圆的位置，得到四个圆的像素坐标值，最终计算得到图像中四个圆的中间(即金属三面体角反射器)的像素坐标。

将标定板以不同的空间排列和距离多次垂直放置，然后可以得到多组不同的毫米波雷达检测结果(x，y)，和对应的图像检测结果(u，v)。然后手动选取四对(或四对以上)的(x，y)与(u，v)，可求得毫米波雷达平面坐标系与图像坐标系的变换矩阵。求解过程如下：

通过一对特征点对可以得到如下线性方程组：

由于单应性矩阵包含了||A||＝1的约束，需要至少四对对应的点才能计算出单应性矩阵。在真实的应用场景中，使用远大于四个点来计算单应性矩阵，使得计算结果更加精确。

最终将时间对齐后的毫米波雷达的数据通过变换矩阵投影到图像坐标系下。

在通过时空对齐得到毫米波雷达和相机融合的数据后，使用了一种特征级融合的方法用来进行三维目标检测。

参见图2，为本发明的毫米波雷达与相机的融合检测网络的结构示意图。使用DLA网络作为骨干网络，提取图像特征用于预测图像上的物体中心点，以及物体在图像上的二维矩形框的大小、中心偏移量、三维矩形框大小、深度信息以及旋转信息。这些值由图2所示的基础回归网络所预测得到，每一个基础回归网络都由一个3×3的有256维的卷积层和一个1×1的卷积层组成。这可以为图像中的物体提供一个精确的二维矩形框和一个粗略的三维矩形框。

首先对图像采用CenterNet算法预测图像中目标的中心点。

CenterNet模型使用I∈R

其中σ

其中N为物体的数量，

对于每个中心点，网络也还会预测一个局部偏移量

此部分损失函数的值只在关键点位置

类别为c

网络训练的总体损失函数为：

L

在实验中，设置λ

为了生成三维的矩形框，网络还会回归物体的深度，角度以及三维框的尺寸信息这三个附加属性。因此增加了三个单独的回归网络分支，仍然通过L1损失函数计算其损失值。

接下来需要准确地关联毫米波雷达探测到的目标。CenterNet为图像中的每个目标类别生成热力图。热力图中的峰值代表物体可能的中心点，这些位置的图像特征用于估计其他物体的属性。要利用这种设置下的雷达信息，需要将基于雷达的特征映射到其对应物体在图像上的中心，这就需要雷达探测到的目标与图像中的目标之间进行精确的关联。

参见图3，为本发明中的毫米波雷达与相机的数据关联模块示意图。使用了一种基于视锥图关联的方法，这可以大大缩小对于检查是否需要进行关联的雷达数据的工作量，因为任何超出这个视锥的雷达点都可以忽略。

在神经网络的训练阶段，使用目标的三维真值矩形框来创建一个感兴趣区域视锥，并将雷达检测与其关联起来。在测试阶段，视锥是通过图像预测的二维矩形框以及其估计深度d和大小来创建的。如图3所示，使用视锥法避免关联二维空间的重叠物体的这个问题，因为物体在三维空间不是重叠的，每个物体都会有单独的视锥。

参见图4，为本发明中提取毫米波雷达数据的网络结构。通过PointNet来提取已与图像关联好的毫米波雷达点云数据的特征。毫米波雷达通常将检测到的物体表示为鸟瞰图中的二维点，并且可以提供其方位角和径向距离。对于每一个检测结果，毫米波雷达都可以得到该物体的径向瞬时速度。

将每一个雷达检测结果表示为自车坐标系中的一个三维点，并将其参数化为P＝(x；y；z；rcs；v

的方法可以被描述为近似一个点集内元素的变换的函数，如下式所示：

f({x

通过多层感知机来近似函数h，通过最大池化层来近似函数g，最终得到1024维的全局特征。在计算出每个视锥对应的全局点云特征后，通过连接经过PointNet处理过后得到的全局特征和每个原始雷达点数据特征组合成每个雷达点的特征，这样得到的特征既学习到了局部信息，又学习到了全局信息。

生成的毫米波雷达特征作为额外通道和图像特征连接到一起。这些特征被用作第二次回归的输入，用来计算更加准确的物体信息。速度回归网络估计物体在车辆坐标系中的实际速度的x，y分量。属性回归网络为不同的物体估算不同的属性，比如Car类的运动或泊车等。最后将回归的结果解码为三维障碍物框，并同时获得物体的其它属性。