基于毫米波雷达和摄像头信息融合的障碍物检测方法

摘要

本发明提供了基于毫米波雷达和摄像头信息融合的障碍物检测方法，包括对毫米波雷达和摄像头进行联合标定实现两传感器所在坐标系的转换；对摄像头进行标定获取摄像机内外参数，将雷达获取的目标位置投影到摄像头获得的图像上；将毫米波雷达数据与摄像头数据在时间上的融合；对雷达返回的目标信号进行预处理获取有效目标，针对有效目标生成目标感兴趣区域；基于摄像头获取的图像检测运动目标障碍物；计算基于毫米波雷达获取的目标感兴趣区域和基于摄像头获取的运动目标障碍物结果中的目标重合度，最终根据目标重合度决定是否存在目标障碍物。实验结果表明，该融合方案能正确识别障碍物，精度较高，鲁棒性好。

说明书

技术领域

本发明属于目标检测技术领域，具体涉及基于毫米波雷达和摄像头信息融合的障碍物检测方法。

背景技术

近年来，随着交通和技术的发展，公路交通强度和密度迅速增加，导致各种交通事故频繁发生。研究表明，若能提前1秒钟向驾驶人员有效地发出警报，就可避免90％以上的交通事故。因此，自动驾驶辅助系统(autonomous driver assistance systems，ADAS)应运而生。自动驾驶辅助系统中最重要的一个研究方向就是车辆智能障碍物检测，车辆障碍物检测是指车辆能够借助传感器感知周边环境，实时获取周边环境信息，判断是否存在障碍物，从而避免发生碰撞造成事故。车辆和行人是车辆在公路行驶前方的主要障碍物，障碍物检测是智能汽车领域的一个研究热点，如何高效、准确地识别行人和车辆是技术关键。障碍物检测方法主要有基于机器视觉检测和基于雷达检测两种。

基于机器视觉的检测方法主要有运动特征检测、形状特征检测以及特征与模板匹配的方法。随着自动驾驶和智能辅助驾驶技术的不断进步，采用雷达进行障碍物检测受到了广泛应用。

机器视觉探测范围广，获取的目标信息完整，但容易受光照变化影响；毫米波雷达穿透雨雾能力较强，工作稳定，并且能够准确获取障碍物深度信息，但对目标的纹理、形状等特征不太敏感。

发明内容

针对现有技术存在的以上不足，本发明提供了基于毫米波雷达和摄像头信息融合的障碍物检测方法。

本发明为实现上述技术目的，采用以下技术方案。

一方面，本发明提供基于毫米波雷达和摄像头信息融合的障碍物检测方法，包括：对毫米波雷达和摄像头进行联合标定实现建立毫米波雷达和摄像头所在坐标系的转换；对摄像头进行标定获取摄像头内外参数，将雷达获取的目标位置投影到摄像头获得的图像上；

将毫米波雷达数据与摄像头数据在时间上融合；

对雷达返回的目标信号进行预处理获取有效目标，生成目标感兴趣区域；

基于摄像头获取的图像检测运动目标障碍物；计算基于目标感兴趣区域和运动目标障碍物结果中的目标重合度，最终根据目标重合度确定是否存在目标障碍物。

进一步地，基于摄像头获取的图像检测运动目标障碍物的具体方法如下：对背景图像中的每一个像素点用K个高斯分布函数来表示；对于某一个像素点X

其中，

其中，μ

将K个高斯分布函数的权重ω、均值μ、协方差∑进行初始化，将每一新捕获帧的像素值X

|X

其中，σ

当满足式(3)时，表示像素值与K个高斯分布函数其中的一个高斯分布函数匹配，对高斯分布函数的权重ω、均值μ和方差σ

ω

μ

其中，ω

如果不存在高斯分布函数与X

ω

更新完所有高斯分布函数的权重后，对其做归一化处理：

将K个高斯分布函数按照ω

重新对像素X

再进一步地，设定个数的确定方法为在排序中按照从大到小的顺序选择高斯分布函数的权重值之和大于设定阈值的最少的高斯分布函数的个数，表达式如下：

其中，ω

进一步地，计算目标感兴趣区域和运动目标障碍物结果中的目标重合度的方法如下：

其中，R

进一步地，对毫米波雷达和摄像头进行联合标定实现建立两传感器所在坐标系转换的方法包括：

建立5个坐标系，分别为毫米波雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系以及摄像机像素坐标系；

建立毫米波雷达坐标系与世界坐标系的转换关系，建立摄像机坐标系与世界坐标系之间的转换关系，建立摄像机坐标系与图像坐标系之间的坐标转换关系，建立图像坐标系与像素坐标系之间的转换关系，建立世界坐标系与像素坐标系的转换关系。

进一步地，生成目标感兴趣区域的方法如下：

其中，(x

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如以上技术方案任意一种可能的实施例提供的任意一项权利要求所述方法的步骤。

本发明所取得的有益技术效果：

本发明提供的基于毫米波雷达和摄像头信息融合的障碍物检测方法首先根据两传感器的工作频率的不同运用时间同步使二者获得同一时刻的目标信息，然后通过联合标定的坐标转换将毫米波雷达获取的目标信息投影至同一时刻图像上，形成感兴趣区域。通过高斯混合模型的运动目标检测方法检测运动目标，最后计算二者感兴趣区域的重合度，判断目标为行人还是车辆。实验结果表明，本发明提供的方法弥补了单一传感器在障碍物检测中的不足，能正确识别障碍物，精度较高，鲁棒性好。

附图说明

图1为具体实施例中世界坐标系、摄像机坐标系与雷达坐标系的位置关系；

图2为具体实施例中世界坐标系与毫米波雷达坐标系转换示意图；

图3为具体实施例中摄像机标定棋盘格示意图；

图4为具体实施例中摄像机与毫米波雷达空间同步示意图；

图5为具体实施例中毫米波雷达与机器视觉时间同步流程图；

图6为具体实施例中基于雷达的目标检测结果示意图，其中6(a)为雷达检测的原始目标信号，6(b)为筛选后的有效目标；

图7为具体实施例中雷达目标感兴趣区域示意图，其中7(a)示出目标为行人，7(b)示出目标为车辆；

图8为具体实施例中图像目标检测结果，其中8(a)为第95帧车辆原始图像，8(b)为第117帧行人原始图像，8(c)为第95帧GMM检测前景图像，8(d)为第117帧GMM检测前景图像，8(e)为第95帧检测结果，8(f)为第117帧检测结果；

图9为具体实施例单个目标行人检测结果示意图，其中9(a)为第144帧机器视觉检测图，9(b)为第144帧雷达检测图，9(c)为第144帧融合检测图；

图10为具体实施例中多个目标行人检测结果示意图，其中10(a)为第174帧机器视觉检测图；10(b)为第174帧雷达检测图，10(c)为第174帧融合检测图；

图11为具体实施例中目标车辆检测结果示意图，其中11(a)为第87帧机器视觉检测图，11(b)为第87帧雷达检测图，11(c)为第87帧融合检测图；

图12为具体实施例中车辆检测目标结果示意图，其中12(a)为第107帧雷达检测图，12(b)为第107帧融合检测图。

具体实施方式

以下结合说明书附图和具体实施例对本发明做进一步说明。

实施例1：基于毫米波雷达和摄像头信息融合的障碍物检测方法，包括以下步骤：

(1)对毫米波雷达和摄像头进行联合标定实现建立两传感器所在坐标系的转换；对摄像机进行标定获取摄像机内外参数；

(2)将毫米波雷达数据与摄像头数据在时间上融合；

(3)对雷达返回的目标信号进行预处理获取有效目标，针对有效目标生成目标感兴趣区域；

(4)基于摄像头获取的图像检测运动目标障碍物；

(5)计算基于毫米波雷达获取的目标感兴趣区域和基于摄像头获取的运动目标障碍物的结果中的目标重合度，最终根据目标重合度决定障碍物是否是目标障碍物。

其中步骤(1)具体包括以下内容：毫米波雷达与摄像机的空间融合的目的是将雷达探测到的三维世界中的物体与图像中的物体对应起来，雷达和摄像头是不同坐标系的传感器，因此要实现雷达与摄像头的空间融合，必须建立两传感器所在坐标系的转换模型。本发明总共涉及5个坐标系，分别为毫米波雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系以及摄像机像素坐标系。图1表示世界坐标系O

毫米波雷达坐标系与世界坐标系的转换关系如下式：

其中，L为目标障碍物与雷达的相对距离，Y

世界坐标系与毫米波雷达坐标系转换示意图如图2所示。

摄像机坐标系与世界坐标系之间的转换关系可以用旋转矩阵R和平移向量Q来表示，对于三维空间中的任意一点P，该点在摄像机坐标系和世界坐标系中的坐标分别为(X

式中，M

摄像机坐标系是三维空间，图像坐标系是二维空间。因此摄像机坐标系与图像坐标系之间的坐标转换关系为多对一，可以表示为：

上式即为摄像机坐标系到图像坐标系的转换。其中，(x，y)为图像坐标系中的坐标，(X

图像坐标系与像素坐标系之间的转换原理为矩阵运算，转换关系可以用矩阵形式进行表示：

综合毫米波雷达坐标系与世界坐标系的转换关系(式(10))、摄像机坐标系和世界坐标系之间的转换关系(式(11))、摄像机坐标系与图像坐标系之间的坐标转换关系(式(12))以及图像坐标系与像素坐标系之间的转换关系(式(13))可以得到三维世界坐标系中的一点P(X

式中，a

摄像机的内部参数以及外部参数的求取方法为摄像机标定。本发明选用张正友标定法对相机进行标定以求取相关参数，张正友标定法具有操作简单、适应性强且标定精度高等特点。张正友标定法是非线性模型相机的线性标定方法，采用二维平面标靶，采集图像的多个不同视点，实现了相机的标定。本实施例选用12×12、小方格边长为60mm×60mm的标定板棋盘进行标定(摄像机标定棋盘格如图4所示)。首先用摄像机拍摄不同方位，不同姿态下的棋盘图像共15张，再通过基于张正友标定原理的MATLAB标定工具箱，即可简单准确有效的完成标定，求得摄像机的内外参数。

求得摄像机内外参数如下：

内部参数：

外部参数：

旋转矩阵：

平移向量：Q＝[221.901074 146.508139 6532.543130]

求得摄像机内外参数之后，将其带入式(10)和式(14)中，可将雷达坐标转换为摄像机像素坐标，即可将雷达获取的目标的位置投影到图像中。如图4所示，图中红点即为雷达目标位置投影到图像中的坐标点。

步骤(2)具体包括以下内容：毫米波雷达与摄像机数据在时间上的融合主要是指二者处理的为同一时刻的障碍物信息，即传感器在时间上的同步。由于不同传感器的采样频率不尽相同，传感器采集到的并不是同一时刻的信息。本发明所选用的摄像机的采样帧速率为10帧/秒，毫米波雷达的采样速率为20帧/秒。因此，二者采集到的不是同一时刻的数据信息。本发明以工作频率较低的摄像机传感器为基准，向下兼容同步采样两种传感器信息，采用多线程同步的方式实现二者的数据在时间上的融合。图5为对两传感器进行时间融合的示意图。如图5所示，以摄像机采集数据的时间为基准，摄像机时间触发后，会采集当前时刻摄像机所获取的信息，随即触发毫米波雷达的采集线程。同理，雷达被触发后，采集当前时刻雷达所探测到的信息，然后将当前时刻摄像机与毫米波雷达的图像数据进行组合并将其添加至缓冲区队列尾，进入数据处理主线程，同步处理图像和雷达数据。

步骤(3)具体包括以下内容：

在实际行车环境中，由于雷达自身工作性能不稳定或目标回波能量分布不均以及车辆行驶过程中的随机颠簸和摆动，雷达返回的信号中会存在噪声以及干扰信号，导致输出的目标信息中包含空目标、虚假目标或者出现目标断帧情况导致目标不连续，将雷达输出的所有目标信号投影到图像上，如图6(a)所示，可以看出，雷达探测到的原始目标信号包含所有探测到的目标，包括树木、护栏等障碍物，因此必须先对雷达返回的目标信号进行预处理，以去除噪声，得到有效稳定的目标信息。对于雷达探测到的原始目标，首先设定车辆横纵向距离阈值，设定横向距离阈值10m宽，纵向距离阈值100m远的矩形范围为目标识别区域，对于该识别区域再根据其速度及相对位置关系进行分析，将速度v的绝对值小于0.2的目标认定为静止目标，据此剔除隔离护栏和树木等静止目标，得到雷达获取的有效目标信息，表1为初选有效目标部分信息，表中，ID为目标编号、L为目标障碍物与雷达的相对距离、θ为目标障碍物与雷达的相对角度、v为目标障碍物与雷达的相对速度、p为前方目标的反射强度。最终得到有效目标信息如图6(b)。

表1初选有效目标信号

在实际处理中由于采集图像的数据量大，不可能对整幅图像进行全局搜索，需要通过建立感兴趣区域来缩小搜索范围。毫米波雷达是以点的形式返回目标信号的位置，在实际运用中需要根据该点的位置生成一个目标感兴趣区域。本发明中，由雷达获得前方车辆形心点的输入，综合以上建立形心点的雷达坐标和图像像素坐标间的转换关系，再根据常见车辆的宽高比将车辆投影到像素平面，建立动态感兴趣区域，缩小在图像上的搜索时间，减少计算量。

动态感兴趣区域生成方法如下：

式中，(x

步骤(4)具体包括以下步骤：

在获取雷达检测目标感兴趣区域的同时，还需要通过图像处理的方式来检测运动目标障碍物，然后对比二者检测的结果，最终决定是否存在目标障碍物。

基于图像信息的运动目标障碍物检测主要是对路面上的行人和车辆进行检测，通常用矩形框来表示行人和车辆。常用的运动目标检测法主要包括帧间差分法、光流法、背景减除法等。由于背景减除法原理简单、适用性广，它成为运动目标检测领域最常用的方法。背景减除法是一种有效的运动对象检测算法，基本思想是利用背景的参数模型来近似背景图像的像素值，将当前帧与背景图像进行差分比较实现对运动区域的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域。利用背景减除法进行运动目标检测的关键是要选取合适的背景建模方法，目前几种常用的背景建模方法包括：均值滤波法、统计平均法、高斯混合模型法。

步骤(5)具体包括以下步骤：对于同一帧图像，通过毫米波雷达可以检测到目标感兴趣区域ROI，同时，通过机器视觉也可以得到目标矩形区域，而验证雷达和机器视觉检测到的2个矩形区域是否有重叠，如果有重叠，说明雷达和机器视觉都检测到该区域存在目标。对于重叠的区域，需要计算其重合度，即重合区域面积占目标感兴趣区域面积的百分比。重合度的计算方法如下：

其中，R

实施例2：在以上实施例的基础上，本实施例中采用基于高斯混合模型的背景减除法来区分背景和前景，进行运动目标的检测，判断车辆前方是否存在障碍物。

在背景减除法中，高斯混合模型法是应用最为广泛的背景建模方法，它能够自适应的进行背景更新。

高斯混合模型背景建模过程包括背景模型初始化、背景模型参数更新、背景模型选择和运动目标提取。高斯混合模型的核心思想是对背景图像中的每一个像素点用K个高斯分布来表示。K一般取3～5个。对于某一个像素点X

其中，η(X

式中，K为高斯分布的个数；ω

将K个高斯模型的权重ω、均值μ、协方差∑进行初始化，将每一新捕获帧的像素值X

|X

当满足式(3)时，像素值与K个模型其中的一个模型匹配，对高斯分布的权重ω、均值μ、方差σ

ω

μ

其中，α为用户自定义的学习速率，0≤α≤1，其大小决定着背景的更新速度。ρ是参数学习速率且ρ

如果不存在高斯分布与X

ω

更新完所有高斯分布的权重后，对其做归一化处理：

将K个高斯分布按照ω

式中，T

在其他实施例中可以通过其他方法选择高斯分布函数的个数，在此不加限定。

基于GMM的背景减除法能够描述像素值分布的双峰或多峰状态，对比较复杂、光照缓慢变化和存在小幅度重复运动的背景能够准确建模。本发明采用该方法分割视频图像中的前景和背景，提取出运动前景目标。本发明分别选取了视频的第95帧和第117帧图像进行实验，如图，图8(a)和图8(b)为原始图像，运用高斯混合模型算法对原始图像进行前景提取得到GMM二值化前景检测结果如图8(c)和8(d)，最后利用图像形态学运算提取目标轮廓拟合成一个基于机器视觉的矩形框如图8(e)和8(f)所示。

为验证本发明算法对障碍物检测的有效性，对其进行实验验证。实验设备为Delphi公司的ESR(Electronically scanning radar)毫米波雷达，工作频率为20Hz；海康威视DS-2CD5032FWD-(A)(P)摄像机，采样频率为10Hz；以及一台CPU为Intel(R)Core(TM)i5-8250U1.6GHz的计算机；基于OpenCV平台开发。

首先通过毫米波雷达和摄像机获取同一时刻的障碍物信息以及两段视频，采用本发明算法对其进行信息融合，得到融合后的投影图像，最后根据投影图像计算重合度。选取第一段视频的第144帧和第174帧图像以及第二段视频的第87帧和第107帧图像进行融合实验，分别得到基于机器视觉检测结果、基于毫米波雷达检测结果以及毫米波雷达和机器视觉融合的检测结果：

第一段视频检测结果如图9、图10所示，第二段视频检测结果如图11、图12所示。

分别以人和车为目标，在不同距离上各做10次实验，计算重合度结果如下表所示。

表2雷达与机器视觉检测区域重合度

通过研究表2可发现，当障碍物目标为车辆时，两传感器检测区域的重合度为55％-72％；当障碍物目标为行人时，两传感器检测区域的重合度为25％-32％；两组数据都相对较稳定，并且两组数据重合度差异较明显，因此，可以通过重合度的数值判断障碍物目标为行人还是车辆。

本发明提出的一种基于毫米波雷达和机器视觉信息融合的障碍物检测方法。该方法首先根据两传感器的工作频率的不同运用时间同步使二者获得同一时刻的目标信息，然后通过联合标定的坐标转换将毫米波雷达获取的目标信息投影至同一时刻图像上，形成感兴趣区域。并通过高斯混合模型的运动目标检测方法检测运动目标，最后计算二者感兴趣区域的重合度，判断目标为行人还是车辆。实验结果表明，该融合方案能正确识别障碍物，精度较高，鲁棒性好。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。