一种基于毫米波雷达与视觉信号的道路障碍物检测方法

摘要

一种基于毫米波雷达与视觉信号的道路障碍物检测方法，通过毫米波雷达及视觉传感器检测道路前方障碍物，通过融合毫米波雷达与视觉图像两种信号，检测目标物体类别，首先将毫米波雷达信号预处理，将毫米波雷达报文转化为目标点位置的形式，并与视觉图像信号进行时间同步；将毫米波雷达目标点根据坐标匹配关系映射于视觉图像信号之上，实现两种模态的融合；对映射到视觉图像信号上的毫米波雷达信息进行目标检测，最后对检测结果进行尺度估计，细化障碍物信息。本发明实现了多模态细粒度障碍物检测，相比传统单模态方法具有精确度与运行效率上的优势，具备高度实用价值。

说明书

技术领域

本发明属于人工智能与机器学习技术领域，涉及卷积神经网络与知识库技术，具体为一种基于毫米波雷达与视觉信号的道路障碍物检测方法。

背景技术

随着人工智能科技发展，自动驾驶技术开始越来越多的进入人们的视野。自动驾驶集成了自动控制，智能环境感知，最优化等众多技术于一体，是人工智能高度发展的产物。其中，智能环境感知在自动驾驶技术中地位尤其重要，感知障碍物为车辆控制规划提供了重要依据。只有实时精准的障碍物感知与检测，才能使得自动行驶的汽车有效避开障碍物，避免产生碰撞等安全事故，保证了自动驾驶的安全性能。

现阶段的障碍物感知主要基于光学传感器、视觉传感器或毫米波雷达传感器。

光学传感器采用在车身安装光学测距仪器，对车身周边方向进行距离检测。其缺点在于尽可获取距离信息而没有具体类别信息。且测距装置为固定装置，仅可感知固定方向，可靠性较低。此外还具有仪器暴露在车外部易损坏等问题。

雷达检测是从目标的雷达信号回波特征中提取能反映目标属性信息的特征，由机器根据一定的判别准则对目标做出类别或型号判决。毫米波近程探测雷达由于体积小、质量轻、易于高度集成化，而且频带宽、分辨率高，抗干扰性能强并具有较好的全天候工作能力，具有广泛的应用场景。然而，自动驾驶应用的道路场景目标分布密集、数量庞大、种类繁杂、运动状态多样多变、杂波干扰复杂等因素严重降低了目标特征提取的鲁棒性；毫米波雷达目标特性数据不完备、可信度低，人工设计的识别特征复杂环境、适应性差等问题进一步限制了目标识别算法的工程推广能力和性能提升。杂波环境的复杂性、目标识别自身技术瓶颈等众多问题，使得毫米波雷达检测单独应用于自动驾驶场景存在较大难度。

另一种常用的方法是基于视觉方法车辆周边进行目标检测。基于视觉的目标检测方法的研究主要集中于检测算法的优化以及性能提升等方面，以求对目标更准确更高效的识别。然而，在实际应用场景下，视觉的目标检测方法难以获得目标的准确位置等信息，且容易受到光照，天气等影响视觉图像的干扰因素。

发明内容

本发明要解决的问题是：现有技术在环境感知障碍物检测上以单一信号源为主，无法避免由于传感器信号的局限性造成的识别精准度低，无法有效监测到目标等问题，无法满足实际复杂道路场景的监测需要。

本发明的技术方案为：一种基于毫米波雷达与视觉信号的道路障碍物检测方法，通过毫米波雷达及视觉传感器检测道路前方障碍物，通过融合毫米波雷达与视觉图像两种信号，检测目标物体类别，首先将毫米波雷达信号预处理，将毫米波雷达报文转化为目标点位置的形式，并与视觉图像信号进行时间同步；将毫米波雷达目标点根据坐标匹配关系映射于视觉图像信号之上，实现两种模态的融合；对映射到视觉图像信号上的毫米波雷达信息进行目标检测，最后对检测结果进行尺度估计，细化障碍物信息。

进一步的，先对映射到视觉图像信号上的毫米波雷达信息进行似物性检测，低于似物性阈值的判为杂波，不再进行下一步检测，高于似物性阈值的结构再通过特征提取网络进行目标检测。

进一步的，本发明具体包括以下步骤：

1)获取毫米波雷达传感器报文信号流与视觉图像信号流，依据报文时间戳，采用多线程处理，对两种信号流进行同步匹配；

2)取相同时刻的毫米波雷达信号和视觉图像信号，将同步的毫米波雷达信号进行转化使其映射到视觉图像信号上，得到映射后的点集S，S包含了一组图像上的像素坐标点，为毫米波检测物目标在图像的目标位置映射；

3)对步骤2)中得到的点集S，分别取S中的每个点，对该位置图像进行Edge box局部似物性估计；

4)根据Edge box的似物性估计结果，对毫米波雷达信号进行杂波滤波，保留Edgebox似物性高于阈值的毫米波检测点，而似物性低于阈值的检测点视为无关杂波，对该部分杂波进行滤除；

5)对滤波后的毫米波雷达信号目标位置，采用卷积神经网络进行局部特征提取；

6)对步骤5)输出的多尺度特征进行特征金字塔特征融合；

7)对融合后的特征进行分类与回归预测，得到检测结果；

8)将各个毫米波雷达映射点的检测结果整合并进行非极大值抑制；

9)将预测类别，置信度，位置结果等信息进行标准格式化，依照置信度降序输出，显示障碍物检测结果。

本发明还提供一种基于毫米波雷达与视觉信号的道路障碍物检测装置，装置中设有计算机可读存储介质，计算可读存储介质中配置有计算机程序，所述计算机程序被执行时实现上述道路障碍物检测方法。

本发明精准高效的利用毫米波雷达传感器信息与视觉传感器信息检测道路障碍物目标，包含了异源信号同步匹配技术、毫米波雷达信号映射技术、似物性估计技术、图像特征提取技术、特征金字塔特征融合技术、图像特征目标检测技术以及尺度估计技术。

本发明的有益效果是：提供高效而精准的障碍物检测识别技术。相比现有技术具有如下优点。

(1)本发明包含了基于深度学习的计算机视觉目标检测功能，提取了传感器数据的语义信息，有效提升了目标检测的精确度与效率。

(2)本发明还结合了毫米波雷达传感器信号，提升了在异常环境下如雨雪天气等导致视觉图像效果不佳时系统的稳定性，且更全面的覆盖了视觉检测中容易被忽略的远距离目标。

(3)本发明的结构还可以拓展为其他类型的检测，如道路行车检测，人员流动检测等，具有极强的泛化能力与广阔的市场应用前景。

附图说明

图1为本发明的整体流程图。

图2为毫米波雷达杂波过滤流程图。

具体实施方式

本发明提出一种基于毫米波雷达与视觉信号的道路障碍物检测方法，结合了毫米波雷达与视觉视觉信号两种模态信号，用于识别道路障碍物。本发明方法的总体流程图如图1所示。本发明的技术方案具体包含如下步骤：

(1)输入毫米波雷达传感器报文信号流与视觉图像信号流，对于异源的两种输入流，依据其报文时间戳对两种输入进行同步匹配。

分别建立毫米波雷达报文读取线程和视觉图像读取线程，将视觉图像读取线程所读取的视频帧以其时间戳为键保存在数据结构字典中，与此同时毫米波雷达报文读取线程读取最新的毫米波雷达报文，使用读取的毫米波雷达报文时间戳索引存储视觉图像的字典，若成功索引，则将这一组报文与视觉图像匹配进行后续处理，若未能成功索引，则将其时间戳与字典中最早，最晚的时间戳进行对比。若毫米波雷达报文时间戳早与最早的视觉数据，则令视觉图像读取线程休眠，直至毫米波雷达报文读取至与图像数据同一时刻；类似的，若毫米波雷达报文晚于最晚的视觉数据，则令毫米波雷达报文读取线程休眠，直至视觉图像数据读取至同一时刻。

图像读取线程中会保存最多2分钟的视觉信号，随着新数据的不断读入，会按照时间顺序清除最陈旧的数据。设置为2分钟的原因是由于多线程执行具有不确定性，建立缓冲窗口，避免了由于线程调度问题造成数据无法匹配。

(2)取一组毫米波雷达信号和视觉图像信号。其中毫米波雷达信号为某一时刻毫米波雷达检测结果，视觉图像信号为同一时刻的车载图像采集装置监测画面。将同步的毫米波雷达信号进行转化使其映射到视觉图像信号上，得到映射后的点集S，S包含了一组图像上的像素坐标点。

毫米波雷达信号与视觉图像信号映射本质上是现实坐标系与像素坐标系的转换，需要先将现实坐标系转换为图像坐标系，再将图像坐标系转换为像素坐标系。像素坐标系指以视觉图像信号的图像左上角为原点，u轴向右，v轴向下；图像坐标系指以图像中心为原点，x轴向右，y轴向下。像素坐标系和图像坐标系的转换关系为：

其中u

上式用齐次坐标表示为：

图像坐标系和现实坐标系的对应具有以下转换关系：

其中，f为相机焦距，X

结合上式，像素坐标系和现实坐标系的转换关系如下：

其中,

由此可以得到现实坐标系与像素坐标系的坐标转化公式。毫米波雷达传感器提供的信号为目标的现实坐标，根据该式将毫米波雷达检测信号的转化为像素坐标映射与视觉图像图像上。

(3)对步骤2中得到的毫米波雷达检测结果映射点集S，分别取S中的每个点，对该位置图像进行Edge box局部似物性估计。

Edge box方法是基于图像中目标边缘所产生的轮廓信息，计算框内包含的以及与框边缘重叠的轮廓个数，如果目标框内包含的轮廓信息越多，则该框包含目标的可能性也越大，然后对所有的潜在目标框打分排序，实现目标区域的粗略估计。在现有的似物性估计方法中，Edge Boxes能够较好的检测出多种形状的物体，具有一定的尺度自适应性，并且具有较高的运算速度。

根据Edge box的似物性估计结果，对毫米波雷达信号进行杂波滤波。保留Edgebox似物性较高的毫米波雷达检测点，而似物性较低的检测点视为无关杂波，对该部分杂波进行过滤。

(4)对滤波后的毫米波雷达信号目标位置，进行局部特征提取。

局部特征提取通过目标大小进行逆推得到视觉信号中的像素尺寸，截取该部分局部图像信号进行特征提取。

对障碍物的像素尺度估计依据相机内外参、毫米波雷达测量的目标距离和方位、预期目标实际大小共同得出。首先，视觉图像图片的每个像素值由相机视觉传感器上对应位置的光照强度得出，设视觉传感器宽高分别为W

特征提取采用了CSP-Darknet，该网络主要由CBL模块与CSP模块组成。CBL模块即为卷积神经网络结构中最常用的卷积层加批标准化层加激活函数层，这里激活函数使用了Leaky Relu。该网络输入为毫米波雷达信号目标位置所在区域的局部图像，经过多个卷积层计算，在网络的不同深度截取不同尺度的特征输出。

(5)对步骤输出的三种特征进行特征金字塔特征融合。

特征融合是指将卷积神经网络不同深度的特征输出进行融合，使得浅层特征融入更多深层的语义信息，深层特征融入更多的浅层位置信息。多尺度特征融合部分采用了特征金字塔的结构，将上一级提取的特征通过双线性插值上采样，以及卷积神经网络下采样，划分到3个不同尺度。对于较大尺度的特征，其特征中心划分较细，用于预测图像中较小的物体，而对于小尺度的特征，特征中心稀疏，且感受野足够大，用于预测图像中较大尺度的物体。特征金字塔结构之间的侧连接，也保证了深层语义信息与浅层位置信息的融合，提升了后续预测分支对于目标分类预测与位置回归的精准度。此外，在自顶向下特征金字塔的后面还添加了一个自底向上的特征金字塔。其中包含两个PAN结构。PAN结构采用了卷积层进行二次下采样。这样结合操作，特征金字塔自顶向下传达强语义特征，而PAN则自底向上传达强定位特征，从不同的主干层对不同的检测层进行参数聚合。

(6)对特征进行分类与回归预测，得到检测结果。

对于特征融合后的多个尺度特征的每个像素位置经过卷积层降维，将特征进一步抽象化，分别传入分类预测分支与检测框位置回归分支。分类分支负责预测该像素位置可能的物体类别，在本发明中，根据预先训练好的分类网络计算各个类别的置信度，输出该位置置信度最高的类别。可识别的类别包含行人，自行车，汽车，卡池，路灯，狗，灯牌等大量可能出现在道路的物体类别。检测框位置回归预测检测框基于像素位置的长宽以及偏移，由预测结果，结合特征尺度与像素位置信息，可以计算出检测框的像素坐标。

(7)将各个毫米波雷达映射点的检测结果整合并进行非极大值抑制。

步骤7中得出的检测框坐标是基于每个毫米波雷达映射点的局部图像。因此在得到所有映射点的检测结果后，需将检测框坐标转化为视觉图像原图中的像素坐标。转化方式为局部像素坐标的x,y坐标分别加上局部图像左上角在原图中的x,y像素坐标。完成转化后得到了原图中的一系列检测框像素坐标，其中包含了大量重复检测。为了去除重复检测，需对结果进行非极大值抑制。具体方法为根据分类置信度降序排序，若某个检测框与排序在其之前的另一个检测框重合比例高于固定阈值，则将其从检测结果中去除。

(8)将预测类别，置信度，位置，尺度估计结果等信息进行标准格式化，依照置信度降序输出。

本发明上述方法通过计算机程序实现，提供一种基于毫米波雷达与视觉图像信号的道路障碍物检测装置，装置中设有计算机可读存储介质，计算可读存储介质中配置有计算机程序实现上述检测方法，所计算机程序按功能模块划分包含了信号预处理模块，杂波过滤模块，模态映射模块与多模态检测模块。其中信号预处理模块用于将毫米波雷达信号预处理，从毫米波雷达报文转化为目标点位置的形式，并与视觉信号进行时间同步；模态映射模块将毫米波雷达目标点映射于视觉信号之上，实现两种模态的融合；杂波过滤模块用于似物性判断，过滤毫米波雷达信号中由环境噪声产生的杂波；多模态检测模块对映射到视觉传感器采集的图像信息上的毫米波雷达信息进行目标检测；尺度估计模块对于检测结果进行尺度估计，细化障碍物信息。