一种基于对抗神经网络和多传感器融合的目标检测方法

摘要

本发明公开了一种基于对抗神经网络和多传感器融合的目标检测方法，属于无人驾驶技术的目标检测与环境感知领域。为了解决现有技术中无法对夜间障碍物准确检测的问题，本发明方法采用毫米波雷达和视觉传感器进行融合检测，采用对抗神经网络对网络进行训练。对毫米波雷达数据的处理主要包括数据聚类和有效目标初筛选。将预处理后的毫米波雷达数据与对抗网络输出的日间图像进行时间和空间坐标系的统一，将毫米波预处理数据和对抗神经网络输出的日间图像减去配准后的同场景预采样数据，得到两者最终处理数据。然后将两者数据进行融合，得到最终的夜间障碍物检测结果。本发明极大的提高了夜间目标检测的鲁棒性。

说明书

技术领域

本发明属于无人驾驶技术的目标检测与环境感知领域，具体指代一种夜间工况下的传感器融合目标检测方法。

背景技术

随着人民对于生活质量的不断追求和技术的不断革新，无人驾驶技术已经得到迅速的发展，作为无人驾驶技术中的关键技术，目标检测的准确度极大的决定着无人驾驶的安全性。目前目标检测技术主要采用的传感器主要为三种，分别为激光雷达、毫米波雷达和摄像头。其中由于摄像头价格相对较低，基于摄像头的图像识别技术发展飞速，其原理主要为预先对模型进行训练，并设定目标种类，然后将摄像头采集的画面进行特征提取和分析，快速的对画面中的目标进行分类和检测。然而图像数据仍然存在着一些致命的问题，比如在光照条件差或曝光严重的情况下的难以对目标进行检测和分类。激光雷达则是近年新的发展趋势，由于其鲁棒性强，数据量大，不受光照影响的特性已经成为了未来的主要发展趋势，但是由于其价格相对昂贵、数据量过大，难以实时处理，并且会严重受到雨雾天气的影响，在当前的发展中仍然具有一定的局限性。毫米波雷达的应用则较为广泛，早期毫米波雷达主要应用与军事领域之中，现如今已经广泛应用与无人车，无人机和智能交通等多个领域。毫米波雷达主要优点在于穿透性强，不会被尘埃，雨露所影响，不受光照影响，能够在恶劣天气下工作，并且能够做到全天候工作，但是主要问题则在于精度不高，分辨率较低。

目前在目标检测上的研究主要都集中于光照条件良好的情况，然而在无人驾驶的未来发展趋势上，必须满足车辆的全天候检测任务，因此仍然需要对夜间等光照条件差的情况下的道路车辆进行检测，目前在夜间目标检测方面已经有了一些新的研究，例如中国发明专利号CN111965636A，名称为“—种基于毫米波雷达和视觉融合的夜间目标检测方法”，其中采用了毫米波雷达和视觉传感器，利用毫米波雷达对感兴趣区域进行提取，针对毫米波雷达提取的感兴趣区域，对图像相对应的区域进行图像增亮，然后采用深度学习的方法进行检测和分类。在此专利里虽然采用了毫米波雷达和视觉传感器，然而并没有发挥两者在光照条件下检测的优势，仅仅采用毫米波雷达进行感兴趣区域提取，由于毫米波雷达的精度问题，容易产生漏检。同时，对感兴趣区域的图像进行图像增亮，然后进行检测，容易产生数据的失真从而造成误检现象。中国发明专利号CN106251355B，名称为“一种融合可见光图像与对应夜视红外图像的检测方法”，其中在对于夜间图像的检测中采用了可见光图像和夜视红外图像。检测方法为分别对可见光图像和红外图像进行处理，得到显著性图像，然后进行融合。然而仅仅采用可见光图像和夜视图像无法得到与障碍物目标间的距离参数，在无人驾驶的应用上仍然存在着缺陷。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于对抗神经网络和多传感器融合的检测方法，以解决现有技术中无法对夜间障碍物准确检测的问题；本发明方法采用毫米波雷达和视觉传感器进行融合检测，同时采样不同路段良好光照度无障碍物道路图像作为预采样数据库。对夜间视觉传感器采样的图像进行处理的方式为采用对抗神经网络，对网络进行训练后，将夜间图像进行转换作为对抗神经网络的输入，并输出同一场景下的日间图像。对毫米波雷达数据的处理则主要包括数据聚类和有效目标初筛选。得到视觉传感器和毫米波雷达传感器预处理数据后，将对抗神经网络的输出日间图片与当前道路段的预采样数据库进行比对，筛选出相同场景视图，并进行图像配准。然后将预处理后的毫米波雷达数据与对抗网络输出的日间图像进行时间和空间坐标系的统一，将毫米波预处理数据和对抗神经网络输出的日间图像减去配准后的同场景预采样数据，得到两者最终处理数据。然后将两者数据进行融合，得到最终的夜间障碍物检测结果。

为达到上述目的，本发明采用的技术方案如下：

本发明基于对抗神经网络和多传感器融合的夜间目标检测方法，步骤如下：

步骤1)：建立光照条件良好情况下的无障碍物道路预采样数据库；

步骤2)：毫米波雷达和视觉传感器夜间行驶数据采样；

进一步地，所述步骤2)具体包括：

步骤21)：采集无人驾驶汽车在夜间行驶过程中的毫米波雷达点云数据，包括点云分布及点云与自身距离。

步骤22)：采集无人驾驶汽车在夜间行驶过程中的RGB图像数据。

步骤3)：利用已建立的数据库训练对抗神经网络与目标检测网络，使对抗神经网络能够在输入夜间图像后，生成输出同场景日间图像。使目标检测网络能够对图像中障碍物进行识别和分类。

进一步地，所述步骤3)具体包括：

步骤31)：训练对抗神经网络，需要相同场景下的日间和夜间数据库，然而采集同一场景下的日间和夜间图像基本不可能实现。因此首先利用车载摄像机直接采集日间图像，建立日间数据集A，然后通过对数据集A中图片进行对比度和亮度的调节得到夜间同场景数据集B。在训练对抗神经网络模型的过程中使用日间数据集A作为鉴别器的真实样本输入，匹配它的夜间数据集作为生成器的输入。网络通过小批量随机梯度下降(SGD)，并设置学习率为0.0002来完成训练，其中预先设置小批量为128。采用均值为零、标准差为0.02的正态分布作为各层权重参数的初始化方法。

步骤32)：目标检测网络采用YOLOV3网络，由于YOLOv3网络所需要的数据库是需要进行标注的，因此需要建立目标检测数据集C，并对其进行标注。数据集中图片采用车辆摄像机拍摄图像和网络寻找的一些优质图像以扩充数据库内容。然后利用VOC制作数据集，并通过数据集对网络进行训练。

步骤4)：对毫米波雷达采样数据进行聚类处理。

步骤5)：将生成的日间图像与预采样数据库进行比对，筛选出同场景预采样数据，并进行图像配准；

步骤6)：将毫米波雷达数据与视觉数据进行时空统一，将两者数据与配准后的预采样数据做差，然后分别对两者做差后数据进行检测。

进一步地，所述步骤6)具体包括：

步骤61)：时空统一包括空间同步和时间同步，其中空间同步为将毫米波雷达采集的点云数据从雷达坐标系转移变换至像素坐标系中；时间同步为利用脉冲发生器，根据毫米波雷达扫描频率设置触发频率，每次触发获取当前帧的毫米波雷达和相机数据，若图像在此刻无数据，则利用前后时刻数据进行插值计算。

步骤62)：根据步骤61)得到时空统一后的毫米波雷达数据和视觉数据，然后将步骤5)得到的配准后的预采样数据作为背景数据，分别将毫米波雷达数据和视觉数据与预采样数据做差，并利用已训练好yolov3神经网络对两者进行检测。

步骤7)：将两者检测数据进行目标匹配和数据融合，输出最终夜间障碍物检测结果。

进一步地，所述步骤1)中提到的预采样数据库为在天气条件良好的情况下，通过车辆在道路行驶过程中车载相机拍摄的道路图片。车辆速度在高速公路、一级公路、二级公路、三级公路、四级公路的车速分别为100km/h、80km/h、70km/h、60km/h、40km/h，采样频率为30FPS。采样道路数据后，通过人工的方式去掉图像中车辆、行人等障碍物信息，仅保留道路背景信息。

进一步地，所述步骤4)中提到的毫米波雷达聚类策略如下所示：

1.选取一帧雷达扫描数据中的任意一点作为聚类中心的初始值；

2.计算同一帧雷达扫描数据中某个数据点P

3.将两点之间的距离△R

4.若已经有多个聚类中心，需要依次计算P

5.重复以上步骤，直到将同一帧的雷达数据点均处理完成。

进一步地，所述步骤5)中提到的图像配准包括三个步骤，关键点检测和特征描述，特征匹配，图像变换。

进一步地，所述步骤6)中提到的视觉数据为车载摄像机拍摄的夜间图像，并通过对抗神经网络生成器生成的日间视图。

进一步地，所述步骤7)中提到的目标匹配和包括计算目标相似度、不同传感器目标匹配、同传感器与历史目标匹配。

进一步地，所述步骤7)中提到的数据融合是基于权系数的线性组合方法，由于毫米波雷达和相机对于目标的观测是相对独立的，所以分别选取不同传感器的协方差矩阵对目标参数进行加权处理，计算方法如下：

X

P＝P

其中，X

本发明的有益效果：

本发明针对夜间障碍物难以检测的问题，采用毫米波雷达和视觉传感器进行融合检测，同时考虑到视觉传感器在夜间检测障碍物鲁棒性差的问题，本文采用对抗神经网络，并且对网络进行训练，使其能够在输入夜间数据时，通过生成器生成相对应的日间图像，然后与毫米波雷达数据融合检测，极大的提高了检测鲁棒性。

附图说明

图1为基于对抗神经网络的多传感器融合检测流程图；

图2为对抗神经网络原理图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

实施例

本发明方法采用毫米波雷达和视觉传感器进行融合检测，同时采样不同路段良好光照度无障碍物道路图像作为预采样数据库。对夜间视觉传感器采样的图像进行处理的方式为采用对抗神经网络，对网络进行训练后，将夜间图像进行转换作为对抗神经网络的输入，并输出同一场景下的日间图像。对毫米波雷达数据的处理则主要包括数据聚类和有效目标初筛选。得到视觉传感器和毫米波雷达传感器预处理数据后，将对抗神经网络的输出日间图片与当前道路段的预采样数据库进行比对，筛选出相同场景视图，并进行图像配准。然后将预处理后的毫米波雷达数据与对抗网络输出的日间图像进行时间和空间坐标系的统一，将毫米波预处理数据和对抗神经网络输出的日间图像减去配准后的同场景预采样数据，得到两者最终处理数据。然后将两者数据进行融合，得到最终的夜间障碍物检测结果。

为达到上述目的，本发明采用的技术方案如下：

本发明基于对抗神经网络和多传感器融合的夜间目标检测方法，步骤如下：

步骤1)：建立光照条件良好情况下的无障碍物道路预采样数据库；

步骤2)：毫米波雷达和视觉传感器夜间行驶数据采样；

进一步地，所述步骤2)具体包括：

步骤21)：采集无人驾驶汽车在夜间行驶过程中的毫米波雷达点云数据，包括点云分布及点云与自身距离。

步骤22)：采集无人驾驶汽车在夜间行驶过程中的RGB图像数据。

步骤3)：利用已建立的数据库训练对抗神经网络与目标检测网络，使对抗神经网络能够在输入夜间图像后，生成输出同场景日间图像。使目标检测网络能够对图像中障碍物进行识别和分类。

进一步地，所述步骤3)具体包括：

步骤31)：训练对抗神经网络，需要相同场景下的日间和夜间数据库，然而采集同一场景下的日间和夜间图像基本不可能实现。因此首先利用车载摄像机直接采集日间图像，建立日间数据集A，然后通过对数据集A中图片进行对比度和亮度的调节得到夜间同场景数据集B。在训练对抗神经网络模型的过程中使用日间数据集A作为鉴别器的真实样本输入，匹配它的夜间数据集作为生成器的输入。网络通过小批量随机梯度下降(SGD)，并设置学习率为0.0002来完成训练，其中预先设置小批量为128。采用均值为零、标准差为0.02的正态分布作为各层权重参数的初始化方法。

步骤32)：目标检测网络采用YOLOV3网络，由于YOLOv3网络所需要的数据库是需要进行标注的，因此需要建立目标检测数据集C，并对其进行标注。数据集中图片采用车辆摄像机拍摄图像和网络寻找的一些优质图像以扩充数据库内容。然后利用VOC制作数据集，并通过数据集对网络进行训练。

步骤4)：对毫米波雷达采样数据进行聚类处理。

步骤5)：将生成的日间图像与预采样数据库进行比对，筛选出同场景预采样数据，并进行图像配准；

步骤6)：将毫米波雷达数据与视觉数据进行时空统一，将两者数据与配准后的预采样数据做差，然后分别对两者做差后数据进行检测。

进一步地，所述步骤6)具体包括：

步骤61)：时空统一包括空间同步和时间同步，其中空间同步为将毫米波雷达采集的点云数据从雷达坐标系转移变换至像素坐标系中；时间同步为利用脉冲发生器，根据毫米波雷达扫描频率设置触发频率，每次触发获取当前帧的毫米波雷达和相机数据，若图像在此刻无数据，则利用前后时刻数据进行插值计算。

步骤62)：根据步骤61)得到时空统一后的毫米波雷达数据和视觉数据，然后将步骤5)得到的配准后的预采样数据作为背景数据，分别将毫米波雷达数据和视觉数据与预采样数据做差，并利用已训练好yolov3神经网络对两者进行检测。

步骤7)：将两者检测数据进行目标匹配和数据融合，输出最终夜间障碍物检测结果。

进一步地，所述步骤1)中提到的预采样数据库为在天气条件良好的情况下，通过车辆在道路行驶过程中车载相机拍摄的道路图片。车辆速度在高速公路、一级公路、二级公路、三级公路、四级公路的车速分别为100km/h、80km/h、70km/h、60km/h、40km/h，采样频率为30FPS。采样道路数据后，通过人工的方式去掉图像中车辆、行人等障碍物信息，仅保留道路背景信息。

进一步地，所述步骤4)中提到的毫米波雷达聚类策略如下所示：

1.选取一帧雷达扫描数据中的任意一点作为聚类中心的初始值；

2.计算同一帧雷达扫描数据中某个数据点P

3.将两点之间的距离△R

4.若已经有多个聚类中心，需要依次计算P

5.重复以上步骤，直到将同一帧的雷达数据点均处理完成。

进一步地，所述步骤5)中提到的图像配准包括三个步骤，关键点检测和特征描述，特征匹配，图像变换。

进一步地，所述步骤6)中提到的视觉数据为车载摄像机拍摄的夜间图像，并通过对抗神经网络生成器生成的日间视图。

进一步地，所述步骤7)中提到的目标匹配和包括计算目标相似度、不同传感器目标匹配、同传感器与历史目标匹配。

进一步地，所述步骤7)中提到的数据融合是基于权系数的线性组合方法，由于毫米波雷达和相机对于目标的观测是相对独立的，所以分别选取不同传感器的协方差矩阵对目标参数进行加权处理，计算方法如下：

X

P＝P

其中，X

以上实施方式仅为说明本发明的技术思想，并不用于限制本发明的保护范围，凡是按照本发明提出的技术思想，在本发明技术方案基础上所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。