一种多传感器融合的目标检测系统及检测方法

摘要

本发明公开了一种多传感器融合的目标检测系统及检测方法，该系统解决了智能驾驶对本地感知海量多源异构数据和外部协作数据的实时性融合处理要求，现有的硬件系统即使能满足实时性要求，其造价也会更加昂贵。本系统采用了分布式计算平台，在满足性能需求的同时，造价更加经济实惠。该方法通过融合毫米波雷达与视觉信息，解决了因外部光源变换，雾雨天气造成的单摄像头感知的局限性，使其在极端天气下也可以检测到物体。同时通过融合激光雷达信息，能获取到物体的精确距离信息。

说明书

技术领域

本发明涉及目标检测技术领域，具体是一种多传感器融合的目标检测系统及检测方法。

背景技术

自动驾驶车辆感知环境是自动驾驶系统自动驾驶车辆感知环境通过传感器来获取信息，目前主流的传感器有激光雷达、毫米波雷达、超声波雷达以及相机等，然而各种传感器都有其各自的优缺点，传感器对环境的适应性不同。自动驾驶感知系统的检测不仅要识别当前物体的类别，还要测量出障碍物与自动驾驶车辆之间的相对距离。

由于传感器自身的缺陷，在雾天、雨天、夜晚等恶劣环境下，单类传感器性能受限，无法准确检测障碍物。由于激光雷达、毫米波雷达都有较好的测距效果，根据传感器标定得到的坐标变换融合车辆检测的信息。而天气影响环境的车辆检测问题，则可以通过多传感器融合进行互补感知环境，提高检测的环境适应能力。

而现有的多传感器融合系统大多占用大量算力，普通的计算平台算力不足，达不到实时性的要求。

发明内容

本发明的目的在于克服现有技术的不足，而提高一种多传感器融合的目标检测系统及检测方法。

实现本发明目的的技术方案是：

一种多传感器融合的目标检测系统，包括第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达和电源管理模块，第一AGX模块作为主机、第二AGX模块和第三AGX模块作为从机，其中激光雷达通过交换机模块与第二AGX模块连接，毫米波雷达和图像采集模块分别通过CAN收发器模块和交换机模块与第三AGX模块连接，第二AGX模块和第三AGX模块还通过交换机模块与第一AGX模块连接，LTE-5G模块和WiFi模块分别与第一AGX模块连接，第一AGX模块还与显示模块连接，电源管理模块为第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达供电。

所述的第一AGX模块、第二AGX模块和第三AGX模块，是基于NVIDIA jetson_AGX_Xavier的数据处理模块。

所述的图像采集模块为摄像机或照相机。

一种多传感器融合的目标检测方法，包括如下步骤：

1）毫米波与视觉数据融合，具体步骤如下：

1-1）对毫米波雷达和图像采集模块进行标定，计算出外部参数，使雷达坐标系中的目标点能映射到像素坐标系中，使图像采集模块的图片能显示毫米波检测到物体的位置；

1-2）图像采集模块和毫米波雷达将采集到的数据输入第三AGX模块，将毫米波数据和图片数据进行时间同步，选取每一张图片的时间戳作为采样点，选取与时间戳最接近的毫米波数据与其匹配；

1-3）对毫米波数据中的横向速度、纵向速度、RCS进行归一化处理后，转换到0~255的范围内，生成毫米波图像；

1-4）采用步骤1-3）的方法同时处理包含毫米波数据和图像数据的数据集，生成训练集；

1-5）建立基于yolov4-tiny改进的毫米波与图像融合检测模型，包括毫米波特征提取网络和图像与毫米波融合的检测网络，具体如下：

所述的毫米波特征提取网络，包括依次连接的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第二最大池化层、第四卷积层、第三最大池化层、第五卷积层、第四最大池化层、第六卷积层、第五最大池化层和第七卷积层，将步骤1-3）生成的毫米波图像从第一卷积层输入毫米波特征提取网络中，最后第六卷积层输出第一特征图像，第七卷积层输出第二特征图像；

所述的图像与毫米波融合的检测网络，包括Yolov4-tiny骨干网络、第一空间注意力模块、第二空间注意力模块、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第一上采样层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、小目标检测层和大目标检测层；图像采集模块采集到的图像经过Yolov4-tiny骨干网络后得到第三特征图像和第四特征图像，毫米波特征提取网络输出的第二特征图的一个分支先与第四特征图像进行concat操作进行特征图拼接，第二特征图的另一个分支经过第一空间注意力模块增强特定区域特征权值后与concat操作后的特征图进行相乘操作后进入第八卷积层，依次经过第八卷积层、第九卷积层、第十卷积层后，第十卷积层的一个分支生成第五特征图像，第十卷积层的另一分支再依次经过第十一卷积层和第一上采样后与第三特征图像进行concat操作后与经过第二空间注意力模块的第一特征图相乘，再依次经过第十二卷积层、第十三卷积层、第十四卷积层；第十四卷积层的一个分支输出与第五特征图像进行concat操作后输入第十五卷积层，再经过大目标检测层；第十四卷积层的一个分支输出送入小目标检测层，小目标检测层和大目标检测层分别输出预测值，预测值通过非极大值抑制NMS筛选出Boxes，生成最终预测结果，预测结果包括预测框边框信息、置信度、类别信息；

1-6）将步骤1-4）获得的训练集经过亮度随机变化、颜色变换、尺寸变换数据增强操作后，输入基于yolov4-tiny改进的毫米波与图像融合检测模型中对模型进行训练，再将实时采集到的图像数据和毫米波数据输入训练后的模型中，得到预测框边框信息、置信度、类别信息，并将检测结果传输至第一AGX模块中；

2）激光雷达障碍物检测，具体步骤如下：

2-1）激光雷达将采集到的信息传输至第二AGX模块，第二AGX模块接收激光雷达传输的信息，并对信息进行欧几里得聚类处理，得到将目标的三维检测框在点云坐标系的坐标及其对应的距离；

2-2）将三维检测框在点云坐标系的坐标通过外部标定的方法，转换到相机的像素坐标系中，得到目标的检测框信息及距离，再将目标的检测框信息及距离传输至第一AGX模块中；

3）第一AGX模块根据步骤1-6）得到的结果和步骤2-2）的结果进行交并比IOU计算，若激光雷达检测框和相机毫米波融合输出的检测框的交并比IOU大于一定的阈值，则表示检测到的是同一个物体，输出检测到的目标的距离、类别和方位；

4）步骤3得到的输出结果再显示模块中显示或者通过LTE-5G模块、WiFi模块传输至上位机。

步骤1-3）中，所述的毫米波图像，是首先生成一张与对应相机图片尺寸相同的像素值全0的图像，以每个毫米波点为圆心

本发明提供的一种多传感器融合的目标检测系统及检测方法，该系统与现有系统相比，解决了智能驾驶对本地感知海量多源异构数据和外部协作数据的实时性融合处理要求，现有的硬件系统即使能满足实时性要求，其造价也会更加昂贵。本系统采用了分布式计算平台，在满足性能需求的同时，造价更加经济实惠。该方法通过融合毫米波雷达与视觉信息，解决了因外部光源变换，雾雨天气造成的单摄像头感知的局限性，使其在极端天气下也可以检测到物体。同时通过融合激光雷达信息，能获取到物体的精确距离信息。

附图说明

图1为一种多传感器融合的目标检测系统的结构框图；

图2为毫米波特征提取网络的示意图；

图3为基于yolov4-tiny的毫米波视觉融合检测模型的示意图；

图4为毫米波图像的示意图。

具体实施方式

下面结合附图和实施例对本发明内容做进一步阐述，但不是对本发明的限定。

实施例：

如图1所示，一种多传感器融合的目标检测系统，包括第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达和电源管理模块，第一AGX模块作为主机、第二AGX模块和第三AGX模块作为从机，其中图像采集模块和毫米波雷达分别通过交换机模块和CAN收发器模块与第三AGX模块连接，激光雷达通过交换机与第二AGX模块连接，第二AGX模块和第三AGX模块还通过交换机模块与第一AGX模块连接，LTE-5G模块和WiFi模块分别与第一AGX模块连接，第一AGX模块还与显示模块连接，电源管理模块为第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达供电。

所述的第一AGX模块、第二AGX模块和第三AGX模块，是基于NVIDIA jetson_AGX_Xavier的数据处理模块，是一款集成快运算、快启动、快优化的计算盒子，拥有超强的计算能力，适用于自动驾驶、人工智能、自动化方向的硬件设备。

所述的图像采集模块为摄像机或照相机。

所述的交换机模块，是8路千兆交换机模块。

所述的CAN收发器模块，是3路CAN收发器模块。

使用该系统时，用于感知的设备分别是激光雷达，毫米波雷达，图像采集模块，其中激光雷达通过以太网线连接到8路千兆交换机模块，与计算盒子进行通信，其数据将发送到第二AGX模块进行处理，输出物体的距离信息；毫米波雷达通过3路CAN收发模块连接，其数据由第三AGX模块接收，同时图像采集模块的相机获取的图像数据由以太网传输，并也由第三AGX模块接收；毫米波数据和图像数据在第三AGX模块进行数据融合，输出物体类型，在图像中位置，物体的距离信息。

一种多传感器融合的目标检测方法，包括如下步骤：

1）毫米波与视觉数据融合，具体步骤如下：

1-1）对毫米波雷达和图像采集模块进行标定，计算出外部参数，使雷达坐标系中的目标点能映射到像素坐标系中，使图像采集模块的图片能显示毫米波检测到物体的位置；

1-2）图像采集模块和毫米波雷达将采集到的数据输入第三AGX模块，将毫米波数据和图片数据进行时间同步，选取每一张图片的时间戳作为采样点，选取与时间戳最接近的毫米波数据与其匹配；

1-3）对毫米波数据中的横向速度、纵向速度、RCS进行归一化处理后，转换到0~255的范围内，生成毫米波图像，如图4所示，其中横向速度、纵向速度、RCS进行归一化处理的计算公式如下：

毫米波图像是首先生成一张与对应相机图片尺寸相同的像素值全0的图像，以每个毫米波点为圆心

1-4）采用步骤1-3）的方法同时处理包含毫米波数据和图像数据的数据集，生成训练集；

1-5）建立基于yolov4-tiny改进的毫米波与图像融合检测模型，包括毫米波特征提取网络和图像与毫米波融合的检测网络，具体如下：

所述的毫米波特征提取网络，如图2所示，包括依次连接的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第二最大池化层、第四卷积层、第三最大池化层、第五卷积层、第四最大池化层、第六卷积层、第五最大池化层和第七卷积层，将步骤1-3）生成的毫米波图像从第一卷积层输入毫米波特征提取网络中，最后第六卷积层输出第一特征图像，第七卷积层输出第二特征图像；

图2中，卷积层（m，n）表示卷积核个数为m，大小为n×n的卷积层，最大池化层用于调整特征图的尺寸，处理好的毫米波经过第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第二最大池化层、第四卷积层、第三最大池化层，第五卷积层、第四最大池化层、第六卷积层、第五最大池化层、第七卷积层，最后输出的第一特征图尺寸为26×26，维度为128；第二特征图的尺寸为13×13，维度为128。

所述的图像与毫米波融合的检测网络，如图3所示，包括Yolov4-tiny骨干网络、第一空间注意力模块、第二空间注意力模块、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第一上采样层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、小目标检测层和大目标检测层；图像采集模块采集到的图像经过Yolov4-tiny骨干网络后得到第三特征图像和第四特征图像，毫米波特征提取网络输出的第二特征图的一个分支先与第四特征图像进行concat操作进行特征图拼接，第二特征图的另一个分支经过第一空间注意力模块增强特定区域特征权值后与concat操作后的特征图进行相乘操作后进入第八卷积层，依次经过第八卷积层、第九卷积层、第十卷积层后，第十卷积层的一个分支生成第五特征图像，第十卷积层的另一分支再依次经过第十一卷积层和第一上采样后与第三特征图像进行concat操作后与经过第二空间注意力模块的第一特征图相乘，再依次经过第十二卷积层、第十三卷积层、第十四卷积层；第十四卷积层的一个分支输出与第五特征图像进行concat操作后输入第十五卷积层，再经过大目标检测层；第十四卷积层的一个分支输出送入小目标检测层，小目标检测层和大目标检测层分别输出预测值，预测值通过非极大值抑制NMS筛选出Boxes，生成最终预测结果，预测结果包括预测框边框信息、置信度、类别信息；

检测层输出的预测值大小为S*S*3*（4+1+B），S表示最后将原图片划分成S*S个网格，3为每层anchorbox数量，4为边框大小（x,y,w,h），1为置信值，B为类型数。

1-6）将步骤1-4）获得的训练集经过亮度随机变化、颜色变换、尺寸变换等数据增强操作后，输入基于yolov4-tiny改进的毫米波与图像融合检测模型中对模型进行训练，再将实时采集到的图像数据和毫米波数据输入训练后的模型中，得到预测框边框信息、置信度、类别信息，并将检测结果传输至第一AGX模块中；

2）激光雷达障碍物检测，具体步骤如下：

2-1）激光雷达将采集到的信息传输至第二AGX模块，第二AGX模块接收激光雷达传输的信息，并对信息进行欧几里得聚类处理，得到将目标的三维检测框在点云坐标系的坐标及其对应的距离；

2-2）将三维检测框在点云坐标系的坐标通过外部标定的方法，转换到相机的像素坐标系中，得到目标的检测框信息及距离，再将目标的检测框信息及距离传输至第一AGX模块中；

3）第一AGX模块根据步骤1-6）得到的结果和步骤2-2）的结果进行交并比IOU计算，若激光雷达检测框和相机毫米波融合输出的检测框的交并比IOU大于一定的阈值，则表示检测到的是同一个物体，根据激光雷达检测到的精确距离信息，输出检测到的目标的距离、类别和方位；

4）步骤3得到的输出结果再显示模块中显示或者通过LTE-5G模块、WiFi模块传输至上位机。