一种基于改进Complex-YOLO的3D点云目标检测方法

摘要

本发明提出的一种基于改进Complex‑YOLO的3D点云目标检测方法，包括以下步骤：步骤1：点云数据预处理，生产俯视图下RGB俯视图，构建训练数据集；步骤2：对数据集进行训练，构建改进的Complex‑YOLO算法，用以俯视图下2D目标检测；步骤3：通过2D目标检测模型，预测目标的长宽、朝向角和类别；步骤4：通过俯视图下2D检测信息，在原始点云的相应区域中，检测该区域目标的高度信息，整合步骤2输出的信息完成最终的3D目标检测任务。本发明具有高检测准确率，由于增加了多尺度特征融合网络，融合了不同尺寸感受野下的特征量，对各种尺寸的目标都能很好的检测，对比Complex‑YOLO原始算法，对小目标的识别准确率的提高尤其明显。

说明书

技术领域

本发明涉及深度学习领域，尤其涉及一种基于改进Complex-YOLO的3D点云目标检测方法。

背景技术

作为自动驾驶感知层的重要组成部分，目标检测算法直接关系到自动驾驶技术中对于环境的感知和预警，一个高效的目标检测算法能够为后续的预测和运动规划奠定扎实的基础。基于2D图像的目标检测尽管取得了巨大的成就，但是越来越难以满足当前检测任务，因此目标检测算法的研究对象也逐渐由2D图像转为3D图像和3D点云。在基于图像的3D检测方法的研究中，研究者大都是通过多视角和深度相机来补充图像的深度信息。但是这类光学相机受光线的影响较大，进而导致这类基于图像的算法在泛化性不强。因此，研究者通常来源于激光雷达传感器的表示能力更强的点云以取代传统图像，从而完成对于3D目标检测算法的算法设计。

基于点云的3D目标检测算法研究也存在一些挑战，例如：(1)相较于图像中的像素密集有序的排列，点云的存储存在着无序性；(2)点云为三维数据，在计算中内存占用大；(3)基于点云的特征提取过程计算复杂，计算量大。面对这些挑战Complex-YOLO算法将三维点云投影成2D俯视图的方式，将无序的点云转换为2D图像，很好的减低了计算量和内存，而且将在2D图像中取得巨大成功的卷积神级网络应用到了点云的处理上。但是Complex-YOLO算法在实际应用中，存在着特征提取不充分、小目标物体检测新能较差和高度预测性能较差等问题。针对这些问题本发明提出了一种基于改进Complex-YOLO的高效点云识别算法，本发明提出的算法结合Complex-YOLO计算量小和实时性高的优点，并针对Complex-YOLO算法存在问题进行了全方位的改进。

发明内容

针对现有3D目标检测技术的不足，在此设计一种改进的Complex-YOLO算法的3D目标检测方法，能够大幅度的降低对计算硬件的需求，大大减少了成本，针对Complex-YOLO算法对于目标高度预测的缺陷，提供了一个高效的高度检测器。能够提高对3D点云目标检测的准确率，为后续的3D点云目标检测的研究带了参考，为了实现本发明的目的，在此提出一种基于改进Complex-YOLO的3D点云目标检测方法,并在公开数据集KITTI上实验验证，验证本发明的效果。

本发明提出的一种基于改进Complex-YOLO的3D点云目标检测方法，包括以下步骤：

步骤1：点云数据预处理，生产俯视图下RGB俯视图，构建训练数据集；

步骤2：对数据集进行训练，构建改进的Complex-YOLO算法，用以俯视图下2D目标检测；

步骤3：通过2D目标检测模型，预测目标的长宽、朝向角和类别；

步骤4：通过俯视图下2D检测信息，在原始点云的相应区域中，检测该区域目标的高度信息，整合步骤2输出的信息完成最终的3D目标检测任务。

优选地，所述步骤1包括：

步骤101：2D俯视图生成。先将数据集中的三维点云进行点云栅格化，所述点云栅格化是指将点云分布到鸟瞰视角下的网格中，然后编码每个网格内点云的最大高度，最大强度，点云密度三种信息分别填充到R，G，B三个通道中形成RGB俯视图，所述RGB俯视图是指在俯视视角下的RGB格式图片。

步骤102：数据集的标注信息生成。所述数据集的标注信息包括目标类别信息、3D尺寸信息和朝向角信息。结合2D俯视图和标注信息构建完整的深度学习数据集。

优选地，所述步骤2中的改进的Complex-YOLO算法包括：

步骤201：利用RepVGG网络构建更深的骨干网络；在RepVGG网络每个模块后添加了一个SENet，提取不同通道间的特征关系；添加了颈部网络。利用特征金字塔(FPN)用以特征融合，用以增强对小目标的检测能力；头部网络由3个卷积支路组成。

步骤202：训练模型。图片大小为608*608像素，训练样本6000，验证样本2841。模型训练的迭代步数设置为500。

优选地，所述步骤3包括：

步骤301：使用RepVGG网络提取RGB俯视图中的目标形状，纹理特征信息，通过SENet网络提取特征图中不同通道间的特征关系，以获取有用的特征信息，并抑制对当前任务用处不大的特征信息，最后输出不同尺寸的特征图；

步骤302：将步骤301输出的不同尺寸的特征图，通过FPN网络实现多尺度的特征融合，以适应不同尺寸的目标检测任务；

步骤303：对融合后的特征图，输入到3个卷积支路中，用以完成对目标长宽尺寸，朝向角和类别的预测。

优选地，所述步骤4包括：

通过步骤3得到的预测信息，在点云数据中找到相应的位置区域，在每个区域中寻找最高的10个点，然后进行如下的方差运算如下面公式，剔除误差较大的点云高度数据。

上式中x

与现有技术相比，本发明提供了一种基于改进Complex-YOLO的3D点云目标检测方法，具备以下有益效果：

1、一种基于改进Complex-YOLO的3D点云目标检测方法，具有高检测准确率，通过增加多尺度特征融合网络，融合不同尺寸感受野下的特征量，对各种尺寸的目标都能很好的检测，对比Complex-YOLO原始算法，对小目标的识别准确率的提高尤其明显。

2、一种基于改进Complex-YOLO的3D点云目标检测方法，通过将3D的点云数据转换为2D俯视图,有效的降低了计算量，提高检测速度，帧率达到了40FPS；此外增加了一个高效的高度检测器，能高效的检测出目标的高度，几乎不增加计算量。因此计算硬件的需求也相应的降低，而且在测试阶段，RepVGG的残差支路会通过推理转换，降低了显存的占用。本发明提出的算法即使在老旧的英伟达1060显卡上也能十分流畅的运行，降低了计算成本。

附图说明

图1为本发明提出的一种基于改进Complex-YOLO的3D点云目标检测方法的整体检测流程示意图；

图2为本发明提出的一种基于改进Complex-YOLO的3D点云目标检测方法中的步骤3检测流程示意图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地明。

下面详细描述本专利的实施例，所述实施例的示例在附图中示出，通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。

实施例：

考虑到本发明提出的3D目标检测算法是基于Complex-YOLO算法改进而来，同原算法使用同一数据集，在算法改进的精度上更有说服力，而且目前大多数算法都是基于这个数据集开发的，和主流算法对比时也会更加科学，因此本发明采用KITTI数据集作为本发明3D目标检测任务的数据集。该数据集由德国Karlsruhe Institute of Technology和丰田美国技术研究院共同收集，该数据集广泛应用于评测图像、视觉测距，3D物体检测和3D跟踪等计算机视觉算法在驾驶场景下的检测性能。该数据在多种路况场景下进行数据的收集，例如会在市区、农村和高速公路等场景采集数据，每个收集的数据，可能还会有不同程度的遮挡与截断。原始数据集的目标类别被分类为面包车、轿车、卡车、行人、自行车、坐着的行人、有轨电车组成。本发明将对汽车、行人和自行车这三个类别的目标进行检测。本发明所采用KITTI数据集中的64线激光雷达所采集到的点云数据数量共7481个样本。

参考图1-2，本实施例包括以下步骤：

步骤1：点云数据预处理，生产俯视图下RGB俯视图，构建训练数据集；解决点云的无序性问题，同时降低了计算量。

步骤2：对数据集进行训练，构建改进的Complex-YOLO算法，用以俯视图下2D目标检测；提高了算法在俯视图下检测性能。

步骤3：通过2D目标检测模型，预测目标的长宽、朝向角和类别；

步骤4：通过俯视图下2D检测信息，在原始点云的相应区域中，检测该区域目标的高度信息，高效的检测出目标的高度。整合步骤2输出的信息完成最终的3D目标检测任务。

步骤1包括：

步骤101：2D俯视图生成。先将数据集中的三维点云进行点云栅格化，所述点云栅格化是指将点云分布到鸟瞰视角下的网格中，然后通过下式编码网格内点集的最大高度，P

z

通过下式编码网格内点集最大强度，P

z

通过下式编码网格内点集点云密度，P

三种信息通过以下公式归一化后分别填充到R，G，B三个通道中形成RGB-Map。z

步骤102：数据集的标注信息生成。所述数据集的标注信息包括目标类别信息、3D尺寸信息和朝向角信息。结合2D俯视图和标注信息构建完整的深度学习数据集。

步骤2中的改进的Complex-YOLO算法包括：

步骤201：构建俯视图下目标检测算法。利用RepVGG网络构建更深的骨干网络；在RepVGG网络每个模块后添加了一个SENet，提取不同通道间的特征关系；添加颈部网络。利用特征金字塔(FPN)用以特征融合，用以增强对小目标的检测能力；头部网络由3个卷积支路组成。

步骤202：训练模型。图片大小为608*608像素，训练样本6000，验证样本2841。模型训练的迭代步数设置为500。

步骤3包括：

步骤301：使用RepVGG网络(参数见下表1)提取RGB俯视图中的目标形状，纹理等特征信息，每个模块之间通过最大值池化保留重要信息。利用SENet网络提取特征图中不同通道间的特征关系，以获取有用的特征信息，并抑制对当前任务用处不大的特征信息，最后输出模块2、3、4、5的特征图；

表1 RepVGG-A2具体参数

步骤302：将步骤301输出的不同尺寸的特征图，通过FPN网络实现多尺度的特征融合，以适应不同尺寸的目标检测任务；

步骤303：对融合后的特征图，输入到3个卷积支路中，每个卷积支路均由一个3*3卷积核和一个1*1的卷积核组成，3个卷积支路分别计算出目标长宽尺寸，朝向角和类别的概率，然后输出最终的预测结果。

步骤4包括：

通过步骤3得到的预测信息，在点云数据中找到相应的位置区域，在每个区域中寻找最高的10个点，然后进行如下的方差运算如下面公式，剔除误差较大的点云高度数据。

上式中x

本发明所述方法于Complex-YOLO算法的检测结果及解析对比分析从而进一步分析本发明的优缺点。

本发明以平均精度(AP)、平均精度均值(mAP)和检测算法的帧率(FPS)作为方法的评价指标。其中，AP表征了对某一类的识别精度，用于评价模型对某一类的识别性能；mAP是所有类别AP值的平均值，用于评估模型的整体性能。

平均识别精度(AP)定义为：

上式中：P为准确率(Precision)，R为召回率(Recall)。召回率和准确率的定义公式如下：

上式中：TP表示预测为正的正样本；FN则表示预测为负的正样本；FP表示预测为正的负样本。

本发明设计了以下两组对比实验：

实验组A：原始Complex-YOLO算法；

实验组B：本发明所提出的改进Complex-YOLO算法。

评估汽车，行人，自行车这三类的检测性能，每个类别依据被遮挡程度，再次分类为困难，中等，简单三类，评估结果如表2。

表2：两组对比实验

对比实验组A和实验组B，实验组B的每项平均检测精度均得到了不同程度的提升，本发明提出的改进算法对每个类别的提升都十分明显，整体提升了20.8％，平均检测精度均值达到了78.6％。在目标小难度大的检测精度提升更是十分明显，尽管检测的时间只有所增加，但是完全能够满足日常应用的需求。

本发明所述方法与目前主流算法的检测结果及解析对比分析(如表3)从而更进一步分析本发明的优缺点。

表3：与主流算法的对比结果

从表3中可以看出，本发明在对汽车这一类别的检测性能上仍有欠缺，不过在目标较小和难度较大的目标上的检测性能很有优势，在行人和自行车的检测精度上超过了大部分的算法，在检测速度方面的优势仍旧很大，达到了较为先进的水平。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。