基于多视图信息融合与神经网络的目标检测与识别

摘要

现有的三维激光雷达的目标检测算法大多在俯视图上进行目标信息提取，或者在基于三维密度算法进行改进，减少点云的过、欠分割等。前者忽略了信息置信度更高的前视图，且融合多视图置信度的DST算法，其基本概率赋值难以确定；后者改进的算法普适性不高。而采用深度学习融合激光雷达和摄像头信息进行目标检测与识别，由于环境数据信息丰富，使得运算和工作成本激增，耗时长久。为此，本文采用TX2和VLP-16低成本开发应用平台，基于DST-FMVFRA进行目标检测，并提取目标的特征向量用于神经网络进行识别。　　首先，根据自主研发的自动驾驶汽车情况选定三维激光雷达VLP-16安装位置。通过嵌入式开发板NVIDIAJetsonTX2接收VLP-16扫描的环境数据包，并采集原始点云数据。根据数据包结构将点云数据从原始球坐标解析到空间直角坐标。根据三维点云数据构建体素地图，进行路面分割。　　然后，根据对三维激光雷达点云数据的详细分析，表明前视图信息更可靠，俯视图信息更完整。为了同时利用前视图和俯视图信息，本文将DST(Dempster-ShaferTheory)融合多视图模糊推理赋值(Fusion Multi-view Fuzzy Reasoning Assignment：FMVFRA)，提出一种基于DST-FMVFRA的三维目标检测算法。在体素地图的前视图中，根据目标的距离和高度信息对所属体素进行模糊推理赋值；在俯视图中，根据目标大小特征对所属体素进行模糊推理赋值。由此得到不同视图中某体素属于有效障碍物的两个基本概率赋值。通过DST算法组合两种基本概率赋值以判别某体素是否属于有效障碍物，实现体素地图前视图和俯视图的信息融合，精确分割有效障碍物，从而得到方盒模型参数。在KITTI数据集上和MV3D(FV+BV)算法的对比实验结果分析表明本文算法拥有较好的准确性和实时性。　　其次，采用识别算法对三维目标检测区域进行识别。根据目标检测结果建立实验数据集，给出了三维目标的特征向量提取方案，包括方盒模型体积、三维体素密度和点云协方差矩阵三维特征值，得到5维特征向量作为识别算法输入数据，分别进行了基于BPNN、基于OVOSVM、基于RBF和基于WNN的三维目标识别对比实验。实验结果表明BPNN在三维目标识别结果上拥有较好的稳定性和准确性。　　最后，在真实道路环境的三个不同的实验路段进行基于多视图信息融合与神经网络的目标检测与识别实验。基于DST-FMVFRA的目标检测实验的平均检测准确率为93.33%和平均单帧运算时间为124.13ms。在三个不同的实验路段进行连续帧目标检测与识别实验，其有效目标平均识别准确率为93.09%，单帧算法运行平均用时为196.3ms。实验结果表明基于多视图信息融合与神经网络的目标检测与识别算法有较好的实时性和准确性。

目录

声明

第 1 章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 本文主要内容及结构安排

第 2 章 实验设备平台及数据预处理

2.1 自动驾驶汽车平台

2.2 VLP-16 和NVIDIA Jetson TX2

2.2.1 VLP-16

2.2.2 NVIDIA Jetson TX2

2.3 三维点云数据采集和解析

2.4 数据预处理

2.4.1 体素地图构建

2.4.2 路面分割

2.5 本章小结

第 3 章 基于DST-FMVFRA 的三维目标检测

3.1 DST-FMVFRA算法的提出

3.2 多视图目标模糊推理赋值

3.2.1 前视图模糊推理赋值

3.2.2 俯视图模糊推理赋值

3.3 基于DST的多视图信息融合

3.4 获取方盒模型参数

3.5 在KITTI 数据集上的对比实验结果及分析

3.6 本章小结

第 4 章 基于BPNN 的三维目标识别

4.1 三维目标的特征向量提取

4.1.1 建立实验数据集

4.1.2 特征向量提取方案

4.2 基于BPNN的三维目标识别

4.2.1 BPNN模型

4.2.2 BPNN识别流程与结果分析

4.3 基于四种分类算法的三维目标识别结果比较

4.3.1 基于OVO SVM的三维目标识别结果

4.3.2 基于RBF的三维目标识别结果

4.3.3 基于WNN 的三维目标识别结果

4.3.4 四种算法识别结果对比分析

4.4 本章小结

第 5 章 基于多视图信息融合与神经网络的目标检测与识别实验

5.1 真实道路环境介绍

5.2 真实道路上DST-FMVFRA目标检测实验结果

5.2.1 多视图模糊推理结果及分析

5.2.2 DST 融合检测结果及分析

5.3 基于DST-FMVFRA-BPNN的实验结果及分析

5.3.1 路段一连续帧实验结果及分析

5.3.2 路段二连续帧实验结果及分析

5.3.3 路段三连续帧实验结果及分析

5.4 三个路段连续帧实验结果对比分析

5.5 本章小结

结 论

致 谢

参考文献

攻读学位期间发表的学术论文