基于激光雷达与相机融合的车辆检测技术研究

摘要

二十一世纪以来，我国汽车工业飞速发展，城市内的机动车辆数量大幅增长。与此同时，频发的交通事故威胁着人民的生命安全，为国家带来巨额的经济损失，越来越多的车辆对城市交通管理带来了巨大的困难。人工智能的出现与车载传感器的不断发展，为这些问题带来了转机。传感器融合技术可以提供更准确的环境信息，深度学习技术可以辅助甚至代替驾驶员识别危险。其中，车辆检测技术就是解决上述问题的重要一环。通过激光雷达传感器感知周围车辆距离信息，相机感知前方车辆的图像信息，使用深度学习技术确定车辆的位置信息，可以有效避免碰撞，同时高效的车辆检测技术可以统计城市交通信息，辅助城市交通管理。　　因此，本文提出基于激光雷达与相机融合的车辆检测技术。利用相机与激光雷达传感器，通过深度学习的方法对交通场景下的车辆进行有效的检测。使用ROS将整个融合检测算法整合成一个系统。使用KITTI数据集中的点云、图像数据进行验证与测试。具体研究内容如下：　　1)实现地面去除的点云预处理。提出基于坡度分类法对点云中的地面进行去除，从而减少点云数量，提高识别效率，同时使用一致性检测与中值滤波进一步提升鲁棒性。在ROS中编写地面去除节点，并在数据集中验证效果。　　2)基于深度学习的车辆点云检测。使用深度学习技术实现对三维点云中车辆的准确识别。在KITTI数据集中，基于柱状编码的方式得到车辆点云检测网络模型。对网络模型参数进行调节，并在数据集中测试验证。　　3)基于深度学习的车辆图像检测。基于深度学习的方法实现对彩色图像中车辆的准确识别。通过对数据集中的标注框进行聚类，得到合适的anchorprior大小尺寸，从而设计出基于YOLOv3的适用于KITTI数据集的车辆检测网络模型，调节网络模型参数并在数据集中进行测试验证。　　4)实现激光雷达与相机融合的车辆检测。通过对传感器进行标定，将激光雷达点云中的每个点与图像像素进行匹配。通过最小风险贝叶斯决策融合算法，实现对车辆点云检测器与车辆图像检测器输出结果的融合，得到更加准确可靠的检测结果。使用ROS将整个融合检测算法整合成一个完整系统，通过RVIZ进行可视化。最后，在KITTI数据集中对融合算法进行验证对比与测试。　　经KITTI数据集测试表明，本文激光雷达检测结果在BEV角度、3D角度下的mAP值分别达到83.76%与74.05%，相机检测结果的mAP值到达83.24%，本文提出的多传感器融合算法能够更好的提升检测效果，其mAP值提升至84.96%。同时本文使用ROS为车辆检测系统平台，方便移植到实际的智能车辆中使用。

目录

声明

目 录

第 1 章 绪论

1.1课题研究背景和意义

1.2 国内外研究现状

1.2.1 基于图像的车辆检测技术

1.2.2 基于点云的车辆检测技术

1.2.3 基于传感器融合的车辆检测技术

1.3 本文主要内容及结构安排

第 2 章 传感器标定与评价指标

2.1 传感器与数据集

2.1.1 激光雷达传感器

2.1.2 KITTI 数据集

2.2 激光雷达与相机联合标定

2.2.1 建立坐标系

2.2.2 激光雷达坐标系与相机坐标系转换

2.2.3 相机坐标系与像素坐标系转换

2.2.4 图像畸变与校准

2.2.5 数据集验证

2.3 ROS 平台搭建

2.3.1 ROS 系统概述

2.3.2 ROS 系统基本概念

2.3.3 数据集可视化

2.4 车辆检测器评价指标

2.5 本章小结

第 3 章 基于激光雷达点云的目标检测

3.1 基于体素的点云神经网络概述

3.2 点云数据预处理

3.2.1 基于坡度分类的地面去除

3.2.2 一致性校验与中值滤波处理

3.3 车辆点云检测网络设计

3.3.1 总体结构设计

3.3.2 特征提取层

3.3.3 基础网络结构

3.3.4 检测输出层

3.3.5 损失函数设计

3.4 参数调节与模型训练

3.4.1 硬软件环境介绍

3.4.2 模型参数设置

3.4.3 ROS 节点设计

3.5 数据集验证与测试

3.6 本章小结

第 4 章 基于图像的车辆目标检测

4.1 YOLO 目标检测算法概述

4.2 车辆图像检测网络设计

4.2.1 特征提取网络

4.2.2 多尺度特征检测

4.2.3 边界框的预测与回归

4.3 参数调节与模型训练

4.3.1 硬软件环境介绍

4.3.2 数据集预处理

4.3.3 模型参数设置

4.3.4 ROS 节点设计

4.4 数据集验证与测试

4.5 本章小结

第 5 章 多传感器融合车辆检测算法设计

5.1多传感器融合算法概述

5.2 多传感器融合算法设计

5.2.1 多传感器目标匹配

5.2.2 目标检测决策融合

5.2.3 输出检测框融合

5.3 ROS 融合检测系统设计

5.4 融合算法测试与验证

5.4.1 硬软件测试环境

5.4.2 融合参数设置

5.4.3 融合算法测试分析

5.5 本章小结

总结与展望

参考文献

附录 A 攻读学位期间所发表的学术论文目录

致谢