基于激光雷达与图像的实时融合车辆检测算法研究及实现

摘要

自动驾驶领域的3D目标感知比2D检测更具有挑战性和实际应用意义，通过激光雷达获取周围环境的3D信息，检测周围行人、汽车和小机动车等障碍物，为规划路径和行为决策提供目标信息。目前在3D目标检测体系里面主要分为基于图像的目标检测、基于激光雷达3D点云的目标检测、同时基于图像和激光雷达点云的目标检测。　　本文主要研究自动驾驶过程中的环境感知部分，基于激光雷达和图像传感器数据，利用KITTI数据集，提出车辆检测的融合算法。在实车实验中，传感器使用velodyne激光雷达和微软摄像头，实验平台使用机器人小车，系统架构使用ROS的节点通讯和Rviz显示界面，实现机器人小车低速行驶时的车辆检测。解决了单传感器检测的局限性，提高了车辆障碍物的检测精度。同时对机器人小车正前向视野的车辆设计碰撞预警系统，保证机器人车行驶过程中的安全性。　　在激光雷达检测阶段，对现有激光雷达检测算法做出改进，提出了点云预处理，分割出前景障碍物点云。阐述了现有的RANSAC和区域生长分割等地面分割算法，提出了多平面拟合平面算法，实现了对地平面和第二平面背景点云的分割。分析了DBSCAN和欧式聚类算法，针对点云的稀疏性和远近距离下的密度不一致性，提出多级欧式聚类算法，改进不同距离下的聚类检测效果。对于传统检测算法的包围框的提出算法做出改进，提出了利用RANSAC算法拟合聚类点云主方向的方向性包围框算法，解决障碍物的方向缺失的问题，实现了障碍物包围边界框的有向功能。　　在检测融合阶段。使用DarkNet对图像的检测算法，利用C++和OpenCV实现图像的车辆检测，并进行NMS和解码，在图像中显示出车辆障碍物的二维边界框。对三维点云粗检测结果和二维图像检测结果进行目标关联，进一步优化激光雷达的检测结果，输出车辆障碍物的位姿和类别信息，并实现了激光雷达算法和图像检测算法融合的实时检测。　　最后对机器人小车设计正前向视野碰撞预警系统。使用激光雷达计算前向障碍物距离和碰撞预警时间。阐述图像多种关键点提取算法及相应的运行时间，使用FAST关键点检测和BRISK关键点描述和匹配算法，完成前后两帧正前方视野的车辆碰撞预警时间计算。

目录

声明

第1章绪 论

1.1 研究背景及意义

1.2 国内外自动驾驶汽车研究现状

1.2.1 自动驾驶汽车发展现状

1.2.2 自动驾驶感知系统研究现状

1.3 本文主要研究内容

第2章激光雷达点云障碍物检测算法

2.1 激光雷达发展现状

2.1.1 激光雷达工作原理

2.1.2 激光雷达分类

2.1.3 三维数据的表现形式

2.1.4 激光雷达发展趋势

2.2 多平面背景点分割

2.2.1 区域生长分割算法

2.2.2 RANSAC 平面分割算法

2.2.3 多平面拟合算法

2.3 障碍物前景点聚类

2.3.1 DBSCAN 算法

2.3.2 多级欧式聚类算法

2.4 三维包围边界框构建

2.5 本章小结

第3章激光雷达和图像融合的车辆检测算法

3.1 卷积神经网络

3.2 9 基于 Darknet的图像车辆检测

3.2.1 YOLO 图像检测算法

3.2.2 YOLO_V3 网络模型

3.2.3 车辆检测算法步骤

3.3 激光雷达和相机检测后融合

3.3.1 KITTI 数据集简介

3.3.2 相机传感器内参计算

3.3.3 激光雷达和相机外参计算

3.3.4 激光雷达投影相机图像平面

3.3.5 激光雷达与图像同步融合检测

3.4 本章小结

第4章基于激光雷达和图像的碰撞预警算法

4.1 基于激光雷达的碰撞预警

4.2 基于图像的碰撞预警

4.2.1 关键特征点提取算法

4.2.2 检测关键点算法

4.2.3 关键点描述和匹配算法

4.2.4 图像碰撞预警时间计算

4.3 实现结果

4.4 本章小结

第5章实验系统平台及实车实验

5.1 实验系统平台

5.2 实车实验

5.2.1 地平面背景点拟合实验

5.2.2 障碍物前景点聚类实验

5.2.3 融合检测及 TTC 时间实验

5.3 本章小结

总结和展望

1. 研究内容总结

2. 研究展望

参考文献

致谢