基于摄像头和激光雷达信息融合的智能汽车环境感知技术研究

摘要

随着汽车智能化的发展，自动驾驶车辆近几年出现在人们视野中，自动驾驶技术的发展能给人们生活带来便利的同时也会减少交通事故的发生。智能汽车的环境感知技术作为自动驾驶系统中至关重要的一部分，无疑成为目前国内外学者研究的重点，研究如何利用传感器更加精确地获取道路场景的环境信息具有重要的意义。基于以上认知，本文研究基于摄像头和激光雷达在道路场景中的动态目标检测、识别，为自动驾驶汽车提供充分的环境信息。　　首先，基于视觉传感器获取的图像数据，对道路图像进行灰度化、高斯滤波等预处理，利用不同的检测方法，实现了车道线的检测。采用阈值掩盖法和霍夫变换完成了道路直道的检测，针对弯曲道路，基于滑动窗口多项式拟合的检测方法，实现了对弯道的检测。　　其次，根据深度学习算法，实现了对道路场景中动态目标的检测，包括车辆和行人。采用Haar特征+Adaboost分类器的方法训练车辆检测器，实现了车辆的识别，采用HOG特征+SVM分类器的方法训练行人检测器，完成了行人的识别，利用TenserFlow深度学习框架，搭建卷积神经网络，实现了道路场景中行人、车辆等多动态目标的检测。　　然后，利用激光三维点云的特性，结合Mean-Shift聚类算法，对道路场景中的动态障碍物进行了聚类研究。通过分析视觉传感器和激光传感器两者的检测特性，结合两者的优点，研究了基于单目相机和激光雷达信息融合的动态目标检测方法。利用Autoware软件平台，对两传感器进行了联合标定，得到了联合标定参数，利用标定结果实现三维点云到二维图像的融合，再分别针对融合后的信息采用YOLO-v3算法和欧几里得聚类实现了动态目标检测。　　最后，利用无人电动轮椅实验平台，在校园道路中对本文中所采用的检测算法和融合方法进行在线实验，通过统计结果及对比分析，基于信息融合的目标检测准确率明显优于依赖单一传感器的检测，验证了算法的可行性、有效性。

目录

1 绪论

1.1 课题研究背景和意义

1.2 国内外研究现状分析

1.2.1 基于摄像头的道路场景目标识别方法

1.2.2 基于激光雷达的道路场景目标识别方法

1.2.3 基于多传感器融合的道路场景目标识别方法

1.3 本文主要研究内容

2 基于传感器的环境感知关键技术

2.1 传感器的选型及标定

2.1.1 相机的选型

2.1.2 激光雷达的选型

2.1.3 相机的标定

2.1.4 激光雷达的标定

2.2 图像预处理算法

2.2.1 图像灰度化处理

2.2.2 图像高斯平滑处理

2.2.3 图像边缘检测算法

2.2.4 图像透视变换

2.3 基于摄像头的道路场景车道线检测

2.3.1 道路场景ROI区域选取

2.3.2 基于阈值掩盖法的车道线检测

2.3.3 基于霍夫变换的车道线检测

2.3.4 滑动窗多项式拟合车道线

2.4 基于激光雷达的目标检测技术

2.5 本章小结

3 基于机器学习算法的道路场景目标检测方法研究

3.1 基于Haar+Adaboost分类器的车辆检测方法研究

3.1.1 Haar+Adaboost分类算法及实现

3.1.2 基于Haar+Adaboost分类算法的车辆检测方法研究

3.2 基于HOG+SVM分类器的行人检测方法研究

3.2.1 HOG+SVM分类算法及实现

3.2.2 基于HOG+SVM分类算法的行人检测方法研究

3.3 基于TensorFlow深度学习框架的多目标检测方法研究

3.3.1 TensorFlow深度学习框架及多目标检测软硬件平台搭建

3.3.2 道路场景下多目标检测方法研究

3.3.3 离线实验结果分析

3.4 本章小结

4 基于激光雷达和视觉信息融合的道路场景目标检测方法研究

4.1 基于激光雷达的道路场景动态目标检测方法研究

4.1.1 激光雷达数据解析与预处理

4.1.2 基于激光点云聚类的动态目标检测方法研究

4.2 多传感器信息融合与时空对准

4.2.1 多传感器信息的时间对准

4.2.2 多传感器信息的空间对准

4.2.3 相机和激光雷达的联合标定

4.3 基于摄像头和激光雷达信息融合的目标检测方法研究

4.3.1 软件平台

4.3.2 点云到图像的融合方法研究

4.3.3 点云和视觉信息融合的目标检测方法研究

4.4 本章小结

5 基于无人电动轮椅的动态目标检测实车实验

5.1 基于无人电动轮椅的实验平台搭建

5.1.1 无人电动轮椅硬件架构设计与搭建

5.1.2 无人电动轮椅传感器平台搭建

5.1.3 无人电动轮椅车软件平台搭建

5.2 基于无人电动轮椅的动态目标检测实车实验

5.2.1 基于摄像头的道路场景动态目标检测实验

5.2.2 基于激光雷达的道路场景动态目标检测实验

5.2.3 基于摄像头和激光雷达信息融合的动态目标检测实验

5.3 实验结果对比分析

5.4 本章小结

6 总结与展望

6.1 全文总结

6.2 工作展望

参考文献

附 录

A. 攻读硕士学位期间参加的课题研究

B. 学位论文数据集

致谢