基于TOF相机和鱼眼相机的增强型全景环视系统

摘要

在过去的几十年里，我国汽车数量迅猛增长，不可避免地给道路交通带来了巨大的压力。数据显示全国道路交通事故中很大比例是视野盲区问题导致的。为了减少视野盲区给驾驶员带来的影响，市面上出现了很多的智能驾驶辅助系统，其中便包括全景环视系统。目前的全景环视系统通过生成的2D全景环视图来给驾驶员提供驾驶帮助，可以满足驾驶员的基本驾驶需求。但是全景图像中周围物体的严重变形会影响驾驶员对周围环境的判断，尤其是在全景环视系统最常使用的倒车工况下，无法清楚地识别车辆后方的障碍物可能会存在一定的安全隐患。　　基于此，本文提出了一种基于TOF相机和鱼眼相机的增强型全景环视系统，它突出显示了车辆后方行人和车辆的点云。首先通过安装在车辆周围的4个鱼眼相机获取2D鸟瞰全景图，接着对安装在车辆后方的3个TOF相机进行联合标定获取TOF相机在车辆中心坐标系下准确的位姿。然后使用3D目标检测算法对标定后的TOF相机拍摄的图片进行检测来获取目标车辆、行人点云。最后，将全景图像转化为点云后与车辆模型、目标点云统一在同一个车辆中心坐标系下，并设计了一个UI界面将增强型全景环视系统以一个合适的角度投影以便于观察。本文研究的重点和创新如下：　　1)提出了一种基于TOF相机和鱼眼相机的增强型全景环视系统，结合了鱼眼相机和TOF相机的优点。通过安装在车辆周围的4个鱼眼相机生成2D鸟瞰全景图，并通过安装在车辆后方的3个TOF相机来获取目标行人和车辆的点云。　　2)提出多种多TOF相机联合标定的方法，比较准确的解出TOF相机在车辆中心坐标系中的位姿，从而更加准确的获取目标行人和车辆的点云。　　3)分别将PointRCNN算法和改进的2D驱动的3D目标点云检测方法应用在标定后的TOF相机拍摄的图片上，对比两种检测方法的执行速度和mAP值(平均精度均值)，选择效果更好的检测算法作为系统最终获取目标点云的方法。　　4)将生成的2D鸟瞰全景图转化为点云并与通过目标检测获取的车辆后方行人、车辆的点云以及车辆模型统一在同一车辆中心坐标系中。使用PyQt5设计了一个UI界面将增强型全景环视系统以合适的角度在界面中投影。　　本文通过实验表明这种增强型全景环视系统不仅可以减少全景图像中周围物体的变形，还可以通过车辆后方的行人、车辆点云信息来给驾驶员提供更多的驾驶帮助，从而减少视野盲区给驾驶员带来的干扰。

目录

声明

第1章 绪论

1.1 课题研究的背景及意义

1.2 国内外研究现状

1.2.1 全景环视系统国内外研究现状

1.2.2 相机标定国内外研究现状

1.2.3 3D 目标检测国内外研究现状

1.2.4 目标点云聚类国内外研究现状

1.3 本文研究方法介绍

1.3.1 系统配置

1.3.2 研究过程

1.4 本文组织结构安排

第2章 2D 全景环视系统的建立

2.1 相机成像模型

2.1.1 普通相机成像模型

2.1.2 鱼眼相机成像模型

2.2 鱼眼相机标定

2.3 透视变换

2.4 图像拼接

2.5 2D 全景图像生成

2.5.1 鱼眼相机标定和畸变校正

2.5.2 透视变换

2.5.3 图像拼接

2.6 本章小结

第3章 多 TOF 相机联合标定

3.1 TOF 相机基本介绍

3.1.1 TOF 相机原理

3.1.2 TOF 相机特性

3.1.3 TC-E2 3D 相机

3.2 TOF 相机标定

3.2.1 迭代优化法

3.2.2 TOF 相机和彩色相机联合标定方法

3.2.3 标定效果对比

3.3 本章小结

第4章 目标点云获取

4.1 PointRCNN 算法

4.1.1 算法框架

4.1.2 检测实验

4.2 2D 驱动的 3D 目标点云检测方法

4.2.1 算法框架

4.2.2 检测实验

4.3结果对比

4.4 本章小结

第5章 增强全景环视系统生成

5.1 增强全景图像生成

5.1.1 全景图像的点云转化

5.1.2 增强全景环视系统整合

5.2 增强全景环视系统实现

5.3 实验

5.4 本章小结

全文总结与展望

参考文献

致谢