基于双目视觉的智能车辆障碍物检测系统研究

摘要

随着汽车的大量普及与汽车电子技术的飞速发展，智能车辆成为车辆领域重要的发展方向，智能车辆对提高驾驶安全性、舒适性等具有重要意义。环境感知技术是智能驾驶技术体系的重要组成部分，其是车辆进行运动避障、路径规划、行为决策、运动控制的基础和前提。在众多环境感知技术中，车载双目系统因具有信息采集范围大、精度高、实时性强等优点，成为环境感知过程中最重要的传感器。　　车载双目系统进行障碍物检测需要同时具备“双目相机模型”和“障碍物图像”两部分信息，因此建立精确的双目相机模型对提高障碍物检测精度具有重要意义。首先，本文根据理想的小孔成像模型建立了单目相机数学模型，在此基础之上，通过建立相机的畸变模型完善了相机模型，总结了单目相机的关键内参和外参。其次，本文以单目相机模型为基础，根据三角测距原理建立了双目测距模型以及双目相机的标定模型。　　在障碍物检测之前，本文从智能车辆实际需求出发，确定了车载双目系统应具有鲁棒性强、精确度高、实时性强等优点。同时，本文围绕障碍物检测过程相关的图像预处理、立体匹配约束、立体匹配算法体系以及局部立体匹配流程进行了深入的分析，为进一步研究障碍物检测算法奠定了基础。　　双目立体匹配是计算环境视差图进而进行障碍物检测的主要工作，针对智能车辆关于鲁棒性、精确性和实时性的要求，本文提出了一种“基于置信区间的多层级3bit-Census代价计算&基于边缘截断的自适应十字窗口代价聚合&基于可变最大视差范围的跳跃式视差计算”框架的局部立体匹配算法。实验证明，基于该框架的匹配算法相比于传统立体匹配算法具有更强的鲁棒性和更高的精确性，更加适用于车载双目系统。　　为保证本文算法的计算实时性和实用性，本文将上述算法在现场可编程门阵列(Field programmable gate array, FPGA)硬件平台上进行了验证。同时，本文从双目系统整体结构、跨时钟域数据交互、关键图像处理模块等不同角度对车载双目系统进行了深入分析。实验证明，搭载本文算法的FPGA硬件系统能够实现60fps的图像处理速度且具有较高的检测精度，证明了本文算法及其硬件平台能够应用于智能车辆，为后续研究智能车辆环境感知技术奠定了坚实的基础。

目录

声明

变量注释表

1 绪 论

1.1研究背景及意义

1.2国内外研究现状

1.2.1国外研究现状

1.2.2国内研究现状

1.3主要研究内容与技术路线

2 双目相机的数学模型及标定

2.1单目相机的数学模型

2.2相机畸变

2.3相机的标定

2.4双目相机测距原理

2.5本章小结

3 双目立体匹配基础理论研究

3.1道路环境分析

(1)光照鲁棒性

(2)测量精度

(3)检测实时性

3.2图像预处理

3.2.1 图像噪声

3.2.2 图像平滑

3.3立体匹配约束

3.3.1 相机几何约束

3.3.2 基于场景的约束

3.4立体匹配算法体系

3.4.1 全局立体匹配算法

3.4.2 半全局立体匹配算法

3.4.3 局部立体匹配算法

3.5局部立体匹配流程

3.5.1 代价计算

3.5.2 代价聚合

3.5.3 视差计算

3.5.4 匹配后处理

3.6本章小结

4基于道路环境的立体匹配算法研究

4.1基于置信区间的多层级3bit-Census代价计算

4.1.1 基于置信区间的变换阈值

4.1.2 3bit-Census变换

4.2基于边缘截断的自适应窗口代价聚合

4.2.1 Sobel边缘检测

4.2.2 基于边缘信息的自适应十字聚合

4.3 跳跃式快速视差计算

4.3.1 自适应最大视差范围

4.3.2 跳跃式视差计算

4.4 实验分析

4.4.1 实验一：算法的鲁棒性分析

4.4.2 实验二：算法的精度分析

4.5本章小结

5 基于FPGA的车载双目系统实现

5.1基于FPGA的车载双目系统结构分析

5.1.1 双目相机配置

5.1.2 图像采集模块

5.1.3 数据处理模块

5.2基于SDRAM-FIFO的跨时钟域数据交互

5.2.1 双目采集系统的时钟域

5.2.2 基于SDRAM-FIFO的跨时钟域操作

5.3车载双目系统数据处理模块设计

5.3.1 Sobel边缘检测模块设计

5.3.2 3bit-Census变换模块设计

5.3.3 基于边缘截断的代价聚合模块设计

5.3.4 跳跃式视差计算模块设计

5.4本章小结

6 基于FPGA硬件系统的验证与分析

6.1FPGA硬件系统介绍

6.2实验验证与分析

6.3本章小结

7 总结与展望

7.1全文总结

7.2展望

参考文献

附录1

作者简历

致谢

学位论文数据集