基于FPGA的实时立体视觉系统的设计与实现

摘要

立体视觉技术是计算机视觉领域中非常重要的研究方向，其通过匹配一对不同视角的图像来提取现实场景中的深度信息，该技术在无人驾驶、无人机、虚拟现实、人机交互以及3DTV等领域广泛应用。在过去几十年中，提出了许多算法以及设计平台来提高系统的精确度与实时性，然而由于在获取立体视觉的深度信息时，其运算量巨大且算法复杂度较高，所以实时获得高质量的深度信息仍然具有较大的挑战性。
　　本文主要提出了基于 FPGA+ARM架构的实时双目立体视觉的软、硬件系统设计方案。根据系统方案要求，系统主要包括图像传感器视频的高速接收、极线几何校正、Census变换、半全局立体匹配算法、左右一致性校验以及中值滤波等关键模块。整个立体视觉的系统在单一的Xilinx ZC706开发板上实现，硬件平台以 XC7Z045芯片为处理器核心，根据对系统软、硬件功能划分，PS（ARM）端主要是实现软件控制与算法的调试，PL（FPGA）端主要实现视觉算法的并行处理的硬件加速。根据系统支持不同的分辨率输出以及算法的配置模式，系统采用了模块化、参数化的设计思想。
　　在系统设计过程中，摄像头采用 APTINA的 MT9V034，接口数据为高速LVDS串行传输，可以减少噪声等干扰；极线几何校正采用二元回归多项式方程来模拟矩阵相乘，减少两幅图像坐标存储，大大减少了片上硬件逻辑资源。多项式计算采用流水线技术，明显提高系统的工作频率；由于半全局立体匹配算法的复杂度以及对存储器的要求很高，本文采用有效的计算代价函数的方法，并简化为4个方向进行代价聚合，设计并行缓存器，降低对存储器的要求。中值滤波可以滤除误匹配点以及动态规划带来的条纹等问题。
　　实验结果表明，本设计的系统可以达到视频的实时处理要求，图像的分辨率为640×480，最大视差搜索范围为64个像素，帧率60 fps。对于匹配算法模块的工作频率可以达到130 MHz，可以实现1280×1024@72.2 fps的实时视频处理。

目录

第1章 绪 论

1.1 课题来源

1.2 课题研究的背景和意义

1.3 国内外相关技术的发展现状

1.4 本文的主要研究内容

第2章 双目立体视觉基本原理与算法介绍

2.1 引言

2.2 双目立体匹配原理

2.3 立体匹配算法的基本结构

2.4 立体匹配算法的评价标准

2.5 本章小结

第3章 双目立体视觉硬件平台设计

3.1 引言

3.2 FPGA硬件平台的开发

3.3 立体视频图像采集

3.4 双目几何校正

3.5 本章小结

第4章 半全局立体匹配算法的硬件实现

4.1 引言

4.2 半全局立体匹配算法的研究

4.3 算法的FPGA硬件实现

4.4 实验结果与分析

4.5 本章小结

结论

参考文献

声明

致谢