基于可编程片上系统的实时立体匹配算法研究

摘要

双目立体视觉是计算机视觉的一个重要研究内容，它通过两台安装在同一基线间隔一定距离的摄像机拍摄同一场景，以获得该场景在两个视角的图像数据。再通过立体匹配计算出物体表面的深度信息，从而实现重建场景的三维结构。相比其他类型的立体视觉方法，双目立体视觉直接模拟人类眼睛处理视觉信息的方式，具有重建分辨率高、使用场景广泛、可靠、简单的优势。
　　目前，双目立体视觉系统主要应用在行星车、机器人自主导航及智能车无人驾驶等领域，在民用邻域的成功应用还非常少。主要原因在于实时性和鲁棒性方面无法满足需要，特别是对高分辨率立体图对（1024×768像素及以上）处理很难能达到实时性要求。立体匹配是立体视觉系统中最耗时的环节，因此本文从提高立体匹配的准确性及实时性两个方面进行研究，对立体视觉系统在实际应用中的推广具有良好的应用价值。
　　提出了一种改进的稀疏Census变换的非参量局部立体匹配算法。传统的Census变换将变换窗口中心像素与变换窗口内所有像素进行灰度值大小比较获得Census像素值以替代中心像素的灰度值，该Census像素比原始灰度值数据量有数倍的增加。传统的稀疏Census变换将变换窗口中心像素与变换窗口内小部分像素进行灰度值大小比较获得数据量减少的Census像素值，但是该Census像素所包含的相关信息量明显减少，有可能造成误匹配。本算法通过分析变换窗口内像素对中心像素相关信息的贡献度大小，提出了选取变换窗口内像素按照特定分布位置两两进行灰度值大小比较的方式实现稀疏Census变换。该稀疏Census变换为后续立体匹配过程提供的数据量与原始灰度图相当，但是包含的相关信息数量比传统稀疏Census增加了一倍，可以有效地提高算法的实时性和鲁棒性。
　　通过对立体匹配算法流程进行并行性分析及建模，实现了一套基于FPGA逻辑电路实现与加速的稀疏Census变换的非参量局部立体匹配算法电路。该算法电路采用流水线并行结构，流水线中包含了Census变换、汉明码距提取、汉明码距累加和计算、代价聚合、视差解析及左右一致性检测等立体匹配算法所需模块。算法核心工作在60MHz工作频率就可以实现高分辨率立体图对70帧每秒的匹配处理能力，具有非常好的实时性能。
　　利用可编程片上系统(SoPC)技术，将立体匹配算法模块与可配置的32位嵌入式微处理器软核及各种外设IP集成，提出了一套基于FPGA芯片的片上系统架构。该系统以32位NiosⅡ嵌入式微处理器为核心，通过高速Avalon互联总线与DDRⅡ存储器、同步SRAM存储器、Flash存储器、PLL锁相环、JTAG UART、定时器、流水线式读取DMA控制器及立体匹配算法模块连接，形成一个完整的立体匹配专用计算机系统。系统提供一套配置接口，通过这套接口可以对立体匹配算法模块工作参数进行配置，使系统可以支持各种分辨率尺寸的立体图形匹配，增加了系统灵活性。
　　本文使用所提出的片上系统架构实现了传统SAD立体匹配算法以及改进的稀疏Census变换的立体匹配算法，并对两种算法处理的视差数据进行了比较性研究。结果表明本文提出的稀疏Census变换的立体匹配算法在匹配准确性、资源占用等方面都优于SAD立体匹配算法，同时还有很好的实时性能。

目录

声明

致谢

摘要

第1章 绪论

1．1 引言

1．2 立体匹配技术研究与应用现状

1．2．1 立体匹配发展历史

1．2．2 研究现状

1．2．3 应用现状

1．3 并行处理的实时立体匹配系统的研究现状

1．3．1 并行处理的实时立体匹配系统分类

1．4 研究内容及结构

第2章 双目立体视觉的基本原理和相关理论

2．1 摄像机成像几何模型

2．2 双目立体成像测距方法

2．3 立体匹配的约束

2．3．1 极线约束

2．3．2 连续性约束

2．3．3 顺序一致性约束

2．3．4 唯一性约束

2．4 立体匹配评价标准

第3章 立体匹配算法研究

3．1 局部立体匹配算法

3．1．1 匹配窗口的选择

3．1．2 相似度计算

3．1．3 窗口搜索策略

3．2 全局匹配算法

3．2．1 动态规划算法

3．2．2 置信度传播算法

3．2．3 图割算法

3．2．4 基于图像分割的全局匹配算法

3．3 非参量变换匹配算法研究

3．3．1 基于Census变换的立体匹配算法

3．3．2 稀疏Census变换

3．4 左右一致性检测

第4章 并行处理的立体匹配算法建模

4．1 立体匹配算法并行处理模式

4．1．1 数据并行模式

4．1．2 功能并行模式

4．1．3 流水线并行模式

4．2 DSP Builder算法建模

4．2．1 Matlab／Simulink DSP Builder及其设计流程

4．3 非参量变换匹配算法建模

4．3．1 稀疏Census变换单元模型

4．3．2 汉明码距求取单元模型

4．3．3 汉明码距累加和计算单元模型

4．3．4 汉明码距累加和匹配代价聚合单元建模

4．3．5 匹配窗口数据缓存结构建模

4．3．6 视差解析单元建模

4．3．7 左右一致性检测单元建模

4．4 SAD匹配算法建模

4．4．1 求绝对差(AD)计算单元建模

4．4．2 求绝对差之和(SAD)计算单元建模

4．4．3 SAD匹配代价聚合单元建模

4．5 图像数据行缓存单元建模

第5章 基于可编程片上系统的立体匹配硬件架构

5．1 SoPC及其技术

5．2 Nios Ⅱ软核微控制器

5．3 Avalon总线

5．3．1 Avalon外设

5．3．2 Avalon信号

5．4 Census立体匹配算法的SoPC架构

5．5 SAD立体匹配算法的SoPC架构

5．6 自定义Avalon外设信号分析

第6章 立体匹配算法模块的FPGA实现

6．1 FPGA硬件平台介绍

6．2 Census立体匹配算法模块实现

6．2．1 Census变换单元设计

6．2．2 Census匹配单元设计

6．3 SAD立体匹配算法模块

第7章 实验结果与性能分析

7．1 硬件资源消耗分析

7．2 实时性分析

7．3 匹配准确性分析

第8章 总结与展望

8．1 论文总结

8．2 论文主要创新点

8．3 展望

参考文献

攻读博士学位期间主要的研究成果