立体匹配技术的研究及其硬件化实现

摘要

双目立体视觉由于直接模拟人类双眼视觉的生理结构，它是三维场景下深度信息提取的重要技术手段，近年来，随着立体匹配算法研究的深入以及FPGA、ASIC等硬件技术的发展，其广泛运用于机器人导航、无人机定位以及三维测量中。立体视觉中的关键技术难点在于立体匹配，本文重点研究了如何提高立体匹配的准确率以及基于硬件平台的稠密视差计算，主要研究内容包括:
　　在研究了立体视觉中传统的局部立体匹配——自适应支撑权重(ASW)算法的基础上，提出了一种基于颜色内相关和自适应支撑权重的立体匹配算法。为了反映像素点间的微小差异，设计了像素点的自定义颜色内相关特征描述，并结合颜色相似性、欧式距离相似性重新定义了自适应权重的匹配代价关系;在代价聚合中，对匹配点先进行改进的rank变换，再进行初始视差值计算，从而消除光照和噪声对匹配结果的影响;最后通过多步视差优化来进一步提高匹配结果的准确率。实验结果表明，该方法比传统的ASW算法具有更高的匹配准确率。
　　基于特征点的立体匹配算法研究中，关键技术的难点在于图像特征点的提取和定位，以红蓝彩色圆盘作为靶标，提出了一种新型的快速角点检测算子，通过对彩色圆盘进行颜色分离，获得具有强对比度和对称性的灰度图像;利用新型对称算子计算出每个点的响应值，获得具有独特性和强鲁棒性的特征点，最后通过MATLAB软件仿真和基于FPGA的硬件平台实现，证明了该方法易于硬件化实现，对特征角点提取的准确性高、抗造性能好且计算速度较快。
　　针对局部立体匹配算法在PC端上难以实时处理的问题，设计了以FPGA为核心处理器的实时稠密视差计算的硬件处理平台，包括双目视频流的采集，图像的极线矫正，局部区域立体匹配，视差值的计算、优化及VGA显示，根据FPGA内部的并行流水线技术和数学上的积分图思想，提出了两种新的方法来实现快速的SAD匹配和简化的ASW匹配，最后通过对真实场景的测试仿真，证明了该方法能够减少匹配算法对FPGA硬件资源的消耗，同时获得实时、准确的稠密视差结果。

目录

声明

摘要

1 绪论

1．1 课题研究的背景

1．2 立体匹配的研究现状

1．2．1 基于区域的立体匹配算法研究

1．2．2 基于特征的立体匹配算法研究

1．2．3 双目立体匹配硬件化处理

1．3 双目立体视觉在国内外的发展

1．3．1 国外的发展状况

1．3．2 国内的发展状况

1．4 论文主要的内容与结构

2 立体匹配关键技术的基础

2．1 引言

2．2 针孔成像模型

2．3 图像坐标系、摄像机坐标系和世界坐标系

2．3．1 图像坐标系到摄像机坐标系

2．3．2 摄像机坐标系到世界坐标系

2．3．3 图像坐标系到世界坐标系

2．4 立体匹配图像间的约束关系

2．4．1 极线约束关系

2．4．2 其他的基本约束关系

2．5 本章小结

3 基于颜色内相关的自适应支撑权重算法

3．1 引言

3．2 现有的立体匹配算法

3．2．1 SAD立体匹配

3．2．2 非参数局部变换

3．2．3 ASW(自适应支撑权重)

3．3 基于颜色内相关和自适应支撑权重的立体匹配算法

3．3．1 自定义颜色内相关

3．3．2 匹配代价关系计算

3．3．3 匹配代价聚合

3．3．4 多步视差优化

3．4 实验分析及结果

3．4．1 算法分析

3．4．2 实验结果比较

3．5 本章小结

4 基于新型特征角点的立体匹配算法

4．1 引言

4．2 双目图像特征点的深度计算

4．3 Harris“角点”检测

4．4 新型算子的“角点”检测方法

4．4．1 HSV颜色变换

4．4．2 新的角点检测算子定义

4．4．3 特征角点提取

4．5 实验结果及分析

4．5．1 多场景下的角点检测效果

4．5．2 与经典的Harris角点进行比较

4．5．3 FPGA对新型角点算子进行实时性验证

4．6 本章小结

5 局部立体匹配算法的硬件系统设计

5．1 引言

5．2 视频图像前端处理

5．2．1 视频图像灰度信号提取

5．2．2 视频流格式转换

5．2．3 基于FPGA的图像极线矫正

5．3 基于FPGA的局部窗口匹配模块设计

5．3．1 基于FPGA的快速SAD匹配

5．3．2 基于FPGA的ASW算法匹配

5．4 基于FPGA的视差值计算及后期处理

5．4．1 基于FPGA的初始视差值计算

5．4．2 基于FPGA的视差优化

5．4．3 VGA视差图显示

5．5 实验结果及分析

5．6 本章小结

6 总结和展望

6．1 论文总结

6．2 未来展望

致谢

参考文献

攻读硕士学位期间发表的论文情况

攻读硕士学位期间申请的专利情况

攻读硕士学位期间获奖情况

攻读硕士学位的基金项目