基于异构多核处理器的双目视觉系统设计与实现

摘要

双目视觉是计算机视觉领域的重要分支，其通过计算出同一场景下同一空间点在双目图像上的视差来恢复深度信息，这种深度信息恢复方式具有非接触式和被动式两大优点。近年来，随着对双目匹配算法的深入研究，许多算法虽然在准确性上有了很大提高，但它们都以较理想的双目图像为前提。事实上由于现实成像因素的影响，常会导致双目图像在亮度等属性上具有偏差，这就要求算法还应具备较高的鲁棒性，另外，目前准确性较高的算法均具有计算量大、实时性差的特点，使其在要求实时处理的应用中很难运用。
　　SGBM(Semi-global block matching)算法是一种半全局匹配算法，具有较高的准确性，但其鲁棒性与实时性依然有待提高。因此本文对SGBM算法做了改进研究和并行加速方法研究，并将改进后的算法应用到本文双目测距系统中。
　　针对SGBM算法中BT匹配代价对亮度偏差不够鲁棒的问题，提出了一种联合Census匹配代价的BT-Census匹配代价。由于Census匹配代价很好的保留了邻域像素间的结构特性，因此在匹配时提高了对亮度偏差的鲁棒性。
　　为了提高实时性，本文对改进后的算法做了并行加速方法的研究，并基于OpenCL(Open Computing Language)异构并行计算框架做了实现。首先对该算法中匹配代价、代价优化、视差计算及视差精细化模块的主要算法做了并行化分析，然后在OpenCL框架下，对算法的数据存储结构、OpenCL内核做了设计，并结合内核性能评估与算法优化，实现了异构并行加速的算法。实验表明，在同一处理器(AMD APU A8-4555M)上，本文算法在保证准确性相近的前提下，相比于经过SSE2指令集加速的SGBM算法，在实时性能上依然有2.2倍的提升。
　　本文以上述改进的算法为核心，设计与实现了双目测距系统。该双目测距系统，采用了基于异构多核处理器的计算平台，不但减小了多核间的数据传输延迟，而且有效的控制了系统功耗。实验表明，在双目图像尺寸为640×480，最大视差层级为64的条件下，该双目测距系统平均测距周期为110ms，在0.5～5米以内的深度测量误差小于9.6％，初步实现了一套低功耗、近实时的双目测距系统。

目录

声明

致谢

摘要

1．1 研究背景与意义

1．2 相关领域研究现状

1．2．1 双目视觉研究现状

1．2．2 并行计算编程现状

1．3 本文研究内容

1．4 本文结构安排

2 双目视觉原理与双目立体匹配算法分析

2．1 双目视觉原理

2．1．1 相机模型及坐标系系统

2．1．2 相机参数及标定

2．1．3 双目视觉测距原理

2．2 双目立体匹配算法概述

2．2．1 双目立体匹配算法的约束条件

2．2．2 双目立体匹配算法的分类

2．3 SGBM算法的改进及其并行化分析

2．3．1 BT匹配代价的改进(BT-Census)

2．3．2 BT-Census算法的并行化分析

2．3．3 DP算法的并行化分析

2．3．4 WTA算法的并行化分析

2．3．5 中值滤波算法的并行化分析

2．3．6 分析结果

2．4 本章小结

3 基于BT-Census的半全局匹配算法的OpenCL实现

3．1 OpenCL异构并行计算框架

3．2 数据存储结构设计

3．2．1 主机端内存数据结构设计

3．2．2 设备端内存存储结构设计

3．3 OpenCL内核设计

3．3．1 BT-Census算法内核设计

3．3．2 DP算法内核设计

3．3．3 WTA算法内核设计

3．3．4 中值滤波算法内核设计

3．4 内核性能评估与算法优化

3．4．1 内核性能评估

3．4．2 工作组尺寸优化

3．4．3 数据传输方式优化

3．5 整体流程设计

3．6 实验结果

3．7 本章小结

4 基于异构多核处理器的双目测距系统设计与实现

4．1 低功耗异构多核处理平台

4．2 双目相机标定

4．2．1 极线校准

4．2．2 视差与深度校准

4．3 软件界面设计

4．4 现实场景测距实验

4．5 本章小结

5 结论

参考文献

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集