针对树型立体视觉匹配的视差预测层级加速算法研究

摘要

立体视觉是目前计算机视觉领域一个重要的课题。它的主要目的在于提取场景中的深度信息，利用立体匹配算法得到精准的视差图，进而完成场景的三维重构。基于树型结构的匹配是其中重要的立体匹配算法之一。近年来提出的树型立体视觉匹配算法通过在图像中构造最小生成树（MST）来聚合匹配代价。该类算法结合了高效率局部匹配与高精度全局匹配的特点，匹配精度以及匹配效率较传统匹配算法均有很大提高。其时间复杂度理论值为O(N· dmax)，即运行时间只和像素点总数N和图像最大视差dmax相关。但树型匹配算法基于贪心搜索策略，对于构造匹配窗口缺乏一定的自适应性，在同一平面存在不同深度分布的情况下无法得到精确的深度信息。同时，该类算法运行效率受到最大视差限制，在最大视差较大的实际场景和高分辨率图像中，运行速度较慢。
　　本论文针对传统树型立体视觉匹配算法中出现的问题，引入视差预测模型（Disparity Prediction Model，DPM），提出针对树型立体视觉匹配的视差预测层级加速算法（Disparity-Prediction-Based Hierarchical Accelerator，DPA）。该算法通过预测视差概率分布，构造出更精确的核心视差置信区间，使得匹配代价的计算，代价聚合，视差计算，视差优化都只发生在这一核心视差置信区间内，从而降低树型匹配算法的时间复杂度。本论文通过大量的实验数据，包括Middlebury数据库的实验室图像，KITTI数据库的实际场景的高分辨率图像，以及自主拍摄的低质量的实际场景图像，验证了DPA加速算法在提升匹配精度的同时，能够优化基于树型结构匹配算法的复杂度，大大提高运行效率。
　　本论文共有三个主要贡献：
　　1.提出了核心视差置信区间概念。对于每一个像素点，其视差值处于核心视差置信区间范围内的概率远远大于置信区间范围外。通过精确的视差置信区间，可以在匹配代价计算、视差计算以及视差修复等步骤中大大减少计算量，提高运行效率。
　　2.提出了基于视差分布的DPM视差预测模型。此模型在图像金字塔结构基础上，通过小规模视差预测出大规模视差的概率分布，并应用于构造核心视差置信区间。
　　3.提出了普适的针对树型立体视觉匹配的DPA层级加速算法。此算法可结合到现有的树型匹配算法框架中。经实验验证，该算法大大提高了原始树型匹配算法的运行效率。图像分辨率越高，视差范围越大，效果越明显。具体地，对于高分辨率图像，应用了DPA层级加速算法后，匹配效率提升达7-10倍。

目录

封面

声明

中文摘要

英文摘要

目录

主要符号对照表

第一章 绪论

1.1 研究背景及意义

1.2 立体视觉匹配算法

1.3 研究内容和本文所做的工作

1.4 本文组织结构

第二章 树型立体视觉匹配算法介绍

2.1 树型立体视觉匹配算法

2.2 树型立体视觉匹配算法的时间复杂度

2.3 树型立体视觉匹配面临的问题

2.4 本章小结

第三章 DPM视差预测模型

3.1 相关术语和符号

3.2 三条重要观察

3.3 视差预测模型

3.4 利用GMM高斯混合模型计算P (Dl+1|Dl )

3.5 本章小结

第四章 DPA层级加速算法

4.1 DPA层级加速算法整体流程

4.2 逐像素的视差置信区间构造

4.3 DPF视差预测森林和逐树的视差置信区间

4.4 基于DPF视差预测森林的匹配代价聚合

4.5 本章小结

第五章 实验结果

5.1 实验数据库和实验参数设定

5.2 高斯混合模型训练

5.3 核心视差置信区间实验结果

5.4 DPA层级加速算法性能分析

5.5 DPA层级加速算法精度分析

5.6 本章小结

第六章 总结与展望

6.1 论文研究工作总结

6.2 未来研究方向设想

参考文献

致谢

攻读学位期间发表的学术论文目录

攻读学位期间参与的项目