具有鲁棒特性的高精度深度测量方法研究

摘要

随着虚拟现实、增强现实、自动驾驶、人工智能等新兴产业的兴起，以深度图像为代表的三维数据有着越来越大的应用需求。结构光深度测量方法，由于具有精度高、分辨率高、成本低等优点，受到了学术界和工业界的广泛研究。在实际的工业应用中，要进行深度测量的场景往往具有复杂的表面颜色、高对比度的表面反射率、丰富的深度起伏、尖锐的深度跳变、细小的局部区域、多物体的互相遮挡以及环境光噪声干扰等复杂特性，这些因素会对投射在被测场景中的结构光信息产生颜色、灰度、形状、频率等方面的改变，从而改变模板原始的编码信息，使深度测量出现错误。研究对上述干扰因素具有鲁棒特性的高精度深度测量，一直是结构光深度测量领域中最具有挑战性的课题之一，具有非常重要的理论和现实意义。本文从结构光的模板设计、特征提取和匹配检索三个关键问题入手，研究具有鲁棒特性的高精度深度测量方法。 第一，我们提出了单帧无编码二值网格模板深度测量方法。二值网格模板不仅对环境光、场景表面颜色和不同反射率所造成的干扰有很强的鲁棒性，而且其结构简单，对投射设备的要求低，在实际中有广阔的应用前景。利用二值网格模板进行深度测量的最大难题在于如何确定图像和模板中的特征的匹配关系。我们提出了基于图的拓扑标记法，可以在图像网格存在部分缺失的情况下，推断出匹配点的相对坐标，再利用对极几何约束，实现准确的特征匹配。同时还提出了由粗到精的线检测方法，可以高精度地定位图像中线条的位置，从而提升深度测量的精度。需要指出的是，该方法是适用于网格模板的通用方法，同样适用于加入编码信息的其他类型的网格模板。实验显示，该方法的测量精度优于市场上流行的商用RGB-D相机。与传统编码的结构光方法相比较，在测量精度相当的情况下，对环境光干扰、场景表面颜色和反射率等的鲁棒性有很大的提升。 第二，为了进一步提升对场景深度跳变和边缘区域的深度测量效果，我们对二值网格模板做了改进，设计了方向线条编码模板，并提出了最大后验概率估计的匹配方法。方向线条编码模板不仅保留了二值网格模板对环境光和场景颜色干扰的鲁棒特性，而且也提升了对场景深度跳变的鲁棒性。最大后验概率估计的特征匹配检索方法，在传统码值匹配思想的基础上，引入了邻近特征匹配结果的空间相关性，通过可靠解码的线条匹配结果辅助邻近码值残缺的线条的匹配检索，改善了因为场景深度跳变、细小区域、边缘等因素导致的不完整线条的匹配效果。实验结果表明，该方法相比于传统方法对测量精度和鲁棒性都有较为明显的提升，对于场景边缘、深度跳变和细小区域有较好的测量效果。 第三，针对单帧结构光深度测量方法对低质量特征匹配效果较差的普遍问题，深入挖掘特征匹配问题的本质，提出了利用贝叶斯网络概率模型的通用匹配检索方法。该方法将不同类型的模板特征抽象为位置、码值和解码可信度三个分量，基于抽象化的特征，将所有类型的模板和图像间的特征匹配看作随机变量，详细分析了图像中邻近特征的匹配结果间存在的空间相关性，利用贝叶斯网络来描述邻近特征匹配结果间的空间相关性以及匹配结果与观测码值之间的一致性，计算贝叶斯网络的最大后验概率，得到匹配结果。该匹配方法应用于传统的单帧编码结构光模板，可以大大提高图像中低质量特征的匹配准确率。实验结果显示，相对于传统码值最相似的匹配方法，本方法可将整体特征匹配准确率提升约30%。

目录

第一个书签之前

摘要

ABSTRACT

插图索引

表格索引

符号对照表

缩略语对照表

第一章 绪论

1.1 深度测量方法概述

1.1.1 深度测量的研究意义

1.1.2 主流深度测量方法概述

1.2 结构光深度测量概述

1.2.1 结构光深度测量的基本原理

1.2.2 结构光模板设计概述

1.2.3 结构光深度测量误差分析

1.3 本文贡献点

第二章 无编码二值网格模板深度测量

2.1 引言

2.2 无编码深度测量方法框架

2.3 二值网格的线条提取

2.3.1 线条粗提取

2.3.2 线条粗提取中的参数设定

2.3.3 线条精提取

2.4 利用网格拓扑和对极几何约束的匹配检索

2.4.1 线条失序与场景深度跳变关系的分析

2.4.2 基于图的拓扑标记技术

2.4.3 利用对极几何约束计算匹配坐标

2.5 基于二次规划的深度图像插值

2.6 实验结果

2.6.1 线条精提取的参数选择评估

2.6.2 线条提取的鲁棒性评估

2.6.3 深度测量的精度评估

2.6.4 环境光下的深度测量评估

2.6.5 深度测量的定性评估

2.6.6 深度测量运行时间评估

2.7 本章小结

第三章 利用方向线条编码模板和最大后验概率估计匹配的深度测量方法

3.1 引言

3.2 方向线条编码模板设计

3.2.1 特征设计

3.2.2 码值设计

3.3 方向线条编码模板的特征提取

3.3.1 特征位置提取

3.3.2 特征码值提取

3.4 最大后验概率估计的匹配

3.4.1 传统基于码值的匹配方法

3.4.2 最大后验概率估计的匹配方法

3.5 实验结果

3.5.1 深度测量的精度对比

3.5.2 线条匹配的质量对比

3.5.3 动态场景的重构

3.6 本章小结

第四章 利用贝叶斯网络概率模型的结构光匹配检索方法

4.1 引言

4.2 贝叶斯网络匹配方法

4.3 实验结果

4.3.1 棋盘格模板实验结果

4.3.2 彩色菱形模板实验结果

4.3.3 实验结果分析

4.4 本章小结

第五章 总结与展望

5.1 本文工作总结

5.2 未来研究展望

参考文献

致谢

作者简介

1. 基本情况

2. 教育背景

3. 攻读博士学位期间的研究成果

3.1 发表学术论文

3.2 申请(授权)专利

3.3 参与科研项目及获奖