基于RGB-D信息的深度图像增强关键技术研究

摘要

增强现实技术(Augmented Reality)旨在将计算机生成的虚拟景象或信息与现实世界融为一体，使得虚拟景象与现实世界的融合在几何、光照和动态上具备合理性。然而，在增强现实技术领域中，对现实世界的感知需要具备很高的精度，从而成为一个极为复杂的问题，如场景重建、兴趣物体的识别、动态前景遮挡处理等，往往需要采用计算机视觉技术来解决。但是，计算机视觉一般采用2D图像进行计算，常常是病态求解问题，其长期受困于算法的鲁棒性和稳定性。随着RGB-D传感器技术的发展，如RGB-ToF设备和Kinect等，使得实时获得场景的深度信息成为可能。深度信息的获取技术产生了新的维度，从而极大地缓解了计算机视觉问题的病态性。一般而言，彩色图像分辨率很高，图像完整，且受噪声影响较小。然而，目前深度传感器采集的深度图像存在缺陷，其往往包含严重的噪声，深度图像分辨率往往较低，导致场景深度精度不高，并存在局部深度信息缺失的现象。受此影响，不仅难以有效利用深度信息，也难以与对应的彩色信息准确配准，抵消了与深度图同时捕获的彩色图像优势。这些缺陷严重限制了深度信息在增强现实领域的应用，使得深度信息增强成为急需解决的问题。
　　本文对基于RGB-D信息的深度图像增强问题进行了深入研究。首先，研究了基于RGB-D传感器采集的深度图像逐像素置信度估计问题;其次，研究了RGB-D传感器采集的场景或物体的彩色和深度图像配准问题;第三，研究了深度图像的超分辨率问题。
　　本文的主要贡献如下:
　　1.提出了一种RGB-D传感器(如Kinect)所采集的深度图像逐像素置信度估计算法，以辅助解决深度数据滤波及三维重建等问题，提高重建精度和完整性。现有的深度图像置信度估计算法均需辅助的高精度激光扫描设备的支持，其价格昂贵，且采集的深度信息需与RGB-D传感器采集的深度信息进行配准，这极大地限制了此类方法的应用。本文提出了一种基于自身训练的逐像素深度图像置信度估计方法，消除了对高精度激光扫描设备的依赖。本文使用RGB-D传感器在固定视角下采集场景或物体的多帧深度图像，并计算其平均深度图像和方差深度图像。方差深度图像可反映深度信息采集过程中的稳定性，于是可以使用sigmoid函数将深度方差转换为置信度。与此同时，在RGB-D传感器采集的彩色和深度图像中提取可以反映置信度的特征，通过随机森林方法训练，进而逐像素预测深度图像的置信度。实验结果证明了方法的有效性。
　　2.提出了一种基于RGB-D传感器的彩色和深度图像配准算法。彩色和深度图像配准是使用RGB-D信息的一个基本和必须的步骤。传统的方法使用黑白棋盘格，通过提取的角点进行相机标定。然而，由于深度相机的成像原理不同，现有方法无法在深度图像中准确地提取角点。因此，本文使用规则镂空的平面校正板代替传统黑白棋盘格，提出了针对RGB-D传感器的深度图像角点提取算法。规则镂空的平面校正板提供的规则性约束可以有效消除噪声的影响，保证提取的角点的准确性和稳定性，获得准确的深度相机标定参数。另外，对RGB-D传感器中深度相机存在的系统性偏移进行建模，并将其应用于配准模型中，进一步提升了RGB-D传感器的彩色和深度图像的配准精度。本文提出的算法需要较少的用户交互，且算法复杂度较低，时耗较小。实验结果证明了方法的精确性和有效性。
　　3.提出了两种基于卷积神经网络的深度图像超分辨率方法，包括渐进式卷积神经网络算法和基于视点合成的深度监督卷积神经网络方法。渐进式卷积神经网络算法，通过卷积神经网络训练单元逐渐恢复高分辨率深度图像的高频信息;同时，使用彩色图像和深度图像的局部一致性约束和深度图像统计信息约束进一步优化网络训练得到的高分辨率深度图像。基于视点合成的深度监督卷积神经网络算法，则将深度图像超分辨率问题分解为多阶段训练问题，把每个阶段训练分解为多视点合成问题。使用深度监督策略有效消除神经网络训练过程中的梯度消失问题，另外，使用多尺度融合策略充分利用每个阶段获得特征图像，有效消除高分辨率深度图像中存在的“块效应”，最后使用深度图像统计信息约束进一步优化网络训练得到的深度图像。实验结果可证明上述两种深度图像超分辨率方法的有效性。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 研究现状和研究难点

1．2．1 深度置信度估计

1．2．2 RGB-D传感器彩色和深度图像配准

1．2．3 深度图像修补

1．2．4 深度图像超分辨率

1．3 主要研究内容和创新点

1．4 组织结构

2．1 方法简介

2．2 Kinect深度置信度估计

2．2．1 特征提取

2．2．2 训练数据

2．2．3 置信度预测模型

2．3 实验

2．4 小结

第3章 基于偏移建模的RGB-D传感器深度和彩色图像配准

3．1 方法简介

3．2 RGB-D配准模型

3．2．1 RGB-D投影模型

3．2．2 偏移模型

3．3 配准方法

3．3．1 综述

3．3．2 单应性约束估计深度理论角点

3．3．3 深度观测角点提取

3．3．4 优化

3．4 实验

3．4．1 数据准备

3．4．2 深度理论角点的准确性和稳定性

3．4．3 深度相机偏移的方向(ψ)准确度估计

3．4．4 结果

3．4．5 实验结果比较

3．5 小结

4．1 方法简介

4．2 渐进式卷积神经网络方法(PDCNN-DSR)

4．2．1 PDCNN-DSR网络结构

4．2．2 彩色图像与深度图像局部一致性约束

4．2．3 深度统计信息约束

4．2．4 能量最小化公式

4．3 基于视点合成的深度监督卷积神经网络方法(VDCNN-DSR)

4．3．1 动机

4．3．2 视点合成策略

4．3．3 深度监督策略

4．3．4 多尺度融合策略(MFS)

4．3．5 VDCNN-DSR网络结构

4．3．6 深度图像统计信息(DFS)

4．3．7 能量优化公式

4．3．8 网络实施细节

4．4 实验

4．4．1 非噪声数据

4．4．2 噪声数据

4．4．3 大超分辨率倍数

4．4．4 PDCNN-DSR分析

4．4．5 VDCNN-DSR分析

4．5 小结

第5章 总结和展望

5．1 全文总结

5．2 工作展望

参考文献

致谢

攻读学位期间发表的学术论文目录

攻读学位期间参与科研项目情况

外文论文