基于马尔科夫模型和卷积神经网络的深度图上采样方法研究

摘要

深度图被广泛的应用于三维重建、虚拟现实、增强现实等应用领域。受限于深度相机的硬件，深度图的分辨率都远小于普通相机针对同一场景采集的彩色图。受光照、距离等因素的影响，深度图中还含有较多噪声。低分辨率、含有噪声的深度图无法满足工业界的应用需求。由于硬件设备改良周期过长，从低分辨率深度图中恢复高分辨率深度图的上采样技术则变得十分重要，且具有很强的实际意义。 在深度图上采样中，提升上采样精度是核心目标，恢复清晰的纹理也是重要的应用需求。考虑到彩色图和深度图在纹理的结构和空间位置上具有相似性，研究者们以此为先验性假设，将彩色图引入到深度图上采样中。大量的研究发现，彩色图引导深度图上采样表现并不稳定——除了部分纹理清晰度增强外，也存在深度纹理模糊和纹理拷贝现象。与不引入彩色图相比，当深度纹理模糊和纹理拷贝现象越严重时，上采样精度提升越小，甚至不升反降。 本文以彩色图引导深度图上采样的先验性假设为切入点，基于对纹理拷贝和深度纹理模糊现象的分析，发现彩色图像素与深度图像素的特征关系影响着彩色图像素的作用，进而影响深度图上采样质量。为了验证分析，本文第一阶段先显式的选择纹理特征，并基于纹理相似性提出了一个度量彩色图像素作用的新概念——像素置信度。然后，本文设计了一个融合像素置信度的马尔科夫模型，在模拟、真实数据集上进行试验验证。与同类方法相比，该模型不仅可以提升精度，也能更好的缓解纹理拷贝和深度纹理模糊现象。然而，显式的选择特定特征，会忽略其他特征。此外，单一滤波器无法提取完备的纹理和有效区分深度图中的噪声点。针对这两点，本文提出了相应的改进思路，并设计了一个多尺度信息融合卷积神经网络。该网络可以自动学习多特征，并融合深度图、彩色图特征用于深度图重构。在模拟、真实数据集上的测试均显示，在小采样倍率下，相对于融合像素置信度的马尔科夫模型，该网络可以进一步取得精度提升。这也进一步证明了彩色图像素的作用依赖于深度图、彩色图对应像素的特征关系，也为改进深度图上采样提供了一个新的方向。

目录

第一个书签之前