一种基于卷积神经网络的Kinect深度图修复方法

摘要

本发明涉及一种基于卷积神经网络的Kinect深度图修复方法，用于解决Kinect的深度图存在大面积空洞的问题，包括模型训练和深度图修复两个阶段。模型训练阶段构建了一个输入RGB图，输出深度图的单目深度估计模型，使用屏蔽掉空洞的Kinect深度图作为监督信息，训练出一个单目深度估计模型。修复阶段是把深度图对应的RGB图输入模型得到估计的深度图，并使用它填充原始深度图中的空洞，最后进行中值滤波得到最终修复结果。本方法在修复大面积的空洞的时候优势明显，本方法用“深度”补“深度”的解决思路决定了修复精度主要取决于深度估计模型本身的精度，这里如果换用其它效果更好的深度估计模型会达到更好的效果。