一种具有时空一致性的视频深度图估计方法及装置

摘要

本发明提出一种具有时空一致性的视频深度图估计方法及装置，包括生成训练集，包括将中心帧作为目标视图，将前后两帧作为源视图，生成多个序列；针对场景中的静态物体，构建从未标记的视频序列联合训练单目深度和相机姿态估计的框架，包括搭建深度图估计网络结构，搭建相机位姿估计网络结构，并构建该部分的损失函数；针对场景中运动物体，在所创建的框架之后，级联上一个光流网络用来模拟场景中的运动，包括搭建光流估计网络结构，并构建该部分的损失函数；针对深度图时空一致性检验，提出深度神经网络的损失函数；不断优化模型，对单目深度和相机姿态估计进行联合训练，再对于光流网络进行训练；利用优化好的模型，实现连续视频帧的深度图估计。