使用深度提示对深度估计模型的自我监督训练

摘要

公开了一种用于使用深度提示训练深度估计模型的方法。针对每个图像对：针对第一图像，通过深度估计模型确定深度预测以及获取深度提示；将第二图像投影到第一图像上，以基于深度预测生成合成帧，以及再次基于深度提示生成提示合成帧；利用合成帧计算一次损失；利用提示合成帧计算提示损失；并且基于每像素确定，针对图像对计算总体损失，其中如果提示损失小于一次损失，则总体损失包括一次损失和在深度预测与深度提示之间的监督深度损失。通过使图像对的总体损失最小化来训练深度估计模型。