使用具有不同维度的传感器数据的实例分割

摘要

本文描述了使用诸如由LiDAR捕获的3D点云数据作为地面真实数据来训练实例分割深度学习模型的系统、方法和非暂时性计算机可读介质。由LiDAR捕获的3D点云数据可投影到由相机捕获的2D图像上，并作为输入提供给2D实例分割模型。可以从具有投影的3D数据点的所述2D图像中生成2D稀疏实例分割掩模。这些2D稀疏掩模可用于在所述模型的训练期间传播损耗。生成和使用具有所述投影的3D数据点的所述2D图像数据以及所述2D稀疏实例分割掩模来用于训练所述实例分割模型消除了生成和使用实际实例分割数据来用于训练的需要，从而提供了改进技术来用于训练实例分割模型。