使用增强用生成式对抗神经网络从CAD数据生成合成深度图像

摘要

一种用于通过增强从3D模型渲染的模拟图像来生成真实深度图像的系统和方法，包括渲染引擎，被配置为通过相对于目标3D CAD模型渲染各种姿势来渲染无噪声2.5D图像；噪声传递引擎，被配置为对无噪声2.5D图像施加真实噪声；以及背景传递引擎，被配置为向无噪声2.5D图像添加伪现实场景相关的背景。噪声传递引擎被配置为基于通过第一生成式对抗网络(GAN)实现的、无噪声2.5D图像到由目标传感器生成的真实2.5D扫描的映射，来学习噪声传递。背景传递引擎被配置为基于通过第二GAN实现的、对第一GAN的输出数据作为输入数据以及对应的真实2.5D扫描作为目标数据的处理，来学习背景生成。