一种RGBD数据深度迁移的单幅图像2D转3D方法

摘要

本发明的一种RGBD数据深度迁移的单幅图像2D转3D方法，通过从互联网的RGBD数据库中，检索原图像的K个近邻图像及其对应深度，并计算待匹配图像的匹配代价；再通过片匹配建立原图像与近邻图像之间的稠密对应关系；再根据稠密对应关系将原始2D图像的K个近邻图像的对应深度迁移到原始2D图像平面上；从K个迁移的深度图中选取一个最佳的深度作为其初始估计深度；为进一步改进深度图估计质量并抑制噪声，对融合后的深度图进行后处理；最后根据原始2D图像的视觉显著度对深度图进行非线性处理，合成3D图像。其优点为场景适用性强，深度估计质量高，计算简单快速。

说明书

技术领域

本发明涉及2D转3D技术，尤其涉及一种单幅图像2D转3D方法，特别指一种RGBD数据深度迁移的单幅图像2D转3D方法。

背景技术

3D视频是传统2D视频的扩展，通过增加深度信息，使用户体验到视频内容的立体感和临场感。3D视频作为下一代视频的发展方向，涉及3D内容制作、传输、存储、播放和显示设备等技术，对于发展国民经济具有重要的现实意义。3D内容贫乏是制约当前3D视频发展的主要因素之一，想要创建一批拥有较高品质和符合3D展示媒介需求的3D节目依然有较大难度。单幅图像2D转3D方法能够在较短时间内以较低的成本将现有海量2D视频资源转换为可立体显示的3D视频，既能缓解当前3D内容贫乏的状况，又能解决利用3D拍摄设备直接制作3D内容的高成本和操作不便性。

2D转3D方法的核心任务是从2D图像中提取景物的深度信息。受人类视觉单目深度推理的启发，研究人员提出了多种利用视觉线索进行单目图像深度估计的理论和方法，例如透视、纹理、明暗度、聚焦度等。基于透视的单目图像深度估计原理是平行线经透视成像后将交于一点，称为灭点（vanishing point），对应的线称为灭线（vanishing line），根据灭线相交的方向对整幅图像进行深度分配。图像上纹理基元的几何形态跟摄像机和纹理表面的位置关系有关，因而也可根据纹理透视缩放（与表面方向有关）和密度变化效应（与观察者和纹理基元的距离有关）进行深度估计。在朗伯表面的假设前提下，在光源照明下物体表面灰度随着表面法线变化，因而可通过分析物体表面的明暗度变化估计出物体的深度。聚焦深度提取考虑到低深度场景中只有处在离镜头特定位置处才能被聚焦，其他位置都会产生不同程度的模糊，且模糊程度与所处的距离有关。上述方法的缺陷是通用性差，只有场景包含对应的深度线索时才可能得到可靠的深度估计结果；且这些方法只能得到相对深度，难以获取精确的深度信息。因而为推动3D视频的发展，迫切需要设计一种具有场景普适性的高质量2D转3D方法。

随着Kinect的流行和推广，互联网上已聚集海量RGBD数据。另一方面，基于内容的图像检索技术已成熟。经验告诉我们，相似的场景具有相似的深度。因而根据场景匹配，从海量RGBD数据库中查询输入场景的深度成为可能。

发明内容

本发明所要解决的技术问题是针对现有技术的现状，提供场景适用性强，深度估计质量高，计算简单快速的一种RGBD数据深度迁移的单幅图像2D转3D方法。

本发明解决上述技术问题所采用的技术方案为：

一种RGBD数据深度迁移的单幅图像2D转3D方法，包括以下：

步骤一、全局描述符的计算：通过计算得出图像的全局描述符；

步骤二、检索近邻图像：根据所述的全局描述符在互联网RGBD数据库中检索出候选图像，并计算其匹配代价，根据计算得出的匹配代价从小到大得到原始2D图像的K个近邻图像及其对应深度，其中K为正整数；

步骤三、建立稠密对应关系：通过片匹配建立原始2D图像与K个近邻图像之间的稠密对应关系；

步骤四、深度迁移：根据稠密对应关系将原始2D图像的K个近邻图像的对应深度迁移到原始2D图像平面上；

步骤五、深度图融合：对于原始2D图像的每个像素点，从K个迁移的深度图中选取一个最佳的深度作为其初始估计深度；

步骤六、深度图后处理：为进一步改进深度图估计质量并抑制噪声，对融合后的深度图进行后处理；

步骤七、3D图像的合成：根据原始2D图像的视觉显著度对深度图进行非线性处理，合成3D图像。

优化的技术措施还包括：

上述的全局描述符的计算采用GIST特征。

上述的匹配代价的计算公式为：

其中Q为原始2D图像，C为从RGBD数据库中检索出的待匹配图像，G(x)表示图像的GIST特征矢量。

上述的片匹配的匹配代价的计算公式为：

上述的片匹配采用随机搜索和邻域传递提高计算速度。

上述的深度迁移的公式为：

其中f(x)为Q中像素点x(i, j)在待匹配图像C中对应位置；d_C为待匹配图像C对应的深度图。

上述的深度图融合的公式为：

其中融合函数采用中值滤波或者加权平均滤波。

上述的深度图后处理的公式为：

其中w_x, w_c和w_d分别表示位置、颜色和深度三个分量的权重。

上述的非线性处理的公式为：

其中d表示经过非线性调整后的深度图；s_x表示原始2D图像Q在位置x处的视觉显著度系数，其值位于区间[0 1]， N(x)为x处像素的邻域。

上述的3D图像的合成采用DIBR技术。

与现有技术相比，本发明的一种RGBD数据深度迁移的单幅图像2D转3D方法，通过从互联网的RGBD数据库中，检索原图像的K个近邻图像及其对应深度，并计算待匹配图像的匹配代价；再通过片匹配建立原图像与近邻图像之间的稠密对应关系；再根据稠密对应关系将原始2D图像的K个近邻图像的对应深度迁移到原始2D图像平面上；从K个迁移的深度图中选取一个最佳的深度作为其初始估计深度；为进一步改进深度图估计质量并抑制噪声，对融合后的深度图进行后处理；最后根据原始2D图像的视觉显著度对深度图进行非线性处理，合成3D图像。如今互联网上已有和持续增加的海量RGBD数据库保证了对于任何原始2D图像，总能在互联网上检索到近邻图像作为待匹配图像，从而保证了本发明的通用性，适用于各类复杂拍摄环境和场景；本发明利用互联网上深度传感器采集的RGBD数据，可得到图像的精确深度信息，不像传统2D转3D方法仅得到相对深度信息；由于本发明采用随机搜索和邻域传递建立原始2D图像和待匹配图像之间的稠密匹配关系，显著减少了最近邻搜索空间，从而提高了计算速度；另一方面，邻域传递考虑了图像局部结构和景物构图关系，更容易保证场景之间目标的对齐，改善了深度迁移质量；使用DIBR技术合成3D图时根据视觉显著度对深度图进行非线性调整，保证了视觉显著区域的立体临场感。

附图说明

图1是本发明的流程图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1所示为本发明的流程图，

步骤一、全局描述符的计算：采用GIST特征计算原始2D图像的全局描述符，其过程为：首先，创建不同方向和尺度的Gabor滤波器对图像进行滤波得到若干个特征图，并将每个特征图分割成4×4的块；其次，计算特征图里每个块的平均值；最后，将所有特征图里块的平均值依次排列作为原始2D图像的GIST特征，该GIST特征便是原始2D图像的全局描述符。

步骤二、检索近邻图像：根据原始2D图像的全局描述符从互联网上的海量RGBD数据库中检索出候选图像，利用如下公式计算原始2D图像与待匹配图像的匹配代价；

其中Q为原始2D图像，C为从RGBD数据库中检索出的待匹配图像，G(x)表示GIST特征矢量；然后，将匹配代价从小到大进行排序；最后，从中从小到大选取K个作为候选匹配场景，其对应的深度作为Q的候选估计深度；其中K为正整数。

步骤三、建立稠密对应关系：通过片匹配建立原始2D图像和K个近邻图像之间的稠密对应关系。具体过程为：第一步，将Q和C中每个像素点视为一个W×W片的左上角坐标，对Q中每个这样的片，用随机配对的方法指定其在C中的对应的片，两个片的配对代价用下式计算：

第二步，将当前片匹配的位移向邻域传递，如果这个传递的配对代价小于邻域片，则当前片匹配保留并调整邻域片的匹配，否则将邻域片的匹配传递到当前片；第三步，以当前匹配为起点，在一个大的窗内以指数步长搜索使最小的匹配作为当前片的最佳匹配；第四步，如果迭代未达到指定次数返回第二步，否则退出。

步骤四、深度迁移：根据片匹配建立的稠密对应关系将原始2D图像的K个近邻图像对应深度迁移到原始2D图像上。深度迁移公式为：

Q中像素点x(i, j)在匹配图像C中对应位置为f(x)。采用上式将匹配图像C对应的深度图d_C迁移到原始2D图像平面上，作为其候选的深度估计。

第五步、深度图融合：对于原始2D图像的每个像素点，从K个迁移的深度图中选取一个最佳的深度作为其初始估计深度。具体过程如下式所示：

融合函数中采用简单的中值滤波或加权平均滤波。

    第六步、深度图后处理：为进一步改进深度图估计质量并抑制噪声，采用下式进行深度图后处理：

其中w_x, w_c和w_d分别表示位置、颜色和深度三个分量的权重。

第七步、3D图像的合成：将原始2D图像视为左视图，根据估计的深度将原始2D图像变换到新的位置作为右视图；为了保证视觉显著区域的立体感，在变换前通过下式对深度进行非线性调整：

其中d表示经过非线性调整后的深度图；s_x表示原始2D图像Q在位置x处的视觉显著度系数，其值位于区间[0 1]，越接近1表示越显著；N(x)为x处像素的邻域；得到左、右视图后通过DIBR技术合成3D图像。