一种基于深度图像的绘制的视图合成方法

摘要

本发明公开了一种基于深度图像的绘制的视图合成方法，首先对深度图像进行平滑，然后执行两次三维图像变换：第一次变换采用平滑后的深度图像，得到含有较小空洞的目标图像；第二次变换采用原始的深度图像，得到含有较大空洞的目标图像，接着以第二次变换得到的目标图像为基准将两幅目标图像融合，最后对融合得到的目标图像进行空洞填充。本发明的特点是在视图合成过程中，始终维持一个与目标图像相对应的0－1矩阵，用于指示目标图像中某点是否为空洞点，并且视图合成过程中进行了两次三维图像变换，从而能在消除空洞的同时保证不会降低非空洞区域图像的质量，并尽可能地保留视图的真实性。

说明书

技术领域

本发明涉及立体电视技术领域，具体来讲，涉及一种基于深度图像的绘制的视图合成方法。

背景技术

继高清晰度电视(High-Definition TV)以后，立体电视(3DTV)将成为下一代电视技术的发展方向。传统的立体视频是将左右两台摄像机固定在场景中模拟人的双眼从两个不同角度拍摄得到的。这就造成在传输节目时需要传输两路视频。为了减少数据的传输，联合视频小组JVT和欧洲的ATTEST项目都建议采用“视频+深度”的数据格式。这样，左右视频可以由中间视频及其对应的深度图像(depth image)来合成，这便是3DTV中的基于深度图像的绘制(Depth Image BasedRendering，DIBR)技术。DIBR能利用参考图像(reference image)及其对应的深度图像(depth image)合成任意视点的视图，是一种比较有前途的方法。

然而由于可见性变化等原因，采用DIBR合成的视图往往存在空洞(holes)。空洞消除的效果决定着基于DIBR的视图合成技术能否被进一步推广。1993年，苹果公司的Shenchang Eric Chen和Lance Williams提出可以通过插值相邻像素的颜色或偏移向量来填充空洞。这类方法不一定精确但复杂性较低，通常用于消除的较小空洞。2003年，Christoph Fehn提出用高斯滤波器平滑深度图，以消除合成的视图中较大的空洞或者使之变小。2005年，Liang Zhang等人在滤波器的选择以及滤波的区域确定、参考图像的处理等方面做了改进。然而这些方法在消除空洞的同时往往会降低图像的质量，或者由于需要多幅参考图像而不适合3DTV的传输。不但如此，由平滑后的深度图像合成的图像与真正想要生成的视点的图像相比，发生了位移和扭曲，即合成的视图已经不是想要视点的视图。如何解决这一问题是3DTV应用中要攻克的重要问题。

发明内容

本发明的目的在于克服现有视图合成方法的不足，提供一种能在消除空洞的同时精确绘制非空洞区域的图像，并且不会降低非空洞区域图像质量，尽可能地保留视图真实性的基于深度图像的绘制的视图合成方法。

为了达到上述发明目的，本发明基于深度图像的绘制的视图合成方法包括以下步骤：

(1)、对参考图像的原始深度图像进行平滑，得到平滑后的深度图像；

(2)、根据参考图像和平滑后的深度图像进行三维图像变换，生成含有较小空洞的目标图像，同时得到一个与该目标图像相对应的0-1矩阵，0-1矩阵中的每一个元素指示该目标图像中某点是否为空洞点，元素值为0表示该点是空洞点，元素值为1表示该点不是空洞点；

(3)、根据参考图像和原始深度图像进行三维图像变换，生成含有较大空洞的目标图像，同时得到一个与该目标图像相对应的0-1矩阵，矩阵中的每一个元素指示目标图像中某点是否为空洞点，元素值为0表示该点是空洞点，元素值为1表示该点不是空洞点；

(4)、根据步骤(3)得到的0-1矩阵，遍历步骤(3)得到的较大空洞的目标图像的空洞点，如果某一空洞点，根据步骤(2)得到的0-1矩阵判断该空洞点在步骤(2)得到的较小空洞的目标图像中对应点不是空洞点，则将较小空洞的目标图像中对应点的像素值拷贝到较大空洞的目标图像中的该空洞点，这样，较大空洞的目标图像中的空洞变小；

(5)、对步骤(4)得到的空洞变小后的较大空洞的目标图像中剩余的空洞进行填充，合成最终的目标图像。

本发明的特点是在视图合成过程中，始终维持一个与目标图像相对应的0-1矩阵，用于指示目标图像中某点是否为空洞点，这样做的好处是可以准确辨别哪些像素是真正的空洞，节省了计算量；并且视图合成过程中进行了两次三维图像变换，第一次三维图像变换采用参考图像以及平滑后的深度图像，得到含有较小空洞的目标图像，第二次三维图像变换采用参考图像及其深度图像直接进行变换，得到含有较大空洞的目标图像，然后将两幅目标图像进行融合，即将第二次三维图像变换合成的较大空洞的目标图像中的空洞从第一次三维图像变换合成的目标图像中采样填充，这样由于第二次三维图像变换合成最终目标图像的非空洞区域的精确图像，同时采用第一次三维图像变换合成的目标图像来采样填充第二次三维图像变换合成的较大空洞的目标图像的空洞部分，使其缩小，从而能在减小空洞的同时保证不会降低非空洞区域图像的质量，并尽可能地保留视图的真实性。最后通过对剩余的空洞进行填充，得到最终的目标图像，完成视图的合成。

附图说明

图1是现有技术中一个典型的基于图像深度的绘制的视图合成流程图；

图2是本发明一种具体实施方式的具体流程图。

具体实施方式

为更好地理解本发明，下面结合具体实施方式对本发明进行更为详细描述。在以下的描述中，当已有的现有技术的详细描述也许会淡化本发明的主题内容时，这些描述在这儿将被忽略。

图1是现有技术中一个典型的基于深度图像的绘制的视图合成流程图。图中，对深度图像进行预处理后，直接进行三维图像变换，最后进行空洞填充，在消除空洞的同时降低非空洞区域图像质量，并且不能很好地保留视图真实性。

图2是本发明一种具体实施方式的具体流程图。

在本实施例中，具体流程为：

(1)、利用高斯低通滤波器对参考图像I_R的原始的深度图像D进行滤波，得到平滑后的深度图像D_s，即对深度图像D进行预处理；

在本实施例中，高斯低通滤波器中的高斯曲线的标准偏差σ为15，即可以得到较为满意的平滑效果；

(2)、根据参考图像I_R和平滑后的深度图像D_s进行三维图像变换，生成含有较小空洞的目标图像I₁及其对应的0-1矩阵M₁。0-1矩阵M₁中的每一个元素指示目标图像I₁中某点是否为空洞点，元素值为0表示该点是空洞点，元素值为1表示该点不是空洞点；

(3)、根据参考图像I_R和原始的深度图像D进行三维图像变换，生成含有较大空洞的目标图像I₂及其对应的0-1矩阵M₂。0-1矩阵M₂中的每一个元素指示目标图像I₂中某点是否为空洞点，元素值为0表示该点是空洞点，元素值为1表示该点不是空洞点；

(4)、将步骤(2)、(3)得到的含有较小空洞的目标图像I₁以含有较大空洞的目标图像I₂进行融合，具体为根据0-1矩阵M₂遍历由步骤(3)得到的目标图像I₂中的空洞点，如果某一空洞点，根据步骤(2)得到的0-1矩阵M₁判断该空洞点在步骤(2)得到的较小空洞的目标图像I₁中对应点不是空洞点，则将较小空洞的目标图像I₁中对应点的像素值拷贝到较大空洞的目标图像I₂中的该空洞点，并置0-1矩阵M₂中对应位置的元素为1，这样，较大空洞的目标图像I₂中的空洞变小，在本实施例中，经过融合后，空洞变小后的较大空洞的目标图像为目标图像I，0-1矩阵M₂变成目标图像I对应的0-1矩阵M；

在本实施例中，步骤(5)，即对步骤(4)得到的空洞变小后的较大空洞的目标图像I中剩余的空洞进行填充，合成最终的目标图像的具体步骤为：

(51)、按行遍历目标图像I中的空洞点，根据0-1矩阵M填充上下左右4邻域像素集中所有像素都不空的空洞点，同时更新0-1矩阵M；

(52)、按行遍历目标图像I中的空洞点，根据0-1矩阵M填充上下左右4邻域像素集中有3个及3个以上像素不空的空洞点，同时更新0-1矩阵M；若还存在上下左右4邻域像素集中有3个及3个以上像素不空的空洞点，则转到步骤(51)，否则转到步骤(53)；

(53)、按行遍历目标图像I中的空洞点，根据0-1矩阵M填充上下左右4邻域像素集中有2个及2个以上像素不空的空洞点，同时更新0-1矩阵M；若还存在上下左右4邻域像素集中有2个及2个以上像素不空的空洞点，则转步骤(51)，否则转到步骤(54)；

(54)、按行遍历目标图像I中的空洞点，根据0-1矩阵M填充上下左右4邻域像素集中有1个及1个以上像素不空的空洞点，同时更新0-1矩阵M；若还存在上下左右4邻域像素集中有1个及1个以上像素不空的空洞点，则转步骤(51)，否则停止。

本实施例的填充方法与现有技术，即苹果公司的Shenchang Eric Chen和Lance Williams提出的通过插值相邻像素的颜色或偏移向量来填充空洞的方法相比，尽管都是用于消除的较小空洞，但本实施例的填充方法每一轮的填充过程中总是先插值那些周围非空洞点较多的空洞点，从而保证了用于填充的像素值更接近真实值。

尽管上面对本发明说明性的具体实施方式进行了描述，但应当清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。