立体图像中基于互补掩盖方式的多模式误码掩盖方法

摘要

立体图像中基于互补掩盖方式的多模式误码掩盖方法属于图像通信的技术领域。其具体过程为：首先同时按照光栅扫描顺序扫描，检测出左、右眼图像中第一个需要掩盖的块。考察参考帧搜索区域中是否包含无效像素。如果不包含，则进行边界匹配，并用匹配的块来掩盖，否则对误码块的四个邻域块进行块匹配，得到它们的视差矢量。剔除这四个视差矢量中偏差较大的矢量，把余下矢量求平均作为待处理误码块的视差矢量，并到参考帧中找到对应块来掩盖。如果对应块包含无效像素，则在当前帧中利用有效像素进行双线性内插方法处理无效像素部分。如果掩盖结果的边界连续度不佳，则改用方向插值方法掩盖。采用互补的方式处理两幅图像其余误码块，直至全部掩盖完毕。

说明书

技术领域

本发明是一种适用于立体图像的两幅图像都有丢失块的情况下，对立体图像进行误码掩盖，属于图像通信的技术领域。

背景技术

Internet所取得的巨大成就和未来所蕴涵的巨大发展潜力勿庸置疑。视频/图像业务作为Internet上的主流应用之一，具有直观、形象、易懂和信息量大的特点。同时，人们对视频/图像的应用也逐步从2D向3D发展，立体视频/图像越来越受到关注。视频/图像在传输之前，往往经过了压缩来去除时间、空间以及统计冗余度，但这样也使得输出码流的容错性大大降低。一个分组甚至一个比特的丢失或者差错都有可能使解码器失去同步，进而影响重建的图像质量。而传统的基于IP的Internet网络只是一种“尽力而为”的网络，它不能提供数据流的可靠传输。因此，如何在IP网络上保证数据流的质量就成为一个不容忽视的重要问题。由于视频/图像应用具有实时性，因此，当有视频/图像数据出错时，使用重传技术纠错是不可接收的。这就要求视频/图像编解码技术本身能够对错误数据进行处理。抗误码(Error Resilient)技术是一种有效的解决错误数据的方法，但是，它往往以增加额外的比特率为代价。如果考虑到带宽因素，误码掩盖(ErrorConcealment)则可以看成是一种较好的错误数据解决方案。它仅仅以增加解码器的复杂度为代价。而图像是单帧的视频，研究图像的掩盖技术可以看成是视频掩盖技术的基础。因此，研究一种用于两幅都有丢失块的立体图像的误码掩盖方法显得尤为必要和有意义。

发明内容

技术问题：本发明的目的是提供一种立体图像中基于互补掩盖方式的多模式误码掩盖方法，该方法利用立体图像之间的相关性，尽可能地使用一幅图像的没有误码的区域来掩盖另一幅图像有误码的区域，而且能够根据不同的误码情况，自适应地采用不同的掩盖模式，从而最终达到两幅图像都能获得较好的掩盖效果。

技术方案：误码掩盖技术由于能较好的提高视频的主观质量而广泛应用，但误码掩盖技术往往集中于一幅图像的误码掩盖即帧内误码掩盖技术或一个视频序列的帧间误码掩盖技术，它们分别主要利用了图像的空间相关性和时间性。而对于传输立体图像时出现误码如何解决这一问题研究较少。

不失一般性，假设两幅图像都有误码，而且误码块是孤立的，即它的四个邻域的块(如图1所示)都是能够正确解码的块。由于立体图像的左右眼的两幅图像有较强的相关性，因此，在进行误码掩盖时，要尽可能的利用相关性。

在掩盖开始时，首先同时按照光栅扫描顺序扫描，检测左、右眼图像哪一幅图像先遭遇误码块，先遭遇的误码块就作为第一个需要掩盖的块，包含这个待处理误码块的帧称为当前帧，不包含的帧则称为参考帧。这里假设右图像中有第一个需要掩盖的误码块B_lost，把这个误码块周围一圈的像素看成一个整体，由于误码是孤立的，因此，这个整体中的每个像素都是有效的。相应的，把误码块中的像素称为无效像素。把这个整体放到左图像的搜索区域SR中去匹配，即寻找一个最相似的整体。我们称这个过程为边界匹配。然后利用这个找到的最相似整体所包含的块的内容去掩盖右图像的误码块。即：

$\widehat{f\left(p\right)}=f(p-d),$其中p∈丢失块B_lost，d为最佳匹配矢量

这是在搜索区域中都是有效像素的情况下进行的。这时的掩盖方法称为掩盖模式1。

一旦搜索区域中也有误码块，则放弃边界匹配方法，改用块匹配的方法。可以提取需掩盖的误码块周围的四个邻域的块(分别用NB_up、NB_down、NB_left、NB_right来表示)来进行块匹配。把每个邻域块放到参考帧的搜索区域中去匹配。如果此时搜索区域中没有其他误码块，当搜索到最匹配的误码块时，记录此时的视差矢量。如果此时搜索区域中有误码块，则对于有误码块的区域不匹配，其余区域照常匹配，并记录下最匹配时的视差矢量。四个邻域块都做同样上述处理。然后根据相邻块的视差矢量应该相等或者相近的原则，剔除这四个视差矢量中偏差较大的矢量，它(们)可能是误匹配的视差矢量。把余下的视差矢量求平均，并作为当前待处理的误码块的视差矢量。以这个视差矢量到参考帧中找到对应的块，用此块的内容来掩盖待处理的误码块。这时的掩盖方法称为掩盖模式2。如果找到的这个对应块包含无效像素，因无效像素而无法掩盖的区域则在当前帧中采用双线性内插的方法来掩盖，而且双线性内插时，只利用当前帧的有效像素值。这里当前帧的有效像素包括了原来就存在的像素以及先前掩盖处理后变成有效像素的像素。这时的掩盖方法称为掩盖模式3。其计算公式为：

$p(i,j)=\frac{p_u*d_b+p_b*d_u+p_l*d_r+p_r*d_l}{d_b+d_u+d_r+d_l}$

其中，p_u、p_b、p_l、p_r分别为与待恢复像素最邻近的上下左右四个有效像素的值，d_u、d_b、d_l、d_r分别为这四个有效像素点与待恢复像素点之间的距离。如图2所示。

对这个掩盖结果进行边界的连续程度测定，以掩盖结果内部周围一圈像素和外部周围一圈像素(如图3所示)的绝对差的和(SAD)作为连续程度的衡量准则。假设待掩盖块的大小为N×N，其内部左上角的像素为p(x₁，y₁)，水平向右为X轴正方向，垂直向下为Y轴正方向，则用公式表示为：

${\mathrm{SAD}}_{\mathrm{boundary}}=\underset{x=x_1}{\overset{x_1+N-1}{\Sigma }}|p(x,y_1-1)-p(x,y_1)|+\underset{x=x_1}{\overset{x_1+N-1}{\Sigma }}|p({x,y}_1+N-1)-p(x,y_1+N)|$

$+\underset{y=y_1}{\overset{y_1+N-1}{\Sigma }}|p(x_1-1,y)-p(x_1,y)|+\underset{y=y_1}{\overset{y_1+N-1}{\Sigma }}|p(x_1+N-1,y)-p(x_1+N,y)|$

SAD越小，则连续程度越好。如果连续程度较低而其四个邻域块的连续程度又相对较高，则表明掩盖效果欠佳，这往往是由于误码块包含了横穿其中的边缘。对这种情况，则改用方向插值的方法进行误码掩盖。这时的掩盖模式称为掩盖模式4。至此，第一个误码块处理完毕，其掩盖后所包含的像素在后续的掩盖中将作为有效像素。

然后，再次同时按照光栅扫描顺序扫描，考察左、右两幅图像中哪一幅遭遇误码块，并对其进行上述同样的掩盖。如此往复的掩盖，直至最后两幅图像全部掩盖完毕。

可以看出，按照上述的顺序进行掩盖，能对一目图像中的误码块进行很好的掩盖并使之成为另一目图像掩盖时搜索区域中的有效部分。很明显，这种互补的掩盖方式有利于提高掩盖的效果。

本发明的立体图像中基于互补掩盖方式的多模式误码掩盖方法，其步骤为：

1)先同时按照光栅扫描顺序扫描，检测左、右两幅图像中第一个待处理的误码块；

2)检查搜索区域中所有像素是否都是有效的；

3)如果搜索区域中所有像素都是有效的，则把待处理的误码块周围一圈的像素作为一个整体，使之放到参考帧的搜索区域中进行边界匹配，并用匹配到的最相似整体所包含的内容掩盖待处理的误码块，即掩盖模式1，然后跳到步骤5)继续执行；

4)如果搜索区域中包含无效像素，则采用块匹配的方法找到匹配块；如果找到的块不包含无效像素，则直接用匹配块来掩盖，即掩盖模式2；如果包含无效像素，则采用掩盖模式3进行处理；

5)对掩盖结果进行边界的连续程度测定，如果掩盖结果的连续程度较低而其四个邻域块的连续程度又相对较高，则改用方向插值的方法进行误码掩盖，即掩盖模式4；

6)再次同时按照光栅扫描顺序扫描，考察左、右两幅图像中哪一幅遭遇误码块，并对其进行上述步骤2)-5)的过程，如此互补的掩盖，直至最后两幅图像全部掩盖完毕。

采用块匹配的方法找到匹配块的步骤为：采用待处理的误码块的上下左右四个邻域块进行块匹配，对于每个邻域的块，如果参考帧的搜索区域中没有其他误码块，当搜索到最匹配的误码块时，记录此时的视差矢量；如果搜索区域中有误码块，则对于有误码块的区域跳过不匹配，其余区域照常匹配，并记录下最匹配时的视差矢量，四个邻域块都做同样上述处理；然后根据相邻块的视差矢量应该相等或者相近的原则，剔除这四个视差矢量中偏差较大的矢量，它们可能是误匹配的视差矢量，把余下的视差矢量求平均，并作为当前待处理的误码块的视差矢量；以这个视差矢量到参考帧中找到对应的匹配块。

掩盖模式3的步骤为：首先用找到的匹配块中有效的像素来掩盖误码块，而对于无效像素对应的区域，则在当前帧用双线性内插的方法来掩盖，而且双线性内插时，只利用当前帧的有效像素值。

有益效果：

1)由于利用了左、右眼两幅图像的相关性来进行掩盖，因此，掩盖结果的主观质量和客观质量(以峰值信噪比PSNR为衡量准则)都优于单纯的帧内掩盖方法；

2)由于能够自适应地根据不同的情况选用不同的掩盖模式，因此，掩盖结果的主观质量和客观质量(以PSNR为衡量准则)都优于单一的掩盖方法；

3)由于掩盖是基于互补方式进行的，因此，掩盖结果的主观质量和客观质量(以PSNR为衡量准则)都优于先掩盖完一帧再掩盖另一帧的掩盖方法；

4)在取四个邻域块的视差矢量的均值作为待掩盖块的视差矢量时，剔除了偏差较大视差矢量，从而提高了待掩盖块的视差矢量的估计精度，有利于提高掩盖的主观质量和客观质量(以PSNR为衡量准则)；

5)本发明方法可拓展用于立体视频都有丢失块的误码掩盖问题。

附图说明

图1是误码块的四个邻域块示意图；

图2是对于无效像素区域采用双线性内插掩盖示意图；

图3是掩盖块内部和外部一圈像素的示意图；

图4是本发明实现误码掩盖流程图。

具体实施方式

本发明的立体图像中基于互补掩盖方式的多模式误码掩盖方法，其具体实施方案如下：

1)同时按照光栅扫描顺序扫描，检测左、右两幅图像哪一幅先遭遇误码块，并选取先遭遇到的误码块作为第一个待处理的误码块；

2)检查搜索区域中所有像素是否都是有效的；

3)如果搜索区域中所有像素都是有效的，则把待处理的误码块周围一圈的像素作为一个整体，使之放到参考帧的搜索区域中进行边界匹配，并用匹配到的最相似整体所包含的内容掩盖待处理的误码块，然后跳到步骤5)继续执行。

4)如果搜索区域中包含无效像素，则采用四个邻域块进行块匹配。对于每个邻域的块，如果参考帧的搜索区域中没有其他误码块，当搜索到最匹配的误码块时，记录此时的视差矢量。如果搜索区域中有误码块，则对于有误码块的区域跳过不匹配，其余区域照常匹配，并记录下最匹配时的视差矢量。四个邻域块都做同样上述处理。然后根据相邻块的视差矢量应该相等或者相近的原则，剔除这四个视差矢量中偏差较大的矢量，它(们)可能是误匹配的视差矢量。把余下的视差矢量求平均，并作为当前待处理的误码块的视差矢量；以这个视差矢量到参考帧中找到对应的块。如果找到的块不包含无效像素，则直接用此块的内容掩盖待处理的误码块；如果找到的对应块包含无效像素，因无效像素而无法掩盖的区域则在当前帧中采用双线性内插的方法来掩盖，而且双线性内插时，只利用当前帧有效像素的值。

5)对掩盖结果进行边界的连续程度测定。以掩盖结果内部周围一圈像素和外部周围一圈像素的绝对差的和(SAD)作为连续程度的衡量准则，SAD越小，则连续程度越好。如果掩盖结果的连续程度较低而其四个邻域块的连续程度又相对较高，则改用方向插值的方法进行误码掩盖。

6)再次同时按照光栅扫描顺序扫描，考察左、右两幅图像中哪一幅遭遇误码块，并对其进行上述步骤2)-5)的过程。如此互补的掩盖，直至最后两幅图像全部掩盖完毕。