一种基于相关性的自适应补偿立体视频帧率上转换方法

摘要

本发明利用深度图与纹理图的相关性，对深度图进行边缘块与平坦块的分类，并根据标记采用加入纹理梯度信息的块运动匹配准则得到不同宏块的运动矢量，分别对不同宏块进行运动矢量后处理及自适应插值，同时得到深度图插值帧和纹理图插值帧。相比传统的帧率上转换方法，此发明加强了对深度图边缘的处理，插入的深度图具有更好的边缘特性，插入的纹理图质量也更好。

说明书

技术领域

本发明涉及一种立体视频帧率上转换技术，属于图像、多媒体信号处理技术领域。

技术背景

自由视点电视通过多视点播放呈现给观众三维立体的观影效果，因而得到广泛发展。由于传输带宽限制，当前的三维视频研究与应用通常采用深度视频(MVD)模式。三维视频中虚拟视点的呈现由真实视点纹理图联合对应深度图经过基于深度图-纹理图渲染技术(DIBR)得到，深度图并非用来直接观看，而只用作合成虚拟视点。

帧率上转换技术能突破网络传输带宽的限制，在接收端对视频帧率进行倍数的提高，从而提高视频流畅度，提升观影质量。帧率上转换本质是一种基于前后帧的线性插值过程。简单的插值如帧重复法与帧平均法对运动流畅性并未改善，因此人们将运动矢量考虑到帧率上转换中，通过在物体运动轨迹上插入中间帧从而得到更流畅的视频效果。基于运动补偿的帧率上转换方法包括三个主要步骤：运动估计、运动矢量后处理以及基于运动补偿的插值。

在自由视点电视中，纹理图为观众实际观看的图像，深度图作为纹理图深度信息的补充，能用来合成其他视点的纹理图。当对某一视点纹理图进行帧率上转换时，对应的，其相关深度图也需要做相同倍数的帧率上转换。深度图将场景的不同深度层次以不同的灰度值来表示，距离越近则深度值越小，转换为图像灰度值表示则灰度值越大。深度图灰度值变化的地方通常为场景中不同物体的交界处，我们称为边缘。深度图的边缘在DIBR中起着十分重要的作用，它在某种层度上决定了合成的虚拟视点的好坏。因此，如果我们以和纹理图相同的方法对深度图进行帧率上转换，那么因为运动匹配失误以及平滑带来的图像模糊在深度图中就会变成边缘的模糊与边缘错误。因此正确地保证边缘成为深度图帧率上转换的重点。

发明内容

本发明利用深度图与纹理图的相关性，对深度图进行边缘块与平坦块的分类，并根据标记采用加入纹理梯度信息的块运动匹配准则得到不同宏块的运动矢量，分别对不同宏块进行运动矢量后处理及自适应插值，同时得到深度图插值帧和纹理图插值帧。相比传统的帧率上转换方法，此发明加强了对深度图边缘的处理，插入的深度图具有更好的边缘特性，插入的纹理图质量也更好。

本发明采用的技术方案如下：

一种基于相关性的自适应补偿立体视频帧率上转换方法，其特征在于该方法包括以下步骤：

步骤1：提取同一时刻及下一时刻的深度图和纹理图，并保存为图像对；

步骤2：将深度图进行边缘块标记，并对边缘块采用基于k均值聚类的像素点分类；

步骤3：根据像素点分类进行运动估计，采用加入纹理权值的块匹配准则进行块匹配搜索，对不同类型的块分别进行常规UMHS搜索的块匹配运动估计与四叉树的UMHS块匹配运动估计，获得原始运动矢量；

步骤4：对不同分类的像素进行自适应运动矢量后处理，分别对平坦块及边缘块进行异常点检测并修复，得到精确运动矢量；

步骤5：基于运动补偿的自适应插值方法；

步骤6：基于边缘判断的补洞插值，对空洞点进行分类，利用基于边缘判断的补洞插值得到最终插入的纹理图及深度图；

步骤7：分别合成纹理序列和深度图序列并输出。

优选的，在步骤2中将深度图划分为大小相同的图像块，对块内像素深度值进行方差计算，将方差大于阈值的块标记为边缘块，小于阈值的块标记为平坦块；采用k均值聚类方法对标记为边缘的宏块进行前景背景分离，用k均值聚类方法对标记为边缘的宏块进行像素聚类，其中灰度值更小的像素类被标记为背景像素，灰度值大的像素类被标记为前景像素。

优选的，在步骤3中，采用加入纹理梯度权值的绝对误差和TSAD作为块匹配准则，增加纹理所占比重，根据上一步骤得到的边缘块与平坦块分类，对标记为平坦块的宏块进行常规的UMHS块匹配运动估计，对于标记为边缘块的宏块进行四叉树的UMHS块匹配运动估计，获得原始运动矢量。

优选的，在步骤4中分别对平坦块及边缘块进行运动矢量后处理，对于平坦块，首先比较平坦块与八邻域中同是平坦块的运动矢量的差异，根据与平均运动矢量的比较来判断当前块运动矢量是否异常，如果为异常运动矢量，采用均值替代的方法更正当前异常运动矢量；对于边缘块，首先对只包含单一深度层的子宏块进行同一深度层的八邻域均值纠正，然后对既包含前景又包含背景的子宏块，分别进行背景像素点和前景像素点的八邻域均值纠正，得到精确运动矢量。

优选的，在步骤6中进行基于边缘判断的补洞插值，通过对深度图中空洞像素点等距的四个像素点两两进行灰度值比较，如果有任意两个像素点灰度值差值大于阈值，则认为该空洞是处于边缘区域的空洞，对其进行后向运动补偿插值；否则认为该空洞为平坦处空洞，采用邻域像素平均方式直接得到插值像素值从而得到完整插值帧；以同样的信息标记对纹理图做补洞处理，得到纹理图插值帧。

本发明利用深度图与纹理图的相关性，对深度图进行边缘块与平坦块的分类，并将此分类信息运用到运动估计、运动矢量后处理以及基于运动补偿的插值过程中，对边缘像素块采用像素点级别的运动矢量估计与平滑处理，得到的运动矢量更加准确，最终补偿得到的深度图边缘更清晰，纹理图的质量也更高。

附图说明

图1是立体视频中同时对深度图和纹理图进行二倍帧率上转换示意图。

图2是本发明整体方法流程图。

图3是对深度图中包含边缘像素点宏块进行标记结果图。

图4是深度图边缘块进行K均值聚类示意图。

图5是边缘宏块K均值聚类过程示意图。

图6是纹理图宏块纹理梯度示意图。

图7是四叉树运动估计示意图。

图8是空洞类型判断示意图。

图9是本发明实验结果图，(a)是Beergarden第32帧纹理图，(b)是本发明合成的Beergarden第32帧纹理图，(c)是Beergarden第32深度图，(d)是本发明合成的Beergarden第32帧深度图。

具体实施方式

本发明提出的立体视频帧率上转换方法具体流程如图1所示，首先对深度图进行边缘分类，根据分类结果对纹理图的当前帧与后一帧采用基于边缘的自适应运动估计得到初始运动矢量，再采用基于深度信息的运动矢量后处理得到最佳运动向量，然后对空洞块进行边缘区域判断完成运动补偿的插值，达到深度图和纹理图的帧率上转换，有效减小深度图边缘误插值，达到高质量重建目的。

下面结合具体实施例(但不限于此例)以及附图对本发明进行进一步的说明。

(一)读入视频帧

(1)写入视频帧，保存纹理图的第t帧作为当前帧，记作f_t，与之对应的深度图记作d_t；第t+1帧作为参考帧，记为f_t+2，其对应深度图记作d_t+2；插入纹理图记作f_t+1，插入深度图记作d_t+1；每一帧纹理图与其对应深度图记为一个图像对；

(二)图像预处理

(1)深度图边缘块标记：

同一场景中不同的物体具有不同的运动方向，基于块匹配的运动搜索易将物体交界处划分在同一搜索块中，使原本具有不同运动方向的像素点拥有相同的运动方向。深度图在两物体交界处有明显的深度值变化，从而可以利用检测深度值变化来划分含边缘像素点的搜索块和不含边缘的搜索块。深度变化程度用块内深度变化方差σ表示。如公式1所示，将深度图划分为相同大小的图像块，l(p_i)为每个像素点的标记，如果当前块内深度值p_i方差大于某一阈值Th_σ，则此块标记为边缘块,记为1，否则标记为平坦块，记为0,如公式2所示，其中mbSize为宏块大小，μ为平均深度值。附图3是检测到的深度变化区域，方框所示宏块为边缘块：

(2)前景背景分离：

对深度图来说，一般标记为边缘的图像块内含有两个深度层的像素，我们认为灰度值大的是前景像素点，灰度值小的为背景像素点。对两种像素做K均值聚类，将前景背景像素进行分离。k均值聚类过程如附图4所示。逐行扫描深度图图像块，在标记为边缘的宏块块处开始进行聚类，任意选择两个起始点，将灰度差作为距离更新聚类中心，直到边缘块内所有像素点被分为两类，其中灰度值小的标记为背景像素点，灰度值大的标记为前景像素点，如附图3所示；

(三)基于深度图边缘的运动估计过程

(1)纹理增强的匹配准则：

本发明采用快速运动估计方法Unsymmetrieal-CrossMuti-Hexagon Search(UMHS)进行块匹配运动搜索。它是一种混合型块匹配搜索，具有搜索速度快，不易陷入局部最小点的优点；以基于纹理增强的绝对误差和(texture enhancement-based sum of absolute differences；TSAD)作为运动估计匹配准则，用纹理图的块间绝对误差和作为主要代价函数，加入当前块的纹理(如附图6)权值，作为最终的块搜索准则，如公式3到公式5所示：

其中

TSAD＝SAD+γSAD_Texture (公式5)

其中(x,y)为当前帧纹理图f_t的待匹配像素点；为参考帧纹理图斜对角元素差值的绝对值，又称为纹理信息的绝对误差和SAD_Texture；p_i指当前宏块，p_iy和p_ix分别是宏块的长和宽，m为参考图像中宏块的长宽，v为TSAD最小时的最佳运动矢量。

(2)边缘块的四叉树运动估计

对于深度图中标记为边缘的块，对应地，在纹理图中找到这些块，将当前纹理图宏块进行四叉树分解，并对每个宏块下的四个子宏块分别进行运动估计，估计准则依旧采用TSAD匹配代价函数，找到每个小块的最佳匹配块，从而确定宏块内每个小块的最佳运动矢量，如附图7所示。

(四)基于深度图的运动矢量后处理过程

(1)平坦块矢量后处理

a.判断异常运动矢量

确定当前平坦块八邻域内的平坦块，计算当前块与周围平坦块的平均运动矢量如公式6所示，(x,y)为当前平坦块，p_i为当前块八邻域块，l(p_i)取1时表示为平坦块。如果当前块与平均运动矢量的差值D_c大于周围平坦块与平均运动矢量的平均差值D_ave，则将当前块判定为异常块，如公式。

b.异常点修正

对于异常的平坦区域宏块，采用周围领域中平坦块SAD加权平均来修正不可靠运动矢量。如公式10所示。其中ω_τ(p_i)为领域块SAD权值，如公式11所示。

其中p_j为周围领域N_m(P)的像素点，l(p_i)为当前块标记，v(p_i)为当前块的原始运动矢量。

(2)边缘块矢量后处理

由于对边缘块采用四叉树运动估计，所以当前边缘块内包含四个运动矢量。根据预处理中标记的前景背景像素点，对此边缘块宏块，若其子宏块内全为前景或背景，选择当前宏块八邻域中全与其子宏块处于同一深度的平坦块做矢量平均，将均值矢量赋给此子宏块内所有像素点；对于既有背景像素又有前景像素的子宏块，将所有子宏块中的前景像素点，选择子宏块八邻域内同为前景的宏块进行矢量平均，并将平均矢量赋给前景像素点；同样的，对所有子宏块中的背景像素点，选择子宏块八邻域内同为背景的宏块进行矢量平均，并将平均矢量赋给背景像素点。

(五)基于运功补偿的插值

(1)重叠块插值

如果有且只有一个运动矢量指向待插值像素点，则当前位置像素点由前向运动补偿得到，则公式12中λ₁＝η₁＝1，中λ₂＝η₂＝0；如果有多个运动矢量指向待插值像素点，则当前位置像素点由TSAD值最小的宏块内像素点以及其后一帧的平均表示，此时其中f_t+1(x,y)表示纹理图插值帧，f_t和f_t+2分别是纹理图当前帧和纹理图参考帧；D_t+1(x,y)表示深度图插值帧，D_t和D_t+1分别是深度图当前帧和深度图参考帧，v_x和v_y为得到的运动矢量的横纵坐标。

$f_{t+1}(x,y)={\lambda }_1{f}_t(x-\frac{1}{2}{v}_x,y-\frac{1}{2}{v}_y)+{\lambda }_2{f}_{t+2}(x+\frac{1}{2}{v}_x,y+\frac{1}{2}{v}_y)$

(2)空洞类型判定

对于没有运动矢量指向的待插值像素点，首先判断它是处于平坦像素点还是边缘像素点。由于空洞范围一般不超过一个搜索宏块的宽度，所以可以对该空洞点上下左右倍宏块长度m(附图8)的点进行快速边缘判定，如公式13所示，d(a₁,b₁)和d(a₂,b₂)表示四个角上任意两点深度值，如果四个角上的任意两点间深度差大于阈值Thd则认为当前点是处于边缘处的空洞点，否则就认为当前点处于平坦区域。

(c)空洞点运动补偿插值

由于边缘区域的空洞是由于前景与背景发生相对运动而产生的，且空洞处像素在前一帧中并不存在，因此对于处于边缘区域的像素点采用后向运动补偿的插值，此时，公式12中λ₁＝η₁＝0，中λ₂＝η₂＝1；对于平坦部分的空洞点，对该点八邻域中非空洞的点进行平均直接得到空洞点像素值，如公式14所示,p(x,y)为当前空洞点像素，n为八邻域中非空洞的像素点，p_i是对应像素值：

本申请选用了两组立体视频序列Beergarden(512*384)BookArrival(512*384)进行测试并与基于三边滤波的帧率提升、基于全搜索的帧率提升方法进行比较，评价的标准是峰值信噪比PSNR(Peak Signal to Noise Ratio)和结构相似性SSIM(structural similarity index measurement)，值越大表明插值帧质量越好，结果如表1所示，可以看出本申请相比另两种帧率上转换方式得到的插值帧质量更好，能有效解决空洞等问题。

表1