一种基于HEVC标准的立体三维视频错误隐藏方法

摘要

本发明涉及一种基于HEVC标准的立体三维视频错误隐藏方法。传统错误隐藏技术不适应新标准HEVC的扩展平台MV‑HEVC。本发明方法首先确定立体视频流中右视点丢失块所属区域类型，根据区域类型不同，分别采用不同的恢复方法。获取前向参考帧中同位置的像素块和后向参考帧中同位置的像素块，将两个像素块中对应的像素点的差值的绝对值进行累加后求取平均值，如果平均值小于等于阈值，则判断为背景区域，采用加权平均前后向帧中同位置的像素值来填补丢失块；如果平均值大于阈值，则判断为前景区域，采用构建候选矢量集对丢失块进行矢量位移补偿恢复。利用本发明方法方法，使得匹配精度提升，对立体视频流传输丢包有很好的恢复效果。

说明书

技术领域

本发明属于视频编解码技术领域，具体涉及一种基于HEVC标准的立体三维视频错误隐藏方法。

背景技术

错误隐藏是针对视频流传输丢包而在解码端应用的技术。由于立体视频数据量大，其在传输前进行了有效的压缩编码来消除时域、空域以及视点间的冗余。立体视频流在传输过程中一旦遇到不可靠的信道会出现丢包现象，会影响当前帧及后续帧的解码质量，导致出现黑块、马赛克等出错画面。为了解决立体视频流在传输中的差错，应用解码端错误隐藏技术来恢复视频流中丢失的信息。传统的立体错误隐藏技术主要面向H.264标准的编码视频，因此对于新标准HVEC及其扩展的多视点框架MV-HEVC的适应性较差。

发明内容

本发明的目的是针对传统的H.264标准下错误隐藏技术在新标准HEVC的扩展平台MV-HEVC下适应性较差的情况，提供一种基于HEVC标准的立体三维视频错误隐藏方法。

本发明方法基于MV-HEVC框架，利用外边界匹配准则初步恢复丢失块并结合LBP算子提升恢复性能的立体视频错误隐藏方法。

本发明方法首先确定立体视频流中右视点的丢失块的所属区域类型，根据丢失块的所属区域类型的不同，分别采用不同的恢复方法。

丢失块的所属区域类型判断方法如下：

分别获取前向参考帧中同位置的像素块和后向参考帧中同位置的像素块，将两个像素块中对应的像素点的差值的绝对值进行累加后求取平均值ΔD：

其中，(x₀,y₀)是丢失块左上角的像素坐标，(i,j)是相对于左上角像素坐标的偏移值，t-1、t+1分别表示对应当前帧的前向参考帧和后向参考帧，p(x₀+i,y₀+j,t-1)表示前向参考帧中丢失块对应(x₀+i,y₀+j)位置的像素值，p(x₀+i,y₀+j,t+1)表示后向参考帧中丢失块对应(x₀+i,y₀+j)位置的像素值，S为丢失块未经划分处理的尺寸，S＝64。

将ΔD与设定的阈值T₁进行比较：如果ΔD小于等于阈值T₁，在阈值范围内将丢失块标记为0，则该丢失块的所属区域类型是背景区域，采用加权平均前后向帧中同位置的像素值来填补丢失块；如果ΔD大于阈值T₁，则判断该丢失块的所属区域类型是前景区域，标记为1，采用构建候选矢量集对丢失块进行矢量位移补偿恢复。

构建候选矢量集对丢失块进行矢量位移补偿恢复的方法如下：

(1).计算像素域的空域恰可察觉失真JND(Just Noticeable Distortion)阈值：

JND阈值根据由背景亮度自适应效应得到的阈值JND_L(x,y)，和由空间对比度掩蔽效应得到的阈值JND_T(x,y)得到：

其中，(x,y)为像素坐标，bg(x,y)为坐标(x,y)上像素的背景亮度；

p(x,y)是坐标为(x,y)的像素的亮度值，B(a,b),a,b＝1,...,5为加权低通滤波器算子,a和b表示B的行和列；

JND_T(x,y)＝mg(x,y)×α(bg(x,y))+β(bg(x,y))；

α(bg(x,y))＝bg(x,y)×0.0001+0.115；

β(bg(x,y))＝λ-bg(x,y)×0.01；

α(bg(x,y))和β(bg(x,y))都是背景亮度的函数，β(bg(x,y))中的参数λ取mg(x,y)是对应像素四个方向亮度边缘梯度grad_k(x,y)的绝对值的最大值，

亮度边缘梯度grad_k(x,y)由像素的四个方向的加权平均亮度变化计算：

G_k(r,s)为用来计算的四个加权算子。k表示方向，r、s为G_k的行和列。

计算出左视点最终的像素域的JND阈值：

JND(x,y)＝max{JND_L(x,y),JND_T(x,y)}。

(2).划分右视点中丢失块的尺寸：

建立公式：

其中，W和H分别为图像的高度和宽度,JND_r(x,y)和JND_l(x,y)分别表示右、左视点的匹配的JND阈值。

假设右视点出错，根据全局视差和以上理论计算丢失块的JND阈值，以JND阈值的方差来划分当前丢失块：如果当前丢失块的JND阈值的方差大于设定的阈值T₂(设置T₂＝4)，则将丢失块划分为4个相等尺寸的子块，之后循环计算子块的JND阈值方差，如果依然大于设定的阈值T₂继续对子块划分，其中约束条件为子块的深度depth＜4。

(3).构建候选矢量集初步恢复丢失块：

候选矢量集选取的是每个丢失块周围相关性较大的邻块的矢量，它们分别是当前子块的左上、上、右上、左、左下的4×4块和上、下、左、右、左下的64×64块；如果这些块可用，则获取4×4块的运动/视差矢量MV/DV、64×64块的局部视差矢量，局部视差矢量即为64×64块中所有视差矢量的平均值，由于可能存在将属于背景区域的丢失块判断为属于前景区域的情况，这里将零运动矢量加入候选矢量集；

丢失块的候选参考块通过构建的矢量集分别从前向参考帧、后向参考帧、视点参考帧来寻找；首先利用外边界匹配准则(Outer Boundary Matching Algorithm,OBMA)从丢失块的候选矢量集中选取某一MV/DV使得前向参考帧、后向参考帧、视点参考帧中参考块的D_SAD(V)的值最小，D_SAD(V)是丢失块的外边界像素与参考块的外边界像素的绝对差值之和；

其中，V＝(v_x,v_y)是候选矢量，f_n和f_n-1分别为当前帧和前一参考帧，N表示边界一行或一列的像素个数,ω_Δ,Δ＝{u,d,l,r}是边界的权重因子，定义为：ω_Δ＝0，为丢失块；ω_Δ＝0.5，为恢复块；ω_Δ＝1，为正确接收块。

比较前向参考帧中的D_SAD1、后向参考帧中的D_SAD2、视点间参考帧中的D_SAD3的值：如果D_SAD3＞max{D_SAD1,D_SAD2}，且|D_SAD1-D_SAD2|≤T₃,设置T₃＝16＞＞Depth,Depth为当前子块的深度值，将前向参考帧中参考块的像素值和后向参考帧中参考块的像素值加权平均来填充丢失块；否则，选取min{D_SAD1,D_SAD2,D_SAD3}中MV/DV恢复丢失块。

(4).质量提升阶段：

计算当前初步恢复块的外边界像素和对应候选块的外边界像素的LBP(LocalBinary Patterns，局部二进制模式)值：

其中，(x,y)是像素坐标，i_c是当前外边界像素，i_p是i_c的3×3邻域内的像素，P＝0,1,2,3,…,7；

计算初步恢复块的外边界像素的LBP值和参考块的外边界像素的LBP值后，将两个LBP值的二进制进行异或运算得到像素的相似度，计算丢失块与参考块的纹理相似度TS：

其中，LBP_c(n)是当前丢失块的外边界像素的LBP二进制值，LBP_r(n)是候选参考块的外边界像素的LBP二进制值，N表示边界一行或一列的像素个数。ω_Δ是边界权重因子。

当外边界纹理相似度TS小于等于设定的阈值T₄时，利用在相邻视点中搜索最佳视差矢量的方法恢复丢失块，设置T₄＝6。在进行视点间搜索最佳视差矢量时，对外边界像素计算绝对差值的和TD_SAD(V)时扩展边界像素到3像素宽度：

V＝(v_x,v_y)是候选运动矢量，f_n和f_n-1分别为当前帧和前一参考帧，N表示边界一行或一列的像素个数；视点间视差矢量搜索的范围为V_search＝(v_x±32,v_y)；选择使得TD_SAD(V_search)值最小的对应最佳V_search作为视差矢量来恢复丢失块。

本发明方法方法针对基于MV-HEVC框架对立体视频在传输过程中右视点发生的丢包而导致的解码画面失真，将外边界匹配准则与LBP算子结合应用在丢失块的边界匹配上，同时考虑了匹配时的边界像素差异和纹理差异，使得匹配精度提升。仿真实验表明该方法对立体视频流传输丢包有很好的恢复效果。

附图说明

图1是本发明立体视频错误隐藏方法的主要流程图；

图2是加权低通滤波器算子；

图3是计算对应像素四个方向亮度边缘梯度的加权算子；

图4是参考块类型和矢量构建图；

图5是参考块和候选块匹配图；

图6是视点间搜索最佳视差矢量图；

图7是PozanStreet序列的丢包图；

图8是PozanStreet序列丢包后的恢复图。

具体实施方式

结合以下具体实施例和附图，对本发明进一步的详细说明。

如图1，一种基于HEVC标准的立体三维视频错误隐藏方法，首先确定立体视频流中右视点的丢失块的所属区域类型，根据丢失块的所属区域类型的不同，分别采用不同的恢复方法。丢失块的所属区域类型判断方法如下：

分别获取前向参考帧中同位置的像素块和后向参考帧中同位置的像素块，将两个像素块中对应的像素点的差值的绝对值进行累加后求取平均值ΔD：

其中，(x₀,y₀)是丢失块左上角的像素坐标，(i,j)是相对于左上角像素坐标的偏移值，t-1、t+1分别表示对应当前帧的前向参考帧和后向参考帧，p(x₀+i,y₀+j,t-1)表示前向参考帧中丢失块对应(x₀+i,y₀+j)位置的像素值，p(x₀+i,y₀+j,t+1)表示后向参考帧中丢失块对应(x₀+i,y₀+j)位置的像素值，S为丢失块未经划分处理的尺寸，S＝64；

将ΔD与设定的阈值T₁(T₁＝15)进行比较：如果ΔD小于等于阈值T₁，在阈值范围内将丢失块标记为0，则该丢失块的所属区域类型是背景区域，采用加权平均前后向帧中同位置的像素值来填补丢失块；如果ΔD大于阈值T₁，则判断该丢失块的所属区域类型是前景区域，标记为1，采用构建候选矢量集对丢失块进行矢量位移补偿恢复。

构建候选矢量集对丢失块进行矢量位移补偿恢复的方法如下：

(1).计算像素域的空域恰可察觉失真JND(Just Noticeable Distortion)阈值：

JND阈值根据由背景亮度自适应效应得到的阈值JND_L(x,y)，和由空间对比度掩蔽效应得到的阈值JND_T(x,y)得到：

其中，(x,y)为像素坐标，bg(x,y)为坐标(x,y)上像素的背景亮度；

p(x,y)是坐标为(x,y)的像素的亮度值，如图2所示，B(a,b),a,b＝1,...,5为加权低通滤波器算子,a和b表示B的行和列；

JND_T(x,y)＝mg(x,y)×α(bg(x,y))+β(bg(x,y))；

α(bg(x,y))＝bg(x,y)×0.0001+0.115；

β(bg(x,y))＝λ-bg(x,y)×0.01；

α(bg(x,y))和β(bg(x,y))都是背景亮度的函数，β(bg(x,y))中的参数λ取mg(x,y)是对应像素四个方向亮度边缘梯度grad_k(x,y)的绝对值的最大值，

亮度边缘梯度grad_k(x,y)由像素的四个方向的加权平均亮度变化计算：

如图3所示，G_k(r,s)为用来计算的四个加权算子。k表示方向，r、s为G_k的行和列。

JND阈值是混合背景亮度自适应效应和空间对比度掩蔽效应这两这种影响因素的复杂函数，假设由占主导的因素来决定，计算出左视点最终的像素域的JND阈值：

JND(x,y)＝max{JND_L(x,y),JND_T(x,y)}。

(2).划分右视点中丢失块的尺寸：

根据Wang提出的当左视点图像PSNR超过32dB，右视点图像低于左视点图像2dB，人没有主观感知差异的理论，建立如下公式：

其中，W和H分别为图像的高度和宽度,JND_r(x,y)和JND_l(x,y)分别表示右、左视点的匹配的JND阈值。

假设右视点出错，根据全局视差和以上理论计算丢失块的JND阈值，以JND阈值的方差来划分当前丢失块：如果当前丢失块的JND阈值的方差大于设定的阈值T₂(设置T₂＝4)，则将丢失块划分为4个相等尺寸的子块，之后循环计算子块的JND阈值方差，如果依然大于设定的阈值T₂继续对子块划分，其中约束条件为子块的深度depth＜4。

(3).构建候选矢量集初步恢复丢失块：

候选矢量集选取的是每个丢失块周围相关性较大的邻块的矢量，它们分别是当前子块的左上、上、右上、左、左下的4×4块和上、下、左、右、左下的64×64块。具体在图4表示为A₀、A₁、A₂、A₃、A₄和B₀、B₁、B₂、B₃、B₄。如果这些块可用，则获取4×4块的运动/视差矢量MV/DV、64×64块的局部视差矢量，局部视差矢量即为64×64块中所有视差矢量的平均值，由于可能存在将属于背景区域的丢失块判断为属于前景区域的情况，这里将零运动矢量加入候选矢量集。

丢失块的参考类型如图4所示。丢失块的候选参考块通过构建的矢量集分别从前向参考帧、后向参考帧、视点参考帧来寻找；首先利用外边界匹配准则(Outer BoundaryMatching Algorithm,OBMA)从丢失块的候选矢量集中选取某一MV/DV使得前向参考帧、后向参考帧、视点参考帧中参考块的D_SAD(V)的值最小。

如图5所示，D_SAD(V)是丢失块CB的外边界像素与参考块RB的外边界像素的绝对差值之和。V＝(v_x,v_y)是候选矢量，f_n和f_n-1分别为当前帧和前一参考帧，N表示边界一行或一列的像素个数,ω_Δ,Δ＝{u,d,l,r}是边界的权重因子，定义为：ω_Δ＝0，为丢失块；ω_Δ＝0.5，为恢复块；ω_Δ＝1，为正确接收块；

比较前向参考帧中的D_SAD1、后向参考帧中的D_SAD2、视点间参考帧中的D_SAD3的值：如果D_SAD3＞max{D_SAD1,D_SAD2}，且|D_SAD1-D_SAD2|≤T₃,设置T₃＝16＞＞Depth,Depth为当前子块的深度值，将前向参考帧中参考块的像素值和后向参考帧中参考块的像素值加权平均来填充丢失块；否则，选取min{D_SAD1,D_SAD2,D_SAD3}中MV/DV恢复丢失块。

(4).质量提升阶段：

传统外边界匹配准则以边界像素亮度差异大小来判断匹配精度。在质量提升阶段应用LBP算子检测边界纹理匹配相似度。类似于计算边界像素亮度差异的做法，计算当前初步恢复块的外边界像素和对应候选块的外边界像素的LBP(Local Binary Patterns，局部二进制模式)值：

其中，(x,y)是像素坐标，i_c是当前外边界像素，i_p是i_c的3×3邻域内的像素，P＝0,1,2,3,…,7；

计算初步恢复块的外边界像素的LBP值和参考块的外边界像素的LBP值后，将两个LBP值的二进制进行异或运算得到像素的相似度，计算丢失块与参考块的纹理相似度TS：

其中，LBP_c(n)是当前丢失块的外边界像素的LBP二进制值，LBP_r(n)是候选参考块的外边界像素的LBP二进制值，N表示边界一行或一列的像素个数。ω_Δ是边界权重因子。

当外边界纹理相似度TS小于等于设定的阈值T₄时，利用在相邻视点中搜索最佳视差矢量的方法恢复丢失块，设置T₄＝6。如图6所示，在进行视点间搜索最佳视差矢量时，对外边界像素计算绝对差值的和TD_SAD(V)时扩展边界像素到3像素宽度：

其中，V＝(v_x,v_y)是候选运动矢量，f_n和f_n-1分别为当前帧和前一参考帧，N表示边界一行或一列的像素个数；视点间视差矢量搜索的范围为V_search＝(v_x±32,v_y)；选择使得TD_SAD(V_search)值最小的对应最佳V_search作为视差矢量来恢复丢失块。

为了验证本发明对于立体视频传输丢包后的视频失真重建性能，实例中进行仿真实验得到图7的丢包图以及图8的恢复效果图。

本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。