一种相似性约束人脸区域的H.264视频流自适应错误隐藏方法

摘要

一种相似性约束人脸区域的H.264视频流自适应错误隐藏方法，首先利用自适应方向插值空域错误隐藏算法对错误块中每个像素点根据其纹理方向进行自适应方向插值运算并恢复，实现第一次错误隐藏，然后提取错误块视频图像的前景目标，采用肤色分割的方法定位出可能的人脸区域，再基于相似性约束方法确定用于覆盖错误块人脸区域的目标人脸区域，通过仿射变换后，将目标人脸区域的梯度信息覆盖错误块的人脸区域，实现第二次错误隐藏。本发明能够更加精确的确定插值方向且更好的恢复人脸区域，重建后的视频平滑性有一定的改善，与现有基于人脸五官特征的空域差错掩盖算法相比，视频图像错误隐藏效果在主观视觉上也有一定改善，同时峰值信噪比(PSNR)提高了1.21dB。

说明书

技术领域

本发明属于视频图像处理领域，涉及到一种H.264解码视频图像中对错误信息块 的近似恢复或错误隐藏方法。

背景技术

随着网络与通信技术的发展，可视电话、远程教育、视频点播业务及视频监控等 视频通信应用越来越广泛。为了降低对信道带宽的要求，图像、视频等多媒体信息在 传输前必须进行高效压缩编码，以减少视频图像序列间的时间冗余和空间冗余，但容 易造成压缩码流对信道误码更加敏感。任何一个比特的错误或丢失，都可能导致错误 信息在时域和空域上扩散，严重影响接收到的视频图像质量。为了提高压缩视频流的 抗误码性能和鲁棒性，新一代视频压缩编码标准H.264在解码器端采用了错误隐藏技 术。错误隐藏技术出发点是利用数字视频信号空域或时域的平滑性和相关性，通过预 测寻找与之最为相似的数据代替出错数据，使发生的差错在视觉上尽量不被察觉，从 而达到隐藏错误的目的。该类技术的优点非常明显，不需要增加额外的码率，也不需 要改变编码器，实时性和可操作性强。

发明内容

本发明的目的是提供一种相似性约束人脸区域的H.264视频流自适应错误隐藏方 法。

本发明是对错误块进行两次错误隐藏。首先利用自适应方向插值空域错误隐藏算 法对错误块中每个像素点根据其插值方向自适应的进行方向插值运算来恢复错误块， 实现第一次错误隐藏。然后提取错误块视频图像的前景目标，采用肤色分割的方法对 前景目标中的皮肤区域和非皮肤区域进行分割定位，从中分割出可能的人脸区域，再 基于相似性约束方法依次计算邻近帧之间的视频图像相似性和块相似性，确定用于覆 盖错误块人脸区域的目标人脸区域，通过仿射变换，将目标块的人脸区域的梯度信息 覆盖错误块的人脸区域，实现第二次错误隐藏。它能够更好地重建错误块的人脸区域， 保证了恢复后视频图像的平滑性。

本发明是通过以下技术方案实现的。

(S1)Canny算子对相邻块进行边缘检测

Canny算子采用2×2邻域一阶偏导的有限差分，计算平滑后图像f(i,j)(i,j为像 素点的坐标)的梯度幅度和方向为：

x方向的偏导数P_x(i,j)：

P_x(i,j)＝((f(i,j+1)-f(i,j)+f(i+1,j+1)-f(i+1,j))/2   (1)

y方向的偏导数P_y(i,j)：

P_y(i,j)＝((f(i,j)-f(i+1,j)+f(i,j+1)-f(i+1,j+1))/2   (2)

图像中每个像素点(i,j)的梯度幅值和梯度方向分别为G(i,j)和θ(i,j)为：

$G(i,j)=\sqrt{P_x^2(i,j)+P_y^2(i,j)}---\left(3\right)$

$\theta (i,j)=\arctan \frac{P_y(i,j)}{P_x(i,j)}---\left(4\right)$

(S2)确定相邻块的边缘方向

错误块的上、下、左、右四个相邻块进行Canny算子边缘检测后，每个相邻块的 边缘像素点都有梯度幅值G(i,j)和梯度方向θ(i,j)，依据幅值梯度准则确定相邻块的边 缘方向，具体步骤如下：

步骤(1)：将边缘划分为八个方向，即θ₁～θ₈。其中：θ₁＝(0°,22.5°]，θ₂＝(22.5°,45°]， θ₃＝(45°,67.5°]，θ₄＝(67.5°,90°]，θ₅＝(90°,112.5°]，θ₆＝(112.5°,135°]，θ₇＝(135°,157.5°]， θ₈＝(157.5°,180°]。梯度方向θ(i,j)的值在哪个范围，该边缘像素点的方向就对应该方向。

步骤(2)：根据公式(5)计算相邻块中边缘像素点在步骤(1)中的8个边缘方 向的幅值总和：

$D\left(k\right)=\underset{{\theta }^{*}(i,j)\in {\theta }_K}{\Sigma }{G}^{*}(i,j)---\left(5\right)$

记上、下、左、右相邻块在8个边缘方向的幅值总和分别为D_T(k)、D_B(k)、D_L(k)、 D_R(k)，其中k＝1～8分别代表θ₁～θ₈这8个边缘方向。

步骤(3)：分别取步骤(2)中D_T(k)、D_B(k)、D_L(k)、D_R(k)4个相邻块幅值总和 中的最大值，记为D_TM(dir_T)、D_BM(dir_B)、D_LM(dir_L)、D_RM(dir_R)。其中上、下、左、右4 个相邻块幅值总和最大值对应的方向依次为dir_T、dir_B、dir_L、dir_R，其分别表示各相 邻块中可能的边缘方向。

(S3)确定错误块中每个像素点的插值方向

依据边界像素差值越小，边界像素间的相关性越大的原理，本发明提出了边界像 素差值成本函数cost(i,j)，然后根据(S2)节中分别得到的错误块上、下、左、右4 个相邻块中的可能的边缘方向，自适应地确定错误块中每个像素点的插值方向。根据 公式(6)分别计算出沿着(S2)节中dir_T、dir_B、dir_L、dir_R方向的边界像素差值，取 4个计算值中的最小值所对应的相邻块的边缘方向为错误块中像素点(i,j)的插值方向 dir：

$\cos t(i,j)=\underset{f^{\prime }(i,j)\in P_N}{\Sigma }|f(i,j)-f^{\prime }(i,j)|---\left(6\right)$

其中：f(i,j)为错误块中的像素点灰度值，f'(i,j)为经过错误块的像素点沿着可能的 边缘方向与相邻块交点的像素点灰度值，P_N为经过错误块的像素点沿着可能的边缘方 向与相邻块交点的集合。

(S4)基于错误块中每个像素点的方向插值

求出的错误块中每个像素点(i,j)的插值方向dir进行方向插值来恢复该错误像素 点，设P_dir(i,j)为当前待恢复像素点灰度值，方向插值如公式(7)所示：

$p_{\mathrm{dir}}(i,j)=\frac{p_{1\mathrm{dir}}\times d_2+p_{2\mathrm{dir}}\times d_1}{d_1+d_2}---\left(7\right)$

其中：P_1dir,P_2dir分别为像素点(i,j)沿着其插值方向与相邻块交点的像素点灰度值，d₁,d₂分别为相应的距离。

(S5)视频图像相似性的计算

设图像大小为M×N，图像之间相似程度取决于形似程度和值的相似程度，分别 通过相似系数和距离系数来描述，则相似程度的计算如公式(8)所示：

$S_{\mathrm{ab}}=\alpha \frac{\underset{i=1}{\overset{M}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}{p}_a(i,j)\times p_b(i,j)}{\sqrt{\underset{i=1}{\overset{M}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}{p}_a^2(i,j)\times \underset{i=1}{\overset{M}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}{p}_b^2(i,j)}}+\beta (1-\frac{\sqrt{\underset{i=1}{\overset{M}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}(p_a(i,j)-p_b(i,j){)}^2}}{\sqrt{\underset{i=1}{\overset{M}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}{\left(p(i,j{)}_{\max }-p{(i,j)}_{\min }\right)}^2}})---\left(8\right)$

其中：α和β分别为相似系数和相对欧式距离系数的权重，且α+β＝1。p_a(i,j),p_b(i,j) 分别为a帧、b帧视频图像像素点灰度值(i,j为像素点的坐标)，p(i,j)_min,p(i,j)_max分 别代表灰度值的最小值和最大值。S_ab表示相似程度，其值域为[0,1]，且S_ab值越大代 表相似程度越大。

由于视频图像邻近帧之间存在很强的相关性，取错误块所在帧的邻近l帧作为参考 帧图像，同时对这l帧图像分别与错误块所在帧图像进行相似程度计算，取这l个S_ab值 中最大的前k个值所对应的帧作为候选目标参考帧图像。

(S6)块相似性的计算

为了提高人脸区域分割的精确性，本发明人脸区域采用4×4子块的模式，设错误 块中人脸区域子块的左上角像素坐标为(i,j)，候选目标参考帧中相应块左上角像素坐 标为(i',j')。根据公式(9)计算出错误块中人脸区域子块与候选目标参考帧图像中人 脸区域子块之间的块匹配差值：

${\mathrm{SAD}}_{\mathrm{BM}}=\frac{1}{16}\underset{m=0}{\overset{3}{\Sigma }}\underset{n=0}{\overset{3}{\Sigma }}{[P_C(i+m,j+n)-P(i^{\prime }+m,j^{\prime }+n)]}^2---\left(9\right)$

其中：m,n分别表示距离左上角像素的行数和列数。P_C,P分别表示错误块人脸区域子 块和候选目标参考帧图像中人脸区域子块的灰度值。

(S7)确定目标人脸区域

对人脸区域划分出的几个4×4子块分别按照(S6)节中计算出匹配块的差值，然 后计算这些差值的总和记为TSAD_BM。同时对(S5)节中确定的k个候选目标参考帧图 像进行计算，分别表示为取这k个值中的最小值所对 应的参考帧为目标参考帧，此目标参考帧对应的人脸区域为最相似的目标人脸区域。

(S8)重建错误块的人脸区域

对于错误块的人脸区域，由于大多已丢失了人脸关键信息，通过确定人脸五官特 征来进行插值运算恢复人脸区域的效果并不明显，特别是复杂背景中存在与皮肤色度 一致的脸部区域。本发明提出的新方法是利用最相似目标人脸区域来覆盖错误块人脸 区域以达到重建目的。

(S7)节中得到的目标人脸区域，与错误块的人脸区域相比可能存在一定程度的 位移，同时，由于不同帧间视频图像具有不同的纹理特征，将人脸区域直接覆盖会产 生明显的接缝，影响重建效果。因此，需要先进行仿射变换，仿射变换后，脸部倾斜 角度缩小，更接近于错误块中人脸区域的方位。又因为人脸对于灰度的变化比较不敏 感，故将目标人脸区域的梯度信息覆盖错误块的人脸区域，重建后的视频图像更加自 然。

本发明所述的相似性约束人脸区域的H.264视频流自适应错误隐藏算法流程如图 1所示。主要步骤如下：

步骤(1)：判断接收端收到的视频图像的宏块是否发生错误，如果是，则转到步 骤(2)；否则转到步骤(9)；

步骤(2)：利用Canny算子对错误块的上、下、左、右四个相邻块进行边缘检 测，依次确定各个相邻块边缘方向；

步骤(3)：根据边缘像素差值成本函数自适应确定错误块中每个像素点的插值方 向；

步骤(4)：对错误块中的每个像素点依据其插值方向计算方向插值，并恢复错误 块，实现第一次错误隐藏；

步骤(5)：提取经过第一次错误隐藏的错误块所在视频图像的前景目标，同时分 割出其人脸区域；

步骤(6)：通过视频图像相似性计算及块相似性计算后，确定用于覆盖错误块人 脸区域的目标人脸区域；

步骤(7)：将目标人脸区域仿射变换后，将其梯度信息覆盖错误块的人脸区域， 实现第二次错误隐藏；

步骤(8)：判断错误块是否全部进行了两次错误隐藏，如果是，则转到步骤(9)； 否则转到步骤(2)；

步骤(9)：输出接收到的视频图像。

本发明利用自适应方向插值空域错误隐藏算法对错误块中每个像素点根据其插值 方向自适应的进行方向插值运算来恢复错误块，实现第一次错误隐藏。然后提取错误 块视频图像的前景目标，采用肤色分割的方法对前景目标中的皮肤区域和非皮肤区域 进行分割定位，从中分割出可能的人脸区域，再基于相似性约束方法依次计算邻近帧 之间的视频图像相似性和块相似性，确定用于覆盖错误块人脸区域的目标人脸区域， 通过仿射变换，将目标块的人脸区域的梯度信息覆盖错误块的人脸区域，实现第二次 错误隐藏。实验结果表明相似性约束人脸区域的自适应错误隐藏算法其视频图像错误 隐藏效果在主观视觉判断和客观数值计算上都有一定的提高，重建错误块的效果较好， 保证了恢复后视频图像的平滑性，具有实际应用价值。

附图说明

图1为本发明算法流程图。

图2为本发明不同视频序列错误隐藏的效果对比(2个片组)。其中，从左至右为 原始正确图像、错误丢包图像、标准算法解码图像、基于人脸五官特征的空域差错掩 盖算法解码图像和本发明算法解码图像；从上至下视频仿真测试序列分别为foreman、 mother-daughter、akiyo、carphone、suzie等QCIF格式的5个标准序列。

图3为本发明不同视频序列错误隐藏的效果对比(4个片组)。其中，从左至右为 原始正确图像、错误丢包图像、标准算法解码图像、基于人脸五官特征的空域差错掩 盖算法解码图像和本发明算法解码图像；从上至下视频仿真测试序列分别为foreman、 mother-daughter、akiyo、carphone、suzie等QCIF格式的5个标准序列。

具体实施方式

本发明将通过以下实施例作进一步说明。

1、实验仿真平台与环境

本发明基于JM8.6平台进行仿真实验，标准测试序列为foreman、mother-daughter、 akiyo、carphone、suzie等QCIF格式，其规格均为176×144，使用灵活宏块排列方式 (FMO)中的分散模式。编码采用全I帧格式，编码长度为100帧，码率为30fps，量 化参数QP＝28，输出包流格式为RTP。同时使用MobileIP模拟信道丢包程序来模拟 网络丢包，MobileIP使用错误模式18681.3，丢失率约为30％～40％。

2、测试结果比较

本发明算法与基于人脸五官特征的空域差错掩盖算法(FFSEC算法)及H.264标 准错误隐藏算法进行实验对比，为了降低算法的复杂度，本发明只对亮度信号Y运用 改进的算法，因此只对这几种算法错误隐藏后的亮度信号Y的PSNR值进行效果比较， 其中PSNR(Peak Signal to Noise Rate)表示峰值信噪比，单位为dB。为了减少实验 计算量，l取10，k取3，同时经过多次仿真实验，确定了权值α和β，它们分别取0.21 和0.79。同时设置灵活宏块排列方式(FMO)片组数目为1和3，其分别代表2个片 组和4个片组，其测试结果分别见表1和表2所示。

表1本发明算法与其他算法的PSNR仿真结果对比(2个片组)

表2本发明算法与其他算法的PSNR仿真结果对比(4个片组)

为验证本发明算法的有效性，分别选取foreman、mother-daughter、akiyo、carphone 和suzie标准序列中的第1帧进行错误隐藏，同时灵活宏块排列方式(FMO)片组数 目分别为1和3时，正确图像、错误图像、标准算法、FFSEC算法及本发明算法解码 重建视频图像效果分别如图2和图3所示。

3、实验结果分析

(1)从表1、表2可以看出，当灵活宏块排列方式(FMO)设置为2个片组时， 标准算法、基于人脸五官特征的空域差错掩盖算法和本发明算法综合5个标准测试序 列，其平均亮度信号Y的PSNR值分别为24.71dB、25.33dB和26.54dB。当灵活宏块 排列方式(FMO)设置为4个片组时，其平均亮度信号Y的PSNR值分别为27.15dB、 27.88dB和29.07dB。因此本发明算法与FFSEC算法和标准算法相比，都有一定的提 高，且与FFSEC算法相比PSNR分别提高了1.21dB和1.19dB，这说明本发明算法与 其他算法相比有较好的重建效果及鲁棒性。

(2)从图2、图3重建效果可以看出，H.264标准错误隐藏算法只能以相邻的像 素进行线性插值，无法估计错误块的边缘方向，对纹理复杂的视频图像恢复效果不理 想，特别是人脸区域容易产生虚假边缘，导致重建后的人脸区域出现模糊现象。

(3)FFSEC算法和本发明算法对人脸区域的恢复都有一定的效果，但是基于人 脸五官特征的空域差错掩盖算法在处理背景颜色与人脸肤色相近的序列图像时，重建 后视频图像平滑性较差，且人脸区域恢复效果不好，如mother-daughter、suzie序列中 的人脸区域。本发明算法实现了两次错误隐藏，第一次采用自适应方向插值空域错误 隐藏算法对错误块进行了错误隐藏，第二次基于相似性约束对人脸区域进行了错误隐 藏，恢复后的视频图像平滑性更好且从主观视觉效果上来看更加自然。

(4)为了进一步验证本发明算法错误隐藏的效果，选取了其他标准测试序列，并 进行了10次仿真实验，都取得了类似预期的实验结果。同时，使用灵活宏块排列方式 (FMO)中的其他几种模式进行仿真实验，如交织模式、前景模式等，仿真结果表明 分散模式下视频图像恢复效果更好。为了验证不同丢包率下的实验效果，分别使用 MobileIP错误模式18681.4和wcdma_64kb_3kpb_5e_04.bin模拟网络丢包，其丢包率 分别为10％～20％和5％左右，实验结果表明丢包率越大，视频图像的重建效果更好。

本发明算法通过自适应方向插值重建错误块和相似性约束重建错误块人脸区域， 有效解决了区域划分不准确插值造成的虚假边缘问题，同时一定程度上提高了复杂背 景中存在与皮肤色度一致的脸部区域的重建效果。实验结果表明基于相似性约束人脸 区域的自适应错误隐藏算法其视频图像错误隐藏效果在主观视觉判断和客观数值计算 上都有一定的提高，重建错误块的效果较好，保证了恢复后视频图像的平滑性，具有 实际应用价值。