一种面向虚拟视图质量的深度图编码率失真判断方法

摘要

本发明公开了一种面向虚拟视图质量的深度图编码率失真判断方法，该方法是对当前编码块进行预测，得到预测块；计算当前编码块与预测块的差值，并对差值进行离散余弦变换、量化和熵编码，得到当前编码块的码率；将当前编码块以及预测块的像素灰度值转换为视差值；然后依据转换后的视差值计算当前编码块的失真；最后依据所得的失真与码率，计算当前编码块的率失真代价。本发明依据深度图的压缩失真对合成虚拟视图质量的影响，更好的反映深度图的压缩失真对合成虚拟视图质量的影响，提高三维立体视频编码的效率，可应用于三位立体视频的编码标准中。

说明书

技术领域

本发明涉及一种提高深度图编码效率的率失真判断准则，属于三维立体视频编码标准中的深度图编码技术领域。

背景技术

三维立体视频作为未来主要的视频应用技术，是指用户通过三维立体视频显示设备可以享受到真实的三维立体视频内容。三维视频的相关技术，比如，三维立体视频采集、三维立体视频编码、三维立体视频的显示等技术已经得到广泛的关注。为了推动三维立体视频技术的标准化，2002年，运动图像专家组(Motion Picture Experts Group，MPEG)提出任意视点电视(Free View Television，FTV)的概念。它能够提供生动真实的、交互式的三维立体视听系统。用户可以从不同的角度观看该角度的三维立体视频，使得用户有融入视频场景中的真实感受。FTV可广泛应用于广播通信、娱乐、教育、医疗和视频监控等领域。为了使用户可以观看到任意角度的三维立体视频，FTV系统服务端使用已标定好的摄像机阵列获得一定视点上的视频。并对不同视点上的视频校正，利用校正过的视频信息通过虚拟视图合成技术生成虚拟视点的虚拟视图。目前MPEG建议具体使用基于深度-图像(Depth-Image Based Rendering，DIBR)的虚拟视图合成技术。深度信息一般通过深度图表示。虚拟视图合成的主要过程如下：

1).确定要虚拟视点在摄像机阵列中的相对位置。

2).确定用于合成虚拟视点的纹理视频。

3).确定步骤2)的纹理视频对应的深度图。

4).依据步骤2)与3)中的纹理视频和深度图，采用DIBR技术，合成虚拟视图。

FTV的标准化工作分为两个阶段进行。第一阶段是2006年至2008年由JVT(Joint Video Team，联合视频编码组)制定的H.264/AVC的扩展方案-MVC(Multi-View Video Coding)。MVC可以对多视点纹理视频进行编码。但是要最终实现FTV系统的功能，还必须要对深度信息进行编码。目前FTV的标准化制定工作已经进入第二阶段，即3DVC(Three Dimensional Video Coding)。3DVC主要关注深度信息的表示与编码，以及纹理视频与深度信息的联合编码。3DVC中，深度信息通过深度图表示。

衡量3DVC性能的主要指标是合成虚拟视图的质量，以及纹理视频、深度图的编码码率。虚拟视图的质量：

通常采用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)来衡量视频的质量。PSNR的计算公式如下式所示，

$\mathrm{PSNR}=10\times \log \left(\frac{{255}^2}{\mathrm{MSE}}\right)$

(1)式中MSE表示原始视图与合成虚拟视图之间的均方误差，用来衡量虚拟视图的失真，以及纹理视频的编码失真、深度图的编码失真。

在实际应用中，虚拟视点的视图是不存在的，也即不存在原始视图。但是由于3DVC主要关注编码性能，因此为衡量3DVC的性能，首先采用未经编码的已有纹理视频及其对应的深度图合成虚拟视图V_orig，然后采用经过编码后的重建的纹理视频以及编码后重建的深度图合成虚拟视图V_rec，最后通过计算V_rec与V_orig之间的MSE，进而得到PSNR，以衡量3DVC的性能。

图1给出了现有H.264/AVC的率失真准则计算流程图，在H.264/AVC视频编码标准中，首先对当前编码块进行预测，然后计算当前编码块与预测块之间的平均平方误差MSE作为失真D_H264；然后将当前编码块的像素灰度值减去预测块的像素灰度值，得到预测差值，对预测差值进行离散余弦变换，量化，熵编码，继而得到当前编码块的编码码率R_H264，最后采用下式计算当前编码块的率失真代价J_H264：J_H264＝D_H266+λ·R_H264，其中λ为拉格朗日乘子。

H.264/AVC采用的率失真判断准则没有考虑到深度图的压缩失真对合成虚拟视图的质量的影响，因此采用H.264/AVC的率失真判断准则对深度图进行编码的效率不高。由理论分析可知，合成虚拟视图的失真直接由视差决定，而深度图的质量会影响到视差的准确度。在深度图的压缩过程中，深度图本身的失真不一定会引起视差的不准确；但是当深度图完全准确时，视差也是完全准确的。

发明内容

针对H.264/AVC采用的率失真判断准则没有考虑到深度图的压缩失真对合成虚拟视图的质量的影响，本发明依据深度图的压缩失真对合成虚拟视图质量的影响，提出一种适用于深度图编码的面向虚拟视图质量的率失真判断方法。

本发明面向虚拟视图质量的深度图编码率失真判断方法，是：

对当前编码块进行预测，得到预测块；计算当前编码块与预测块的差值，并对差值进行离散余弦变换、量化和熵编码，得到当前编码块的码率；将当前编码块以及预测块的像素灰度值转换为视差值；然后依据转换后的视差值计算当前编码块的失真；最后依据所得的失真与码率计算当前编码块的率失真代价；具体步骤如下：

(1)对深度图的当前编码块进行预测，得到当前编码块的预测块，当前编码块中的每个像素的灰度值用L_i表示，预测块中的每个像素灰度值用L_p，i表示，i∈{1，...N}，N为当前编码块中的像素数量；

对深度图的当前编码块进行预测的方法采用H.264/AVC标准规定的各种帧内或帧间预测方法。

(2)将L_i与L_p，i相减，得到当前编码块的差值，并对差值进行离散余弦变换、量化和熵编码，确定当前编码块的码率R；

(3)对熵编码数据进行解码，并对解码的数据进行反量化和反离散余弦变换，重建差值信号；

(4)将当前编码块与重建的差值信号相加，重建当前块；

(5)按照下式分别将当前编码块以及步骤(4)所得的重建当前块中的每个像素灰度值转换为视差值，

${\mathrm{dis}}_i=f·b·[\frac{L_i}{255}·(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}}],$

${\mathrm{dis}}_{\mathrm{rec},i}=f·b·[\frac{L_{\mathrm{rec},i}}{255}·(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}}],$

其中dis_i表示当前编码块中第i个像素的灰度值所对应的视差值，dis_rec，i表示重建当前块中第i个像素的灰度值所对应的视差值，L_rec，i表示重建当前块的像素灰度值，f表示摄像机的焦距，b为相邻摄像机之间的间距，Z_near表示距离摄像机最近的物点的真实深度值，Z_far表示距离摄像机最远的物点的真实深度值；

(6)依据dis_i与dis_rec，i计算当前编码块的失真D，其中，当dis_i与dis_rec，i相等时，δ_i等于0，当dis_i与dis_rec，i不相等时，δ_i等于L_i-L_rec，i；

(7)依据步骤(2)所得的当前编码块的码率R和步骤(6)所得的失真D，并按照下式计算当前编码块的率失真代价J，J＝D+λ·R，其中λ为拉格朗日乘子。拉格朗日乘子λ采用H.264/AVC标准规定的数值。

本发明依据深度图的压缩失真对合成虚拟视图质量的影响确定率失真，可以更好的反映深度图的压缩失真对合成虚拟视图质量的影响，提高三维立体视频编码的效率；只需将深度灰度值转换为对应的视差值，并依据视差值计算失真，计算简单易于实现，不会增加编码复杂度。

附图说明

图1是H.264/AVC的率失真准则计算流程图；

图2是本发明的深度图编码率失真判断方法流程图；

图3是分别采用本发明的方法与H.264/AVC的方法对深度图进行编码后的率失真曲线比较图。

具体实施方式

本发明的面向虚拟视图质量的深度图编码率失真判断方法，如图2所示，具体包括如下步骤：

(1)对深度图的当前编码块进行预测，得到当前编码块的预测块，当前编码块中的每个像素的灰度值用L_i表示，预测块中的每个像素灰度值用L_p，i表示，i∈{1，...N}，N为当前编码块中的像素数量。对深度图的当前编码块进行预测的方法采用H.264/AVC标准规定的各种帧内或帧间预测方法。

(2)将L_i与L_p，i相减，得到当前编码块的差值，并对差值进行离散余弦变换，量化，熵编码，确定当前编码块的码率R；

(3)对熵编码数据进行解码，并对解码的数据进行反量化和反离散余弦变换，重建差值信号；

(4)将当前编码块与重建的差值信号相加，重建当前块；

(5)按照下式分别将当前编码块以及步骤1所得的预测块中的每个像素灰度值转换为视差值，

${\mathrm{dis}}_i=f·b·[\frac{L_i}{255}·(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}}],$

${\mathrm{dis}}_{\mathrm{rec},i}=f·b·[\frac{L_{\mathrm{rec},i}}{255}·(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}}],$

其中dis_i表示当前编码块中第i个像素的灰度值所对应的视差值，dis_rec，i表示重建块中第i个像素的灰度值所对应的视差值，L_rec，i表示重建块的像素灰度值，f表示摄像机的焦距，b为相邻摄像机之间的间距，Z_near表示距离摄像机最近的物点的真实深度值，Z_far表示距离摄像机最远的物点的真实深度值；

(6)依据dis_i与dis_rec，i计算当前编码块的失真D，

$D=\underset{i=1}{\overset{N}{\Sigma }}{\delta }_i^2,$

其中，当dis_i与dis_rec，i相等时，δ_i等于0，当dis_i与dis_rec，i不相等时，δ_i等于L_i-L_p，i；

(7)依据步骤2所得的当前编码块的码率R和步骤6所得的失真D，并按照下式计算当前编码块的率失真代价J，

J＝D+λ·R，

其中λ为拉格朗日乘子。拉格朗日乘子λ采用H.264/AVC标准规定的数值。

本发明的效果可以通过实验进一步说明。

实验测试了在不同的量化参数的条件下，采用本发明对深度图进行编码后的编码码率和合成虚拟视图的客观质量PSNR。图3比较了采用本发明与现有H.264/AVC的方法对深度图编码后的率失真曲线。其中图3(a)是对三维视频序列Bookarrival的深度图进行编码的实验结果，图3(b)是对三维视频序列Kendo的深度图进行编码的实验结果，图3(c)是对三维视频序列Lovebirdl的深度图进行编码的实验结果。由图3可见，与H.264/AVC相比，采用本发明进行编码后，在深度图的编码码率相同的条件下，合成的虚拟视图的客观质量更高，说明本发明提高了深度图的编码效率。对三维视频序列Bookarrival而言，合成的虚拟视图的客观质量平均增加0.215dB；对三维视频序列Kendo而言，合成的虚拟视图的客观质量平均增加0.237dB；对三维视频序列Lovebird1而言，合成的虚拟视图的客观质量平均增加0.45dB。