一种降分辨率视频转码中的运动矢量合成方法

摘要

本发明公开了一种降分辨率视频转码中的运动矢量合成方法，首先根据权重计算多个输入运动矢量精确度较为一致时和不一致时的第一次合成运动矢量；然后计算相邻运动矢量中距离第一次合成运动矢量最远运动矢量和中值运动矢量所对应的绝对差值和、比特数、拉格朗日乘子；再计算各运动矢量对应的率失真函数值，并选择最小率失真函数值的运动矢量作为第二次合成运动矢量；最后以第二次合成运动矢量为中心，进行小窗口的运动矢量重搜索得到最终的合成运动矢量。本发明在第一次合成中基于精确度对运动矢量进行加权平均，在第二次合成中基于精确度对运动矢量进行率失真选择，从而使得选择合成的误差减小。

说明书

技术领域

本发明涉及一种降分辨率视频转码方法，特别是一种降分辨率视频转码中的运动矢量合成方法，属于多媒体视频转码领域。

背景技术

视频转码能够将已压缩的视频流从一种格式(如分辨率、帧率、码率等)转换为另一种格式，以适应不同性能的网络和终端。作为视频转码的关键技术之一，降分辨率视频转码能够通过空间下采样将压缩视频由高分辨率转换为低分辨率，以适应终端显示能力和处理能力的限制。在降分辨率转码中，高分辨率图像中的多个宏块需要合成为低分辨率图像中的一个宏块，相应地多个运动矢量也需要合成一个新的运动矢量。因此运动矢量合成成为降分辨率视频转码的关键问题。

已有的运动矢量合成算法可以总结为两种：第一种是选择，第二种是求和。根据第一种思路，参考文献1(Rajeev Kumar，Vasant Pati]，An efficientmotion vector composition scheme for arbitrary frame down-sampling videotranscoder.IEEE Transactions on Circuits and Systems for VideoTechnology，2006，16(9)：1148～1152)提出了空间主导向量选择合成算法，从多个输入运动矢量中选择具有最大覆盖面积的运动矢量作为输出运动矢量。根据第二种思路，参考文献2(Jiao Wang，En-hui Yang，Xiang Yu，An efficientmotion estimation method for H.264-based video transcoding with spatialresolution conversion.In：Proceedings of 2007 IEEE InternationalConference on Multimedia and Expo，Bei jing，China，2007：444～447)提出了基于线性衰退模型的合成算法，将多个输入运动矢量根据线性模型系数进行加权求和得到输出运动矢量。

上述算法虽然对运动矢量合成的性能有所改善，但是却存在着一个共同的问题：没有考虑输入运动矢量的精确度，即假设输入运动矢量是足够精确的。但是在降分辨率视频转码中，这一候设并不一定成立。首先，当输入运动矢量对应的采样面积小于搜索面积(例如当搜索面积为16×16而采样面积为4×4)时，输入运动矢量相对于搜索面积虽然足够精确，但是相对于采样面积则不一定是足够精确的。其次，当转码前后的视频流所采用的运动矢量精确度度量不同(例如当转码前输入的MPEG-2视频流和转码后输出的H.264视频流分别采用SAD(绝对差值和)和率失真函数作为运动矢量精确度的度量)时，输入运动矢量相对于输入视频流虽然足够精确，但是相对于输出视频流则不一定是足够精确的。

发明内容

本发明的目的是提供一种降分辨率视频转码中的运动矢量合成方法。

本发明的技术方案包括以下步骤：

(1)计算输入运动矢量在精确度较低、较高和介于两种情况之间时的权重。运动矢量的精度可以通过其对应的采样面积和搜索面积的比值S_i/S来界定，比值S_i/S大于3/4则精确度较高，比值S_i/S小于1/4则精确度较低，其他则介于较低和较高两者之间。根据下式计算输入运动矢量MV_i在精确度较低、较高和介于两种情况之间时的权重A_i、B_i和C_i：

$A_i=S_i/\frac{{\mathrm{SAD}}_i}{S_i}=S_i^2/{\mathrm{SAD}}_i$

$B_i=S_i·\frac{{\mathrm{SAD}}_i}{S_i}={\mathrm{SAD}}_i$

C_i＝S_i

其中S_i、SAD_i分别表示MV_i对应的采样面积、绝对差值和，SAD_i/S_i表示单位采样面积的绝对差值和，S_i通过采样比例计算，SAD_i通过解码转码输入视频流得到。

(2)根据权重计算多个输入运动矢量精确度较为一致时的第一次合成运动矢量。根据下式计算多个输入运动矢量精确度较为一致时的第一次合成运动矢量：

${\mathrm{MV}}_A=\frac{\underset{i=0}{\overset{n}{\Sigma }}(A_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{A}_i}=\frac{\underset{i=0}{\overset{n}{\Sigma }}(S_i^2/{\mathrm{SAD}}_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}(S_i^2/{\mathrm{SAD}}_i)}$

${\mathrm{MV}}_B=\frac{\underset{i=0}{\overset{n}{\Sigma }}(B_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{B}_i}=\frac{\underset{i=0}{\overset{n}{\Sigma }}({\mathrm{SAD}}_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{\mathrm{SAD}}_i}$

${\mathrm{MV}}_C=\frac{\underset{i=0}{\overset{n}{\Sigma }}(C_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{C}_i}=\frac{\underset{i=0}{\overset{n}{\Sigma }}(S_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{S}_i}$

其中MV_A、MV_B、MV_C分别表示多个输入运动矢量精确度均较低、较高和介于两种情况之间时的第一次合成运动矢量，n表示输入运动矢量的数目；

(3)根据权重计算多个输入运动矢量精确度不一致时的第一次合成运动矢量。根据下式计算多个输入运动矢量精确度不一致时的第一次合成运动矢量MV_D：

${\mathrm{MV}}_D=\frac{\underset{i=0}{\overset{n}{\Sigma }}(D_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{D}_i}$

其中D_i表示输入运动矢量MV_i在精确度不一致时的权重，具体如下式计算：

其中S表示MV_i对应的搜索面积。

(4)计算第一次合成运动矢量对应的绝对差值和，根据下式分别计算MV_A、MV_B、MV_C和MV_D对应的绝对差值和SAD_A、SAD_B、SAD_C和SAD_D：

${\mathrm{SAD}}_A=\frac{\underset{i=0}{\overset{n}{\Sigma }}(A_i·{\mathrm{SAD}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{A}_i}=\frac{\underset{i=0}{\overset{n}{\Sigma }}{S}_i^2}{\underset{i=0}{\overset{n}{\Sigma }}(S_i^2/{\mathrm{SAD}}_i)}$

${\mathrm{SAD}}_B=\frac{\underset{i=0}{\overset{n}{\Sigma }}(B_i·{\mathrm{SAD}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{B}_i}=\frac{\underset{i=0}{\overset{n}{\Sigma }}{\mathrm{SAD}}_i^2}{\underset{i=0}{\overset{n}{\Sigma }}{\mathrm{SAD}}_i}$

${\mathrm{SAD}}_C=\frac{\underset{i=0}{\overset{n}{\Sigma }}(C_i·{\mathrm{SAD}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{C}_i}=\frac{\underset{i=0}{\overset{n}{\Sigma }}(S_i·{\mathrm{SAD}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{S}_i}$

${\mathrm{SAD}}_D=\frac{\underset{i=0}{\overset{n}{\Sigma }}(D_i·{\mathrm{SAD}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{D}_i}$

(5)计算当前宏块左、上、右上、左上四个相邻运动矢量中距离第一次合成运动矢量最远的运动矢量和中值运动矢量所对应的绝对差值和；

(6)根据当前块和后续块的运动矢量、预测运动矢量计算各运动矢量对应的比特数；

(7)根据当前块的量化步长计算拉格朗日乘子；

(8)根据各运动矢量对应的绝对差值和、比特数、拉格朗日乘子，计算各运动矢量对应的率失真函数值，根据下式计算各运动矢量对应的率失真函数值J(MV_m)：

J(MV_m)＝SAD_m+λ_MOTIONR_m

其中MV_m候选范围包括转码输出流中的相邻运动矢量MV_N、MV_F和第一次合成得到的运动矢量MV_A、MV_B、MV_C、MV_D数。

(9)选择具有最小率失真函数值的运动矢量作为第二次合成运动矢量；

(10)以步骤(9)中得到的第二次合成运动矢量为中心，进行小窗口的运动矢量重搜索得到最终的合成运动矢量。运动矢量重搜索的搜索窗口为[-2，2]。

本发明与现有技术相对照，效果是积极且明显的：本发明在第一次合成中基于精确度对运动矢量进行加权平均，在第二次合成中基于精确度对运动矢量进行率失真选择，从而使得选择合成的误差减小。

附图说明

附图为本发明的Stefan测试序列的仿真实验结果图。

具体实施方式

以下为本发明实施例的具体步骤，此实施例进行的是MPEG-2到H.264的视频转码：

(1)运动矢量的精度通过其对应的采样面积和搜索面积的比值S_i/S来界定，比值S_i/S大于3/4则精确度较高，比值S_i/S小于1/4则精确度较低，其他则介于较低和较高两者之间。根据下式分别计算输入运动矢量MV_i在精确度较低、较高和介于较低、较高两种情况之间时的权重A_i、B_i和C_i：

$A_i=S_i/\frac{{\mathrm{SAD}}_i}{S_i}=S_i^2/{\mathrm{SAD}}_i---\left(1\right)$

$B_i=S_i·\frac{{\mathrm{SAD}}_i}{S_i}={\mathrm{SAD}}_i---\left(2\right)$

C_i＝S_i    (3)

其中S_i、SAD_i分别表示MV_i对应的采样面积、绝对差值和，SAD_i/S_i表示单位采样面积的绝对差值和，S_i可以通过采样比例计算得到，SAD_i则可以通过解码转码输入视频流得到；

(2)根据下式分别计算多个输入运动矢量精确度一致时的第一次合成运动矢量：

${\mathrm{MV}}_A=\frac{\underset{i=0}{\overset{n}{\Sigma }}(A_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{A}_i}=\frac{\underset{i=0}{\overset{n}{\Sigma }}(S_i^2/{\mathrm{SAD}}_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}(S_i^2/{\mathrm{SAD}}_i)}---\left(4\right)$

${\mathrm{MV}}_B=\frac{\underset{i=0}{\overset{n}{\Sigma }}(B_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{B}_i}=\frac{\underset{i=0}{\overset{n}{\Sigma }}({\mathrm{SAD}}_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{\mathrm{SAD}}_i}---\left(5\right)$

${\mathrm{MV}}_C=\frac{\underset{i=0}{\overset{n}{\Sigma }}(C_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{C}_i}=\frac{\underset{i=0}{\overset{n}{\Sigma }}(S_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{S}_i}---\left(6\right)$

其中MV_A、MV_B、MV_C分别表示多个输入运动矢量精确度均较低、较高和介于两种情况之间时的第一次合成运动矢量，n表示输入运动矢量的数目；

(3)根据下式计算多个输入运动矢量精确度不一致时的第一次合成运动矢量MV_D：

${\mathrm{MV}}_D=\frac{\underset{i=0}{\overset{n}{\Sigma }}(D_i·{\mathrm{MV}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{D}_i}---\left(7\right)$

其中D_i表示输入运动矢量MV_i在精确度不一致时的权重，具体如下式计算：

其中S表示MV_i对应的搜索面积；

(4)根据下式分别计算MV_A、MV_B、MV_C和MV_D对应的绝对差值和SAD_A、SAD_B、SAD_C和SAD_D：

${\mathrm{SAD}}_A=\frac{\underset{i=0}{\overset{n}{\Sigma }}(A_i·{\mathrm{SAD}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{A}_i}=\frac{\underset{i=0}{\overset{n}{\Sigma }}{S}_i^2}{\underset{i=0}{\overset{n}{\Sigma }}(S_i^2/{\mathrm{SAD}}_i)}---\left(9\right)$

${\mathrm{SAD}}_B=\frac{\underset{i=0}{\overset{n}{\Sigma }}(B_i·{\mathrm{SAD}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{B}_i}=\frac{\underset{i=0}{\overset{n}{\Sigma }}{\mathrm{SAD}}_i^2}{\underset{i=0}{\overset{n}{\Sigma }}{\mathrm{SAD}}_i}---\left(10\right)$

${\mathrm{SAD}}_C=\frac{\underset{i=0}{\overset{n}{\Sigma }}(C_i·{\mathrm{SAD}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{C}_i}=\frac{\underset{i=0}{\overset{n}{\Sigma }}(S_i·{\mathrm{SAD}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{S}_i}---\left(11\right)$

${\mathrm{SAD}}_D=\frac{\underset{i=0}{\overset{n}{\Sigma }}(D_i·{\mathrm{SAD}}_i)}{\underset{i=0}{\overset{n}{\Sigma }}{D}_i}---\left(12\right)$

(5)将当前宏块左、上、右上、左上四个相邻运动矢量中距离第一次合成运动矢量最远的运动矢量和中值运动矢量分别记为MV_F和MV_F，并计算MV_F、MV_F对应的绝对差值和SAD_F、SAD_F；

(6)根据下式分别计算各运动矢量对应的比特数R_m：

R_m＝R(MV_m-MV_p)+R(MV′_m-MV′_p(MV′_m))      (13)

其中MV_m表示当前块的运动矢量，MV_p表示当前块的预测运动矢量，MV′_m表示后续块的运动矢量，MV′_p(MV′_m)表示后续块在当前块运动矢量为MV_m时的预测运动矢量。对于当前块运动矢量差值的编码比特数，由于MV_m与MV_p均已知，因此两者之间差值的编码比特数可以通过查表直接得到。对于后续块运动矢量差值的编码比特数，MV′_p(MV′_m)可以根据当前块运动矢量MV_m以及其他相邻运动矢量得到，MV′_m可以以转码输入流中后续块的运动矢量近似替代，然后通过查表得到运动矢量差值的编码比特数；

(7)根据参考文献3(Zhang Y，Gao W，Lu Y，et al.Joint source-channelrate-distortion optimization for H.264 video coding over error-pronenetworks.IEEE Transactions on Multimedia.2007，9(3)：445-454)的宏块拉格朗日乘子公式，由当前宏块量化步长计算拉格朗日乘子λ_MOTION；

(8)根据下式计算各运动矢量对应的率失真函数值J(MV_m)：

J(MV_m)＝SAD_m+λ_MOTIONR_m    (14)

其中MV_m候选范围包括转码输出流中的相邻运动矢量MV_E、MV_F和第一次合成得到的运动矢量MV_A、MV_B、MV_C、MV_D；

(9)选择具有最小率失真函数值的运动矢量作为第二次合成运动矢量；

(10)以第二次合成运动矢量为中心，进行搜索窗口为[-2，2]的运动矢量重搜索得到最终的合成运动矢量。

实现效果：在MPEG-2到H.264视频转码的实施例中，采用本发明的方法对Stefan测试序列进行了测试。实验结果表明，本发明方法的复杂度与参考文献2的方法基本相当；而本发明方法的信噪比如附图所示，与全搜索方法相比提高了约1.2dB。