一种基于下采样和亚像素运动估计的转码方法

摘要

一种基于下采样和亚像素运动估计的转码方法，涉及一种由H.264到HEVC的快速转码方法。为了解决现有技术中编码计算复杂度高、不能在合理的率失真性能损失下使转码速度达到显著提高的问题；本发明首先对输入视频逐帧降采样，然后将降采样之后包含亮度和色度的图像作为x264的输入；在编码过程中，利用运动亚像素运动估计优化，并将分块模式、预测模式、运动矢量、帧内预测方向等编码信息保存下来；将原始图像作为HEVC编码器的输入，在进行运动估计的时候，利用得到的编码信息进行编码处理。本发明适用于H.264到HEVC的快速转码。

说明书

技术领域

本发明涉及一种由H.264到HEVC的快速转码方法。

背景技术

十多年前由ITU-T视频编码专家组和ISO/IEC的动态图像专家组MPEG所提出的 H.264/AVC视频标准被广泛使用于多种视频应用。由ISO/IEC的MPEG和ITU-T联合开 发的最新、最高效的视频编码标准(HEVC/H.265)是H.264/AVC的下一代新标准，它在 视频编码效率上实现了显著的提升，如《Overviewofthehighefficiencyvideocoding(hevc) standard》，但其主要问题在于编码计算复杂度相当高。HEVC/H.265的高复杂度和 H264/AVC的编码内容使设计高效的H.264/AVC到HEVC/H.265的转码器显得十分重要。

最简单的转码方式是将H.264/AVC编码内容先解码，再用HEVC重新编码成 HEVC/H.265的格式。但是，这个方法花费的时间长，复杂度高。另一种方法是利用 H.264/AVC比特流的信息，将H.264/AVC编码器与HEVC/H.265编码器级联，将H.264/AVC 解码的信息，导入到HEVC/H.265编码器中，从而对HEVC/H.265编码过程的加速，最终 实现HEVC编码。

H.264/AVC转码目前在多个出版刊物中均有研究，例如《Fasttranscodingfromh.264 avctohighefficiencyvideocod-ing》和《Ultrafasth.264/avctohevctranscoder》。在 《Fasttranscodingfromh.264avctohighefficiencyvideocod-ing》中，Dong利用基于率失 真优化(PS-RDO)的功率谱减少运动估计和RDO估算的复杂性。

通常情况下，优化的H.264/AVC到HEVC/H.265转码器的转码利用了H.264和HEVC 编码标准的编码工具之间的相似性。H.264/AVC比特流中的信息，例如分块大小和预测模 式，可以被用作HEVC编码过程的“种子”。也就是说，与早期的终端技术结合在一起， 即可极大地增加HEVC的编码进程。例如，在我们早期在《Ultrafasth.264/avctohevc transcoder》的研究工作中，Shen以及其他作者提出了一个快速的H.264/AVC标准到 HEVC/H.265标准转码器，该转码器利用H.264/AVC信息来加速运动估计和模式决策，以 及H.264/AVC比特流中采集的运动向量和预测模式的信息，在相对较小的率失真性能损 失下，达到HM8.1参考软件的70倍速度。尽管其转码速率高达70倍之上，但这个速度 仍然不够快，当编码单元的大小为32x32时，该算法仍然有些复杂。

在《Efficientsoftwareh.264/avctohevctranscodingondistributedmulti-coreprocessors》 中，Chen进一步优化了Shen的转码器，并在多核处理器和分布式系统的并行计算上达到 新水平。但是，虽然转码器经过了优化，高分辨率的视频转码，例如4KUHD的转码， 仍然是一个挑战。

《Overviewofthehighefficiencyvideocoding(hevc)standard》：GaryJSullivan，J-R Ohm，Woo-JinHan，andThomasWiegand，"Overviewofthehighefficiencyvideocoding (hevc)standard，"CircuitsandSystemsforVideoTech-nology，IEEETransactionson，vol. 22，no.12，pp.1649-1668，2012.

《Fasttranscodingfromh.264avctohighefficiencyvideocod-ing》：DongZhang，Bin Li，JizhengXu，andHouqiangLi，"Fasttranscodingfromh.264avctohighefficiencyvideo cod-ing，"inMultimediaandExpo(ICME)，20/2IEEEInter-nationalConferenceon.IEEE， 2012，pp.651-656.

《Ultrafasth.264/avctohevctranscoder》：TongShen，YaoLu，ZiyuWen，LinxiZou， YucongChen，andJiangtaoWen，"Ultrafasth.264/avctohevctranscoder，"inData CompressionConference(DCC)，2013.IEEE，2013，pp.241-250.

《Efficientsoftwareh.264/avctohevctranscodingondistributedmulti-coreprocessors》： YucongChen，ZiyuWen，JiangtaoWen，MinhaoTang，andPuTao，"Efficientsoftware h.264/avctohevctranscodingondistributedmulti-coreprocessors，"Cir-cuitsandSystemsfor VideoTechnology，IEEETransac-tionson，vol.25，pp.1423-1434，122014.

发明内容

本发明的目的是为了解决现有技术中编码计算复杂度高、不能在合理的率失真性能损 失下使转码速度达到显著提高的问题，而提出一种基于下采样和亚像素运动估计的快速转 码方法。

一种基于下采样和亚像素运动估计的转码方法，包括以下步骤：

步骤1、对输入视频逐帧降采样：

步骤1.1、假设原始输入是分辨率为W×H的视频，通过降采样得到分辨率为的 图像；

假设视频原始图像的亮度分量表示为{x_i,j}，其中，规定以x_0,0表示图像最左上的像素 点对应的亮度信息，i＝0,1,…,W-1表示图像像素点的横坐标，j＝0,1,…,H-1表示图像 像素点的纵坐标；

对亮度分量{x_i,j}进行降采样，降采样图像的亮度分量表示为{d_k,l}；其中， $k=0,1,...,\frac{W}{2}-1;l=0,1,...,\frac{H}{2}-1;$

步骤1.2、针对原始图像的色度分量，采用步骤1.1的方式进行将采样；

步骤2、将降采样之后包含亮度和色度的图像作为x264的输入；在编码过程中，利 用运动亚像素运动估计优化，并将分块模式、预测模式、运动矢量、帧内预测方向等编码 信息保存下来；

步骤3、HEVC编码：

将原始图像作为HEVC编码器的输入，在进行运动估计的时候，利用步骤2中得到 的编码信息，按如下方式处理：

设HEVC编码器当前处理的CU(CodingUnit)大小为2Nx2N，其中，N＝4、8、16、32；

当N＝4、8、16时，由于降采样的原因，HEVC编码中的大小为2Nx2N的CU与x264 中大小为NxN的CU一一对应；

当N＝32时，由于x264最大支持到16x16的分块，所以降采样之后，HEVC编码中 的大小为2Nx2N的CU对应H.264中4个大小为16x16的CU；

根据HEVC编码器处理的CU大小，将H.264比特流和HEVC比特流的模式之间的 映射分为两种情况：

(1)对于HEVC编码中N<＝16的CU分块，即CU大小为32x32以下的分块，直 接利用步骤2中与该2Nx2N分块对应的x264中大小为NxN的CU分块信息、预测模式(帧 内/帧间预测)；

若预测模式采用帧间预测，则将步骤2中的运动矢量乘以放缩系数，作为HEVC编 码的运动矢量中心；

若预测模式采用帧内预测，则直接利用步骤2中帧内预测方向；

(2)对于HEVC编码中N＝32的CU分块，HEVC编码的CU对应H.264中4个 CU时；依次检查HEVC编码中对应的预测模式；并确定HEVC编码中当前CU的运动矢 量中心；

然后按照HEVC编码器中正常的方式编码，由此得到最终的编码码流。

本发明具有以下效果：

本发明通过下采样降低了编码复杂度，相比较原始配置，得到了相当大的加速。利用 亚像素细分，减少了率失真性能的损失。将这两者整合在一起，在0.05峰值信噪比(PSNR) 损失和3％-4％比特率增加的情况下，最后实现了大约30％-40％的加速。

附图说明

图1(a)为HEVC中Duck编码单元大小的统计图；

图1(b)为HEVC中Suzie编码单元大小的统计图；

图2为原始框架和下采样框架之间的关系示意图；

图3为原始采样和下采样的对应关系示意图；

图4(a)Duck率失真性能测试结果；

图4(b)Suzie率失真性能测试结果。

具体实施方式

具体实施方式一：

一种基于下采样和亚像素运动估计的转码方法，包括以下步骤：

步骤1、对输入视频逐帧降采样：

步骤1.1、假设原始输入是分辨率为W×H的视频，通过降采样得到分辨率为的 图像；

假设视频原始图像的亮度分量表示为{x_i,j}，其中，规定以x_0,0表示图像最左上的像素 点对应的亮度信息，i＝0,1,…,W-1表示图像像素点的横坐标，j＝0,1,…,H-1表示图像 像素点的纵坐标；

对亮度分量{x_i,j}进行降采样，降采样图像的亮度分量表示为{d_k,l}；其中， $k=0,1,...,\frac{W}{2}-1;l=0,1,...,\frac{H}{2}-1;$

步骤1.2、针对原始图像的色度分量，采用步骤1.1的方式进行将采样；

步骤2、将降采样之后包含亮度和色度的图像作为x264的输入；在编码过程中，利 用运动亚像素运动估计优化，并将分块模式、预测模式、运动矢量、帧内预测方向等编码 信息保存下来；

步骤3、HEVC编码：

将原始图像作为HEVC编码器的输入，在进行运动估计的时候，利用步骤2中得到 的编码信息，按如下方式处理：

设HEVC编码器当前处理的CU(CodingUnit)大小为2Nx2N，其中，N＝4、8、16、32；

当N＝4、8、16时，由于降采样的原因，HEVC编码中的大小为2Nx2N的CU与x264 中大小为NxN的CU一一对应；

当N＝32时，由于x264最大支持到16x16的分块，所以降采样之后，HEVC编码中 的大小为2Nx2N的CU对应H.264中4个大小为16x16的CU；

根据HEVC编码器处理的CU大小，将H.264比特流和HEVC比特流的模式之间的 映射分为两种情况：

(1)对于HEVC编码中N<＝16的CU分块，即CU大小为32x32以下的分块，直 接利用步骤2中与该2Nx2N分块对应的x264中大小为NxN的CU分块信息、预测模式(帧 内/帧间预测)；

若预测模式采用帧间预测，则将步骤2中的运动矢量乘以放缩系数，作为HEVC编 码的运动矢量中心；

若预测模式采用帧内预测，则直接利用步骤2中帧内预测方向；

(2)对于HEVC编码中N＝32的CU分块，HEVC编码的CU对应H.264中4个 CU时；依次检查HEVC编码中对应的预测模式；并确定HEVC编码中当前CU的运动矢 量中心；

然后按照HEVC编码器中正常的方式编码，由此得到最终的编码码流。

具体实施方式二：

本实施方式的步骤1.1所述的降采样图像{d_k,l}是根据以下降采样规则得到的：

d_k,l＝x_2k,2l

其中，x_2k,2l表示视频原始图像亮度分量{x_i,j}中像素点的亮度信息；d_k,l＝x_2k,2l表示： d_0,0对应x_0,0，d_1,1对应x_2,2，d_1,2对应x_2,4，……。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：

本实施方式的步骤3中所述的放缩系数为2。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：

本实施方式步骤3的(2)中HEVC编码的CU对应H.264中4个CU时；依次检查 HEVC编码中对应的预测模式的具体过程如下：

HEVC编码中64x64的分块，对应H.264中4个大小为16x16的CU；针对这4个大 小为16x16的CU：

a.如果在4个CU中，有超过两个预测模式为Inter16x16的分块，那么需要检查HEVC 编码中Inter64x64预测模式；

b.如果左边或者右边的两个16x16的CU预测模式均为Inter16x16，那么需要检查 HEVC编码中Inter32x64的预测模式；

c.如果上面或者下面的两个16x16的CU预测模式均为Inter16x16，那么需要检查 HEVC编码中Inter64x32的预测模式；

d.如果在4个CU中，有超过了两个预测模式为Intra16x16的分块，那么需要检查 HEVC编码中Intra64x64的预测模式；

否则，即对于除a-d以外的其他情况，HEVC编码将不采用步骤2中编码信息，而采 用HEVC标准中的运动估计和运动补偿算法确定当前CU的信息。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：

本实施方式步骤2所述的在编码过程中，利用运动亚像素运动估计优化的具体步骤如 下：

利用运动亚像素运动估计优化过程原始的算法不仅会算亚像素，也会算1/4像素；

而本发明则在运动补偿的过程中，原始的亚像素插值算法采用系数为(1,-5,20,20,-5, 1)的六阶滤波器插值得到亚像素；但是，为了得到更精确的编码信息，利用原始图像替 代原来六阶滤波器获得的亚像素图像；而对原始图像进行原来的六阶滤波器插值，将得到 的亚像素图像替代原来的1/4像素图像；通过此方法保证x264中处理的四分之一像素图 像与HEVC编码中亚像素插值图像完全一致，从而能够更接近原始图像，由此得到更为 精确的编码信息；并进行编码。

其它步骤及参数与具体实施方式一至四之一相同。

实施例

在本发明中，转码器的快速模式选择和运动估计部分通过使用空间分辨率下采样被进 一步优化。

不可否认，《Ultrafasth.264/avctohevctranscoder》中Shen的转码器高度利用了HEVC 和H.264/AVC之间的相似性。但是，尽管相比较HEVC，其转码速率虽高达70倍之上， 但这个速度仍然不够快。

从该转码器可以看出，当编码单元的大小为32x32时，算法仍然有些复杂。实验测试 了两组视频序列，得到如图1(a)和(b)所示的柱形图；

图1显示了编码单元大小的分布，图1中，Percentage：百分比，CUSize：编码单元 大小。两个图均显示32x32大小的编码单元占据了相当高的比例。如果可以简化选择32x32 运动向量预测期的处理过程，就能得到相当大的加速。由于H.264仅能支持最大16x16 大小的编码单元，所以将利用下采样的方式来关联HEVC32x32大小编码单元和H.264中 16x16大小编码单元。

下采样被广泛应用于各种HEVC/H.265编码器，例如x265，例如：快速运动估计及 非全编码下的率控制。Shen注意到下采样能够缓和块效应，并提高解码框架的峰值信噪 比(PSNR)，提出了基于下采样的编码(DBC)方法。下采样的主要问题是细节方面的 损失及由下采样引起的高频成分，这在本质上来讲是一种低通滤波器。

与下采样视频编码的应用相比，空间下采样更有利于利用加快转码。这是因为导入比 特流所包含的信息能够被转码器利用，除了自下采样视频获取的信息之外，来提高整体编 码质量。

原始框架和下采样框架之间的关系如图2所示，Originalframe：原始框架，Downscale frameanditssub-pelframe：缩小比例的框架及其亚像素框架；

实验采用了最简单的算法，在同一帧中，每2x2的像素块的左上角的像素被提取出来， 并且被用于空间下采样图片。

基于H.264/AVC编码视频序列中的信息和前一个小节中描述的同一序列的 HEVC/H.265编码之间的关联，下采样视频序列的H.264/AVC编码中的信息和原始视频 序列的HEVC/H.265编码的对应关系如图3所示，Originalresolution：原始分辨率，Down sampled：下采样。

本发明提出的算法的运行利用大量的测试序列、两个2.4GHzIntelXeonE2-2695v2 的服务器和共计12核和64GB的RAM进行评测。运行系统为Ubuntu4.6.3，为了对系统 的效力进行更清晰的评测，实验提供每一步算法引入的改进。

表1.下采样应用的性能

其中，Video：视频，Original：原始框架，Bitrate(bps)：比特率，PSNR(dB)：峰值信噪 比(分贝)，Time(s)：次数，Downsampling：下采样框架，Speedup(％)：加速。

表2.亚像素运动估计优化的性能

其中，Beforesub-pixeloptimization：亚像素优化前，Aftersub-pixeloptimization：亚像素 优化后；

空间下采样：从表1很容易就可以发现，在引入比特率的增加和峰值信噪比的损失时， 相比较Shen的转码器，实现了大约30％-40％的加速。加速来自两方面，一方面是由于下 采样使得H.264处理的视频大小变小，降低了编码的复杂度。另一方面是编码单元32x32 的直接模式决策。

亚像素运动估计优化：实验评测了亚像素运动估计处理前后的改善与提升。结果如表 2所示。从表2可以看出，在亚像素运动估计优化下，以峰值信噪比(PSNR)作为评价 方法的视觉质量和以比比特率作为评价方法的压缩性能得到提升。图4(a)和(b)显示 了两个测试集的率失真性能，两个测试集代表所有测试结果。

本发明提出了采用下采样与亚像素细分相结合的方法优化现有的转码器。通过下采 样，相比较原始配置，得到了相当大的加速。利用亚像素运动估计，减少了率失真性能的 损失。将这两者整合在一起，在0.05dB峰值信噪比(PSNR)损失和3％-4％比特率增加 的情况下，最后实现了大约30％-40％的加速。