实现基于感兴趣区域的压缩域MPEG-2到H.264视频转换的方法

摘要

一种电信技术领域的实现基于感兴趣区域的压缩域MPEG-2到H.264视频转换的方法，步骤如下：帧内编码帧转换：只进行压缩域数字余弦变换系数到整数变换系数变换、重量化、以及压缩域帧内预测进行转换；压缩域感兴趣区域检测：如果当前宏块的运动向量的水平分量和垂直分量的绝对值之和小于等于阈值TH，则该宏块判断为非感兴趣区域，否则该宏块判断为感兴趣区域；非感兴趣区域转换：进行压缩域开环转换，直接通过压缩域内数字余弦变换系数到整数变换系数变换，再重新量化；感兴趣区域转换：在压缩域进行量化误差补偿，以及插值误差补偿闭环转换。本发明超过现有的MPEG-2到H.264视频转换速度，且转换的整体视频质量没有降低。

说明书

技术领域

本发明涉及的是一种电信技术领域的视频转换的方法，更具体地，是涉及一种实现基于感兴趣区域的压缩域MPEG-2到H.264视频转换的方法。

背景技术

视频转换技术是将一种压缩格式视频流转化为另一种压缩格式。目前，面向各种不同的视频应用领域，存在着多种视频编码标准，诸如运动图像专家组(MPEG组织)制定的MPEG-2标准，MPEG-4标准，和H.264标准等。如何能够高效，优质的实现转换，使之适应于不同硬件设备中，一直是业界最关注的问题。由运动图像专家组(MPEG组织)和视频编码专家组(VCEG组织)联合成立的联合视频组(JVT组织)制定的H.264标准，作为新一代视频编码标准，提供了诸多性能上的改进，将逐步占据视频应用领域的主导地位。然而目前现存大量MPEG-2视频节目源，以及数以百万计的MPEG-2格式的编码器和机顶盒设备。因此，MPEG-2和H.264两种视频标准将会在很长时间内共存，MPEG-2到H.264的视频转换成为当前迫切需要解决的研究热点。

经对现有技术的文献检索发现，Tuanjie Qian等人在《IEEE视频技术电路与系统汇刊》(IEEE Transactions on Circuits and Systems for VideoTechnology)，Vol.16，NO.4，pp.523-534，April.2006上发表的“插值误差补偿的压缩域MPEG-2到H.264转换”(Transform Domain Transcoding FromMPEG-2 to H.264 With Interpolation Drift-Error Compensation)中，提出插值误差补偿的压缩域MPEG-2到H.264视频转换技术，大大提高了压缩域转换的视频质量，其核心思想是在对压缩域转换的误差理论分析基础上，在对量化误差补偿之外，针对H.264的特殊插值算法，提出了进行插值误差补偿的压缩域转换的方法。但由于需要在压缩域做量化误差和插值误差补偿，该方法的运算复杂度也大大增加，对实时转换的要求就不合适了，这也是该方法的弊端。

发明内容

本发明针对现有技术的不足，提出了一种实现基于感兴趣区域的压缩域MPEG-2到H.264视频转换的方法，结合了压缩域开环和闭环方法的优点，使其可以实现实时转换，大大节省了压缩域转换的速度，而且转换的主观视频质量并没有降低。

本发明是通过以下技术方案实现的，具体步骤如下：

第一步，帧内编码帧(I帧)压缩域转换

帧内编码帧没有运动向量，只能利用压缩域系数进行边界估计等方法进行感兴趣区域检测，但因为帧内编码帧不需经过帧间运动补偿，因此不需要进行压缩域插值误差补偿，直接针对H.264的特殊帧内预测进行压缩域帧内预测，就可以得到较好的转换视频质量。因此，本发明方法中，针对帧内编码帧不进行感兴趣区域检测，只进行通常的压缩域重量化和压缩域帧内预测进行转换，即只进行通常的压缩域数字余弦变换(DCT)系数到整数变换(IT)、重量化、以及压缩域帧内预测进行转换，就可以得到较好的转换视频质量。

第二步，压缩域感兴趣区域检测

感兴趣区域的概念是对在人眼视觉系统(HVS)研究的基础上提出来的。研究发现人眼对于整幅图像的关注程度不同，对不同区域的分辨力也大相径庭。根据人眼视觉系统的特性，人眼更感兴趣的区域主要由运动信息、空间频率信息、边界信息和颜色信息决定，对视频序列而言，运动信息对感兴趣区域检测尤为重要，可以认为感兴趣区域是由运动区域或目标组成。而转换是针对压缩后的视频码流，除帧内编码帧以外，可以方便的利用码流中的运动向量信息，在基本不增加转换运算量的情况下，实现压缩域感兴趣区域的快速准确检测。

因此，本发明中，利用MPEG-2码流解码得到的运动向量MVs，对码流中每个宏块逐一判断是否为感兴趣区域。对不发生运动的区域就判断为背景区域，即人眼视觉不敏感区域；对运动区域就判断为视觉注意力集中区域，即感兴趣区域。具体判断条件为：如果当前宏块(第i块)的运动向量|MVx(i)|+|MVy(i)|小于等于阈值TH，则当前宏块为非感兴趣区域，否则为感兴趣区域。确定ROI以后，就可以针对不同区域采用不同转换方法，取得运算量和视频质量的更好折衷。

第三步，非感兴趣区域的转换

在压缩域内开环转换，就是不经过运动补偿，直接通过压缩域内DCT系数到IT系数变换，再重新量化。这样可以节省大量运算复杂度，代价是不进行误差补偿，会造成明显的误差漂移，使得视频质量下降。然而正如前面所述，视频序列中大面积的非感兴趣区域人眼并不敏感，降低该区域的视频质量不会造成明显的整体视频主观质量的下降。

因此，本发明方法对非感兴趣区域采用压缩域开环转换，使用这种方法，更多的宏块跳过了压缩域量化误差补偿和压缩域插值误差补偿的大量矩阵乘法过程，大大节约了计算量；而人眼不敏感区域的视频质量下降不会造成明显的整体主观质量的下降。

第四步，感兴趣区域的转换

转换时采用压缩域运动补偿可以避免误差漂移造成的视频质量下降，由于H.264采用了与MPEG-2不同的插值方法，因此在传统压缩域量化误差补偿以外，还需要进行压缩域插值误差补偿，即DCT系数转换得到IT系数后，在压缩域进行量化误差补偿，以及插值误差补偿，再重新量化。该过程运算量较大，可以得到较好的视频质量，可以与像素域转换视频质量相当。

为了提高整体转换视频的主观质量，本发明方法通过对感兴趣区域进行压缩域插值误差补偿来提高感兴趣区域的转换质量，可以在转换质量和运算量之间保持一个平衡，在保证实时快速转换的同时确保整体主观质量不会下降。

通常情况下，高分辨率视频序列中包含了较大面积的区域对人眼并不敏感，提高感兴趣区域的质量可以很大程度上改善整个视频序列的主观质量。因此，本发明中，针对感兴趣区域和非感兴趣区域采用不同的转换架构，对人眼不敏感的非感兴趣区域进行压缩域开环转换，可以大大加快转换速度，节省运算量；对感兴趣区域进行压缩域插值补偿闭环转换，提高感兴趣区域的视频转换质量，从而在节省运算量的同时，改善转换视频的主观质量，取得运算量和转换视频质量的更好折中，这是本发明方法的核心思想。

在本发明方法中，充分利用人眼视觉系统特性进行基于感兴趣区域的视频转换。对于人眼不敏感的大面积的背景区域，可以采用快速开环转换方法，该区域视频质量的下降不会造成明显的整体视频主观质量的下降。基于这种考虑，在转换时，只需要对检测出来的感兴趣区域进行压缩域插值误差的补偿，这样就可以改善感兴趣区域的视频质量，兼顾了转换的速度和视频质量。并且对于非常关键的感兴趣区域的确定，本发明采用了一种简单灵活的压缩域检测方法，可以在不增加转换复杂度的同时，实现快速准确的感兴趣区域检测。仿真结果表明，本发明优于现有的MPEG-2到H.264视频转换的方法：整体转换速度大大超过现有算法的转换速度，平均转换速度比参考像素域级联转换方法提高了约5倍，比压缩域插值误差补偿转换方法提高了约2倍，而转换的视频质量并没有降低。

附图说明

图1为本发明方法流程图。

图2为压缩域开环转换流程图。

图3为压缩域插值误差补偿闭环转换流程图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例可分为以下几个步骤：

(1)帧内编码帧的压缩域转换

对MPEG-2输入码流进行熵解码，可方便得到每帧的编码类型，针对不同编码类型帧采用不同转换方式。具体方法如下：

●熵解码得到当前帧的编码类型。

●如果当前帧为帧内编码帧，则不进行感兴趣区域检测，只进行MPEG-2反量化得到DCT系数，然后进行DCT到IT系数变换，得到IT系数，对IT系数再进行压缩域帧内预测，预测后的IT系数再经过H.264量化和熵编码，生成H.264码流，就可以得到较好的转换质量。

●如果当前帧为预测编码帧，包括前向预测帧和双向预测帧，则先进行压缩域感兴趣区域检测，再针对不同区域采用不同转换方式。

由于帧内编码帧不采用运动补偿，无需采用插值误差补偿来避免误差漂移，因此，使用本实施例方法，帧内编码帧转换时不需要进行感兴趣区域检测，直接采用重量化和压缩域帧内预测，就可以得到较好的转换视频质量。

(2)压缩域感兴趣区域的检测

对MPEG-2输入码流进行熵解码，可得到每个宏块的编码模式和运动向量MV。用当前宏块的运动向量MV来判断该宏块是否为感兴趣区域，对当前帧中的每个宏块逐一判断。具体方法如下：

●计算当前宏块的运动向量MV(i)＝|MVx(i)|+|MVy(i)|

其中i表示当前帧中的第i个宏块，

MVx(i)表示第i个宏块运动向量的水平分量，

MVy(i)表示第i个宏块运动向量的垂直分量。

●如果MV(i)小于等于阈值TH，则

当前第i个宏块判断为非感兴趣区域。

●如果MV(i)大于阈值TH，则

当前第i个宏块判断为感兴趣区域。

当确定了每帧的感兴趣区域以后，就可以针对不同区域采用不同转换架构。使用本实施例方法，感兴趣区域检测在压缩域实现，快速有效，而且采用本实施例方法后并不会明显增加转换的运算量，对于大部分测试序列，压缩域感兴趣区域检测的运算量相对整个转换运算量可以忽略不计。

(3)非感兴趣区域的转换

对判断为非感兴趣区域的宏块，转换时附图1中的转换开关打到下方粗实线，不进行压缩域量化误差和插值误差补偿，在MPEG-2反量化得到DCT系数后，经过DCT系数到IT系数变换，直接进行H.264重量化，以及熵编码，如附图2所示。

(4)感兴趣区域的转换

对判断为感兴趣区域的宏块，转换时附图1中的转换开关打到上方细实线，进行压缩域量化误差和插值误差补偿，以便提高该区域的转换视频质量，从而改善整体视频质量。在MPEG-2反量化得到DCT系数后，经过DCT系数到IT系数变换，分别进行压缩域量化误差补偿和插值误差补偿，再进行H.264重量化，以及熵编码，如附图3所示。其中在压缩域量化误差补偿和插值误差补偿时，运动向量指向的预测宏块有三种情况：

●如果预测宏块为感兴趣区域宏块，则直接进行压缩域误差补偿；

●如果预测宏块部分为感兴趣区域，部分为非感兴趣区域，则先对非感兴趣区域部分宏块进行填补运算，填补时复制相邻的感兴趣区域部分宏块的数据，然后再进行压缩域误差补偿；

●如果预测宏块为非感兴趣区域宏块，则该预测宏块直接复制最相邻的感兴趣区域宏块的数据，然后再进行压缩域误差补偿。

在本实施例中，为节省运算量，对人眼不敏感的非感兴趣区域进行压缩域开环转换，由于误差漂移，会造成非感兴趣区域的转换质量下降，如果期望进一步提高非感兴趣区域的转换质量，同时尽量节省运算量，可以对该区域只进行压缩域量化误差补偿，省去压缩域插值误差补偿的运算量，但整体转换的速度将会有所降低；如果期望进一步提高感兴趣区域的转换质量，还可以在H.264重量化时调整量化参数，降低感兴趣区域的量化参数，进行细量化，提高感兴趣区域的视频质量，同时增大非感兴趣区域的量化参数，进行粗量化，降低非感兴趣区域的质量，采用基于感兴趣区域的码控，可进一步改善整体转换视频质量。

使用300帧多个测试序列对压缩域开环转换、压缩域插值误差补偿闭环转换和本实施例方法这三种压缩域MPEG-2到H.264视频转换的方法进行仿真，从仿真的统计结果可以得出：本实施例方法对背景静止，目标运动的序列效果都很好，其转换速度大大超过压缩域插值误差补偿闭环转换，并且其转换视频质量比压缩域开环转换明显提高。如果该方法与基于感兴趣区域的码控结合使用，还可以在不增大处理量的同时，进一步提高转换视频质量。

综上所述，本发明优于其它方法，其优点是：(1)在压缩域进行感兴趣区域检测，快速有效，对运动序列的效果很好；(2)避免了上述现有方法的不足；(3)更加充分地利用了人眼视觉系统的特性，利用人眼对大面积的非感兴趣区域的质量下降不敏感，节省了非感兴趣区域的压缩域误差补偿运算过程，可以大大提高转换速度；(4)充分利用了人眼对运动区域敏感的特性，提高了感兴趣区域的转换质量，使转换视频质量和转换速度之间保持了平衡。这种方法可以在保持整体转换视频质量的基础上大大提高现有的转换速度。