一种MPEG－4 SP到AVS视频转码方法

摘要

本发明涉及一种MPEG－4 SP到AVS的视频转码方法，其特征在于：实现步骤如下，步骤一，对MPEG－4 SP码流进行完整解压缩操作得到MPEG－4 SP数据；步骤二，对MPEG－4 SP数据进行处理以得到具有规定空间和时间分辨率的图像空间域序列、AVS图像编码类型、AVS宏块编码模式和AVS宏块运动向量；步骤三，从具有规定空间和时间分辨率的图像空间域序列、AVS图像编码类型、AVS宏块编码模式和AVS宏块运动向量得到AVS码流。本发明基于级联结构的快速MPEG－4 SP到AVS转码策略，能够适用于高保真实时转码，并且结构适应性强，能够满足多种转码应用需求。本发明特别适用于实现目前跨地区、跨行业的监控网异构条件下视频资源的整合和集中浏览、传输和存储。

说明书

技术领域

本发明属于多媒体通信与视频编码技术领域，特别是涉及一种MPEG-4 SP到AVS视频转码方法。

背景技术

视频转码技术是异构网络条件下解决不同终端、不同网络接入方式所造成的视频资源访问和传输方式多样化的有效手段，是提高多媒体应用效率的关键。所谓视频转码是指将一种编码格式的视频码流转换为另一种编码格式的操作，这里的“编码格式”包括组织视频流所遵循的标准或协议(如MPEG-2/4、MPEG-4 Part10 AVC/H.264、H.26x、AVS等)、图像空间分辨率(即图像尺寸，如CIF、QCIF、D1等)、图像序列时间分辨率(即帧率，如25fps、30fps等)、码率和编码工具(如容错编码、视频水印等)。

MPEG-4 SP即MPEG-4的Simple Profile。MPEG-4(part2)于1999年完成，主要针对甚低比特率通信应用和多平台资源的整合。数年来，MPEG-4 SP已经得到了广泛应用，并已成为IP监控系统平台中的主流视频编码标准。AVS(GB/T20090.2-2006)是我国制定的具有自主知识产权的音视频编码标准，于2006年3月1日正式颁布实施。相关权威测试表明：AVS编码效率高，实现复杂度低；同时，我国掌握知识产权，故有望在今后成为国内视听产业中的主流标准。然而，当前AVS片源稀少，其产业化进程处于起步阶段，在此期间，需要研究AVS转码技术，实现现有编码标准到AVS的平稳过渡。

在码率自适应转码应用中，最简单的转码器结构是由一个解码器串联一个编码器形成的，也称为级联型像素域转码器。此种类的转码器虽然结构简单，但计算复杂度高，未能有效地利用输入码流中的编码信息。基于上述原理，目前已开发出的典型转码器结构包括：以截断DCT(离散余弦变换)高频系数直接实施二次量化为基础的开环转码器；以省略运动搜索而仅作运动补偿为主要思路的像素域闭环转码器；以DCT域运动补偿为主要手段的快速DCT域转码器(SDDT)。但这些现有技术的转码器都具有缺点：开环转码结构由于完全省略了DCT/IDCT，所以操作简单、转码速度快，但是直接重量化使得运动向量不匹配，最终导致了较大的预测误差，所以转码图像质量差。SDDT的提出及算法优化建立在假设DCT、IDCT、MC是线性操作的基础上，然而在实际视频编码中大量使用了数值区间钳制和取整操作，这都引入了不可忽略的漂移误差；另外，SDDT控制复杂度较高，且仅能用于码率自适应转码系统中。

因此，目前尚未出现完整的实现MPEG-4 SP到AVS转码方法，特别是由于AVS采用了丰富的宏块编码模式，所以还必须设计基于变换域的AVS快速模式选择算法。提供高质量易实现的MPEG-4 SP到AVS视频转码方案，成为本技术领域亟待解决的重要技术问题。

发明内容

针对上述问题，为了能够高质量的进行视频转码，本发明提出一种MPEG-4 SP到AVS视频转码方法，实现步骤如下：

步骤一，对MPEG-4 SP码流进行解压缩操作得到MPEG-4 SP数据，MPEG-4 SP数据包含图像空间域序列、当前图像信息、宏块编码信息和运动信息，其中当前图像信息包括图像编码类型、图像尺寸和序列号，宏块编码信息包括各宏块编码模式和各模式下耗费的比特数，运动信息包括运动向量和参考图像位置；

步骤二，对MPEG-4 SP数据进行处理，包括以下四项内容，

根据转码业务对视频序列空间分辨率和时间分辨率的实际需求，对图像空间域序列进行时间域和/或空间域处理，得到具有规定空间和时间分辨率的图像空间域序列；

根据当前图像编码类型，确定转码后输出的AVS图像编码类型；

根据MPEG-4 SP宏块编码信息，决定AVS宏块编码模式；

根据MPEG-4 SP运动信息，合成AVS宏块运动向量；

步骤三，从AVS图像编码类型、具有规定空间和时间分辨率的图像空间域序列、AVS宏块编码模式和AVS宏块运动向量得到AVS码流。

而且，在确定转码后输出的AVS图像编码类型时，进行如下步骤，

首先，以MPEG-4 SP中的视讯物件层为单元划分AVS图像序列；

然后，以MPEG-4 SP中的视频对象平面为单元，根据视频对象平面编码类型确定相应的AVS图像编码类型；

最后，设定AVS码流中每帧图像仅包含唯一的条带层。

而且，在决定AVS宏块编码模式时，进行如下处理，

若输入宏块模式为intra/intra_q，则在索引值为1的参考图像上作运动搜索，并作INTRA/INTER模式选择；

若输入宏块模式为not_coded，则输出宏块以INTER模式编码，并由AVS编码器作P_Skip/P_16×16模式选择；

若输入宏块模式为inter/inter_q，则由AVS编码器作P_16×16/P_16×8/P_8×16模式选择；若输入宏块模式为inter4v，则输出宏块模式为P_8×8。

而且，为了得到AVS码流运动信息，将MPEG-4 SP宏块运动向量mv1(mv1_x，mv1_y)合成为AVS宏块运动向量mv2(mv2_x，mv2_y)时，步骤如下，

首先，按照下式调整输出AVS宏块运动向量精度：

                  mv2_x＝(mv1_x＜＜1) 

                  mv2_y＝(mv1_y＜＜1)

然后，以调整后得到的AVS宏块运动向量mv2(mv2_x，mv2_y)为起始点，使用正交搜索法，以SAD为匹配度量在尺寸为2的窗口内进行二次运动向量搜索，实现运动向量的精化。

而且，所述的正交搜索法实现步骤如下：

首先，比较水平方向的水平起始点和其左邻近点、右邻近点的SAD，如果水平起始点的SAD较小，则停止水平搜索，水平起始点确定为水平方向的最小点；否则选择左邻近点、右邻近点中SAD较小的点，再对该点和该点水平方向上非水平起始点的相邻点进行比较，选择两点中SAD最小的点为后续的垂直搜索起始点；

然后，比较垂直起始点和其上邻近点、下邻近点的SAD，如果垂直起始点的SAD较小，则停止垂直搜索，垂直起始点确定为垂直方向的最小点；否则选择上邻近点、下邻近点中SAD较小的点，再对该点和该点垂直方向上非垂直起始点的相邻点进行比较，选择两点中SAD最小的点为搜索的最佳匹配点。

本发明提出的快速级联型转码方案，和传统级联型像素域转码器相比作出了以下改进：在输入MPEG-4 SP码流完成解码后进入AVS编码前，添加时间域和空间域处理步骤，以应对缩减帧率或/和裁剪图像尺寸转码应用需求；添加输出运动向量合成和输出宏块编码模式决策，根据本发明提出的关键转码策略，在MPEG-4宏块编码信息和运动信息基础上得到AVS宏块运动向量和宏块编码模式；对AVS宏块运动向量进行修正和精化，并将其所得作为最终AVS运动信息。

本发明提出的基于级联结构的快速MPEG-4 SP到AVS转码策略，能够适用于高保真实时转码，经测试(平台：INTEL 3G+1G RAM+WINDOWS2003 Server)表明：相同编码参数配置下，本发明所获得的转码效率为级联型转码器(MPEG-4参考解码器XVID+AVS参考编码器RM5.2c)的十倍以上，而输出图像质量仅相差0.5dB上下。本发明结构适应性强，能够满足目前几乎所有的转码应用需求，包括：协议间转码、码率自适应转码、裁剪图像尺寸转码、缩减序列帧率转码和增强型编码工具转码(如视频水印)。本发明特别适用于实现目前跨地区、跨行业的监控网异构条件下视频资源的整合和集中浏览、传输和存储。

附图说明：

附图1本发明实施例的快速级联型像素域转码器原理图；

附图2a本发明的正交搜索法的水平方向搜索示意图；

附图2b本发明的正交搜索法的水平方向和垂直方向搜索示意图。

具体实施方式

本发明提出的MPEG-4 SP到AVS视频转码方法，实现步骤如下：

步骤一，将MPEG-4 SP码流通过进行完整解压缩操作得到MPEG-4 SP数据，MPEG-4 SP数据包含图像空间域序列、当前图像信息(包括图像编码类型、图像尺寸、序列号等)、宏块编码信息(各宏块编码模式、各模式下耗费的比特数)和运动信息(运动向量、参考图像位置)。

步骤二，对MPEG-4 SP码流进行处理，包括有以下四项内容，

根据转码业务实际需求，对图像空间域序列进行时间域和/或空间域处理，得到具有规定空间和时间分辨率的图像空间域序列；具体实施时进行时间域或空间域处理，或者是两种都进行，可根据具体的带宽等条件来调整，以满足多种转码需求。

根据当前图像编码类型，确定转码后输出的AVS图像编码类型；

根据MPEG-4 SP宏块编码信息，决定AVS宏块编码类型；

根据MPEG-4 SP运动信息，合成AVS宏块运动向量；

步骤三，从AVS图像编码类型、具有规定空间和时间分辨率的图像空间域序列、AVS宏块编码模式和AVS宏块运动向量得到AVS码流。

MEPG-4 SP和AVS格式之间存在许多不同之处，主要包括：①码流结构不同，MPEG-4 SP采用基于对象描述的层次结构，AVS采用基于图像处理粒度的层次结构；②帧内预测方式不同，MPEG-4 SP采用基于DCT域的自适应DC、AC系数预测，AVS采用按照特定方向的空间域样本值预测；③多模式运动搜索方式不同，MPEG-4 SP仅提供对宏块亮度分量按照16×16、8×8两种方式划分，AVS则可以提供对宏块亮度分量按照16×16、16×8、8×16、8×8四种方式划分；④多参考帧预测方式不同，MPEG-4 SP仅使用最近解码图像进行帧间预测，而AVS最多可以使用最近解码的两帧图像；⑤参考图像插值不同，MPEG-4 SP对亮度分量采用1/2精度像素插值，对整数样本使用双线性插值得到预测样本，AVS对亮度分量使用1/4精度插值，通过4抽头滤波器完成，色度分量使用1/8精度插值，通过4抽头滤波器实现。因此实现MPEG-4 SP到AVS转码需要考虑到这些不同之处，本发明分为以下三个方面进行细致的处理，尽量归纳出转码策略以便具体实施时转化处理MPEG-4 SP和AVS码流之间的差异：

(一)语法流映射

在MPEG-4 SP中，仅以传统矩形帧的形式来描述图像信息，故可以实现MPEG-4 SP码流到AVS码流在语法层上的关联。

MPEG-4 SP码流中的视讯物件层(VOL)与AVS序列头的关联参见下表：

  MPEG-4 SP VOL  AVS序列头  语义  interlaced  progressive_sequence  图像序列的扫描格式  video_object_layer_width  honrizontal_size  图像宽度，即水平方向样本数  video_object_layer_height  vertical_size  图像高度，即垂直方向扫描行数  chroma_format  chroma_format  色度分量格式(4:2:0/4:2:2)  not_8_bit  sample_precision  表明图像任意样本的精度  aspect_ratio_info  aspect_ratio  显示图像宽高比  fixed_vop_rate  fixed_vop_time_increment  frame_rate_code  图像帧率  first_half_bit_rate  latter_half_bit_rate  bit_rate_lower  bit_rate_upper  比特流速率  low_delay  low_delay  视频序列中是否包含B图像  first_half_vbv_buffer_size  latter_half_vbv_buffer_size  bbv_buffer_size  比特流缓冲区尺寸

其中，MPEG-4 SP码流中的视频对象平面(VOP)单元包含了当前矩形帧的编码控制信息和运动形状纹理编码motion_shape_texture()；进一步地，motion_shape_texture()包含了宏块层macroblock()，宏块层又包含块层block()。而AVS也采用了类似的结构以组织图像层至块层的视频码流，但出于信道传输中差错隐藏和恢复的需要，AVS定义了条带划分机制，将若干连续的宏块行组织为一个条带层，条带层为图像层中的可感知单元。因此，为了实现MPEG-4SP码流语义到AVS码流语义的对应，可以设定AVS每帧图像仅包含一个条带。

因此，本发明在确定转码后输出的AVS图像编码类型时，进行如下步骤，

首先，以MPEG-4 SP中的视讯物件层为单元划分AVS码流图像序列；

然后，以MPEG-4 SP中的视频对象平面为单元，根据视频对象平面编码类型确定相应的AVS图像编码类型；

最后，设定AVS码流中每帧图像仅包含唯一的条带层。

(二)I-VOP到I图像转码

I-VOP转码的核心是实现帧内图像中I宏块编码模式的映射。MPEG-4 SP使用自适应DC、AC系数预测算法，是基于DCT域的帧内预测方案；而AVS帧内预测是基于空间域样本估计实现的，两者之间无法实现关联。故在转码时，将I-VOP中的宏块完全解码至空间域，并按AVS定义的I宏块候选模式作帧内预测模式选择，以获取具有最佳率失真性能的I宏块模式。对MPEG-4 SP码流中Intra宏块以级联型方式转码。

(三)P-VOP到P图像转码

P-VOP转码的关键在于运动向量和INTER模式的关联。在MPEG-4 SP中MC是基于1/2像素精度图像插值的，其运动向量的基本单位是1/2样本；AVS亮度分量MC为1/4精度像素插值，色度分量则是基于1/8精度像素插值。现在仅考虑保持图像空间分辨率不变时的情况，假设解码MPEG-4 SP当前8×8块的运动向量为mv1(mv1_x，mv1_y)，AVS对应位置块的运动向量为mv2(mv2_x，mv2_y)，则按照下式计算当前块运动向量：

                       mv2_x＝(mv1 x＜＜1)                 (a)

                       mv2_y＝(mv1 y＜＜1)

同时，由于mv1指向的参考图像是最近一帧解码的I-VOP或P-VOP，故为了避免漂移误差，必须将当前AVS块的参考索引值设为0，即表明mv2指向的参考图像是AVS编码顺序上最近一帧编码帧的重构图像。

另外，MPEG-4 SP对INTER宏块可以按照16×16或者8×8模式编码，容易找到上述两种模式在AVS帧间编码模式中的对应关系。简而言之，若输入MPEG-4 SP宏块模式为16×16，则输出AVS宏块模式为P_16×16；若输入MPEG-4 SP宏块模式为8×8，则输出AVS宏块模式为P_8×8；若输入MPEG-4 SP宏块模式为not_coded，则输出AVS宏块模式为P_Skip。进一步地，若此时输入块以INTRA方式，则直接转换为AVS协议中P图像下的I_8×8模式。在遵循上述基本映射规则前提下，本发明进一步开发各模式下的转码策略：

■当输入模式为not_coded时，解码器直接将参考块拷贝到当前块所在区域即可。然而由于AVS采用的图像插值精度和算法都与MPEG-4 SP中所定义的不同，故直接将其映射为P_Skip，可能会引入较大的预测误差。虽然如此，not_coded仍然能够说明当前宏块的运动特征，即宏块内2×2个块的运动方向、程度几乎一致。于是，本发明提出在AVS编码器中按16×16模式作一次运动搜索，比较P_Skip和P_16×16模式下的编码性能，并择优作为最终输出编码模式。

■与上述理由类似，当输入宏块模式为inter/inter_q时，本发明提出在AVS编码器中附加搜索P_16×8、P_8×16模式，最终选择P_16×16，P_8×16，P_16×8中性能表现最佳者；

■对P-VOP中的Intra宏块，其表达的意思是“在参考图像中找不到合适的匹配块”。这可能是由于编码区域的运动形式过于复杂(翻转、颠倒、抖动等)造成的，也有可能是该区域在参考图像中已经运动出了图像边界。对后一种情况，由于AVS采用了多参考帧预测技术，故可以尝试在另一帧参考图像(参考索引值为1)中寻找匹配块。

■使用本发明特别改进后的正交搜索法将基础运动向量修正为精化运动向量，具体算法为：参见图2a，首先进行水平方向的搜索，比较水平方向的水平起始点1和其左邻近点2、右邻近点3的SAD，如果水平起始点1的SAD较小，则停止水平搜索，水平起始点1确定为后续的垂直搜索起始点；否则选择左邻近点2、右邻近点3中SAD较小的点，再对该点和该点水平方向上非水平起始点的相邻点进行比较，选择两点中SAD最小的点为后续的垂直搜索起始点；随后在垂直方向，比较垂直起始点4和其上邻近点5、下邻近点6的SAD，如果垂直起始点4的SAD较小，则停止垂直搜索，垂直起始点确定为搜索的最佳匹配点；否则选择上邻近点5、下邻近点6中SAD较小的点，再对该点和该点垂直方向上非垂直起始点的相邻点7进行比较，选择两点中SAD最小的点为搜索的最佳匹配点，参见图2b。进一步地，上述搜索算法的搜索起点为经公式(a)处理后得到的候选运动向量，搜索算法以SAD(绝对差之和)为匹配规则，在尺寸为2的搜索窗口内进行。

综合上述分析，对P-VOP到P图像转码，总结出如下转码策略：

若输入宏块模式为intra/intra_q，则在索引值为1的参考图像上作运动搜索，并作INTRA/INTER模式选择；

若输入宏块模式为not_coded，则输出宏块以INTER模式编码，并由AVS编码器作P_Skip/P_16×16模式选择；

若输入宏块模式为inter/inter_q，则由AVS编码器作P_16×16/P_16×8/P_8×16模式选择；若输入宏块模式为inter4v，则输出宏块模式为P_8×8。

按照上述步骤得到的宏块编码模式获取输出宏块运动向量。当复用输入运动向量时，按式(a)获取正确的预测精度，对应的块参考索引值设为0。

值得注意的是，上述涉及的模式符号都是MPEG-4 SP或AVS协议中具有确定含义的标识符号，例如intra指帧内、intra_q指量化、not_coded指跳过，P_16×16指16×16大小作帧间预测、inter指帧间、inter4v指16×16分4块且每块有独立的运动向量。实施时可参考MPEG-4 SP或AVS协议资料，本发明不予赘述。

本发明提出的MPEG-4 SP到AVS视频转码方法既可通过纯软件方式完成，也可通过将本方法固化到专用芯片中完成，因此本发明的保护范围应当同时包含方法和根据本发明方法制得的转码器产品。本发明提供的FCPDT结构原理参见图1：首先进行基本MPEG-4 SP视频流解码操作，包括熵解码、反量化1、反离散余弦变换，帧缓冲和运动补偿；然后进行AVS编码操作，包括整数变换、量化2、熵解码，反量化2、反整数变换，以及帧缓冲和运动补偿。在这一转换过程中，MPEG4 SP视频流中的宏块运动向量和宏块编码模式经过视频数据重采样处理(包括时域下重采样和空间域下重采样)和运动向量重精化处理，转换为AVS视频流中的运动向量/编码模式。

与现有技术的MPEG-4 SP到AVS转码器相比，本发明提供的转码解决方案特点在于：

(1).所提出的快速级联型像素域转码器对传统级联型像素域转码器作出了以下改进：

■在输入MPEG-4 SP码流完成解码后进入AVS编码前，添加时间域和空间域处理模块，以满足缩减帧率或/和裁剪图像尺寸的转码应用需求；

■添加输出运动向量合成模块和输出宏块编码模式决策模块，根据本发明提出的关键转码策略，在输入运动向量、宏块编码模式(解码输入MPEG-4 SP码流得到)基础上得到输出运动向量和宏块编码模式；

■在AVS编码模块中，对运动向量合成模块得到的运动向量进行修正和精化，并将其所得作为最终AVS运动信息。

(2).速级联型转码器结构适应性强，能够满足目前几乎所有的转码应用需求，包括：协议间转码、码率自适应转码、裁剪图像尺寸转码、缩减帧率转码和增强型编码工具转码(如视频水印)；

(3).提出的MPEG-4 SP到AVS转码策略能够适用于高保真实时转码，经测试(平台：INTEL 3G+1G RAM+WINDOWS2003 Server)表明：相同编码参数配置下，本发明所获得的转码效率为级联型转码器(MPEG-4 SP参考解码器XVID+AVS参考编码器RM5.2c)的十倍以上，而输出图像质量仅相差0.5dB左右。

下面，提供本发明具体实施的完整实现流程，以便更清晰的理解本发明的技术方案：

Step1将输入MPEG-4 SP码流通过MPEG-4 SP到AVS转码器中的解码模块进行完整解码操作得到图像空间域序列、当前图像信息(包括图像编码类型、图像尺寸、序列号等)、编码信息(各宏块编码模式、各模式下耗费的比特数)和运动信息(运动向量、参考图像位置)；

Step2若解析得到MPEG-4 SP的VOL起始码0x00000120，则根据下面的映射规则合成AVS码流的sequence头信息，转Step1：

  MPEG-4 SP VOL  AVS序列头  interlaced  progressive_sequence  video_object_layer_width  honrizontal_size  video_object_layer_height  vertical_size  chroma_format  chroma_format  not_8_bit  sample_precision  aspect_ratio_info  aspect_ratio  fixed_vop_rate  fixed_vop_time_increment  frame_rate_code  first_half_bit_rate  latter_half_bit_rate  bit_rate_lower  bit_rate_upper  low_delay  low_delay  first_half_vbv_buffer_size  latter_half_vbv_buffer_size  bbv_buffer_size

Step3若解析得到MPEG-4 SP的VOP起始码0x000001b6，则根据下面的映射规则合成对应的AVS图像，转Step4：

■若vop_coding_type＝0，则转码输出为AVS码流I图像

■若vop_coding_type＝1，则转码输出为AVS码流P图像

■设置当前AVS输出图像仅包含一个条带层

Step4按照光栅扫描顺利，依次对当前图像内的宏块进行处理。假设解码MPEG-4 SP码流得到当前宏块的编码类型为mb_type，对应4个亮度块的运动向量为mv1_i(mv1_x_i，mv1_y_i)，i＝0...3。若当前图像为I图像，转Step5；否则，转Step6；

Step5对当前宏块按照AVS协议进行完整的INTRA块编码流程，此时由AVS编码器作帧内宏块模式选择，转Step9；

Step6按照下面的规则，确定AVS宏块候选搜索模式：

若mb_type＝not_coded，则候选模式包括P_Skip和P_16×16，并且将参考索引值设置为0；

若mb_type＝inter/inter_q，则候选模式包括P_16×16，P_8×16，P_16×8，并且将参考索引值设置为0；

若mb_type＝intra/intra_q，则候选模式包括P_Skip，P_16×16，P_8×16，P_16×8和I_8×8，并且将参考索引值设置为1。

Step7对照相应的候选模式，按照下面的算法确定AVS运动向量：

首先，按照下式调整输出运动向量mv2_i(mv2_x_i，mv2_y_i)，i＝0...3精度：

                    mv2_x_i＝(mv1_x_i＜＜1)

                    mv2_y_i＝(mv1_y_i＜＜1)

其次，以上述运动向量为起始点，使用改进后的正交搜索法，以SAD为匹配规则在尺寸为2的窗口内进行二次运动向量搜索，即实现运动向量的精化。

Step8对Step6～Step7所获取的候选模式计算对应的编码代价(失真度、编码比特数等)，并由AVS编码器完成模式选择，转Step9；

Step9重复Step4～Step8，直至当前图像内所有宏块都已处理，转Step10；

Step10重复Step1～Step9，直至输入MPEG-4 SP码流已全部处理。