用于MPEG编码视频的基于流的比特率代码转换器

摘要

一种用于MPEG比特流(MPEG比特流)的基于流的比特率代码转换器，其利用从MPEG比特流中提取的诸如图片类型、编码复杂度、运动矢量(MV(x，y))和MB模式(MB)之类的信息。通过使用该信息，实现协调的基于流的比特率转换。具体地，通过考虑图片/MB级分类和运动参考计算这两个组成部分，DCT系数(DCT Coeff.)被减少。

说明书

               相关申请的交叉参考

本申请要求在2002年2月8日提交的美国临时申请第60/335,187号(律师案卷号020699-002700US)的优先权，为所有目的在此引入作为参考。

                    发明背景

技术领域

本发明通常涉及图像处理，更特别地，涉及一种用于MPEG比特流的基于流的比特率代码转换器(transcoder)。

背景技术

比特率代码转换是一种适应联网多媒体应用中动态比特率变化的非常有力的工具，尤其是在不同网络的环境中，诸如电路交换、异步传输模式(ATM)、移动和互联网。为了在从几个64Kbps非常低的比特率到具有超过20Mbps的HDTV质量视频的宽范围比特率的要求下提供视频业务，比特率代码转换提供了具有较低复杂度的有效选择以满足这些要求。

为了执行比特率代码转换，一种简单但效率低的方法是对输入比特流完全解码并按新的目标比特率对其再次编码。这种蛮干法的缺点是其密集的计算开销(即，需要更强的CPU)以及由于其再次量化而导致的显著视频质量损耗。

一般而言，视频比特率代码转换可以分为两类，具体地，如图1所示利用数据划分方法的开环代码转换和如图2所示利用解码-再编码方法的闭环代码转换。

在开环方法中，目标是最小化代码转换复杂度，因此，仅改变编码DCT系数以降低总的比特率。由于解码器环内的错误累积，由系数减少引入的漂移效应可引起预测帧(P)上的图片质量连续降低。每当对帧内编码帧(I)解码时，累积的漂移错误被复位为零。

相反，闭环代码转换需要一再编码系统，因此将输入的比特流完全解码到像素域并以更低的比特率再次编码。通过反馈环路，代码转换的失真被校正并且不会扩展到后续帧中。尽管它是最复杂和最昂贵的选项，就编码效率而言，这被认为是合乎需要的解决方案，尤其是如果编码器独立于输入解码器运行。解码器-编码器的级联是闭环代码转换器的一个示例。

发明内容

本发明提供了用于MPEG比特流的基于流的比特率代码转换器。通过利用从MPEG比特流中提取的诸如图片类型、编码复杂度、运动矢量和MB模式之类的信息，复杂度低得多的基于流的比特率变换算法得以实现。具体地，本发明通过考虑图片/MB级分类和运动参考计算两个组成部分来减少DCT系数。本发明的代码转换方案不限于MPEG比特流，并适用于任何包含诸如图片类型和MB模式之类信息的DCT编码视频比特流，例如H.263编码视频。

根据本发明的视频比特率代码转换方法包括从比特流提取包含GOP中所有帧的运动矢量和图片/宏块类型的信息。

本方法进一步包括通过VLC解码计算来自编码离散余弦变换(DCT)系数的比特数并且将该比特流转换为DCT比特流。比特率被确定，并且为了实现DCT比特流内的比特率差值，基于该信息减少DCT系数。

本发明的另一个方面，该方法还包括使用TM5速率控制以确保实现该比特率差值。

根据本发明的另一个方面，该比特流为MPEG比特流。

根据本发明的另一个方面，该方法进一步包括通过解析该比特流和计算DCT比特流的编码复杂度来预分析该比特流。

根据本发明另一个方面，通过在锚帧、预测帧和块帧(blockframe)之间按比例分配将被减少的DCT系数，实现该比特率差值。

仍根据本发明的另一个方面，按比例分配将被减少的DCT系数的优先权为锚帧＜预测帧＜块帧。

参考说明书的余下部分，包括附图和权利要求，将实现本发明其它的特征和优点。对于本发明的特征和优点，以及本发明各种实施例的结构和操作，将在下面参照附图详细描述。

附图说明

图1是说明开环视频比特率代码转换的方框图；

图2是说明闭环视频比特率代码转换的方框图；

图3是说明运动参考链接指示参考行为的原理的方框图；和

图4是说明从比特流提取运动矢量以计算参考链接数目的方框图。

具体实施方式

本发明提供了一种基于流的MPEG代码转换方案。通常，本发明的方案包括两种执行DCT(离散余弦变换)系数减少的主要组成部分。具体地，图片和MB(宏块)级的分类，和宏块级中的运动参考导出。第一组成部分的目标在于依据图片的编码复杂度将降低的比特率按比例分配给它们，然后可以在某种程度上维持一致的视频质量。第二组成部分的目的在于根据运动参考在宏块之间分配从所述分类中获得的降低的比特率。该运动参考被用来指示宏块上的参考行为，并且被定义为用于运动补偿的参考链接的数量(即，运动矢量)。

图3说明了运动参考的原理。应当注意的是，黑方框不必是宏块。它可以正好在宏块的边界中，或者可由至多四个宏块包围，这取决于运动矢量。在图3说明的情况下，在P帧中具有三个到黑方框的参考链接。本领域技术人员将会理解，本发明的方法不仅仅局限于MPEG比特流。如果比特流可提供诸如图片类型、运动矢量(MV)和宏块(MV)模式之类的信息，任何块匹配的视频补偿方案都适用。

根据本发明的方法，DCT转换系数通过运动参考控制以及图片级/MB级分类被减少。如前所述，与其它闭环方法相比，逐渐减少一些DCT系数是复杂度最低的方法中的一种，在DCT域中可以轻易实现。另外，这种方法快速适应于带宽限制联网多媒体应用的比特率需求的动态变化。在减少某些DCT系数过程中，本发明的方法能够减小漂移错误对视频质量的影响。

图片级分类利用从比特流中提取的图片类型和宏块类型信息。在MPEG视频编码标准中，I帧是锚帧，它可以独立地编码和解码。I帧的重要性在于它的作用如同门卫(gatekeeper)，复位视频代码转换中的任何漂移错误，特别是对于本发明方法。由于当存在运动补偿帧时，代码转换引入了漂移错误，此错误可以向接下来的几个帧扩展，直到下一个I帧被解码。因此，可以有理由假定，I帧具有被选择下降系数的最低优先级。由于P帧被用作对P和B帧编码/解码的参考帧，相同的理由适用于B帧和P帧对照的情况。因此，给出减少DCT系数的优先权为：

优先权(I)＜优先权(P)＜优先权(B)

在三个优先权类别中确定降低比特率的比率。优选地，在原始比特率和新比特率之间的比特率差值的数量按比例分配给这三种优先权类别，并且该比例取决于编码的复杂度。为了维持与以前一致的图片质量，按比例分布此差额是优选的。该比例可以是从视频序列的大量训练集中得到的固定数字，也可以适用于每个帧的编码复杂度。在后一种情况下，需要解析GOP比特流的延迟以便预分析该比特流。优选地，预分析包括解析比特流和计算编码的复杂度。该解析过程是一种只解码VLD的非常轻量级的进程。由于比特率不包含诸如在编码环路中含有的MAD、MSE之类的任何失真信息，所以必须近似导出那些数字。基于MPEG语法，可以提取下列信息：用于对纹理编码的比特数；其MB类型在表1中列出的MB的数量。

图片类型宏块类型I(2)(Intra)，(IntraQuant)P(7)(MC，Coded)，(No MC，Coded)，(MC，Not Coded)，(Intra)，(MC，Coded Quant)，(No MC，CodedQuant)，(IntraQuant)B(11)(Interp，Not Coded)，(Interp，Coded)，(Bwd，Not Coded)，(Fwd，Not Coded)，(Fwd，Coded)，(Intra)，(Interp，Coded Quant)，(Fwd，CodedQuant)，(bwd，Coded Quant)，(Intra Quant)

为便于解析处理，MB类型可以进一步组合成两种主要类型：帧内编码宏块(Intra-MB)和帧间编码宏块(Inter-MB)。详细描述图片/MB级的分类如下：

步骤1-在比特流解析期间，提取GOP中所有帧的图片类型和宏块类型；

步骤2-通过VLC解码计算用于编码DCT系数的比特数量；和

步骤3-在计算编码复杂度的过程中，为了简洁起见，在三个不同图片类型中，对于两个主要MB类型采用平均比特，具体地，P和B帧中的Intra-MB和Inter-MB，以及I帧中的Intra-MB。

假定D(＝R-R’)是比特率差值，其中R是原始比特率，R’是新的目标比特率。在对图片/MB分类之后，有如下表2所说明的五个类别。

  I  P  B  Intra-MB  Ti，Ni  D1  Tp，Np  D2  Tb，Nb  D3  Inter-MB  --  T’p，N’p  D4  T’b，N’b  D5

T_(i，p，b)(T’_(i，p，b))分别是帧I、P和B中Intra-MB(Inter-MB)的总比特计数。N_(i，p，b)(N’_(i，p，b))分别是帧I、P和B中Intra-MB(Inter-MB)的总数。因此，每个类别的平均比特计数可以如下计算：

A{i，p，b}＝T{i，p，b}/N{i，p，b}和A′{p，b}＝T′{p，b}/N′{p，b}

优选地，基于下列公式，D被分配到Intra-MB和Inter-MB组中：

D＝D_Intra-MB+D_Inter-MB

$>>>>(>>D>>Intra>->MB>>>)>>>(>>D>>Inter>->MB>>>)>>>=>>>(>>A>\prime >>p>+>>A>\prime >>b>)>>>(>Ai>+>Ap>+>Ab>)>>>>>$

优选地，下个D_Intra-MB和D_Inter-MB被进一步基于其图片类型分配给图片组，以及所有的D₁，1＜＝i＜＝5，可以如下计算：

$>>>D>1>>=>>>N>t>>>>N>t>>+>>N>p>>+>>N>b>>>>\times >>D>>Intra>->MB>>>>>$

$>>>D>2>>=>>>N>p>>>>N>t>>+>>N>p>>+>>N>b>>>>\times >>D>>Intra>->MB>>>>>$

$>>>D>3>>=>>>N>b>>>>N>t>>+>>N>p>>+>>N>b>>>>\times >>D>>Intra>->MB>>>>>$

$>>>D>4>>=>>>>N>\prime >>p>>>>>N>\prime >>p>>+>>>N>\prime >>b>>>>\times >>D>>Inter>->MB>>>>>$

$>>>D>5>>=>>>>N>\prime >>b>>>>>N>\prime >>p>>+>>>N>\prime >>b>>>>\times >>D>>Inter>->MB>>>>>$

可以执行任选附加步骤。可以包括通用常数Kp和用在TM5速率控制中的Kp，以便进一步通过反映编码中使用的量化参数来调整所述比例。

在图片/分类之后，确定分配给MB类型的比特率降低量(即D₁、D₂、D₃、D₄和D₅)。下一步骤是将它们分配给宏块。注意，减少I和P帧中的DCT系数需要小心处理，因为两种类型都用作参考帧。换言之，选择减少稀疏的较低优先权应当被赋予那些带有更多参考链接的宏块。从比特流中提取的运动矢量被用来计算参考链接(参考计数器)的数量，如图4所述，其中帧i中的灰色区域是搜索范围，而黑色区域是与帧(i+1)中宏块K最匹配的宏块。在图4中，运动矢量MV(x，y)可以从比特流中提取。基于MV(x，y)和当前宏块K的位置，参考链接可以在宏块A，B，C和D中平等地计数，或与在宏块中的覆盖区域成比例计数。在参考链接被平等地计数的情况下，每个参考计数器增加1，然而当参考链接与在宏块中覆盖区域成比例计数的时候，增加量是一个分数。在后一种情况下，分数将以宏块C＞A＝D＞B的次序。

在计算所有宏块的参考链接之后，基于参考链接，可再次按比例分配Di给所有具有相同图片类型和MB类型的MB。因此，通过减少每个MB的一些系数来减少的比特数(表示为mⁱ)确定如下：

$>>>D>i>>=sup>>d>i>1sup>>+sup>>d>i>2sup>>+>.>.>.>+sup>>d>i>nsup>>,>>>和$

$>sup>>d>i>1sup>>·>>m>1>>=sup>>d>i>2sup>>·>>m>2>>=>.>.>.>=sup>>d>i>1sup>>·>>m>n>>>>$

其中n是类别i中MB的数量，1≤i≤5。仍需要比特率控制器以确保满足目标比特率。比特率控制器用于克服两种潜在问题(1)减少了太多比特，因为减少了太多系数，和(2)减少了太少系数。简单的TM5速率控制被用于解决这些问题。应当注意的是，从非零高频系数向低频系数开始减少系数，并且从不选择减少DC系数。可替换方案是有选择地减少系数，而不必从高频系数减少。因此可以得到该问题的一种最理想解决方法。然后调用复杂的选择过程，意味着增加代码转换的复杂度。模拟结果已经表现出采用两种减少过程的图片质量的差别是可忽略的。

因此，本发明的方法可以概括如下：(1)计算每个MB类型的参考链接；(2)导出表示为mⁱ的减少比特的数量；和(3)调用TM5速率控制以满足目标速率。通过减少DCT系数，本方法可轻易地在DCT域中实现。另外，本发明的方法可快速适应于带宽限制的联网多媒体应用的比特率需求的动态变化。为了以最小的成本加快代码转换的速度，已经开发了压缩域分类。在减少某些DCT系数的过程中，漂移错误对视频质量的影响被减小了。

当描述本发明时，已经假定由基于MPEG的编码方案来产生输入视频比特流，也就是基于块的运动补偿的DCT转换编码，这并不意味着被限制。通过利用从比特流中提取的信息，诸如运动矢量(MV)和图片类型，本发明用于速率代码转换的方法可以有效地在压缩域中执行。通过解码DCT系数的VLD并减少它们中的一些，可以简单地实现基于流的视频代码转换。

虽然已经参照具体的示范性实施例描述了本发明，但我们将意识到，本发明意欲覆盖所附权利要求范围内所有的更改和等同物。