用于受限可变比特率视频编码的方法和装置

摘要

提供了一种用于将视频信号数据编码以便在网络中传输的方法和装置，该方法包括以下步骤：使用区分优先级的结构或可分级编码结构中的至少一种而以可变比特率将视频信号数据编码，以便获得具有基本层和增强层的比特流。该编码步骤将视频信号数据编码，使得在第一时间间隔内将基本层比特率限制(420)为小于或等于第一值，并且在第二时间间隔内将包括基本层和增强层的所有比特流限制(425)为小于或等于第二值的比特率。

说明书

政府权利

美国政府在本发明中具有已付费的许可、以及如国家标准和技术协会所给予的项目ID合同No.2003005676B的条款所规定的那样在有限的情形中要求专利所有人在合理的条款下向其他人发放许可的权利。

相关申请交叉引用

本申请要求2005年9月29日提交的、名称为“METHOD ANDAPPARATUS FOR CONSTRAINED VARIABLE BIT RATE(VBR)VIDEOENCODING”的美国临时申请序列No.60/721768的权益，其通过引用而被整体包含于此。

技术领域

本发明一般地涉及视频编码，并且更具体地涉及一种用于受限可变比特流(VBR)视频编码的方法和装置。

背景技术

使用速率控制来调节编码视频流的比特率。当在编码器中应用速率控制时，调整量化参数以满足目标比特率。速率控制可大致分为以下两类：恒定比特率(CBR)和可变比特率(VBR)。在网络应用中，尽管CBR可大大简化网络操作，但是CBR效率低于VBR，并且重要的是，尤其对于高运动内容CBR包括处于低比特率的视频质量。假定每个单独的帧将具有不同的复杂性等级并且因此需要以相同的解码质量来压缩不同数目的比特，则VBR可被视为视频的“自然”表示。

VBR编码被认为提供比CBR编码更好的质量，但是在实践中不使用纯粹的或者无限制的VBR。一个原因是因为典型的传输环境可能不允许传输速率上的任意变化。因此，编码器需要产生能够满足某些限制的VBR比特流。

当在实践中使用VBR时，施加到比特率分配上的通常限制是整个序列的平均比特率或特定帧间隔的总比特率。然而，当在相对于视频的区分优先级的(prioritized)结构和/或可分级结构而为视频感知(video-aware)的或者此外允许视频感知分组级多路复用或交换的网络中使用VRB传输时，需要新的VBR限制以利用这种网络，使得可以取得最佳的可能质量。

发明内容

本发明解决现有技术的这些和其它缺陷和缺点，本发明针对一种用于受限可变比特率(VBR)视频编码的方法和装置。

根据本发明的一个方面，提供了一种用于将视频信号数据编码以便在网络中传输的方法。该方法包括以下步骤：使用区分优先级的结构或可分级编码结构中的至少一种而以可变比特率将视频信号数据编码，以便获得具有基本层和增强层的比特流。该编码步骤将视频信号数据编码，使得在第一时间间隔内将基本层比特率限制为小于或等于第一值，并且在第二时间间隔内将包括基本层和增强层的所有比特流限制为小于或等于第二值的比特率。

根据本发明的另一方面，提供了一种用于将视频信号数据编码以便在支持视频感知多路复用和视频感知的交换中的至少一种的网络中传输的视频编码器。该视频编码器包括用于使用区分优先级的结构或可分级编码结构中的至少一种而以可变比特率将视频信号数据编码以便获得具有基本层和增强层的比特流的编码器。该编码器将视频信号数据编码，使得在第一时间间隔内将基本层比特率限制为小于或等于第一值，并且在第二时间间隔内将包括基本层和增强层的所有比特流限制为小于或等于第二值的比特率。

根据应当结合附图阅读的对示例实施例的以下详细描述，本发明的这些和其它方面、特征和优点将变得显而易见。

附图说明

根据以下示例图，可以更好地理解本发明，在所述图中：

图1是根据本原理的实施例的、可以应用本原理的示例视频感知网络的框图；

图2是根据本原理的实施例的、可以应用本原理的示例视频编码器的框图；

图3是根据本原理的实施例的、可以应用本原理的示例视频画面组(GOP)结构的图；以及

图4是根据本原理的实施例的、用于支持视频感知多路复用和/或视频感知交换的网络中的可变比特率(VBR)编码的示例方法的流程图。

具体实施方式

本发明针对用于受限可变比特率(VBR)视频编码的方法和装置。在实施例中，提出了对于VBR的新限制，其对于相对于区分优先级的编码结构和/或可分级编码结构而为视频感知的并且支持视频感知多路复用或交换的网络取得提高的质量。如在这里使用的那样，术语“视频感知(video-aware)”是指能够将视频与其它数据或语音区分开的网络、路由器、和/或交换机制。

本描述举例说明了本发明的原理。因此，将认识到：本领域技术人员将能够设计各种配置，尽管在这里没有被明确地描述或示出，但是这些配置实施本发明的原理并且被包括在其精神和范围内。

在此阐述的所有示例和条件性语言意欲用于教导的目的以帮助读者理解本发明的原理以及由本发明人贡献的用以促进本技术的构思，并且应当被解释为不限于这样具体阐述的示例和条件。

此外，在这里阐述本发明的原理、方面和实施例以及其特定示例的所有语句意欲囊括其结构和功能等效物二者。另外，意图是这样的等效物既包括当前已知的等效物，又包括将来开发的等效物，即所开发的执行相同功能的任何元件，而与结构无关。

因此，例如，本领域技术人员将认识到：在此呈现的框图表示实施本发明的原理的说明性电路的概念图。类似地，将认识到：任何流程图表、流程图、状态转移图、伪代码等表示各种处理，所述各种处理实质上可以以计算机可读介质来表示，从而由计算机或处理器执行，无论这样的计算机或处理器是否被明确示出。

可以通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供图中示出的各种元件的功能。当由处理器提供所述功能时，所述功能可以由单个专用处理器、单个共享处理器、或者其中一些可被共享的多个单独的处理器来提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为专门指能够执行软件的硬件，而是可以隐含地、无限制地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储器。

也可以包括其它传统的和/或定制的硬件。类似地，图中示出的任何交换机都仅仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至手动地执行它们的功能，可以由实现者选择特定技术，如同根据上下文更具体地理解的那样。

在本发明的权利要求中，被表述为用于执行指定功能的部件的任何元件意欲囊括执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合或者b)采用任何形式因而包括固件、微代码等的软件，该软件与用于执行该软件以执行所述功能的适当电路相组合。由这样的权利要求限定的本发明归于以下事实：以权利要求要求的方式来将由各种所阐述的部件提供的功能性组合和集合到一起。因此，认为能够提供那些功能性的任何部件都等效于在此示出的部件。

转到图1，利用参考标号100来总地指示示例视频感知网络。区分优先级的网络100包括内容提供器110，内容提供器110继而包括视频编码器112和多路复用器114。与视频流1到视频流N相对应的视频编码器112的第一到第N输出分别在信号通信上与多路复用器114的第一到第N输入相连接。多路复用器114的输出在信号通信上与区域宽带网络120的输入相连接。区域宽带网络120的输出在信号通信上与数字订户线路接入多路复用器(DSLAM)130的输入相连接。DSLAM 130的第一到第M输出分别在信号通信上与第一到第M调制解调器(在图1中由调制解调器142和调制解调器144代表)的输入相连接。调制解调器142的第一输出在信号通信上与STB 152的输入相连接。STB 152的输出在信号通信上与电视162的输入相连接。调制解调器142的第二输出在信号通信上与STB 154的输入相连接。STB 154的输出在信号通信上与电视164的输入相连接。

DSLAM 130被配置为视频感知的。DSLAM 130将管理每个单独的ADSL链路上的业务，以便确保每个家庭可以以商业级质量接收任何两个(或任何N个)节目流。例如，包括机顶盒152和154以及电视162和164的家庭将能够通过调制解调器142、经由单个不对称数字订户线路(ADSL)链路而以商业级质量来从视频编码器112接收任何两个节目流。如果可以在ADSL链路上获得额外的带宽，例如，如果只有一个流或者如果另一个流具有较低的瞬时比特率，则经由单个ADSL线路的这两个比特流应当能够动态地利用该额外的带宽。将大大简化由DSLAM 130执行的多路复用的一种简单的解决方案是首先将网络100的总带宽(R)除以比特流的数目(N)，这给出目标平均比特率R_avg＝R/N，然后，以处于相同比特率R_avg上的CBR来将每个流编码。然而，这将具有比VBR低的质量。

转到图2，利用参考标号200总地指示可应用本发明的示例编码器。到编码器200的输入在信号通信上与求和节点210的非反相输入相连接。求和节点210的输出在信号通信上与块变换器220相连接。变换器220在信号通信上与量化器230的第一输入相连接。量化器230的输出在信号通信上与可变长度编码器(“VLC”)240相连接，其中，VLC 240的输出是编码器200的外部可用输出。速率控制器277的第一输入在信号通信上与求和节点210的输出相连接，速率控制器277的第二输入在信号通信上与VLC 240的输出相连接，并且速率控制器277的输出在信号通信上与量化器230的第二输入相连接。

量化器230的输出还在信号通信上与逆量化器250相连接。逆量化器250在信号通信上与逆块变换器260相连接，逆块变换器260继而在信号通信上与参考画面存储器270相连接。参考画面存储器270的第一输出在信号通信上与运动估计器280的第一输入相连接。到编码器200的输入还在信号通信上与运动估计器280的第二输入相连接。运动估计器280的输出在信号通信上与运动补偿器290的第一输入相连接。参考画面存储器270的第二输出在信号通信上与运动补偿器290的第二输入相连接。运动补偿器290的输出在信号通信上与求和节点210的反相输入相连接。

根据本发明的原理，公开了其中提供对于VBR的新限制的方法和装置，其对于相对于区分优先级的编码结构和/或可分级编码结构而为视频感知的、并且支持视频感知多路复用或交换的网络(例如，针对图1示出和描述的网络100)取得提高的质量。假定视频流支持区分优先级的和/或可分级的视频编码。例如，所述流可支持使用包括基本层和一个或多个增强层的区分优先级的结构的时间可分级性(scalability)，如图3所示。

转到图3，利用参考标号300总地指示示例视频画面组(GOP)结构。视频GOP结构300被以显示顺序示出，并且说明了帧相关性以及所分配的优先级。基本层310仅包括I和P画面，增强层320包括B/b画面。I画面是帧内编码画面，并且在对其它画面进行编码时被用作参考。P画面是帧间预测编码画面，并且在对其它画面进行编码时被用作参考。B画面是双向预测编码画面，并且在对其它画面进行编码时被用作参考。b画面是在对其它画面进行编码时不被用作参考的双向预测编码画面。基本层310具有比增强层320高的优先级。对于较低帧速率的视频，可以独立于增强层320而将基本层310解码。利用这种结构，我们允许由编码器产生的可变比特率超过目标平均比特率(I+P+B+b)，但是可以抛弃比特流的某一部分(B+b)，例如增强层，而不影响随后的基本层比特流流同时仍然满足商业级质量要求(I+P)。在使用VBR来产生这种类型的比特流、使得仅仅考虑比特流的平均比特率和某个间隔的峰值比特率并且还丢弃所有B/b帧的情况下，剩余比特率可能仍然高于可用带宽。这可能强迫DSLAM 130丢弃具有最高优先级的分组，从而大大损害视频质量。

假定比特流i的基本层比特流速率是R_base，i，其中R_base，i满足以下限制：

$>\underset{i=i}{\overset{N}{\Sigma }}{R}_{\mathrm{base},i}\le R---\left(1\right)$>

满足方程(1)的简单解是设置R_base，i＝R_avg。然而，也可能有其它解。假定比特流i的整个比特流速率(即，对于基本层和一个或多个增强层)是R_tot，i，其中R_tot，i≥R_base，i，这可以基于基本层和增强层之间的比特率比率要求以及/或者可接受的主观质量来判定。因此，我们可以将对于每个比特流的新的VBR限制定义如下：(1)限制1(基本层限制)，其中，在时间间隔T_base内将基本层比特率限制为最大R_base，i；(2)限制2(整个比特流限制)，其中，在时间间隔T_total内将整个比特流(基本层和一个或多个增强层)限制为最大R_tot，i；以及(3)限制3(MinQP限制)，其中，将每个画面和/或宏块的最小量化参数(QP)设置为MinQP。

在前述限制中，限制1旨在保证可以对于经由网络发送的所有比特流满足最小可接受的质量。由于R_base，i满足方程(1)，因此对于所有比特流保证基本层比特流，即，DSLAM 130将不会丢弃来自基本层的画面。限制2旨在利用统计复用以便在可以获得额外的带宽时获得最佳的可能质量。在限制3中，定义MinQP，使得较小的值将不必要地增大比特率，而不提供主观质量的提高。限制3可以允许具有简单内容的比特流使用较少的带宽，从而将更多带宽留给其它比特流，这也可以提高统计复用的收益。

在上述限制中，T_base可以等于T_total或者它们可以不相同。所述时间间隔可以被判定为每个连续间隔或每个离散的间隔。应当认识到，限制3是任选的，并且可以或者可以不在根据本原理的某些实施例中实现。

转到图4，利用参考标号400来总地指示在支持视频感知多路复用和/或视频感知交换的网络中的可变比特率(VBR)编码的示例方法。方法400包括初始化块405，该初始化块405将控制传递给循环限制块410。循环限制块410开始用于要编码的比特流的每个帧的循环，并且将控制传递给判定块415。判定块415确定当前帧是否属于基本层。如果是，则将控制传递给功能块420。否则，将控制传递给功能块425。

功能块420使用一间隔内的基本层限制(限制1)来执行帧比特分配，并且将控制传递给功能块425。功能块425使用一间隔内的整个比特流限制(限制2)来执行帧比特分配，并且将控制传递给功能块430。功能块430执行当前帧的预处理，并且将控制传递给功能块435。功能块435执行帧量化参数(QP)估计，并且将控制传递给循环限制块440，其中，QP＝max(QP，minQP)。循环限制块440开始用于当前帧中的每个宏块的循环，并且将控制传递给判定块445。判定块445确定是否要执行宏块(MB)级速率控制。如果是，则将控制传递给功能块450。否则，将控制传递给功能块480。

功能块450执行宏块量化参数估计，并且将控制传递给功能块455，其中QP＝max(QP，minQP)。功能块455执行MB编码，并且将控制传递给功能块460。功能块460更新宏块统计值，并且将控制传递给循环限制块465。循环限制块465结束用于当前帧的每个宏块的循环，并且将控制传递给功能块470。功能块470更新帧统计值和帧缓冲器，并且将控制传递给循环限制块475。循环限制块475结束用于当前帧的循环，并且将控制传递给结束块485。

功能块480执行宏块编码，并且将控制传递给循环限制块465。

现在，将给出对于本发明的很多伴随的优点/特征中的一些优点/特征的描述，所述优点/特征中的一些优点/特征已经在上面提到过。例如，一个优点/特征是一种用于将视频信号数据编码以便在网络中传输的方法，其中，所述方法包括：使用区分优先级的结构或可分级编码结构中的至少一种而以可变比特率将视频信号数据编码，以便获得具有基本层和增强层的比特流。该编码步骤将视频信号数据编码，使得在第一时间间隔内将基本层比特率限制为小于或等于第一值，并且在第二时间间隔内将包括基本层和增强层的所有比特流限制为小于或等于第二值的比特率。另一优点/特征是如上所述的用于编码的方法，其中，所述编码步骤包括将用于对视频信号数据中的画面或宏块进行编码的量化参数限制为大于或等于特定阈值。此外，另一优点/特征是如上所述的用于编码的方法，其中，将视频信号数据编码为至少两个比特流以便经由网络传输，并且该方法还包括将所述至少两个比特流的基本层比特率的和限制为等于或小于总网络带宽。另外，另一优点/特征是如上所述的用于编码的方法，其中，将所述第一值设置为等于通过将总网络带宽除以在给定时刻要经由网络发送的比特流的总数目而计算的目标平均比特率。此外，另一优点/特征是如上所述的用于编码的方法，其中，基于基本层和增强层的比特率比率的要求或者可接受的主观质量中的至少一个，将所述第二值设置为等于或大于第一值。此外，另一优点/特征是如上所述的用于编码的方法，其中，所述第一时间间隔和第二时间间隔每个都能够被选择性地定义为连续时间间隔或离散时间间隔。而且，另一优点/特征是如上所述的用于编码的方法，其中，所述第一时间间隔等于第二时间间隔。此外，另一优点/特征是如上所述的用于编码的方法，其中，所述第一时间间隔不等于第二时间间隔。此外，另一优点/特征是如上所述的用于编码的方法，其中，所述网络支持视频感知多路复用和视频感知交换中的至少一个。

基于这里的教导，相关领域的普通技术人员可以容易地确定本发明的这些和其它特征及优点。应当理解：可以以硬件、软件、固件、专用处理器或其组合的各种形式来实现本发明的教导。

更优选地，作为硬件和软件的组合来实现本发明的教导。此外，可以作为有形地包含在程序存储单元上的应用程序来实现所述软件。所述应用程序可以被上载到包括任何适当架构的机器并且由其执行。优选地，在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、和输入/输出(“I/O”)接口的硬件的计算机平台上实现所述机器。该计算机平台还可以包括操作系统和微指令代码。在此描述的各种处理和功能可以是能够由CPU执行的微指令代码的一部分或应用程序的一部分、或者它们的任何组合。此外，诸如附加数据存储单元和打印单元的各种其它外围单元可以连接到所述计算机平台。

还应当理解：因为在附图中示出的一些组成系统组件和方法优选地以软件来实现，所以这些系统组件或处理功能块之间的实际连接可根据本发明被编排的方式而不同。在给出这里的教导之后，相关领域的普通技术人员将能够想到本发明的这些和类似的实现或配置。

尽管在这里参照附图描述了说明性实施例，但是应当理解：本发明不限于那些精确的实施例，并且在不背离本发明的范围或精神的情况下，相关领域的普通技术人员可以在其中进行各种改变和修改。所有这样的改变和修改意欲被包括如所附权利要求阐述的本发明的范围内。