用于在单个盘上的标准清晰度和高清晰度视频格式的混合可伸缩编码器、方法和媒体

摘要

公开了一种混合可伸缩编码器(100，600)、方法和媒体，用于将视频信号数据处理为多个块转换系数，所述多个块转换系数用于在双重的、标准清晰度和高清晰度盘上包括的基本层和增强层的每个。所述编码器(100，600)包括：双层分解单元(110)，用于将原始高清晰度信号数据序列分解为基本层数据和增强层数据；标准清晰度编码器(112)，它耦接到所述分解单元，用于将基本层数据编码为体现标准清晰度数据序列的基本层比特流；高清晰度编码器(124)，它耦接到所述分解单元和所述标准清晰度编码器，用于将在高清晰度数据和标准清晰度数据之间的差编码为体现高清晰度数据序列的增强层比特流。

说明书

相关申请的交叉引用

本申请要求2002年12月3日提交的、题目为“Hybrid Scalable CODEC ForSingle-Disc SD/HD-DVD”的美国临时专利申请第60/430,558号的权益，它通过引用被整体包含在此。

技术领域

本发明涉及视频编码解码器，具体涉及用于在单个数字视频盘上集合水平数据的标准清晰度和高清晰度版本的视频编码解码器。

背景技术

视频数据一般被视频编码器和解码器(统称为“CODEC”)以比特流的形式处理，并且被存储在数字视频盘(“DVD”)媒体上。存在一种使用MPEG-2解码器的红色激光DVD播放机的实际安装用户方。用于MPEG-2编码的红色激光器件导致足够支持通常的电影的标准清晰度(“SD”)版本的存储容量，同时对于在同一盘上支持这些电影的高清晰度(“HD”)版本存在极大兴趣。不幸的是，使用MPEG-2的红色激光播放机的安装用户方不足以支持保存通常电影的标准清晰度和高清晰度版本的存储容量。

红色激光和蓝色激光技术已经被考虑来达到足以支持高清晰度记录(“HD-DVD”)的存储容量。蓝色激光技术具有使用MPEG-2来提供用于在一个盘上保存多个高数量HD电影的足够存储量的优点，但是使用蓝色激光来取代红色激光器件的安装用户方在经济上还不可行。因此，需要这样的一种可以用于HD-DVD的编码方案，它也可以支持在由使用MPEG-2解码器的当前的红色激光器件可读的同一盘上的SD-DVD。

因此，使用红色激光HD-DVD，期望在单个盘上除了HD版本之外还存储可以由具有MPEG-2解码器的当前播放机读取的电影的SD版本。这将意味着内容建立者不必除了SD盘之外还制作一个独立的HD-DVD盘，并且零售商需要使用仅仅一个库存单位(“SKU”)来库存每个电影仅仅一个盘。这可以避免一些问题，诸如对于广播高清晰度电视(“HDTV”)遇到的那些问题，其中，广播公司直到销售出更多HD套件才发送HD，但是消费者直到有更多的HD内容可以获得时才购买HD套件。

本发明假定使用单面的存储媒体。虽然双面盘是用于获得更多的存储量的一种选择，但是对于使用盘的两面有一些阻碍因素。这部分是因为下述缺点：成本增加，并且在两面上存储内容与通常被置于盘的一面上的标签冲突。因此，用于HD-DVD的下述手段种的每一个具有很大的缺点和不足：(i)蓝色激光技术，(ii)双面红色激光盘和(iii)用于电影的HD和SD版本的独立红色激光盘。

发明内容

通过混合可伸缩(scalable)编码器、方法和媒体来处理现有技术的这些和其他缺陷和缺点，所述混合可伸缩编码器、方法和媒体用于将视频信号数据处理为多个块转换系数，所述多个块转换系数用于在双重的、标准清晰度和高清晰度盘上包括的基本层和增强层的每个。所述编码器包括：双层分解单元，用于将原始高清晰度信号数据序列分解为基本层数据和增强层数据；标准清晰度编码器，它耦接到所述分解单元，用于将基本层数据编码为体现标准清晰度数据序列的基本层比特流；高清晰度编码器，它耦接到所述分解单元和所述标准清晰度编码器，用于将在高清晰度数据和标准清晰度数据之间的差编码为体现高清晰度数据序列的增强层比特流。

通过参照附图而读取的、下面的例证实施例的说明，本发明的这些和其他方面、特点和优点将变得清楚。

附图说明

本发明使用按照下述示意图的、用于在单个数字视频盘(“DVD”)上集合标准清晰度(“SD”)和高清晰度(“HD”)的混合可伸缩视频CODEC，其中：

图1示出了按照本发明的原理的混合可伸缩编码器的方框图；

图2示出了按照本发明的原理的、可用于图1的编码器的下采样算法的方框图；

图3示出了按照本发明的原理的、可用于图1的编码器的转换系数的方框图；

图4示出了按照本发明的原理的、可用于图1的编码器的内插算法的方框图；

图5示出了按照本发明的原理的、可用于图1的编码器的运动补偿滤波的方框图；

图6示出了按照本发明的原理的、混合可伸缩编码器的另一个实施例的方框图；

图7示出了按照本发明的原理的混合可伸缩解码器的方框图。

具体实施方式

我们已经认识到需要、并且考虑了使用至少两种手段来在单个红色激光盘上提供电影的标准清晰度(“SD”)和高清晰度(“HD”)版本。第一种手段是提供使用红色激光的单个盘的SD和HD，它具有同时联播(simulcast)的、用于SD的MPEG-2和用于HD的H.26L。第二种手段是提供使用红色激光的单个盘SD和HD，它具有对于基本层使用MPEG-2和对于增强层使用改进H.26L的混合可伸缩手段。

为了在一个盘上存储SD和HD，现在考虑同时联播和可伸缩这两种选择。由于红色激光DVD的存储容量限制，MPEG-2可能对HD播放机来说不足。同时联播手段在盘上记录独立的MPEG-2SD和H.26LHD流，而可伸缩手段对于基本层使用MPEG-2和对于增强层使用改进的H.26L。

为了比较，考虑7、8和9Mbps的总比特率。对于这些总比特率的每个，表1和2分别呈现用于几种不同情况的、所公开的混合可伸缩和同时联播手段的所估计的性能。所述性能是以等同的MPEG-2HD比特率被估计的。一种特定情况的等同的MPEG-2HD比特率是MPEG-2比特率，需要它来实现与这种情况下的HD层类似的质量。

表1：所估计的混合可伸缩性能

表2.所估计的同时联播性能

对于每个总比特率，列出了两个不同的SD比特率：3和4Mbps。另外，相对于H.26L与MPEG-2使用两个不同的改进系数：2和2.5。这意味着考虑以比特率的2倍或2.5倍的MPEG-2提供与以比特率1倍的H.26L类似的质量。

通过将HD比特率乘以H.26L改进系数而获得表2的同时联播情况下的性能。通过下述方式来获得表1的混合可伸缩手段的估计性能：将HD比特率乘以H.26L改进系数、加上SD比特率、并且乘以系数0.9以补偿由于可伸缩性而导致的编码效率的损失。所述0.9系数是基于先前经验的估计值。

表1和2中的阴影行表示可以预期提供HD-DVD的足够质量的情况。比较所述表，在表1中有更多的行被加阴影。查看表2，可以看出，对于用于提供可接受的质量的同时联播手段，或者1)H.26L必须相对于MPEG-2提供2.5X的改进，并且3Mbps必须对于SD层足够，或者2)必须使用9Mbps来用于总的视频比特率，并且3Mbps必须对于SD层足够，或者3)必须使用9Mbps来用于总的视频比特率，并且H.26L必须相对于MPEG-2提供2.5X的改进。

对于可伸缩的情况，所述性能将不足以用于边界情况，其中，1)用于计算等同的MPEG-2HD比特率的公式太乐观，或者2)仅仅7Mbps被允许用于总比特率，并且改进的H.26L相对于MPEG-2不提供2.5X的改进，或者3)4Mbps必须用于SD层，不允许9Mbps的总视频比特率，并且H.26L不提供2.5X的改进。

因此，本发明的实施例允许从双层单面的红色激光DVD盘读取电影的两个版本——一个标准清晰度(“SD”)和一个高清晰度(“HD”)——而不需要第二次存储在SD版本中包括的信息来作为HD版本的一部分。使用混合MPEG-2和改进的H.26L可伸缩性来进行所述编码。对于基本层的MPEG-2的使用提供了可以由当前的SD DVD播放机可以播放的SD比特流。使用改进的H.26L(也被称为JVT或MPEG-4第10部分或AVC)方案来编码增强层以提供将SD和HD电影都置于单个盘上所需要的编码效率。除了DVD媒体之外，本发明也可以被应用到流式和/或易失性内容，诸如流式因特网视频。

下面的说明仅仅说明了本发明的原理。因此应当明白，本领域的技术人员将能够设计各种方案，它们虽然在此不明确地说明和示出但是包含本发明的原理，并且被包括在其精神和范围内。而且，在此所述的所有示例和条件语言主要意欲清楚地仅仅用于教学目的以帮助读者明白本发明的原理和由发明人贡献来发展本领域的思想，并且被理解为不限定这样的具体所述的示例和条件。而且，在此叙述本发明的原理、方面和实施例的所有说明及其具体示例意欲涵盖结构的及其功能的等同内容。另外，这样的等同内容意欲包括当前已知的等同内容以及未来开发的等同内容、即所开发的执行同一功能而与结构无关的任何元件。

因此，例如，本领域的技术人员可以明白，在此的方框图表示体现本发明的原理的概念视图或说明性电路。类似地，可以明白，任何流程图、状态转换图、伪代码等表示可以以计算机可读媒体实际表示、并且由计算机或处理器执行的各种处理，而不论是否这样的计算机或处理器被明确地示出。

可以通过使用专用硬件以及能够与适当的软件相关联地执行软件的硬件来提供在附图中示出的各种元件的功能。当由处理器提供时，所述功能的提供可以通过单个专用处理器、单个共享处理器或多个独立处理器，其中一些可以被共享。而且，术语“处理器”或“控制器”的明确使用不应当被理解为仅仅指示能够执行软件的硬件，而是可以没有限定地隐含包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。也可以包括其他传统和/或常规的硬件。类似地，在附图中示出的开关仅仅是概念上的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或甚至手工地执行它们的功能，其中，由从上下文更具体地理解实现者可选择的特定技术。

在其权利要求中，被表达为用于执行特定功能的部件的任何元件易于涵盖用于执行那个功能的任何方式，包括例如a)执行那个功能的电路元件的组合或b)与适当电路组合的任何形式——包括固件、微代码等——的软件，所述适当电路用于执行那个软件以执行所述功能。由这样的权利要求限定的本发明在于下述事实：由各种所述部件提供的功能以权利要求所提出的方式被组合和放置在一起。因此申请人将可以提供那些功能的任何手段看作等同于在此所示的那些。

如图1所示，附图标号100一般地指示混合可伸缩编码器。编码器100包括两层分解单元110，用于接收原始的HD序列。分解单元110以信号通信而耦接到MPEG-2编码器112，MPEG-2编码器112从所述分解单元接收基本层像素，并且提供基本层比特流输出。MPEG-2编码器112耦接到SD帧缓冲器114，并且向缓冲器提供重建的基本像素。缓冲器114以反馈信号通信而耦接到编码器112，并且还耦接到内插器116。内插器116耦接到求和块118的第一输入，求和块118的输出耦接到限幅器120。限幅器120继而耦接到HD帧缓冲器122，而它耦接到改进的H.26L编码器124。编码器124的输入耦接到分解单元110，并且一个输出耦接到求和块118的第二输入，用于向求和块提供重建的增强层像素。编码器124提供增强层比特流输出。

转向图2，附图标号200一般地指示下采样算法。示意地，原始HD块210是A_16×16，但是被划分为分别四个8×8子块220、230、240和250。分别通过8×8整数变换器221、231、241和251来向每个子块并行应用8×8整数变换。接着，分别通过低频子块提取器222、232、242和252来对每个被变换的子块执行低通滤波。低通滤波的子块然后分别被零填充(zero-padder)块223、233、243和253在需要的情况下填充零为5×4子块。然后分别由5×4逆变换器224、234、244和254向每个被填充零的子块应用逆变换，以便分别提供新子块225、235、245和255，它们构成一个新块212。通过与11×9零填充器216耦接的10×8整数变换器214来向所述新块212应用整数变换。零填充器216继而耦接到用于提供基本层像素B_11×9的11×9逆变换器218。与对于8×8块的简单独立操作相比较，图2所示的下采样方法的优点是在采样速率转换比上更灵活。对于图2所示的特定实施例，SD层的水平分辨率是HD水平分辨率的9/16，并且SD层的垂直分辨率是HD垂直分辨率的11/16。

如果独立地处理8×8块，这些比率是不可能的，因为所述变换比率将是对于在1和7之间的某个整数P的P/8的形式。

现在转向图3，通过附图标号300来一般地表示8×8子块。子块300对应于图2的子块220、230、240和250。子块300包括基本层310和增强层312变换系数，其中，对于基本层，提取在每个8×8系数块的左上角中的系数310的5×4子块的子集。在8×8块中的剩余系数312是增强层系数。

如图4所示，由附图标号400来一般地表示内插算法。所述算法400包括11×9整数变换器410，用于变换B_11×9的重建版本，它被表示为B’_11×9。块410导致10×8删截块412，它导致用于输出中间块416的10×8逆变换块414。块416分别包括四个子划分的子块460、470、480和490。分别由5×4整数变换器462、472、482和492来向这些子块的每个应用整数变换。接着，分别通过8×8零填充器464、474、484和494来将所变换的子块填充零。然后，所述零填充的、被变换的子块分别被8×8逆变换器466、476、486和496逆变换，以形成对应的新子块468、478、488和498，它们一起构成B’_16×16块418。

转向图5，由附图标号500来一般地表示运动补偿滤波器。滤波器500包括8×8整数变换器510，用于变换输入P_8×8。变换器510耦接到用于将基本层系数设置为零的分配单元512。所述分配单元512继而耦接到用于提供输出P’_8×8的逆变换器514。

现在转向图6，附图标号600一般地表示混合可伸缩编码器的另一个实施例。编码器600类似于图1的编码器100，但是具有用于完成分解的下采样单元。因此，所述编码器包括下采样单元610，用于接收原始HD序列和下采样以提供基本层像素。编码器600也包括第一求和块611，用于在非反相输入接收原始HD序列。下采样单元610以信号通信而耦接到用于从下采样单元接收基本层像素的MPEG-2编码器612，并且提供基本层比特流输出。所述MPEG-2编码器612耦接到SD帧缓冲器614，并且向所述缓冲器提供重建的基本像素。缓冲器614以反馈信号通信来耦接到编码器612，并且还耦接到内插器616。内插器616耦接到第一求和块611的反相输入。内插器616还耦接到第二求和块618的第一输入，第二求和块618的输出耦接到限幅器620。限幅器620继而耦接到HD帧缓冲器622，HD帧缓冲器622耦接到改进的H.26L编码器624。编码器624的一个输入耦接到第一求和块611的输出，用于接收增强层像素，并且其一个输出耦接到到第二求和块618的第二输入，用于向第二求和块618提供重建的增强层像素。编码器624提供增强层比特流输出。

如图7所示，附图标号700一般地表示混合可伸缩解码器。解码器700包括MPEG-2解码器710，用于接收基本层比特流。MPEG-2解码器耦接到SD帧缓冲器712，用于缓冲标准清晰度的帧。SD帧缓冲器712提供适合于SD显示器的输出，并且耦接回MPEG-2解码器710。MPEG-2解码器还耦接到内插器714，它继而耦接到两层合成单元或求和块718。混合可伸缩解码器器700还包括改进的JVT解码器716，用于接收增强层比特流。改进的JVT解码器耦接到求和块718的第二非反相输入。求和块718的输出耦接到限幅单元720，它继而耦接到HD帧缓冲器722。HD帧缓冲器722提供适合于HD显示器的输出，并且也耦接回改进的JVT解码器716。在操作中，例证的混合可伸缩方案对于基本层胡斯亚MPEG-2编码和对于增强层使用改进的H.26L编码。在例证系统中，HD层的分辨率是1280×720，SD层是704×480。

图1示出了例证混合可伸缩编码器的高层方框图。首先，将原始HD材料分解为包含原始序列的低频内容的基本层和包含原始序列的高频内容的增强层。使用MPEG-2(或其他适合的SD方案)来编码基本层，并且使用H.26L的改进版本(或其他适合的HD方案)来编码增强层。在本发明的一个例证实施例中，以交织的方式在盘上记录基本和增强比特流。通过内插重建的基本层像素和向重建的增强层像素加上所述结果来获得重建的HD帧。

混合可伸缩解码器的一个例证实施例包括MPEG-2解码器、改进的H.26L解码器和用于基本层的内插器。所述内插器和H.26L解码器的输出被求和以形成重建的HD帧。

为了提供两层的分解，图2示出了用于下采样输入的HD块A_16×16以获得基本层像素块B_11×9的算法。图2所示的处理量将很大，除了在图中的每个步骤可以被写为矩阵变换，因此有可能实现下述整个程序：先乘以用于水平下采样的矩阵(D₁)，随后乘以用于垂直下采样的矩阵(D₂)。

一般，可能优选用于建立SD帧的基于变换的下采样，但是可以有这样的应用，其中，应当使用替代实施例空间域FIR滤波来避免可能从滤波和/或下采样的变换类型产生的非自然现象。

向回参见图2，下采样的第一部分工作在8×8块上。对于基本层，在每个8×8系数块的左上角的系数的5×4子块的子集(或可能整个5×4子块)被提取，如图3所示。由图3的灰色区域表示的、在8×8块中的剩余系数是增强层系数。

通过将少于所述5×4左上块的一组系数置于基本层并且然后零填充为5×4，实现了基本层的低通滤波。在可伸缩方案的整个编码效率上，将小数量的系数置于基本层用于两个目的。第一，然后使用更有效的H.26L增强层编码来编码更多的数据。第二，对于给定的基本层比特率，在基本层中，较小数量的基本层系数可以被编码到较好的精度，因此，在增强层中不需要改进这些系数。这是实现用于计算在表1中给出的所估计的性能数字的90％效率的关键。在替代实施例中，基本层的系数的选择可以是预定的或自适应的。下采样变换矩阵(D₁)和(D₂)依赖于在基本层中使用哪些系数，因此如果所述选择是自适应的，则或者存储多个版本的(D₁)和(D₂)，或者以两步而不是一步来执行图2的处理。

对于基本层处理，块B_11×9形成SD帧的一部分。使用MPEG-2来编码那个SD帧，并且在SD帧缓冲器中存储所重建的帧。B_11×9的重建版本、被表示为B’_11×9，被内插以形成16×16块B’_16×16。图4示出了所述内插算法。像在下采样的情况那样，可以使用两个矩阵的相乘来实现所述内插。首先，先乘以矩阵(D₄)垂直地内插，然后后乘以(D₃)水平地内插。从原始数据减去内插的块B’_16×16以形成增强层块(E_16×16)。

使用用于增强层编码的改进版本H.26L来编码所述块(E_16×16)。用于编码增强层的、对于H.26L进行的两种改进包括：

a)在运动补偿单元中使用额外的滤波步骤。在执行子像素内插后，从预测中去除低频内容。图5中图解了用于执行这个任务的处理。它可以被实现为先乘以矩阵(D₅)，后乘以矩阵(D₆)。矩阵(D₅)和(D₆)依赖于在基本层中编码哪些系数，因此如果自适应地进行在编码器中的基本层系数的选择，则必须以信号向解码器通知这种选择。这个参数可以仅仅在画面层改变，在这种情况下开销不大。

b)从非可伸缩的H.26L以不同的顺序来扫描变换系数。新的扫描顺序将所有的基本层系数置于开端，后随增强层系数。

除了对于H.26L编码器进行的两种改进之外，还对编码模式进行一些限制。首先，在增强层中不允许H.26L的4×4、4×8、8×4运动补偿模式。试验显示，这些模式在HD分辨率下不很有用，因此对于编码器的这种约束对于编码效率影响不很大。所作出的第二种限制是仅仅作为H.26L的自适应块变换特性的一部分的8×8变换用于亮度。

向回参见图1，增强层系数被重建并且加到被内插的重建基本层像素以形成重建的HD帧。这些重建的HD帧被用作用于编码未来的增强层数据的参考帧。

可以通过用于在盘上存储所述两个层的两种替代方式之一来实现在盘上的比特流的交织。它们是：

1)使用DVD的多角度/无缝分支特征。基本流将被存储为角度一，并且增强层将被存储为其他的角度。仅仅角度一可由当前的DVD播放机播放。当前的DVD标准指定了对于多个角度和无缝分支的多个约束(例如最大跳跃扇区、最小缓冲扇区)，如果满足这些约束的话，则应当保证无缝的重放。

2)使用用于增强层的其他流ID。因为当前的DVD仅仅使用流ID0xE0来存储视频流，因此可以使用其他的流ID来存储增强层。

本发明提供了同时从单个盘解码两个比特流以获得HD版本或解码单个比特流以获得SD版本的能力。内容提供商可以仍然选择在例如它们要对于电影的HD版本充值的情况下释放用于SD和HD的两个独立的盘。新的播放机除了可伸缩流之外还播放具有非可伸缩H.26L流的盘。本发明的实施例可以记录内容建立者、视频商店和消费者以在新的HD播放机已经达到平衡仅仅具有HD的盘的建立、销售和购买的安装数量之前建立HD材料的库存。

因此，所公开的CODEC的优选实施例包括两个特点：(i)用于下采样的新方法，它将低频变换系数置于基本层中，并且将高频变换系数置于增强层中，并且比先前的方法在采样速率变换比率上具有更大的灵活性；(ii)用于降低基本层比特率的方法，它不要求在增强层中改进基本层系数。

本发明的这些和其他特点和优点可以容易地被相关领域的普通技术人员根据在此的教程而确定。应当明白，本发明的教程可以以硬件、软件、固件、专用处理器或其组合的各种形式来实现。

更优选的是，本发明的教程被实现为硬件和软件的组合。而且，所述软件最好被实现为在程序存储单元上确实地体现的应用程序。这个应用程序可以被上载到包括任何适当的架构的机器，并且由其执行。优选的是，所述机器被实现在计算机平台上，所述计算机平台具有硬件，诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口。所述计算机平台也可以包括操作系统和微指令代码。在此所述的各种处理和功能可以是微指令代码的一部分或应用程序的一部分或其组合，它们可以由CPU执行。另外，各种其他外围单元可以连接到计算机平台，诸如附加的数据存储单元和打印单元。

还应当明白，因为在附图中所述的构成系统部件和方法的一些最好以软件来实现，因此在所述系统部件或处理功能块之间的实际连接可以根据编程本发明的方式而不同。在给出在此的教程的情况下，相关领域的普通技术人员将能够考虑本发明的这些和类似的实现方式或配置。

虽然在此参照附图而说明了说明性实施例，但是应当明白，本发明不限于那些精确的实施例，可以在不脱离本发明的范围或精神的情况下由相关领域的普通技术人员在其中进行各种改变和改进。所有这样的改变和改进意欲被包括在所附的权利要求所给出的本发明的范围中。