对亮度及色度使用单独编码树的视频编码方法

摘要

本发明揭露了一种对亮度分量以及色度分量使用单独编码树的视频编码的方法。允许亮度分量以及色度分量具有自己的编码树来分割对应的视频数据。在一个实施例中，第一语法元素被用于亮度编码树的每个第一节点以指示第一节点是否被分割，且单独的第二语法元素被用于色度编码树的每个第二节点以指示第二节点是否被分割。对于每个CTU，使用单独的语法元素来标识亮度编码树以及色度编码树。此外，对于每个CTU，用于亮度编码树的语法元素可以在用于每个色度CTU的语法元素之前被标识。

说明书

【相关申请的交叉引用】

本发明主张申请于2014年11月11日，序列号为PCT/CN2014/090792的PCT专利申请的优先权。将此PCT专利申请以参考的方式并入本文中。

【技术领域】

本发明涉及视频编码。特别地，本发明涉及与用于亮度以及色度分量的编码树设计相关联的编码技术。

【背景技术】

高效视频编码(High Efficiency Video Coding，Recommendation ITU-T H.265，Series H：Audiovisual And Multimedia Systems，Infrastructure of AudiovisualServices-Coding of Moving Video，International Telecommunication Unit，April，2013)是一种高级的视频编码系统，其是在来自ITU-T研究组的视频编码专家组的视频编码的联合协作小组(Joint Collaborative Team on Video Coding，JCT-VC)的基础上开发出来的。于HEVC中，除了在条带边界之外，一个条带首先被分割为(split into)具有相同尺寸的多个编码树单元(coding tree unit，CTU)。每个CTU通常具有64x64的尺寸(即，64x64亮度像素以及色度像素的相同内容区域)。使用四叉树分割将每个CTU进一步分割为多个编码单元(coding unit，CU)。对于每个CU，CU可被进一步划分为(partitioned into)一个或多个预测单元(prediction unit，PU)以应用预测处理(例如，帧内以及帧间预测)。与每个CU相关联的预测残差被划分为一个或多个变换单元(transform unit，TU)以应用变换处理(例如：离散余弦变换(discrete cosine transform，DCT)或离散正弦变换(discrete sinetransform，DST))。

图1所示为基于四叉树的示范性编码单元分区。于深度0，由64×64像素组成的初始单元112对应于CTU。初始单元112如方框110所示进行四叉树分割。分割旗标0指示底层单元(underlying unit)未被分割，另一方面，分割旗标1指示底层单元被四叉树分割为四个更小的单元122。所得到的四个单元被标记为0、1、2、以及3，且每个所得到的单元变成在下一深度中用于进一步分割的单元。因此，于深度1，单元122如方框120所示进行四叉树分割。另外，分割旗标0指示底层单元未被分割，另一方面，分割旗标1指示底层单元被四叉树分割为四个更小的单元132。单元132具有16×16的尺寸，且四叉树分割的处理将继续，直到所有单元都是叶单元(leaf unit)(即，分割旗标＝0)或达到最小的CU尺寸。每个最终叶单元被称为CU。分区图(partition map)必须被传送到解码器，以使解码处理能被相应地执行。

图2示出了HEVC标准中规定的对应的编码四叉树语法。如图2所示，根据HEVC标准的四叉树分割语法不区分(differentiate)亮度以及色度分量。换句话说，亮度以及色度分量共享相同的四叉树分割语法。于图2中，编码四叉树210包括split_cu_flag 220。于步骤230，测试split_cu_flag是否等于1。如果结果为“是”，则表示当前中间单元被分割为四个更小的单元。四个更小的单元被进一步四叉树分割。因此，包括四个四叉树语法结构250、260、270、以及280。如果结果为“否”，则表示当前单元不被分割，且此单元被称为CU。因此，此CU将被用于CU编码，且包括用于CU等级编码240的语法。如图2所示，一个语法元素split_cu_flag被用于指示当前中间单元是否被进一步分割为用于亮度以及色度分量的四个子单元。

图3A以及图3B所示为使用四叉树的CTU分区的示例。全尺寸CTU 310对应于深度0，其被划分为4个深度为1的中间单元，被标记为图3A中的0、1、2、以及3。如图3A以及图3B所示，于4个深度为1的单元中，位于位置0320以及3330的深度为1的单元被进一步使用四叉树划分为深度为2的单元。位置2340的深度2被进一步划分为深度为3的单元。于图3B，圆圈对应于树的中间节点，且点对应于叶节点(leaf node)。每个叶节点表示待编码的CU。每个CTU可以被不同地分割以优化编码性能。因此，用于每个CTU的树结构必须被传送至解码器以恢复用于每个CTU的树结构。

图4所示为根据HEVC标准的CU编码410的语法。如图4所示，包括cu_trans_quant_bypass_flag 420、part_mode_flag 430、pcm_flag 440、帧内亮度预测模式450、帧内色度预测模式460、预测单元参数470、以及变换树480的各种编码信息被包括在用于亮度以及色度的CU语法中。

于序列参数集(Sequence Parameter Set，SPS)RBSP语法中包括两个语法元素log2_min_luma_coding_block_size_minus3以及log2_diff_max_min_luma_coding_block_size以指示最小亮度CU尺寸以及最大亮度CU四叉树分割深度。由于色度四叉树被连接到对应的亮度区域，所以根据这两个用于亮度分量的语法元素，最小色度CU尺寸以及最大色度CU四叉树分割深度是隐含的(implicitly)。

于帧内色度预测中，当前色度预测块可以使用覆盖相同内容的对应亮度区域的亮度预测模式。如图5所示，因为CU以及PU分区对于亮度以及色度是共享的，所以对应的亮度区域510仅具有一个亮度帧内预测模式，其可被用作用于当前色度块520的色度预测模式。

亮度以及色度分量的纹理性质通常是不同的。例如，色度分量通常具有比亮度分量更平滑(smoother)的纹理。因此，强制亮度以及色度共享相同的编码四叉树可能会降低编码性能。因此，希望能开发编码技术以提高包括亮度以及色度数据的视频数据的编码效率。

【发明内容】

本发明揭露了一种用于包括一个亮度分量以及一个或多个色度分量的视频数据的使用单独编码树(separate coding tree)的视频编码的方法。允许亮度分量以及色度分量具有自己的编码树来分割对应的视频数据。在一个实施例中，第一语法元素被用于亮度编码树的每个第一节点以指示第一节点是否被分割，且单独的第二语法元素被用于色度编码树的每个第二节点以指示第二节点是否被分割。对于每个CTU，使用单独的语法元素来标识(signaled)亮度编码树以及色度编码树。此外，对于每个CTU，用于亮度编码树的语法元素可以在用于色度编码树的语法元素之前被标识。

最大亮度编码树分割深度(coding-tree splitting depth)以及单独的最大色度编码树分割深度可被用于单独的亮度以及色度编码树。此外，最大亮度编码树分割深度以及单独的最大色度编码树分割深度可被标识于序列参数集(sequence parameter set，SPS)、图片参数集(picture parameter set，PPS)、或条带标头。附加的语法元素可被标识于SPS以确定最大色度编码树分割深度。

对于每个亮度CU，用于亮度分量的编码信息可以被标识。编码信息可对应于从包括亮度2Nx2N或NxN分区、一个或多个亮度非平方分区、一个或多个亮度非对称分区、亮度帧内预测模式、亮度变换树、变换分割旗标，已编码块旗标、以及残差的组中选择的一个或多个元素。编码信息可以进一步包括：亮度增量(delta)量化参数(quantization parameter，QP)、亮度脉冲代码调制(Pulse Code Modulation，PCM)旗标、以及lumatrans_quant_bypass_flag，其中，lumatrans_quant_bypass_flag指示是否旁路(bypass)用于对应亮度CU的变换以及量化。

对于每个色度CU，用于色度分量的编码信息也可被标识。编码信息对应于从包括一个或多个色度分区类型、色度帧内预测模式、以及色度变换树的组中选择的一个或多个元素。色度分区类型可被限制为只为2Nx2N，在此情况下，不需要标识色度分区类型。编码信息还可包括：色度QP、色度PCM旗标、以及chromatrans_quant_bypass_flag，其中，chromatrans_quant_bypass_flag指示是否旁路用于对应色度CU的变换以及量化。

当色度PU基于覆盖与色度PU相同的第一内容的第一对应亮度区域的一个或多个第一亮度帧内预测模式确定色度预测模式且色度PU被分割为一个或多个色度TU时，每个色度TU可使用从覆盖与每个色度TU相同的第二内容的第二对应亮度区域的一个或多个第二帧内预测模式导出的色度帧内预测模式。当第二对应亮度区域具有多于一个第二亮度帧内预测模式时，用于每个色度TU的色度帧内预测模式可基于所有第二亮度帧内预测模式，或来自第二对应亮度区域的一些已选择位置的一些已选择亮度帧内预测模式来被确定。

单独的亮度编码树以及色度编码树的使用只被应用于I条带中的CTU，且相同的亮度编码树以及色度编码树可被应用于B条带以及P条带中的CTU。在另一实施例中，单独的亮度编码树以及色度编码树的使用可被应用于I条带、B条带、以及P条带中的CTU。当亮度CU以及色度CU在B条带或P条带中的一个CTU内时，单独的运动信息被用于亮度CU以及色度CU。

【附图说明】

图1所示为根据HEVC标准的使用四叉树的CTU分区的示例。

图2所示为根据HEVC标准的用于CU的编码四叉树过程的示范性流程图。

图3A所示为使用四叉树将CTU分区为叶CU的示范性结果。

图3B所示为对应于图3A中CTU分区的编码树。

图4所示为根据HEVC标准的包括解析用于CU的语法元素的编码过程的示例。

图5所示为根据HEVC标准的用于色度块的色度帧内预测模式是基于覆盖相同内容的对应亮度区域的亮度预测模式的情形。

图6所示为根据本发明实施例的用于亮度CU的亮度编码四叉树过程的示范性流程图。

图7所示为根据本发明实施例的用于色度CU的色度编码四叉树过程的示范性流程图。

图8所示为根据本发明实施例的包括用于亮度CU的解析语法元素的编码过程的示例。

图9所示为根据本发明实施例的包括用于色度CU的解析语法元素的编码过程的示例。

图10所示为根据本发明实施例的当PU没有被分割为多个TU时，色度PU使用覆盖相同内容的对应亮度区域的亮度预测模式的示例。

图11所示为根据本发明实施例的当PU被分割为多个TU时，色度PU使用覆盖相同内容的对应亮度区域的亮度预测模式的示例。

图12所示为结合本发明实施例的用于使用单独的亮度以及色度编码树的编码系统的示范性流程图。

【具体实施方式】

下文的描述是实施本发明的最佳预期模式。此描述是为了说明本发明的一般原理，而不应被理解成对本发明的限制。本发明的范围可通过参考所附权利要求做最好的确定。

为了允许利用不同颜色分量的不同特性，本发明的实施例允许使用用于亮度以及色度分量的单独编码树。

于第一实施例中，单独编码单元分割旗标(separate coding-unit split flag)被用于指示相应颜色分量的当前单元是否被进一步分割为用于亮度以及色度分量的四个子单元。例如，取代一个共享的split_cu_flag的两个单独的语法元素split_luma_cu_flag以及split_chroma_cu_flag，可被用于分别指示用于亮度以及色度分量的编码四叉树分割。图6以及图7分别示出了用于亮度以及色度分量的编码四叉树的示例。于图6中，根据本实施例的用于亮度分量的CU四叉树分割语法类似于图2中用于共享的亮度/色度分量的CU四叉树分割。于图6中，亮度编码四叉树610包括split_luma_cu_flag 620。于步骤630中，测试split_luma_cu_flag是否等于1。如果结果为“是”，则表示当前亮度中间单元被分割为四个更小的亮度单元。四个更小的亮度单元可被进一步四叉树分割。因此，包括四个四叉树语法结构650、660、670、以及680。如果结果为“否”，则表示当前亮度单元不被分割，则此亮度单元被称为亮度CU。因此，此亮度CU被准备用于CU编码，且包括用于CU等级编码640的语法。于图7中，色度编码四叉树710包括split_chroma_cu_flag 720。于步骤730中，测试split_chroma_cu_flag是否等于1。如果结果为“是”，则表示当前色度中间单元被分割为四个更小的色度单元。四个更小的色度单元可被进一步四叉树分割。因此，包括四个四叉树语法结构750、760、770、以及780。如果结果为“否”，则表示当前色度单元不被分割，则此色度单元被称为色度CU。因此，此色度CU被准备用于CU编码，且包括用于CU等级编码740的语法。虽然图6以及图7所示为单独的编码四叉树的示例，其它单独编码树(例如：二进制树(binarytree))也可被用于实践本发明。

根据本发明，用于亮度以及色度分量的编码四叉树被单独地标识于每个CTU中。此外，亮度编码四叉树可于色度编码四叉树之前被标识。图8以及图9分别示出了亮度CU编码及语法结构以及色度CU编码及语法结构的示例。图8所示为亮度CU语法810，其类似于图4中用于亮度以及色度分量的联合亮度/色度CU语法，其与图4的不同在于图8不包括任何用于色度分量(即，没有帧内色度预测模式)的语法元素。如图8所示，包括cu_luma_trans_quant_bypass_flag 820、lumapart_mode_flag 830、lumapcm_flag 840、帧内亮度预测模式850、亮度预测单元参数860、以及亮度变换树870的各种编码信息被包括于用于亮度分量的CU语法中。图9所示为不包括任何关于亮度分量的语法的色度CU语法的示例。如图9所示，包括cu_chroma_trans_quant_bypass_flag 920、chromapart_mode_flag 930、chromapcm_flag 940、帧内色度预测模式950、色度预测单元参数960、以及色度变换树970的各种编码信息被包括于用于色度分量的CU语法中。虽然图8以及图9所示为单独的CU语法的示例，其它单独的CU语法也可用于实践本发明。

根据现存的HEVC标准，最大编码四叉树分割深度被标识，且被亮度以及色度分量共享。对于本发明的实施例，用于亮度以及色度分量的最大编码四叉树分割深度可以是单独的。此外，最大编码四叉树分割深度可被定义于高等级语法(例如：SPS、PPS、或条带标头)中。例如，亮度分量可使用用于最大亮度编码四叉树分割深度的原始语法，而两个附加的语法元素log2_min_chroma_coding_block_size_minus2以及log2_diff_max_min_chroma_coding_block_size可被标识于SPS中以用于色度分量。语法元素log2_min_chroma_coding_block_size_minus2指定最小色度CU尺寸减2，且语法元素log2_diff_max_min_chroma_coding_block_size指定最大色度CU尺寸以及最小色度CU尺寸之间的差值。因此，最大色度编码四叉树分割深度可从这两个附加的语法元素来确定。

此外，根据本发明的另一实施例，用于亮度分量的编码信息可被标识于亮度CU，其中，亮度编码信息可包含：亮度分区类型(例如：2Nx2N、NxN、非平方分区、或非对称分区)、亮度帧内预测模式、以及亮度变换树(变换分割旗标、已编码块旗标、以及残差)。

类似地，用于色度分量的编码信息可被标识于色度CU，其中，色度编码信息可包含：色度分区类型、色度帧内预测模式、以及色度变换树。因为色度纹理通常比亮度更简单，根据一个实施例，只有一个分区类型(例如，2Nx2N)可被用于色度。因此，在此情况下，不需要标识色度分区类型。

根据一个实施例，增量QP也可被单独的用于亮度以及色度分量。因此，用于亮度分量的增量QP被标识于亮度CU，且用于色度分量的增量QP被标识于色度CU。

根据本发明的一个实施例，PCM模式以及语法元素trans_quant_bypass_flag也可被单独的用于亮度以及色度分量。因此，亮度PCM旗标可被标识于亮度CU以指示亮度PCM样本是否存在，且语法元素cu_luma_trans_quant_bypass_flag可被标识于亮度CU以指示用于亮度分量的变换以及量化过程是否被旁路。类似地，色度PCM旗标可被标识于色度CU以指示色度PCM样本是否存在，且语法元素cu_chroma_trans_quant_bypass_flag可被标识于色度CU以指示用于色度的变换以及量化过程是否被旁路。

当色度PU使用覆盖相同内容的对应亮度区域的亮度帧内预测模式，且色度PU被分割为一个或多个TU时，每个色度TU使用其对应亮度区域的帧内预测模式。因为对应亮度区域可具有多于一个的亮度帧内预测模式，所有模式或一个或多个具体位置的模式可被用作用于当前色度TU的候选。例如，如图10以及图11所示，左上位置(top-left position)以及中心位置的帧内预测模式可被用作用于当前色度TU的候选。图10所示为色度PU仅具有一个色度TU 1020的情形。覆盖色度PU的相同内容的对应亮度区域1010可具有一个或多个帧内预测模式。用于左上位置1030以及中心位置1040的亮度帧内预测模式可被用作候选以确定用于当前色度TU的色度帧内预测模式1050。图11所示为色度PU具有四个色度TU 1120，且覆盖色度PU的相同内容的对应亮度区域1110可具有一个或多个帧内预测模式的情形。对于每个色度TU，覆盖相同内容的对应亮度区域的左上位置以及中心位置的亮度帧内预测模式可被用作候选以确定用于每个色度TU的色度帧内预测模式。因此，4个色度帧内预测模式1130、1140、1150以及1160被导出以用于4个色度TU。以上示例的中心位置是指PU的中心点的左上(upper-left)块。然而，其它中心位置，例如右下(lower-right)块，也可被用作为中心位置。

在另一实施例中，用于亮度以及色度分量的单独的编码四叉树可以仅被应用于I条带。对于P以及B条带，统一的编码四叉树仍然由亮度以及色度分量共享。用于亮度以及色度分量的单独的编码四叉树也可被应用于条带的所有类型(即，I，P，以及B)。根据本发明的另一实施例，当用于亮度以及色度分量的单独的编码四叉树被应用于P以及B条带时，用于CU的运动信息可被单独的用于亮度以及色度分量。在又一实施例中，单独的色度编码四叉树可被用于不同的色度分量(例如：U以及V)。

图12所示为结合本发明实施例的用于使用单独的亮度以及色度编码树的解码系统的示范性流程图。如步骤1210所示，系统接收对应于已编码视频数据的视频比特流，其中，视频数据包括一个亮度分量以及一个或多个色度分量，且视频数据被分为多个CTU，以及每个CTU包括亮度以及色度分量。视频比特流可从存储器(例如：缓冲器(RAM或DRAM)的计算机存储器)获取。视频比特流还可从处理器(例如：处理单元或数字信号)中接收。如步骤1220所示，根据分别表示亮度编码树以及色度编码树的单独的语法元素，从视频比特流中确定用于每个亮度CTU的一个亮度编码树以及用于每个色度CTU的一个色度编码树。于步骤1230中，根据对应亮度编码树，从比特流中解码每个亮度CTU。于步骤1240中，根据对应色度编码树，从视频比特流中解码每个色度CTU。

结合本发明的实施例，以上所示的流程图旨在说明视频编码的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分割步骤，或合并步骤来实施本发明。

以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。

如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片的一个或多个电子电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。

在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。