分层视频编码和解码中对颜色通道进行编码和解码的方法和设备

摘要

提供了一种在分层视频编码器中对颜色通道进行编码的方法和设备。根据所述方法和设备，如果存在在颜色通道的编码期间可以跳过的至少一个颜色通道，则将表示颜色通道的结构的宏块的编码重要模式(CSP)转换为具有跳过了所述至少一个颜色通道的结构的CSP，使用以跳过所述至少一个颜色通道的结构表示的CSP对宏块的重要变换系数进行编码。

说明书

技术领域

与示例性实施例一致的设备和方法涉及对图像编码和解码，更具体地， 涉及在分层视频编码和解码(也被称为层次化视频编码和解码)中对颜色通 道进行编码和解码。

背景技术

YUV方案是图像处理中用于表示颜色通道的方案之一。YUV方案是基 于人眼对亮度比色度更敏感的事实的颜色表示方案。在YUV方案中，颜色在 其处理期间被划分为亮度分量和色度分量，亮度分量被定义为Y分量，而色 度分量被定义为U和V分量。对于误差敏感的Y分量通常需要比表示色度的 U和V分量更多的比特的编码。

如果Y分量以及U和V分量被划分为颜色通道，则表示亮度的Y分量 对应于亮度通道，而表示色度(即，色差)的U和V分量对应于色度通道。 Y、U、V分量可被分别称为Y、U、V通道。

以例如16×16像素块(在空间上被定义为宏块)为单元对图像进行编码 和解码。宏块通常由四个8×8像素块组成。例如，如果原始图像的色度格式 是4:2:2，则一个宏块可由总共八个通道块组成：四个Y通道块、两个U通 道块和两个V通道块。Y通道块对应于亮度块，而U和V通道块对应于色度 块(即，色差块)。另外，Y通道块由顶块和底块组成。顶块和底块均由两个 块组成，U和V通道块也均由两个块组成。

通常，对于图像编码和解码，基于宏块执行图像处理，在图像处理期间， 以上的颜色通道被编码和解码。在一个宏块中，所有的颜色通道由表示如上 所述的亮度和色度的多个块组成。然而，由于该方法使用在基本层和增强层 的每一个中对整个图像进行编码和解码的方案，因此现有技术的分层视频编 码/解码技术对包括图像的亮度通道和色度通道(即，色差通道)的所有颜色 通道进行编码和解码。

然而，在这种情况下，不仅使用的颜色通道被编码和解码，未被使用的 颜色通道也被编码和解码，增加了在颜色通道的编码/解码期间的复杂度。因 此，需要更有效的颜色通道编码/解码方式。

发明内容

技术问题

示例性实施例至少解决以上问题和/或缺点以及上面没有描述的其它缺 点。另外，示例性实施例不需要克服上述的缺点，并且示例性实施例可以不 克服上述的任何问题。

示例性实施例提供一种用于在分层视频编码和解码中有效地对颜色通道 进行编码和解码的方法和设备。

示例性实施例还提供了一种用于在分层视频编码和解码中选择性地对颜 色通道进行编码和解码的方法和设备。

技术方案

根据示例性实施例的一方面，提供了一种用于在分层视频编码器中对颜 色通道进行编码和解码的方法，所述方法包括：如果存在在颜色通道的编码 期间可以跳过的至少一个颜色通道，则将表示颜色通道的结构的宏块的编码 重要模式(CSP)转换为具有跳过所述至少一个颜色通道的结构的CSP；使用以 跳过所述至少一个颜色通道的结构表示的CSP对宏块的重要变换系数进行编 码。

根据另一示例性实施例的一方面，提供了一种用于在分层视频编码器中 对颜色通道进行编码的设备，所述设备包括：编码重要模式(CSP)转换器，如 果存在在颜色通道的编码期间可以跳过的至少一个颜色通道，则将表示颜色 通道的结构的宏块的CSP转换为具有跳过所述至少一个颜色通道的结构的 CSP；重要变换系数编码器，使用以跳过了所述至少一个颜色通道的结构表 示的CSP对宏块的重要变换系数进行编码。

根据另一示例性实施例的一方面，提供了一种用于在分层视频解码器中 对颜色通道进行解码的方法，所述方法包括：如果从接收的图像中检测到至 少一个跳过的颜色通道，则将表示颜色通道的结构的宏块的编码重要模式 (CSP)恢复为具有跳过了至少一个颜色通道的结构的CSP；使用恢复的CSP 对宏块的重要变换系数进行解码。

根据另一示例性实施例的一方面，提供了一种用于在在分层视频解码器 中对颜色通道解码的设备，所述设备包括：编码重要模式(CSP)恢复器，如果 从接收的图像中检测到至少一个跳过的颜色通道，则将表示颜色通道的结构 的宏块的CSP恢复为具有跳过了至少一个颜色通道的结构的CSP；重要变换 系数解码器，使用恢复的CSP对宏块的重要变换系数进行解码。

附图说明

通过参照附图描述特定示例性实施例，以上和/或其它方面将会更清楚， 其中：

图1是示出根据示例性实施例的用于选择性地对颜色通道进行编码的图 像编码设备的结构的框图；

图2是示出根据示例性实施例的用于选择性地对颜色通道进行解码的图 像解码设备的结构的框图；

图3是示出根据示例性实施例的颜色通道编码器的结构的框图；

图4是示出根据示例性实施例的颜色通道解码器的结构的框图；

图5是示出根据示例性实施例的从宏块级(MB级)层次化构造所有CSP 的CSP表示结构的示图；

图6到图17是示出根据示例性实施例的CSP表示结构的各种示例的示 图。

具体实施方式

以下参照附图对特定示例性实施例进行详细描述。

在以下描述中，相同的标号即使在不同的附图中也用于相同的元件。在 描述中限定的内容(诸如详细配置和部件)被提供用于帮助示例性实施例的 全面理解。然而，不用这些特别限定的内容也能实施示例性实施例。

示例性实施例提供了一种颜色通道编码/解码方法，所述方法用于在分层 视频编码器/解码器中选择性地仅对选择的颜色通道进行编码和解码，所述分 层视频编码器/解码器将基本层编码器重构的图像转换为与增强层对应的图 像，并对基本层图像和增强层图像之间的差进行编码和解码。在示例性实施 例中，分层编码器/解码器选择性地仅对某些实际使用的颜色通道进行编码和 解码。如果从表示增强层图像的颜色通道中跳过或省略了至少一个未使用的 颜色通道，则不对该颜色通道编码/解码。

在这点上，用于颜色通道编码/解码的现有技术颜色通道表示方案使用这 样的方案：该方案使用编码块模式(CBP)参数表示变换系数(诸如，宏块或预 定尺寸的单元块的量化系数)的存在或不存在。当在图像编码期间表示图像 时，使用CBP参数的现有技术颜色通道表示方案编码和发送包括未使用的颜 色通道的所有颜色通道。

为了改进现有技术方案，示例性实施例选择性地仅对表示增强层中的图 像的所有颜色通道中的某些实际使用的颜色通道进行编码和解码。例如，示 例性实施例定义了具有如下表示结构的CSP，所述表示结构能够根据在编码/ 解码期间的特定颜色通道的选择和变换系数的形式来进行动态地响应，示例 性实施例提出了一种使用CSP的宏块的编码变换系数的新颜色通道表示方 案，以及使用该方法的颜色通道编码/解码方案。在示例性实施例中，使用CSP 对宏块的变换系数进行编码，所述CSP具有能够根据特定颜色通道的选择(换 而言之，省略未使用的颜色通道)和变换系数的形式来进行动态处理的结构。 具有值1或更大值的变换系数被称为重要变换系数。

在示例性实施例中，根据增强层图像中的所有颜色通道中的每个颜色通 道的使用/未使用或者存在/不存在来仅对在图像编码/解码期间使用的颜色通 道进行编码和发送。如果在编码期间跳过或省略了至少一个颜色通道，则该 颜色通道在颜色通道解码期间被省略，从而有利于增强层中的颜色通道的有 效编码/解码。

根据示例性实施例的选择性颜色通道编码器/解码器可在图1的分层视频 编码器中和图2的用于对从分层视频编码器输出的比特流进行解码的分层视 频解码器中被使用。

图1示出根据示例性实施例的在用于选择性地对颜色通道编码的图像编 码设备100中实施的分层视频编码器的结构。

图像编码设备100适应于将从编码的基本层图像恢复或重构的图像转换 为增强层图像，并对输入增强层图像和从基本层图像重构的图像之间的差(残 差)进行编码。图1的图像编码设备100对输入图像进行编码并输出基本层 比特流和增强层比特流。基本层图像和增强层图像可具有不同的分辨率、图 像尺寸和视角。

例如，输入图像和在增强层中处理的图像具有高分辨率、大尺寸或一个 视角，而在基本层中处理的图像具有低分辨率、小尺寸或另一视角。格式下 转换器101将输入图像下转换为基本层的视频格式。格式下转换器例如将输 入视频格式转换为低分辨率、较小比特深度和减小的色度格式之一或它们的 组合。基本层编码器103根据使用基于诸如VC-1、H.264、MPEG-4第二部 分视觉(Part 2 Visual)、MPEG-2第二部分视频(Part 2 Video)、AVS或JPEG2000 的视频编解码器的图像编码器的编码方案，对输入的基本层图像进行编码， 并输出基本层比特流。

基本层编码器103将在基本层图像编码处理中重构的基本层图像输出到 格式上转换器105。格式上转换器105将重构的基本层图像上转换为增强层 的视频格式。格式上转换器例如将重构的基本层图像转换为高分辨率、较大 比特深度和扩展的色度格式之一或它们的组合。正被输入到格式下转换器101 的输入图像还被输入到减法器107。减法器107通过从输入图像减去格式上 转换的图像来输出残差图像。残差编码器109对输入的残差图像进行编码并 输出增强层比特流。从减法器107输出的残差图像通过残差映射和缩放单元 111的线性缩放被转换为预定数量的比特。

示例性实施例的颜色通道编码器300将针对省略了颜色通道的情况的 MB级的CSP转换为具有缩减结构的CSP，以便根据颜色通道的结构仅表示 选择的颜色通道(换而言之，在从所有的颜色通道中省略了至少一个可省略 的颜色通道之后剩下的颜色通道)。颜色通道编码器300还使用以缩减结构表 示的CSP来对颜色通道进行编码。颜色通道编码器300可被设置为残差编码 器109的一部分，或者可作为与残差编码器109连接的单独部件被包括在图 1的图像编码设备100中。以下详细描述颜色通道编码器的结构。

图2示出根据示例性实施例的在用于选择性地对颜色通道进行解码的图 像解码设备200中实施的分层视频解码器的结构。

图像解码设备200适应于通过解码来重构基本层比特流，通过对重构的 基本层图像进行格式上转换来输出重构的增强层图像，通过对增强层比特流 进行残差解码来恢复在图1的图像编码设备100中编码的残差图像，并通过 将恢复的残差图像与从重构的基本层图像上转换而得到的图像相加来恢复增 强层图像。

图2的图像解码设备200以包括基本层处理和增强层处理的层次化结构 被构造，从通过对图1的图像编码设备100编码的基本层比特流和增强层比 特流进行解码，来输出重构的基本层图像和重构的增强层图像。基本层图像 和增强层图像可具有不同的分辨率、图像尺寸或视角。

基本层解码器201使用与在图1的基本层编码器103中使用的视频编解 码器对应的解码方案来对输入的基本层比特流进行解码，并输出重构的基本 层图像。基本层解码器重构的基本层图像还被输出到格式上转换器203。格 式上转换器203将重构的基本层图像上转换为增强层的视频格式。残差解码 器205输出通过对输入的增强层比特流进行残差解码而产生的残差图像。解 码的残差图像被加法器207添加到上转换的图像，随后输出作为重构的增强 层图像。从残差解码器205输出的残差图像被残差映射和缩放单元209通过 线性缩放转换为预定数量的比特。

示例性实施例的颜色通道解码器400恢复CSP并使用解码的CSP对颜色 通道进行解码，所述CSP具有包括根据颜色通道的使用/未使用或存在/不存 在选择的至少一个颜色通道的结构。颜色通道解码器400可被设置为残差解 码器205的一部分，或者可作为与残差解码器205连接的独立部件被包括在 图2的图像解码设备200中。以下详细描述颜色通道解码器400的详细结构。

当将示例性实施例的选择性颜色通道编码/解码方法应用于图1和图2的 分层视频编码器/解码器时，可以通过基于基本层和增强层之间的差对残差图 像进行编码来有效地压缩比特流。由于因为选择性颜色通道编码/解码方法根 据选择性颜色通道编码而不对某些颜色通道进行编码，所以可实现复杂度降 低，因此该方法可用于要求低复杂度的应用，诸如移动环境。此外，该方法 可选择性地仅发送特定颜色通道，因而提供了仅使用某些颜色信息的新应用。

分别参照图3和图4描述根据示例性实施例的颜色通道编码器和颜色通 道解码器的结构和操作。

根据示例性实施例的图3的颜色通道编码器300被设置为残差编码器 109的一部分，或者可作为独立部件被包括在图1的图像编码设备100中， 并且可执行以下操作：选择实际使用的颜色通道，如果由于选择的颜色通道 而存在省略的颜色通道，则使用以缩减结构表示的CSP对宏块的重要变换系 数进行编码。对宏块的重要变换系数进行编码的操作等同于对颜色通道进行 编码的操作。

颜色通道编码器300包括颜色通道选择器301、CSP转换器303和重要 变换系数编码器305，用于对与当图1的图像编码设备100对增强层残差图 像编码时选择的颜色通道对应的CSP进行编码。颜色通道选择器301选择至 少一个实际使用的颜色通道，省略所有颜色通道中的未使用的颜色通道。作 为选择的结果，如果亮度通道和色度通道中的至少一个被跳过或未使用(即， 如果Y、U、V通道中的至少一个被跳过)，则通过作为通道跳过模式信息的 图像头将该信息提供给颜色通道解码器，如下所述。在示例性实施例中，假 设使用了至少一个颜色通道。

如果由于选择的颜色通道而存在省略的颜色通道，则CSP转换器303将 宏块的CSP转换为具有缩减了至少一个未使用颜色通道的结构的CSP，并输 出以缩减结构表示的CSP。也就是说，如果存在在颜色通道的编码期间可以 省略的至少一个颜色通道，则CSP转换器303将表示颜色通道的结构的宏块 的CSP转换为具有省略了至少一个颜色通道的结构的CSP。重要变换系数编 码器305使用现有技术的用于熵编码的编码方案之一，使用以缩减结构表示 的CSP对宏块的重要变换系数进行编码。

根据示例性实施例的图4的颜色通道解码器400执行以下操作：恢复具 有包括根据颜色通道的使用/未使用选择的至少一个颜色通道的结构的CSP， 使用恢复的CSP对增强层中的宏块的重要变换系数进行解码。

颜色通道解码器400包括颜色通道检查器401、CSP恢复器403和重要 变换系数解码器405。作为信道选择的结果，如果跳过了亮度通道和色度通 道中的至少一个，则在例如图像头中提供该信息。颜色通道检查器401在图 像头中检查指示跳过的通道跳过模式信息，并将检查结果提供给CSP恢复器 403。CSP恢复器403基于通道跳过模式信息，恢复以缩减了至少一个未使用 颜色通道的结构表示的CSP。重要变换系数解码器405使用恢复的CSP对宏 块的重要变换系数进行解码。

重要变换系数解码器405所解码的宏块的重要变换系数具有Y、U、V 通道分量。未使用的颜色通道的分量被解码为值0。

通过使用从解码的宏块的重要变换系数获得的颜色通道分量，残差解码 器205输出恢复的增强层残差图像，加法器207将恢复的残差图像的Y、U、 V通道分量与上转换的基本层图像的Y、U、V通道分量相加，然后输出作为 由解码的颜色通道表示的重构的增强层图像。

以下描述根据示例性实施例的能够对省略至少一个颜色通道进行动态响 应的CSP表示结构的各种示例。

图5示出根据示例性实施例的从MBMB级层次化构造所有CSP的CSP 表示结构。

图5的CSP表示结构包括用于表示每层中的CSP多个CSP表示部分501、 503、505、507、509、511、513和515。图3的CSP转换器303和图4的CSP 恢复器403通过根据示例性实施例的与至少一个选择的颜色通道对应的CSP 表示部分分别转换和恢复CSP以具有包括了至少一个颜色通道的结构。

参照图5，MB级CSP表示部分MB_CSP 501层次化地连接到多个CSP 表示部分以表示宏块或宏块的预定尺寸的像素块的重要变换系数的存在或不 存在。

MB级CSP表示部分MB_CSP 501可通过层次化地连接到Y、U、V通 道块的CSP表示部分YUV_CSP 503、与亮度块对应的Y通道块的CSP表示 部分Y_CSP 505、亮度块中的顶部块Y0Y1的CSP表示部分Y0Y1_CSP 509、 亮度块中的底部块的CSP表示部分Y2Y3_CSP 511、与色度块对应的U和V 通道块的CSP表示部分UV_CSP 507、U通道块的CSP表示部分U0U1_CSP 513和V通道块的CSP表示部分V0V1_CSP 515，来选择性地表示整个宏块 中的CSP。

通过对亮度通道块和色度通道块的CSP进行联合编码来表示CSP表示部 分YUV_CSP 503。通过对亮度块中的顶部块Y0Y1和底部块Y2Y3的CSP进 行联合编码来表示CSP表示部分Y_CSP 505。通过对U通道块U01U1和V 通道块V0V1的CSP进行联合编码来表示CSP表示部分UV_CSP 507。通过 对亮度块中的顶部块Y0Y1的CSP进行联合编码来表示CSP表示部分 Y0Y1_CSP 509。通过对亮度块中的底部块Y2Y3的CSP进行联合编码来表示 CSP表示部分Y2Y3_CSP 511。

另外，在视频格式为例如4:2:2的情况下通过对U通道块U0U1的CSP 进行联合编码来表示CSP表示部分U0U1_CSP 513。在视频格式为例如4:2:2 的情况下通过对V通道块V0V1的CSP进行联合编码来表示CSP表示部分 V0V1_CSP 515。如果视频格式是4:2:0，则省略U通道块U0U1和V通道块 V0V1的CSP。虽然基于4:2:2的视频格式描述了图5的示例，但是相同的示 例可容易地扩展到4:4:4的视频格式。图11到图17中示出了CSP表示结构 的示例，其中，在视频格式被扩展为4:4:4的情况下层次化构造CSP。

现在，参照图6到图10，描述在层次化CSP表示结构的增强层中省略了 至少一个颜色通道并且执行选择性的编码/解码的情况下，根据示例性实施例 的CSP表示结构。在图6中，可从包括在增强层比特流的MB头中的MB编 码模式识别MB级CSP表示部分MB_CSP 501。

在图6到图10中示出了四种不同情况的CSP表示结构的示例：1)仅选 择亮度通道(即，省略了色度通道；见图6)；2)仅选择色度通道(即，省略 了亮度通道，见图7)；3)选择亮度通道和一个色度通道(即，省略色度通道 中的U通道或V通道，见图8和图9)；4)不选择亮度通道，选择一个色度通 道(即，不仅省略亮度通道，还省略色度通道，见图10)。如果选择了所有 颜色通道，则对图5的所有CSP部分进行编码。以下详细描述四种不同情况 的CSP表示结构。

图6示出根据示例性实施例的仅选择亮度通道的层次化CSP表示结构。

参照图6，从宏块的头信息确定的MB_CSP 501与YUV_CSP中的亮度 通道块的表示Y_CSP 505相同，跳过了所有色度通道AAA信息，所以在图6 中省略了YUV_CSP 503。另外，由于跳过了所有色度通道AAA信息，因此 在图6中省略了UV_CSP 507、U0U1_CSP 513和V0V1_CSP 515的CSP表示。 在这种情况下，在图4的颜色通道解码器400中仅将Y_CSP 505恢复到MB 级CSP。

图7示出根据示例性实施例的仅选择色度通道的层次化CSP表示结构。

参照图7，从宏块的头信息确定的MB_CSP 501与YUV_CSP中的色度 通道块的表示UV_CSP 507相同。在这种情况下，由于跳过了亮度通道信息， 因此在图7中省略了YUV_CSP 503。另外，由于跳过了所有亮度通道AAA 信息，因此在图7中省略了Y_CSP 505、Y0Y1_CSP 509和Y2Y3_CSP 511的 CSP表示。在这种情况下，在图4的颜色通道解码器400中仅将UV_CSP 507 恢复到MB级CSP。

图8示出根据示例性实施例的选择亮度通道和两个色度通道中的仅U通 道的层次化CSP表示结构。图9示出根据示例性实施例的选择亮度通道和两 个色度通道中的仅V通道的层次化CSP表示结构。

在图8和图9的每个CSP表示结构中，从宏块的头信息中确定的MB_CSP 501指示宏块中的亮度通道块和色度通道块的CSP。通过对亮度通道块的 Y_CSP 505以及从色度通道选择的U通道或V通道的CSP 513或CSP 515进 行联合编码来表示YUV_CSP 503。

在图8和图9的CSP表示结构中，由于选择了所有的亮度通道，因此表 示了亮度通道块的所有的Y_CSP 505、Y0Y1_CSP 509和Y2Y3_CSP 511。在 色度通道的情况下，由于选择了哪个通道和省略了哪个通道在序列或诸如图 像头的头中说明，因此UV_CSP 507中的色度通道的CSP信息与YUV_CSP 503中的U通道和V通道中选择的一个的CSP表示相同。因此，在图8和图 9的CSP表示结构中，省略了在图5中示出的说明哪个色度通道以何种方式 被编码的UV_CSP 507。

图10示出根据本发明示例性实施例的在没有选择亮度通道并选择了一 个色度通道的情况下的层次化CSP表示结构。参照图10，由于从宏块的头信 息确定的MB_CSP 501与从色度通道的U通道和V通道中选择的一个通道的 CSP信息513(或515)对应，因此，省略了图5中的YUV_CSP 503、Y_CSP 505、Y0Y1_CSP 509、Y2Y23_CSP 511和UV_CSP 507。如果视频格式是4:2:2， 则仅需要U0U1_CSP 513(图10的(a))或V0V1_CSP 515(图10的(b))。如 果视频格式是4:2:0，则MB_CSP 501表示相关色度块的CSP。

图11到图17示出在视频格式被扩展为4:4:4的情况下层次化构造CSP 的CSP表示结构的示例。

由于图11的示例与图5的示例对应，因此将省略对名字与图5相同的 CSP表示部分的详细描述。

图11的CSP表示结构包括处理每层的CSP表示的多个CSP表示部分， 图3的CSP转换器303和图4的CSP恢复器403使用与根据本发明选择的至 少一个颜色通道对应的CSP表示部分分别转换和恢复CSP以具有包括至少一 个颜色通道的结构。参照图11，MB级CSP表示部分MB_CSP层次化地连接 到多个CSP表示部分，以表示宏块或宏块的预定尺寸的像素块的重要变换系 数的存在/不存在。

具体地，如图11所示，MB级CSP表示部分MB_CSP可层次化地连接 到Y、U、V通道块的CSP表示部分YUV_CSP、与亮度块对应的Y通道块 的CSP表示部分Y_CSP、亮度块中的顶部块Y0Y1的CSP表示部分 Y0Y1_CSP和亮度块中的底部块的CSP表示部分Y2Y3_CSP，从而可以选择 性地表示整个宏块中的CSP。另外，如图11所示，MB级CSP表示部分 MB_CSP可层次化地连接到Y、U、V通道块的CSP表示部分YUV_CSP、 与色度块对应的U通道和V通道的CSP表示部分UV_CSP、U通道的CSP 表示部分U_CSP 1101、V通道块的CSP表示部分V_CSP 1103、U通道块中 的顶部块U0U1的CSP表示部分U0U1_CSP、U通道块中的底部块U2U3的 CSP表示部分U2U3_CSP 1105、V通道块中的顶部块V0V1的CSP表示部分 V0V1_CSP和V通道块中的底部块V2V3的CSP表示部分V2V3_CSP 1107， 从而可以选择性表示整个宏块中的CSP。

图12到图17示出在视频格式被扩展到4:4:4的情况下能够选择性表示 CSP的示例，在图12的示例中省略了U通道块和V通道块，在图13的示例 中省略了Y通道块，在图14的示例中省略了V通道块，在图15的示例中省 略了U通道块，在图16的示例中省略了Y通道块和V通道块，在图17的示 例中省略了Y通道块和U通道块。根据本发明的实施例，除了省略的通道块 之外的其余选择的通道块的CSP被联合编码以用于CSP表示。

虽然已经示出和描述了示例性实施例，本领域的技术人员应理解，在不 脱离权利要求及其等同物限定的发明构思的精神和范围的情况下，可对其在 形式和细节上进行各种改变。