用于对较高分辨率色度采样格式进行帧包装/解包的带分离滤波/逆滤波

摘要

当将诸如YUV 4:4:4这样的较高分辨率色度采样格式的视频帧包装成诸如YUV 4:2:0这样的较低分辨率色度采样格式的帧时，计算设备对较高分辨率帧的色度分量的样本值执行小波分解（或其它带分离滤波），从而产生多个带的样本值。设备将带的样本值分配给较低分辨率帧的部分。在对应的解包操作期间，计算设备将较低分辨率色度采样格式的帧的部分分配给多个带的样本值。设备对带的样本值执行小波重建（或其它逆带分离滤波），从而产生较高分辨率色度采样格式的帧的色度分量的样本值。当失真在包装成低分辨率帧的色度分量的构码期间已被引入时带分离滤波能够帮助改进重建的质量。

说明书

背景技术

工程师使用压缩（还被称作源编码（coding）或源构码（encoding））来降低数字视频的比特速率。压缩通过将信息转换成较低比特速率形式来减少存储和传送视频信息的成本。解压缩（还被称作解码）从压缩形式重建原始信息的版本。“编解码器（codec）”是构码器/解码器系统。

在过去二十年里，各种视频编解码器标准已被采用，包括ITU-T H.261、H.262（MPEG-2或ISO/IEC 13818-2）、H.263和H.264（MPEG-4 AVC或ISO/IEC 14496-10）标准以及MPEG-1（ISO/IEC 11172-2）、MPEG-4 Visual（ISO/IEC 14496-2）和SMPTE 421M标准。最近，HEVC标准（ITU-T H.265或ISO/IEC 23008-2）已在开发中。见例如HEVC标准的草案版本JCTVC-I1003- 2012年4月日内瓦第九次会议“High efficiency video coding (HEVC) text specification draft 7,” JCTVC-I1003_d5。视频编解码器标准典型地定义针对构码的视频比特流的语法的选项，其在特定特征被用在构码和解码中时详述比特流中的参数。在许多情况下，视频编解码器标准还提供关于解码器应该执行以便在解码中实现一致性结果的解码操作的细节。除编解码器标准以外，各种专有的编解码器格式定义针对构码的视频比特流的语法和对应的解码操作的其它选项。

诸如相机、动画输出、屏幕捕获模块等这样的视频源典型地提供被转换为诸如YUV 4:4:4色度采样格式这样的格式的视频。YUV格式包括具有表示近似亮度值的样本值的亮度（或Y）分量和具有表示色差值的样本值的多个色度（或U和V）分量。在YUV 4:4:4格式中，色度信息被以和亮度信息相同的空间分辨率表示。

许多商业上可用的视频构码器和解码器仅支持YUV 4:2:0色度采样格式。YUV 4:2:0格式是与YUV 4:4:4格式相比对色度信息进行子采样使得色度分辨率水平地且垂直地为亮度分辨率一半的格式。作为设计原理，用来将YUV 4:2:0格式用于构码/解码的决定以如下理解为前提：对于诸如自然相机捕获的视频内容的构码/解码这样的大多数用例，观看者通常不注意以YUV 4:2:0格式构码/解码的视频与以YUV 4:4:4格式构码/解码的视频之间的许多视觉差异。每帧具有更少样本的YUV 4:2:0格式的压缩优点因此是引人注目的。然而，存在视频具有更丰富的颜色信息和更高的颜色逼真度可能是合理的一些用例。在这样的用例中，YUV 4:4:4色度采样格式与YUV 4:2:0色度采样格式之间的差异更容易被观看者感知到。例如，对于计算机屏幕文本内容、具有人工硬边边界的动画视频内容或更一般地视频内容的特定特征（诸如滚动标题和硬边图形，或具有集中在色度通道中的信息的视频）的构码/解码，4:4:4格式可能优于4:2:0格式。尽管支持以4:4:4格式构码和解码的屏幕捕获编解码器是可用的，但是对于支持4:4:4格式的编解码器的广泛支持的缺少（尤其相对于硬件编解码器实施方案）对于这些用例来说是障碍。

发明内容

总之，具体实施方式呈现了较高分辨率色度采样格式的视频帧变成较低分辨率色度采样格式的视频帧以用于构码的目的的帧包装方面的创新。例如，较高分辨率色度采样格式是YUV 4:4:4格式，并且较低分辨率色度采样格式是YUV 4:2:0格式。在解码后，较低分辨率色度采样格式的视频帧能够被解包以便重建较高分辨率色度采样格式的视频帧。以这种方式，以较低分辨率色度采样格式操作的可用构码器和解码器能够被使用，同时仍然保持较高分辨率色度信息。

例如，计算设备将较高分辨率色度采样格式的一个或多个帧包装成较低分辨率色度采样格式的一个或多个帧。作为包装的一部分，计算设备对较高分辨率色度采样格式的（一个或多个）帧的色度分量的样本值执行小波分解（或其它带分离滤波）以便产生多个带的样本值。计算设备然后将多个带的样本值分配给较低分辨率色度采样格式的（一个或多个）帧的部分。

作为另一例子，计算设备将较低分辨率色度采样格式的一个或多个帧解包成较高分辨率色度采样格式的一个或多个帧。作为解包的一部分，计算设备将较低分辨率色度采样格式的（一个或多个）帧的部分分配给多个带的样本值。计算设备然后对多个带的样本值执行小波重建（或其它逆带分离滤波）以便产生较高分辨率色度采样格式的（一个或多个）帧的色度分量的样本值。

包装或解包能够作为方法的一部分、作为被适配成执行方法的计算设备的一部分或者作为存储用于使计算设备执行方法的计算机可执行指令的有形计算机可读媒体的一部分被实施。

本发明的前面的和其它目标、特征以及优点从参考附图进行的以下具体实施方式将变得更明显。

附图说明

图1是一些描述的实施例能够在其中被实施的示例性计算系统的图。

图2a和图2b是一些描述的实施例能够在其中被实施的示例性网络环境的图。

图3是一些描述的实施例能够在其中被实施的一般性的帧包装/解包系统的图。

图4是一些描述的实施例能够结合其被实施的示例性构码器系统的图。

图5是一些描述的实施例能够结合其被实施的示例性解码器系统的图。

图6是图示了一些描述的实施例能够结合其被实施的示例性视频构码器的图。

图7是图示了一些描述的实施例能够结合其被实施的示例性视频解码器的图。

图8是图示了使用帧的空间分割的帧包装的示例性方法的图。

图9是图示了其中较高分辨率色度采样格式的帧的色度分量平面的每隔一行被拷贝的帧包装的示例性方法的图。

图10是图示了根据图9的方法包装的示例性帧的图。

图11是图示了其中较高分辨率色度采样格式的帧的色度分量平面的每隔一列被拷贝的帧包装的示例性方法的图。

图12是图示了针对较高分辨率色度采样格式的帧的帧包装的一般性的技术的流程图。

图13是图示了针对较高分辨率色度采样格式的帧的帧解包的一般性的技术的流程图。

图14是图示了在较高分辨率色度采样格式的帧的色度分量平面的三带小波分解中采用垂直然后水平滤波的帧包装的示例性方法的图。

图15是图示了在较高分辨率色度采样格式的帧的色度分量平面的三带小波分解中采用水平然后垂直滤波的帧包装的示例性方法的图。

图16a和图16b是图示了在较高分辨率色度采样格式的帧的色度分量平面的四带小波分解中采用垂直然后水平然后垂直滤波的帧包装的示例性方法的图。

图17是图示了针对较高分辨率色度采样格式的帧的帧包装的一般性的技术的流程图，其中帧包装包括小波分解或其它带分离滤波。

图18是图示了针对较高分辨率色度采样格式的帧的帧解包的一般性的技术的流程图，其中帧包装包括小波重建或其它逆带分离滤波。

具体实施方式

诸如相机、动画输出、屏幕捕获模块等这样的视频源典型地提供被转换为诸如YUV 4:4:4色度采样格式（更一般地，4:4:4格式的例子）这样的格式的视频。YUV格式包括具有表示近似亮度值的样本值的亮度（或Y）分量以及具有表示色差值的样本值的多个色度（或U和V）分量。色差值的精确定义（以及到YUV颜色空间/从YUV颜色空间到诸如RGB这样的另一颜色空间的转换操作）取决于实施方案。一般而言，如本文中所使用的，术语YUV指示具有亮度（或辉度）分量和一个或多个色度（或彩度）分量的任何颜色空间，包括Y’UV、YIQ、Y’IQ和YDbDr以及诸如YCbCr和YCoCg这样的变例。被使用的分量信号量度可以通过非线性传递特性函数（一般地被称为“伽玛预补偿”并且常常通过主符号的使用来表示，但是为了排印方便主符号常常被省略）的应用而被调整。或者，分量信号量度可以是在与光振幅有线性关系的域中。亮度分量信号和色度分量信号可以与针对人类视觉系统的亮度和颜色的感知很好地对准，或者亮度分量信号和色度分量信号可以稍微偏离这样的量度（例如，如在YCoCg变例中，其中简化颜色分量值的计算的公式被应用）。如本文中所描述的YUV格式的例子包括被称为ITU-R BT.601、ITU-R BT.709以及ITU-R BT.2020的国际标准中描述的那些。色度样本类型的例子在H.264/AVC标准的图E-1中被示出。4:4:4格式可以是YUV 4:4:4格式或针对另一颜色空间（诸如RGB或GBR）的格式。

许多商业上可用的视频构码器和解码器仅支持YUV 4:2:0色度采样格式（更一般地，4:2:0格式的例子）。YUV 4:2:0是与YUV 4:4:4格式相比对色度信息进行子采样的格式，所述YUV 4:4:4格式保存全分辨率色度信息（即，色度信息被以和亮度信息相同的分辨率表示）。作为设计原理，用来将YUV 4:2:0格式用于构码/解码的决定以如下理解为前提：对于诸如自然相机捕获的视频内容的构码/解码这样的大多数用例，观看者通常不注意以YUV 4:2:0格式构码/解码的视频与以YUV 4:4:4格式构码/解码的视频之间的许多视觉差异。每帧具有更少样本的YUV 4:2:0格式的压缩优点因此是引人注目的。

然而，存在两个格式之间的差异更容易被观看者感知到的一些用例。例如，对于计算机屏幕文本内容（尤其是使用ClearType技术渲染的文本）、具有人工硬边边界的动画视频内容或更一般地视频内容的特定特征（诸如滚动标题和硬边图形，或具有集中在色度通道中的信息的视频）的构码/解码，4:4:4格式可能优于4:2:0格式。针对支持4:4:4格式的视频编解码器的广泛支持的缺少（尤其相对于硬件编解码器实施方案）对于这些用例来说是障碍。

具体实施方式呈现了用于将较高分辨率色度采样格式的帧包装成较低分辨率色度采样格式的帧的小波分解（或其它带分离滤波）的各种方法。较低分辨率色度采样格式的帧然后能够使用针对较低分辨率色度采样格式所设计的构码器被构码。在解码（使用针对较低分辨率色度采样格式所设计的解码器）之后，在较低分辨率色度采样格式下的帧能够被输出以用于进一步处理和显示。或者，在这样的解码之后，较高分辨率色度采样格式的帧能够通过包括小波重建（或其它逆带分离滤波）的帧解包被恢复以用于输出和输出。在许多情况下，这些方法通过保存来自较高分辨率色度采样格式的帧的色度信息同时利用适配于较低分辨率色度采样格式的商业上可用的编解码器来减轻现有方法的缺点。特别地，具有专门的专用硬件的广泛可用的编解码器能够针对包装成YUV 4:2:0视频帧的YUV 4:4:4视频帧以较低功耗提供更快的构码/解码。

所描述的方法能够被用来在构码/解码使用另一色度采样格式时保存一个色度采样格式的帧的色度信息。本文中所描述的一些例子牵涉YUV 4:4:4格式的帧的帧包装/解包以用于使用适配于YUV 4:2:0格式的编解码器进行构码/解码。本文中所描述的其它例子牵涉用于使用适配于YUV 4:2:0格式的编解码器进行构码/解码的YUV 4:2:2格式的帧的帧包装/解包。更一般地，所描述的方法能够被用于其它色度采样格式。例如，除诸如Y’UV、YIQ、Y’IQ、YdbDr、YCbCr、YCoCg等这样的YUV颜色空间在诸如4:4:4、4:2:2、4:2:0、4:1:1、4:0:0等这样的采样率方面的变例之外，所描述的方法能够在诸如4:4:4、4:2:2、4:2:0、4:1:1、4:0:0等这样的采样率方面被用于诸如RGB、GBR等这样的颜色空间作为色度采样格式。

在示例性实施方案中，本文中所描述的创新的特定方面包括但不限于下列的：

· 将4:4:4帧包装成两个4:2:0帧，其中包装包括小波分解（或其它带分离滤波），并且使用针对4:2:0格式设计的视频构码器对两个4:2:0帧进行构码。

· 使用针对4:2:0格式设计的视频解码器对构码帧进行解码，并且对两个解码的4:2:0帧进行解包以便形成解码的4:4:4帧，其中解包包括小波重建（或其它逆带分离滤波）。

· 对于YUV格式执行包装（包括小波分解或其它带分离滤波），使得几何对应在针对两个4:2:0帧中的每一个的Y分量、U分量以及V分量之间被维持。

· 对于YUV格式执行包装（包括小波分解或其它带分离滤波），使得两个4:2:0帧中的一个（主视图）表示正由4:4:4帧表示的完整场景，尽管色度分量在较低分辨率下，然而另一个4:2:0帧（辅助视图）对剩余色度信息进行包装。

· 随一种补充增强信息（“SEI”）消息或其它元数据发信号通知在针对两个4:2:0帧的帧包装中使用小波分解（或其它带分离滤波）的指示，使得处理这个SEI消息的解码器能够输出表示场景的4:4:4帧（在小波重建或其它逆带分离滤波之后）或4:2:0帧。

· 预处理和后处理操作（诸如小波分解/重建或其它带分离滤波/逆滤波），当仅一个4:2:0帧（出自两个4:2:0帧）被用于最终显示时其能够针对YUV格式改进最终显示的帧的质量。结合这样的预处理和后处理操作，4:2:0帧能够具有更高比特深度用于构码/解码，以便在预处理和后处理操作中避免色度信息的损失。

· 将4:2:2帧包装成（两个或更少的）4:2:0帧，其中包装包括小波分解或其它带分离滤波，并且使用针对4:2:0格式设计的视频构码器对4:2:0帧进行构码。

· 使用针对4:2:0格式设计的视频解码器对构码帧进行解码，并且对经解码的4:2:0帧进行解包以便形成解码的4:2:2帧，其中解包包括小波重建或其它逆带分离滤波。

在使用帧包装布置SEI消息的特定示例性实施方案中，帧包装布置SEI消息的定义被扩展以便支持在标称4:2:0比特流中表示4:4:4内容。在一些例子中，一个构成帧（例如，在自顶向下包装或交替帧编码方案中）能够被兼容地解码为普通的4:2:0图像，或者能够补充有来自另一构成帧的数据以便形成完整的4:4:4图像表示。因为YUV 4:2:0是产品中的最广泛地支持的格式（尤其相对于硬件编解码器实施方案），所以具有通过这样的解码器来输送YUV 4:4:4内容的有效方式能够提供使能实现YUV 4:4:4的广泛近期部署的能力的实质利益（尤其针对屏幕内容编码）。在示例性实施方案中，4:4:4帧的样本被包装成两个4:2:0帧，并且两个4:2:0帧被构码为帧包装布置的构成帧。对于使用帧包装布置SEI消息的实施方案，content_interpretation_type语法元素的语义被扩展成发信号通知这个使用。content_interpretation_type语法元素发信号通知如何解释使用包装布置被包装的数据，并且针对包装布置的帧配置被用不同的语法元素发信号通知。本文中所描述的一些方法对于牵涉屏幕内容的应用具有高实用价值。并且，相对于本机4:4:4构码，本文中所描述的一些方法能够提供与预期在解码产品中被更广泛地支持的普通4:2:0解码过程兼容的优点。

针对较高分辨率色度采样格式的帧包装和解包的附加创新方面也被描述。所描述的技术可以被应用于视频编码/解码以外的附加应用，诸如静止图像编码、医疗扫描内容编码、多谱成像内容编码等。尽管本文中所描述的操作在适当的位置被描述为由构码器（例如，视频构码器）或解码器（例如，视频解码器）执行，但是在许多情况下操作能够替换地由另一类型的媒体处理工具执行。

本文中所描述的创新中的一些参考特定于HEVC标准的语法元素和操作被图示。例如，对2012年4月日内瓦第九次会议的HEVC标准的草案版本JCTVC-I1003 - “High efficiency video coding (“HEVC”) text specification draft 7”, JCTVC-I1003_d5的参考被做出。本文中所描述的创新还能够针对其它标准或格式被实施。例如，本文中所描述的创新能够针对使用帧包装布置SEI消息的H.264/AVC标准被实施。

更一般地，本文中所描述的例子的各种替代方案是可能的。例如，本文中所描述的方法中的任一个能够通过经由分割、重复或省略特定方法行为等来改变所描述的方法行为的排序而被变更。所公开的技术的各种方面能够被相结合地或单独地使用。不同的实施例使用所描述的创新中的一个或多个。本文中所描述的创新中的一些解决了背景技术中所指出的问题中的一个或多个。典型地，给定技术/工具不解决所有这样的问题。

I.示例性计算系统

图1图示了所描述的创新中的数个可以在其中被实施的适合的计算系统（100）的一般性的例子。计算系统（100）不旨在关于用途或功能性的范围提出任何限制，因为创新可以用多种多样的通用或专用计算系统加以实施。

参考图1，计算系统（100）包括一个或多个处理单元（110, 115）和存储器（120, 125）。在图1中，这个最基本配置（130）被包括在虚线内。处理单元（110, 115）执行计算机可执行指令。处理单元可以是通用中央处理单元（“CPU”）、专用集成电路中的处理器或任何其它类型的处理器。在多处理系统中，多个处理单元执行计算机可执行指令以便增加处理能力。例如，图1示出了中央处理单元（110）以及图形处理单元或协处理单元（115）。有形存储器（120, 125）可以是可被（一个或多个）处理单元访问的易失性存储器（例如，寄存器、高速缓存、RAM）、非易失性存储器（例如，ROM、EEPROM、闪速存储器等），或两者的某种组合。存储器（120, 125）以适合于由（一个或多个）处理单元执行的计算机可执行指令的形式存储软件（180），其对于较高分辨率色度采样格式采用小波分解（或其它带分离滤波）针对帧包装和/或采用小波重建（或其它逆带分离滤波）针对解包实施一个或多个创新。

计算系统可以具有附加的特征。例如，计算系统（100）包括存储装置（140）、一个或多个输入设备（150）、一个或多个输出设备（160）以及一个或多个通信连接（170）。诸如总线、控制器或网络这样的互连机制（未示出）互连计算系统（100）的构件。典型地，操作系统软件（未示出）为在计算系统（100）中执行的其它软件提供操作环境，并且协调计算系统（100）的构件的活动。

有形存储装置（140）可以是可拆卸的或非可拆卸的，并且包括磁盘、磁带或磁盒、CD-ROM、DVD，或能够被用来以非暂时性方式存储信息并且能够在计算系统（100）内被访问的任何其它介质。存储装置（140）存储用于软件（180）的指令，其对于较高分辨率色度采样格式针对采用小波分解（或其它带分离滤波）的帧包装和/或采用小波重建（或其它逆带分离滤波）的解包实施一个或多个创新的。

（一个或多个）输入设备（150）可以是诸如键盘、鼠标、笔或轨迹球、语音输入设备、扫描设备这样的输入设备，或将输入提供给计算系统（100）的另一设备。对于视频构码，（一个或多个）输入设备（150）可以是相机、视频卡、TV调谐器卡或以模拟形式或数字形式接受视频输入的类似设备，或将视频样本读取到计算系统（100）中的CD-ROM或CD-RW。（一个或多个）输出设备（160）可以是显示器、打印机、扬声器、CD刻录器，或从计算系统（100）提供输出的另一设备。

（一个或多个）通信连接（170）使能实现通过通信介质到另一计算实体的通信。通信介质在已调制数据信号中输送诸如计算机可执行指令、音频或视频输入或输出或其它数据这样的信息。已调制数据信号是这样的信号，所述信号使其特性中的一个或多个以这样的方式被设置或改变以便将信息构码在所述信号中。作为例子而非限制，通信媒体能够使用电、光学、RF或其它载体。

创新能够在计算机可读媒体的一般上下文中被描述。计算机可读媒体是能够在计算环境内被访问的任何可用的有形媒体。作为例子而非限制，在计算系统（100）的情况下，计算机可读媒体包括存储器（120, 125）、存储装置（140）以及上述中的任一个的组合。

创新能够在计算机可执行指令的一般上下文中被描述，所述计算机可执行指令诸如在计算系统中在目标真实或虚拟处理器上被执行的程序模块中包括的那些指令。一般地，程序模块包括执行特定任务或者实施特定抽象数据类型的例行程序、程序、库、对象、类、构件、数据结构等。在各种实施例中，程序模块的功能性可以视需要在程序模块之间被组合或分割。针对程序模块的计算机可执行指令可以在本地或分布式计算系统内被执行。

术语“系统”和“设备”在本文中被可互换地使用。除非上下文另外清楚地指示，否则术语均不对计算系统或计算设备的类型暗示任何限制。一般而言，计算系统或计算设备可以是本地的或分布式的，并且能够包括专用硬件和/或通用硬件与实施本文中所描述的功能性的软件的任何组合。

所公开的方法还能够使用被配置成执行所公开的方法中的任一个的专门计算硬件被实施。例如，所公开的方法能够通过被特别设计或配置成实施所公开的方法中的任一个的集成电路（例如，专用集成电路（“ASIC”）（诸如ASIC数字信号处理单元（“DSP”）、图形处理单元（“GPU”）或可编程逻辑器件（“PLD”），诸如现场可编程门阵列（“FPGA”））加以实施。

为了呈现起见，具体实施方式使用像“确定”和“使用”这样的术语来描述计算系统中的计算机操作。这些术语是对由计算机执行的操作的高级抽象，并且不应该被与由人类执行的行为混淆。与这些术语相对应的实际的计算机操作取决于实施方案而变化。

II. 示例性网络环境

图2a和图2b示出了包括视频构码器（220）和视频解码器（270）的示例性网络环境（201, 202）。构码器（220）和解码器（270）通过网络（250）使用适当的通信协议被连接。网络（250）能够包括因特网或另一计算机网络。

在图2a中所示出的网络环境（201）中，每个实时通信（“RTC”）工具（210）包括构码器（220）和解码器（270）两者以用于双向通信。给定构码器（220）能够产生与SMPTE 421M标准、ISO-IEC 14496-10标准（还被称为H.264/AVC）、H.265/HEVC标准、另一标准或专有格式兼容的输出，对应的解码器（270）从构码器（220）接受构码数据。双向通信可以是视频会议、视频电话呼叫或其它两方通信场景的一部分。尽管图2a中的网络环境（201）包括两个实时通信工具（210），但是网络环境（201）能够替代地包括参与多方通信的三个或更多个实时通信工具（210）。

实时通信工具（210）通过构码器（220）来管理构码。图4示出了能够被包括在实时通信工具（210）中的示例性构码器系统（400）。替换地，实时通信工具（210）使用另一构码器系统。实时通信工具（210）还通过解码器（270）来管理解码。图5示出了能够被包括在实时通信工具（210）中的示例性解码器系统（500）。替换地，实时通信工具（210）使用另一解码器系统。

在图2b中所示出的网络环境（202）中，构码工具（212）包括对用于递送到包括解码器（270）的多个回放工具（214）的视频进行构码的构码器（220）。单向通信能够被提供用于视频监视系统、web相机监测系统、远程桌面会议呈现或其中视频被构码并且从一个位置发送到一个或多个其它位置的其它场景。尽管图2b中的网络环境（202）包括两个回放工具（214），但是网络环境（202）能够包括更多的或更少的回放工具（214）。一般而言，回放工具（214）与构码工具（212）进行通信以便确定用于回放工具（214）接收的视频的流。回放工具（214）接收流，缓冲所接收到的构码数据达适当的周期，并且开始解码和回放。

图4示出了能够被包括在构码工具（212）中的示例性构码器系统（400）。替换地，构码工具（212）使用另一构码器系统。构码工具（212）还能够包括用于管理与一个或多个回放工具（214）的连接的服务器侧控制器逻辑。图5示出了能够被包括在回放工具（214）中的示例性解码器系统（500）。替换地，回放工具（214）使用另一解码器系统。回放工具（214）还能够包括用于管理与构码工具（212）的连接的客户端侧控制器逻辑。

III. 示例性帧包装/解包系统。

图3是一些描述的实施例可以结合其被实施的一般性的帧包装/解包系统（300）的框图。

系统（300）包括视频源（310），其产生诸如4:4:4格式这样的较高分辨率色度采样格式的源帧（311）。视频源（310）可以是相机、调谐器卡、存储媒体或其它数字视频源。

帧包装器（315）重新布置较高分辨率色度采样格式的帧（311）以便产生诸如4:2:0格式这样的较低分辨率色度采样格式的源帧（316）。帧包装（包括小波分解或其它带分离滤波）的示例性方法在下面被描述。帧包装器（315）能够发信号通知指示帧包装是否并且如何被执行的元数据（317），以用于在解码之后由帧解包器（385）使用。用来发信号通知帧包装布置元数据的示例性方法在下面被描述。

构码器（340）对较低分辨率色度采样格式的帧（316）进行构码。示例性构码器参考图4和图6在下面被描述。构码器（340）通过通道（350）输出编码数据（341），所述通道（350）表示存储、通信连接，或用于输出的另一通道。

解码器（360）接收构码数据（341）并且对较低分辨率色度采样格式的帧（316）进行解码。示例性解码器参考图5和图7在下面被描述。解码器输出较低分辨率色度采样格式的重建帧（381）。

帧解包器（385）可选地重新布置较低分辨率色度采样格式的重建帧（381）以便重建较高分辨率色度采样格式的帧（386）。帧解包（包括小波重建或其它逆带分离滤波）的示例性方法在下面被描述。帧解包器（385）能够接收指示帧包装是否并且如何被执行的元数据（317），并且使用这样的元数据（317）来指导解包操作。帧解包器（385）将较高分辨率色度采样格式的重建帧输出到输出目的地（390）。

IV. 示例性构码器系统。

图4是一些描述的实施例能够结合其被实施的示例性构码器系统（400）的框图。构码器系统（400）可以是能够在诸如用于实时通信的低延迟构码模式、转码（transcoding）模式以及用于来自文件或流的媒体回放的普通构码模式这样的多个构码模式中的任一个下操作的通用构码工具，或者它可以是适配于一个这样的构码模式的专用构码工具。构码器系统（400）能够作为操作系统模块、作为应用库的一部分或作为独立应用被实施。总的说来，构码器系统（400）从视频源（410）接收（诸如4:4:4格式这样的较高分辨率色度采样格式的）一系列源视频帧（411），执行到诸如4:2:0格式这样的较低分辨率色度采样格式的帧包装（包括小波分解或其它带分离滤波），对较低分辨率色度采样格式的帧进行构码，并且产生如输出到通道（490）的构码数据。

视频源（410）可以是相机、调谐器卡、存储媒体或其它数字视频源。视频源（410）以例如每秒30帧的帧速率产生一系列视频帧。如本文中所使用的，术语“帧”一般地指代源、编码的或重建的图像数据。对于逐行扫描视频，帧是逐行扫描视频帧。对于交错视频，在示例性实施例中，交错视频帧在构码之前被去交错。替换地，两个互补的交错视频半帧（field）被构码为交错视频帧或为单独的半帧。除指示逐行扫描视频帧之外，术语“帧”能够指示单个不成对的视频半帧、互补的一对视频半帧、表示在给定时间的视频对象的视频对象平面或较大图像中的感兴趣区。视频对象平面或区可以是包括场景的多个对象或区的较大图像的一部分。在来自捕获格式（例如，RGB格式）的颜色空间转换之后，源帧（411）具有诸如4:4:4格式这样的较高分辨率色度采样格式。

帧包装器（415）重新布置较高分辨率色度采样格式的帧（441）以便产生诸如4:2:0格式这样的较低分辨率色度采样格式的源帧（416）。帧包装的示例性方法在下面被描述。帧包装器（415）能够发信号通知指示帧包装是否并且如何被执行的元数据（未示出），以用于在解码之后由帧解包器使用。用来发信号通知帧包装布置元数据的示例性方法在下面被描述。帧包装器（415）能够执行预处理操作，例如，小波分解或其它带分离滤波，如在下面所描述的。

到达源帧（416）被存储在包括多个帧缓冲器存储区域（421、422、...、42n）的源帧暂时存储器存储区域（420）中。帧缓冲器（421、422等）使一个源帧保持在源帧存储区域（420）中。在源帧（416）中的一个或多个已被存储在帧缓冲器（421、422等）中之后，帧选择器（430）周期性地从源帧存储区域（420）中选择单独的源帧。帧以其被帧选择器（430）选择用于输入到构码器（440）的顺序可以不同于帧以其由视频源（410）产生的顺序，例如，选择的帧可以在顺序上提前，以便利于暂时地向后的预测。

帧包装器（415）和帧存储区域（420）的顺序能够被交换。在构码器（440）之前，构码器系统（400）能够包括在构码之前执行所选帧（431）的预处理（例如，滤波）的另一预处理器（未示出）。

构码器（440）对（较低分辨率色度采样格式的）所选帧（431）进行构码以便产生编码帧（441）并且还产生存储器管理控制操作（“MMCO”）信号（442）或参考图片集（“RPS”）信息。如果当前帧不是已被构码的第一帧，则当执行它的构码过程时，构码器（440）可以使用已被存储在解码帧暂时存储器存储区域（460）中的一个或多个先前构码/解码的帧（469）。这样存储的解码帧（469）被用作当前源帧（431）的内容的帧间预测的参考帧。一般地，构码器（440）包括执行诸如运动估计和补偿、频率变换、量化以及熵编码这样的构码任务的多个构码模块。由构码器（440）执行的确切操作能够取决于压缩格式而变化。经输出的构码数据的格式可以是Windows媒体视频格式、VC-1格式、MPEG-x格式（例如，MPEG-1、MPEG-2或MPEG-4）、H.26x格式（例如，H.261、H.262、H.263、H.264）、HEVC格式或其它格式。一般而言，构码器（440）被适配用于对较低分辨率色度采样格式的帧进行构码。

例如，在构码器（440）内，帧间编码的预测帧按根据参考帧的预测被表示。运动估计器估计源帧（441）的样本的集合相对于一个或多个参考帧（469）的运动。样本的集合可以是宏块、子宏块或子宏块分区（如在H.264标准中一样），或者它可以是编码树单元或预测单元（如在HEVC标准中一样）。一般地，如本文中所使用的，术语“块”指示样本的集合，其可以是单个二维（“2D”）阵列或多个2D阵列（例如，针对亮度分量的一个阵列和针对色度分量的两个阵列）。当多个参考帧被使用时，多个参考帧可以是来自不同的时间方向或相同的时间方向的。运动估计器输出诸如运动矢量信息这样的运动信息，其是被熵编码的。运动补偿器对参考帧应用运动矢量以便确定运动补偿的预测值。构码器确定块的运动补偿的预测值与对应的原始值之间的差（若有的话）。这些预测残差值（即，残差、残差值）使用频率变换、量化以及熵构码被进一步构码。类似地，对于帧内预测，构码器（440）能够确定针对块的帧内预测值，确定预测残差值，并且对预测残差值进行构码。构码器（440）的熵编码器（entropy coder）压缩量化的变换系数值以及特定边信息（例如，运动矢量信息、QP值、模式判定、参数选择）。典型的熵编码技术包括指数哥伦布（Exp-Golomb）编码、算术编码、差分编码、哈夫曼（Huffman）编码、游程长度编码、可变长度到可变长度（“V2V”）编码、可变长度到固定长度（“V2F”）编码、LZ编码、词典编码、概率区间分割熵编码（“PIPE”）以及上述的组合。熵编码器能够针对不同种类的信息使用不同的编码技术，并且能够从特定编码技术内的多个码表当中选择。

编码帧（441）和MMCO/RPS信息（442）被解码过程仿真器（450）处理。解码过程仿真器（450）实施解码器的功能性中的一些（例如，解码任务）以便重建被构码器（440）用在运动估计和补偿中的参考帧。解码过程仿真器（450）使用MMCO/RPS信息（442）来确定给定编码帧（441）是否需要被存储以用于在要被构码的后续帧的帧间预测中用作参考帧。如果MMCO/RPS信息（442）指示编码帧（441）需要被存储，则解码过程仿真器（450）对将由解码器进行的解码过程进行建模，所述解码器接收编码帧（441）并且产生对应的解码帧（451）。在这样做时，当构码器（440）已使用已被存储在解码帧存储区域（460）中的（一个或多个）解码帧（469）时，解码过程仿真器（450）也使用来自存储区域（460）的（一个或多个）解码帧（469）作为解码过程的一部分。

解码帧暂时存储器存储区域（460）包括多个帧缓冲器存储区域（461、462、...、46n）。解码过程仿真器（450）使用MMCO/RPS信息（442）来管理存储区域（460）的内容，以便识别具有不再被构码器（440）需要用作参考帧的帧的任何帧缓冲器（461、462等）。在对解码过程进行建模之后，解码过程仿真器（450）将新近解码的帧（451）存储在已被以这种方式识别的帧缓冲器（461、462等）中。

编码帧（441）和MMCO/RPS信息（442）还被缓冲在暂时编码数据区域（470）中。被聚集在编码数据区域（470）中的编码数据还能够包括涉及编码视频数据的媒体元数据（例如，作为一个或多个SEI消息（诸如帧包装布置SEI消息）或视频可用性信息（“VUI”）消息中的一个或多个参数）。

来自暂时编码数据区域（470）的经聚集的数据（471）被通道构码器（480）处理。通道构码器（480）能够包化经聚集的数据以用于作为媒体流传送（例如，根据诸如ISO/IEC 14496-12这样的媒体容器格式），在这种情况下通道构码器（480）能够添加作为媒体传输流的语法的一部分的语法元素。或者，通道构码器（480）能够组织经聚集的数据以用于作为文件存储（例如，根据诸如ISO/IEC 14496-12这样的媒体容器格式），在这种情况下通道构码器（480）能够添加作为媒体存储文件的语法的一部分的语法元素。或者，更一般地，通道构码器（480）能够实施一个或多个媒体系统复用协议或传输协议，在这种情况下通道构码器（480）能够添加作为（一个或多个）协议的语法的一部分的语法元素。针对媒体传输流、媒体存储流、复用协议或传输协议的这样的语法元素能够包括帧包装布置元数据。通道构码器（480）将输出提供给表示存储、通信连接的通道（490），或用于输出的另一通道。

V. 示例性解码器系统。

图5是一些描述的实施例可以结合其被实施的示例性解码器系统（500）的框图。解码器系统（500）可以是能够在诸如用于实时通信的低延迟解码模式以及用于来自文件或流的媒体回放的普通解码模式这样的多个解码模式中的任一个下操作的通用解码工具，或者它可以是针对一个这样的解码模式适配的专用解码工具。解码器系统（500）能够作为操作系统模块、作为应用库的一部分或作为独立应用被实施。总的说来，解码器系统（500）从通道（510）接收编码数据，对诸如4:2:0格式这样的较低分辨率色度采样格式的帧进行解码，可选地执行从较低分辨率色度采样格式到诸如4:4:4格式这样的较高分辨率色度采样格式的帧解包（包括小波重建或其它逆带分离滤波），并且产生（较高分辨率色度采样格式的）重建帧作为针对输出目的地（590）的输出。

解码器系统（500）包括通道（510），其能够表示存储、通信连接，或作为输入的针对编码数据的另一通道。通道（510）产生已被通道编码的编码数据。通道解码器（520）能够处理编码数据。例如，通道解码器（520）去包化已被聚集用于作为媒体流传送的数据（例如，根据诸如ISO/IEC 14496-12这样的媒体容器格式），在这种情况下通道解码器（520）能够解析被作为媒体传输流的语法的一部分添加的语法元素。或者，通道解码器（520）使已被聚集用于作为文件存储的编码视频数据分离（例如，根据诸如ISO/IEC 14496-12这样的媒体容器格式），在这种情况下通道解码器（520）能够解析被作为媒体存储文件的语法的一部分添加的语法元素。或者，更一般地，通道解码器（520）能够实施一个或多个媒体系统解复用协议或传输协议，在这种情况下通道解码器（520）能够解析被作为（一个或多个）协议的语法的一部分添加的语法元素。针对媒体传输流、媒体存储流、复用协议或传输协议的这样的语法元素能够包括帧包装布置元数据。

被从通道解码器（520）输出的编码数据（521）被存储在暂时编码数据区域（530）中直到充足数量的这样的数据已被接收到为止。编码数据（521）包括编码帧（531）（在较低分辨率色度采样格式下）和MMCO/RPS信息（532）。编码数据区域（530）中的编码数据（521）还能够包括涉及构码视频数据的媒体元数据（例如，作为诸如帧包装布置SEI消息这样的一个或多个SEI消息或VUI消息中的一个或多个参数）。一般而言，编码数据区域（530）暂时地存储编码数据（521）直到这样的编码数据（521）被解码器（550）使用为止。在那时，针对编码帧（531）和MMCO/RPS信息（532）的编码数据被从编码数据区域（530）转移到解码器（550）。随着解码继续，新的编码数据被添加到编码数据区域（530），并且编码数据区域（530）中留下的最旧的编码数据被转移到解码器（550）。

解码器（550）周期性地对编码帧（531）进行解码以便产生较低分辨率色度采样格式的对应的解码帧（551）。视情况而定，当执行它的解码过程时，解码器（550）可以将一个或多个先前解码帧（569）用作帧间预测的参考帧。解码器（550）从解码帧暂时存储器存储区域（560）读取这样的先前解码帧（569）。一般地，解码器（550）包括执行诸如熵解码、逆量化、逆频率变换以及运动补偿这样的解码任务的多个解码模块。由解码器（550）执行的确切操作能够取决于压缩格式而变化。一般而言，解码器（550）被适配用于对较低分辨率色度采样格式的帧进行解码。

例如，解码器（550）接收针对压缩帧或一系列帧的构码数据并且产生包括较低分辨率色度采样格式的解码帧（551）的输出。在解码器（550）中，缓冲器接收针对压缩帧的构码数据并且使所接收到的构码数据对于熵解码器是可得到的。熵解码器对熵编码的量化数据以及熵编码的边信息进行熵解码，典型地应用构码器中执行的熵构码的逆。运动补偿器对一个或多个参考帧应用运动信息以便形成正被重建的帧的块（例如，宏块、子宏块、子宏块分区、编码树单元、预测单元或其部分）的运动补偿的预测。帧内预测模块能够根据邻近的先前重建的样本值来空间地预测当前块的样本值。解码器（550）还重建预测残差。逆量化器逆量化熵解码的数据。逆频率变换器将经量化的频域数据转换成空间域信息。对于预测帧，解码器（550）将重建的预测残差与运动补偿的预测组合以便形成重建帧。解码器（550）能够类似地将预测残差与来自帧内预测的空间预测组合。视频解码器（550）中的运动补偿环路包括自适应去块滤波器以便平滑跨越解码帧（551）中的块边界行和/或列的不连续。

解码帧暂时存储器存储区域（560）包括多个帧缓冲器存储区域（561、562、...、56n）。解码帧存储区域（560）是DPB的例子。解码器（550）使用MMCO/RPS信息（532）来识别它能够将较低分辨率色度采样格式的解码帧（551）存储在其中的帧缓冲器（561、562等）。解码器（550）将解码帧（551）存储在该帧缓冲器中。

输出定序器（580）使用MMCO/RPS信息（532）来识别要被以输出顺序产生的下一个帧何时在解码帧存储区域（560）中可用。当要被以输出顺序产生的较低分辨率色度采样格式的下一个帧（581）在解码帧存储区域（560）中可用时，它被输出定序器（580）读取并且输出到（a）用于显示较低分辨率色度采样格式的帧的输出目的地（590）（例如，显示器）或（b）帧解包器（585）。一般而言，帧以其被输出定序器（580）从解码帧存储区域（560）输出的顺序可以不同于帧以其被解码器（550）解码的顺序。

帧解包器（585）重新布置较低分辨率色度采样格式的帧（581）以便产生诸如4:4:4格式这样的较高分辨率色度采样格式的输出帧（586）。帧解包的示例性方法在下面被描述。帧包装器（585）能够使用指示帧包装是否并且如何被执行的元数据（未示出），以便指导帧解包操作。帧解包器（585）能够执行后处理操作，例如，小波重建或其它逆带分离滤波，如在下面所描述的。

VI. 示例性视频构码器。

图6是一些描述的实施例可以结合其被实施的一般性的视频构码器（600）的框图。构码器（600）接收包括当前帧（605）的、诸如4:2:0格式这样的较低分辨率色度采样格式的一系列视频帧，并且产生作为输出的构码数据（695）。

构码器（600）是基于块的并且使用取决于实施方案的宏块格式。块可以在不同级（例如，在频率变换和熵构码级）被进一步细分。例如，帧能够被划分成16x16个宏块，其进而能够被划分8x8个块或像素值的更小子块以用于编码和解码。

构码器系统（600）压缩预测帧和帧内编码帧。为了呈现起见，图6示出了通过构码器（600）用于帧内编码的“帧内路径”和用于帧间编码的“帧间路径”。构码器（600）的构件中的许多被用于帧内编码和帧间编码两者。由那些构件执行的确切操作能够取决于正被压缩的信息的类型而变化。

如果当前帧（605）是预测帧，则运动估计器（610）估计当前帧（605）的块（例如，宏块、子宏块、子宏块分区、编码树单元、预测单元或其部分）相对于一个或多个参考帧的运动。帧储存器（620）缓冲一个或多个重建的先前帧（625）以用作参考帧。当多个参考帧被使用时，多个参考帧可以是来自不同的时间方向或相同的时间方向的。运动估计器（610）输出诸如差分运动矢量信息这样的运动信息（615）作为边信息。

运动补偿器（630）在形成运动补偿的当前帧（635）时对经重建的（一个或多个）参考帧（625）应用重建的运动矢量。经运动补偿的当前帧（635）的块等与原始当前帧（605）的对应部分之间的差（若有的话）是针对块的预测残差（645）。在当前帧的以后重建期间，重建的预测残差被添加到经运动补偿的当前帧（635）以便获得更接近于原始当前帧（605）的重建帧。然而，在有损压缩中，一些信息仍然从原始当前帧（605）丢失。帧内路径能够包括帧内预测模块（未示出），其根据邻近的先前重建的像素值来空间地预测当前块的像素值。

频率变换器（660）将空间域视频信息转换成频域（即，频谱、变换）数据。对于基于块的视频帧，频率变换器（660）对像素值数据或预测残差数据的块应用离散余弦变换、其的整数近似或另一类型的正向块变换，从而产生频率变换系数的块。量化器（670）然后量化变换系数。例如，量化器（670）对频域数据应用非均匀标量量化，其具有在逐帧基础、逐宏块基础或其它基础上变化的步长尺寸。

在当前帧的重建版本对于后续运动估计/补偿是需要的时，逆量化器（676）对经量化的频率系数数据执行逆量化。逆频率变换器（666）执行逆频率变换，从而产生重建的预测残差或像素值的块。对于预测帧，构码器（600）将重建的预测残差（645）与运动补偿的预测（635）组合以便形成重建帧（605）。（尽管在图6中未示出，但是在帧内路径中，构码器（600）能够将预测残差与来自帧内预测的空间预测组合。）帧储存器（620）缓冲经重建的当前帧以用于在后续运动补偿的预测中使用。

构码器（600）中的运动补偿环路包括在帧储存器（620）之前或之后的自适应环内去块滤波器（610）。解码器（600）对重建帧应用环内滤波以便自适应地平滑跨越帧中的边界的不连续。自适应环内去块滤波器（610）能够针对一些类型的内容被禁用。例如，在采用主视图和辅助视图的帧包装方法中，自适应环内去块滤波器（610）在对辅助视图（包括不为主视图的一部分的剩余色度信息）进行构码时能够被禁用，以便不引入诸如模糊这样的赝像。

熵编码器（680）压缩量化器（670）的输出以及运动信息（615）和特定边信息（例如，QP值）。熵编码器（680）将构码数据（695）提供给缓冲器（690），所述缓冲器（690）将构码数据复用成输出比特流。

控制器（未示出）从构码器的各种模块接收输入。控制器在构码期间评估中间结果，例如，设置QP值并且执行率失真分析。控制器与其它模块一起工作来在构码期间设置和改变编码参数。特别地，控制器能够变化QP值和其它控制参数以便在构码期间控制亮度分量和色度分量的量化。例如，控制器可能变化QP值以便与该帧的色度内容相比将更多的比特赋予给定帧（其在帧包装方法中可能是主视图或辅助视图）的亮度内容。或者，在采用主视图和辅助视图的帧包装方法中，控制器能够变化QP值以便与辅助视图（包括剩余色度信息）相比将更多的比特赋予主视图（包括亮度分量和子采样色度分量）。

在帧包装的一些方法中，即使在来自较高分辨率色度采样格式的帧的色度信息已被包装成较低分辨率色度采样格式的要被构码（to-be-encoded）帧之后，构码器也能够以数个方式利用色度分量的样本值之间的几何对应。术语几何对应指示（1）在从较低分辨率色度采样格式构建的帧的（标称）亮度分量的位置处的色度信息与（2）在较低分辨率色度采样格式的帧的色度分量的对应比例位置处的色度信息之间的关系。比例因子应用在亮度分量和色度分量的位置之间。例如，对于4:2:0，比例因子水平地且垂直地为二，而对于4:2:2，比例因子水平地为二并且垂直地为一。

构码器能够通过在对要被构码帧的当前块进行构码时首先评估邻近块的最近结果来使用几何对应以便从块到块指导运动估计、QP选择、预测模式选择或其它决策过程。或者，构码器能够使用几何对应来针对包装成要被构码帧的色度分量的高分辨率色度信息来指导这样的决策过程，其使用来自对包装成要被构码帧的“亮度”分量的高分辨率色度信息的构码的结果。或者，更直接地，在针对包装成要被构码帧的“亮度‘分量的高分辨率色度信息的运动矢量、预测模式或其它判定也被用于包装成要被构码帧的色度分量的高分辨率色度信息的情况下，构码器能够使用几何对应来改进压缩性能。特别地，在本文中所描述的一些方法（例如，下面的方法2）中，当色度信息被包装到较低分辨率色度采样格式的辅助帧中时，辅助帧的标称亮度分量与辅助帧的标称色度分量之间的空间对应和运动矢量位移关系被保存。在辅助帧的Y分量、U分量以及V分量中的对应空间位置处的样本值往往是一致的，这对于如编码块型式信息或指示非零系数值的存在/不存在的其它信息的空间块尺寸分段和联合编码这样的目的是有用的。针对辅助帧的Y分量、U分量以及V分量的对应部分的运动矢量往往是一致的（例如，Y中的两个样本的垂直位移或水平位移对应于U和V中的1个样本的位移），这还帮助编码效率。

取决于所期望的压缩的实施方案和类型，构码器的模块能够被添加、省略、分成多个模块、与其它模块组合和/或用同样的模块代替。在替代实施例中，具有不同模块和/或模块的其它配置的构码器执行所描述的技术中的一个或多个。构码器的特定实施例典型地使用构码器（600）的变例或补充版本。在构码器（600）内的模块之间示出的关系指示信息在该构码器中的一般流程；为了简单起见其它关系未被示出。

VII. 示例性视频解码器。

图7是数个描述的实施例可以结合其被实施的一般性的解码器（700）的框图。解码器（700）接收针对压缩帧或一系列帧的构码数据（795）并且产生包括诸如4:2:0格式这样的较低分辨率色度采样格式的重建帧（705）的输出。为了呈现起见，图7示出了通过解码器（700）用于帧内解码的“帧内路径”和用于帧间解码的“帧间路径”。解码器（700）的构件中的许多被用于帧内解码和帧间解码两者。由那些构件执行的确切操作能够取决于正被解压缩的信息的类型而变化。

缓冲器（790）接收针对压缩帧的构码数据（795）并且使所接收到的构码数据对于解析器/熵解码器（780）是可得到的。解析器/熵解码器（780）对熵编码的量化数据以及熵编码的边息进行熵解码，典型地应用构码器中执行的熵构码的逆。

运动补偿器（730）对一个或多个参考帧（725）应用运动信息（715）以便形成正被重建的帧（705）的块（例如，宏块、子宏块、子宏块分区、编码树单元、预测单元或其部分）的运动补偿的预测（735）。帧储存器（720）存储一个或多个先前重建的帧以用作参考帧。

帧内路径能够包括帧内预测模块（未示出），其根据邻近的先前重建的像素值来空间地预测当前块的像素值。在帧间路径中，解码器（700）重建预测残差。逆量化器（770）逆量化熵解码的数据。逆频率变换器（760）将经量化的频域数据转换成空间域信息。例如，逆频率变换器（760）对频率变换系数应用逆块变换，从而产生像素值数据或预测残差数据。逆频率变换可以是逆离散余弦变换、其的整数逼近或另一类型的逆频率变换。

对于预测帧，解码器（700）将重建的预测残差（745）与运动补偿的预测（735）组合以便形成重建帧（705）。（尽管在图7中未示出，但是在帧内路径中，解码器（700）能够将预测残差与来自帧内预测的空间预测组合。）解码器（700）中的运动补偿环路包括在帧储存器（720）之前或之后的自适应环内去块滤波器（710）。解码器（700）对重建帧应用环内滤波以便自适应地平滑跨越帧中的边界的不连续。自适应环内去块滤波器（710）当它在构码期间被禁用时能够针对一些类型的内容被禁用。例如，在采用主视图和辅助视图的帧包装方法中，自适应环内去块滤波器（710）在对辅助视图（包括不为主视图的一部分的剩余色度信息）进行解码时能够被禁用。

在图7中，解码器（700）还包括后处理去块滤波器（708）。后处理去块滤波器（708）可选地平滑重建帧中的不连续。其它滤波（诸如去环滤波）还能够作为后处理滤波的一部分被应用。典型地，经受以后帧解包的重建帧绕过后处理去块滤波器（708）。

取决于所期望的解压缩的实施方案和类型，解码器的模块能够被添加、省略、分成多个模块、与其它模块组合和/或用同样的模块代替。在替代实施例中，具有不同模块和/或模块的其它配置的解码器执行所描述的技术中的一个或多个。解码器的特定实施例典型地使用解码器（700）的变例或补充版本。在解码器（700）内的模块之间示出的关系指示信息在该解码器中的一般流程；为了简单起见其它关系未被示出。

VIII.针对较高分辨率色度采样格式的帧包装/解包。

本节段描述用来将较高分辨率色度采样格式的帧包装成较低分辨率色度采样格式的帧的各种方法。较低分辨率色度采样格式的帧然后能够使用针对较低分辨率色度采样格式所设计的构码器被构码。在解码（使用针对较低分辨率色度采样格式所设计的解码器）之后，在较低分辨率色度采样格式下的帧能够被输出以用于进一步处理和显示。或者，在这样的解码之后，较高分辨率色度采样格式的帧能够通过帧解包而被恢复以用于输出和输出。

A. 针对YUV 4:4:4视频的帧包装/解包的方法。

作为一个特定例子，本文中所描述的各种方法能够被用来在构码/解码使用4:2:0格式时保存4:4:4格式的帧的色度信息。在这些方法中，例如，YUV 4:4:4帧被包装成两个YUV 4:2:0帧。典型的4:4:4帧针对每4个像素位置包含12个样本值，然而4:2:0帧针对每4个像素位置仅包含6个样本值。所以，在4:4:4帧中包含的所有样本值能够被包装成两个4:2:0帧。

1. 方法1。

在方法1中，YUV 4:4:4帧使用空间分割被包装成两个YUV 4:2:0帧。图8示出了使用YUV 4:4:4帧的空间分割的帧包装的这个方法（800）。

Y₄₄₄平面、U₄₄₄平面以及V₄₄₄平面是针对YUV 4:4:4帧（801）的三个分量平面。每个平面具有宽度W和高度H的分辨率。为了方便描述本文中所使用的例子，W和H两者可被4整除，而不暗示这是该方法的限制。用来将YUV 4:4:4帧包装成两个YUV 4:2:0帧的方法（800）像图8中所示出的那样分裂YUV 4:4:4帧。YUV 4:4:4帧（801）的U₄₄₄平面使用空间分割被分割成底半部H2-U₄₄₄以及两个上四分之一Q1-U₄₄₄和Q2-U₄₄₄。YUV 4:4:4帧（801）的V₄₄₄平面使用空间分割被分割成底半部H2-V₄₄₄以及两个上四分之一Q1-V₄₄₄和Q2-V₄₄₄。

YUV 4:4:4帧（801）的被分割平面然后被辨识为一个或多个YUV 4:2:0帧。YUV 4:4:4帧的Y₄₄₄平面成为YUV 4:2:0格式的第一帧（802）的亮度分量平面。U₄₄₄平面和V₄₄₄平面的底半部成为YUV 4:2:0格式的第二帧（803）的亮度分量平面。U₄₄₄平面和V₄₄₄平面的顶四分之一成为如图8中所示出的YUV 4:2:0格式的第一帧（802）和第二帧（803）的色度分量平面。

YUV 4:2:0格式的第一帧（802）和第二帧（803）能够被组织为单独的帧（由图8中的暗线分离）。或者，YUV 4:2:0格式的第一帧（802）和第二帧（803）能够被组织为具有2 x H的高度的单个帧（忽视图8中的暗线）。或者，YUV 4:2:0格式的第一帧（802）和第二帧（803）能够被组织为具有2 x W的宽度的单个帧。或者，YUV 4:2:0格式的第一帧（802）和第二帧（803）能够使用针对H.264/AVC标准或HEVC标准中的frame_packing_arrangement_type所定义的方法中的任一个被组织为单个帧或多个帧。

尽管这种帧包装工作，但是它不产生两个YUV 4:2:0帧中的每一个内的Y分量、U分量以及V分量之间的几何对应。特别地，对于YUV 4:2:0格式的第二帧（803），典型地不存在亮度分量与色度分量之间的几何对应。本文中所描述的其它包装方法典型地实现更好的几何对应。

替换地，作为色度采样格式，方法1能够在诸如4:4:4、4:2:2、4:2:0等这样的采样率方面被用于诸如RGB、GBR等这样的颜色空间。

2. 方法2。

在方法2中，YUV 4:4:4帧被包装成两个YUV 4:2:0帧，同时对于YUV 4:4:4帧的色度信息维持几何对应。在它们的Y分量、U分量以及V分量之间具有良好的几何对应的YUV 4:2:0帧能够被更好地压缩，因为它们适合由被适配成对YUV 4:2:0帧进行构码的典型构码器所预期的模型。

包装还能够完成使得两个YUV 4:2:0帧中的一个表示正由YUV 4:4:4帧所表示的完整场景，但是颜色分量在较低分辨率下。这提供解码方面的选项。不能够执行帧解包或者选择不执行帧解包的解码器能够仅仅采取表示场景的YUV 4:2:0帧的重建版本并且直接地将它馈送给显示器。

图9图示了与这些设计约束一致的帧包装的一个示例性方法（900）。在这个方法（900）中，YUV 4:4:4帧（801）被包装成两个YUV 4:2:0帧（902, 903）。第一帧（902）以YUV 4:2:0格式提供“主（main）视图” - 由YUV 4:4:4帧（801）所表示的完整场景的较低色度分辨率版本。第二帧（903）以YUV 4:2:0格式提供“辅助（auxiliary）视图”并且包含剩余色度信息。

在图9中，区域B1 ... B9是YUV 4:2:0格式的相应帧（902, 903）内的不同区域。YUV 4:4:4帧（801）的U₄₄₄平面和V₄₄₄平面的奇数行的样本值被分配给区域B4和区域B5，并且YUV 4:4:4帧（801）的U₄₄₄平面和V₄₄₄平面的偶数行的样本值被分布在区域B2、B3与区域B6...B9之间。具体地，YUV 4:4:4帧（801）的Y₄₄₄平面、U₄₄₄平面以及V₄₄₄平面的样本值映射到区域B1 ... B9如下。

· 对于区域B1，                                               ，其中(x, y)的范围是[0, W - 1 ] × [0, H - l]。

· 对于区域B2，，其中(x, y)的范围是。

· 对于区域B3，，其中(x, y)的范围是。

· 对于区域B4，，其中(x, y)的范围是。

· 对于区域B5，，其中其中(x, y)的范围是。

· 对于区域B6，，其中(x, y)的范围是。

· 对于区域B7，，其中(x, y)的范围是。

· 对于区域B8，，其中(x, y)的范围是。

· 对于区域B9，，其中(x, y)的范围是。

替换地，YUV 4:4:4帧（801）的Y₄₄₄平面、U₄₄₄平面以及V₄₄₄平面的样本值能够被以不同的方式分配给区域B1 ... B9。例如，YUV 4:4:4帧（801）的U₄₄₄平面和V₄₄₄平面的偶数行的样本值被分配给区域B4和区域B5，并且YUV 4:4:4帧（801）的U₄₄₄平面和V₄₄₄平面的奇数行的样本值被分布在区域B2、B3与区域B6...B9之间。或者，作为另一例子，来自YUV 4:4:4帧的原始U平面的数据能够被布置在辅助YUV 4:2:0帧的U平面中，并且来自YUV 4:4:4帧的原始V平面的数据能够被布置在辅助YUV 4:2:0帧的V平面中。在这个例子中，与图9相比，在以上等式中被分配给区域B7的来自V₄₄₄(2x + 1 , 4y)的样本值能够替代地被分配给B8，并且在以上等式中被分配给区域B8的来自U₄₄₄(2x + 1, 4y + 2)的样本值能够替代地被分配给区域B7。或者，来自U₄₄₄的相同的样本值能够在不使每隔一行分离的情况下针对B6和B7被拷贝到单个区域中，并且来自V₄₄₄的相同的样本值能够在不使每隔一行分离的情况下针对B8和B9被拷贝到单个区域中。总之，辅助YUV 4:2:0帧的U平面（或V平面）是从YUV 4:4:4帧的U平面（或V平面）构建的，而不使来自不同的原始U和V平面的内容混合。（相比之下，在图9的例子中，辅助YUV 4:2:0帧的U平面（或V平面）具有来自YUV 4:4:4帧的U分量和V分量的数据的混合。辅助YUV 4:2:0帧的U平面（或V平面）的上半部包含来自原始U平面的数据，并且下半部包含来自原始V平面的数据。）。

YUV 4:2:0格式的第一帧（902）和第二帧（903）能够被组织为单独的帧（由图9中的暗线分离）。或者，YUV 4:2:0格式的第一帧（902）和第二帧（903）能够被组织为具有2 x H的高度的单个帧（忽视图9中的暗线）。或者，YUV 4:2:0格式的第一帧（902）和第二帧（903）能够被组织为具有2 x W的宽度的单个帧。或者，YUV 4:2:0格式的第一帧（902）和第二帧（903）能够使用针对H.264/AVC标准或HEVC标准中的frame_packing_arrangement_type所定义的方法中的任一个被组织为单个帧。

图10图示了根据图9的方法（900）包装的示例性帧。图10示出了包括Y₄₄₄平面、U₄₄₄平面以及V₄₄₄平面的YUV 4:4:4帧（1001）。

在帧包装之后，主视图（1002）（第一YUV 4:2:0帧）是原始YUV 4:4:4帧（1001）的YUV 4:2:0等同物。如果YUV 4:4:4不被支持或者被认为不必要，则解码系统能够简单地显示主视图（1002）的重建版本。

辅助视图（1003）包含YUV 4:4:4帧（1001）的色度信息。即使如此，辅助视图（1003）也适合YUV 4:2:0帧的内容模型并且很好地适合于使用典型的YUV 4:2:0视频构码器的压缩。在帧内，辅助视图（1003）展示了跨越它的Y分量、U分量以及V分量的几何对应。在帧之间，辅助视图预期示出跨越Y分量、U分量以及V分量高度地相关的运动。

图11图示了与这些设计约束一致的帧包装的另一示例性方法（1100）。在这个方法（1100）中，YUV 4:4:4帧（801）被包装成两个YUV 4:2:0帧（1102, 1103）。更像图9的方法（900）一样，在图11的方法（1100）中，第一帧（1102）以YUV 4:2:0格式提供“主视图” - 由YUV 4:4:4帧（801）所表示的完整场景的较低色度分辨率版本，然而第二帧（1103）以YUV 4:2:0格式提供“辅助视图”并且包含剩余色度信息。

在图11中，区域A1 ... A9是YUV 4:2:0格式的相应帧（1102, 1103）内的不同区域。YUV 4:4:4帧（801）的U₄₄₄平面和V₄₄₄平面的奇数列的样本值被分配给区域A4和区域A5，并且YUV 4:4:4帧（801）的U₄₄₄平面和V₄₄₄平面的偶数列的样本值被分布在区域A2、A3与区域A6...A9之间。具体地，YUV 4:4:4帧（801）的Y₄₄₄平面、U₄₄₄平面以及V₄₄₄平面的样本值映射到区域A1 ... A9如下。

· 对于区域A1，，其中(x, y)的范围是[0, W - 1 ]× [0, H - l]。

· 对于区域A2，，其中(x, y)的范围是。

· 对于区域A3，，其中(x, y)的范围是。

· 对于区域A4，，其中(x, y)的范围是。

· 对于区域A5，，其中(x, y)的范围是。

· 对于区域A6，，其中(x, y)的范围是。

· 对于区域A7，，其中(x, y)的范围是。

· 对于区域A8，，其中(x, y)的范围是。

· 对于区域A9，，其中(x, y)的范围是。

替换地，YUV 4:4:4帧（801）的Y₄₄₄平面、U₄₄₄平面以及V₄₄₄平面的样本值能够被以不同的方式分配给区域A1 ... A9。例如，YUV 4:4:4帧（801）的U₄₄₄平面和V₄₄₄平面的偶数列的样本值被分配给区域A4和区域A5，并且YUV 4:4:4帧（801）的U₄₄₄平面和V₄₄₄平面的奇数列的样本值被分布在区域A2、A3与区域A6...A9之间。或者，作为另一例子，来自YUV 4:4:4帧的原始U平面的数据能够被布置在辅助YUV 4:2:0帧的U平面中，并且来自YUV 4:4:4帧的原始V平面的数据能够被布置在辅助YUV 4:2:0帧的V平面中。在这个例子中，与图11相比，在以上等式中被分配给区域A7的来自V₄₄₄(4x, 2y + 1)的样本值被替代地分配给区域A8，并且在以上等式中被分配给区域A8的来自U₄₄₄(4x + 2, 2y + 1)的样本值被替代地分配给区域A7。或者，来自U₄₄₄的相同的样本值能够在不使每隔一列分离的情况下针对A6和A7被拷贝到单个区域中，并且来自V₄₄₄的相同的样本值能够在不使每隔一列分离的情况下针对A8和A9被拷贝到单个区域中。总之，辅助YUV 4:2:0帧的U平面（或V平面）是从YUV 4:4:4帧的U平面（或V平面）构建的，而不使来自不同的原始U和V平面的内容混合。

YUV 4:2:0格式的第一帧（1102）和第二帧（1103）能够被组织为单独的帧（由图11中的暗线分离）。或者，YUV 4:2:0格式的第一帧（1102）和第二帧（1103）能够被组织为具有2 x H的高度的单个帧（忽视图11中的暗线）。或者，YUV 4:2:0格式的第一帧（1102）和第二帧（1103）能够被组织为具有2 x W的宽度的单个帧。或者，YUV 4:2:0格式的第一帧（1102）和第二帧（1103）能够使用针对H.264/AVC标准或HEVC标准中的frame_packing_arrangement_type所定义的方法中的任一个被组织为单个帧。

帧解包能够简单地反映帧包装。分配给具有YUV 4:2:0格式的帧的区域的样本被分配回给YUV 4:4:4格式的帧的色度分量中的原始位置。在一个实施方案中，例如，在帧解包期间，YUV 4:2:0格式的帧的区域B2 ... B9中的样本像以下伪代码中所示出的那样被分配给YUV 4:4:4格式的帧的重建的色度分量U'₄₄₄和V'₄₄₄。

其中"标记指示根据（可能有损的）编码的重建。

B.用于发信号通知帧包装信息的值的语法和语义。

在示例性实施方案中，帧包装布置SEI消息被用来发信号通知两个4:2:0帧包括包装的4:4:4帧。帧包装布置SEI消息在H.264/AVC标准以及HEVC标准中被定义，尽管这样的帧包装布置SEI消息先前已被用于不同目的。

帧包装布置SEI消息被设计成使用2D视频编解码器来发送立体3D视频帧。在这样的情况下，两个4:2:0帧表示立体3D视频场景的左视图和右视图。对于本文中所描述的方法，帧包装布置SEI消息的范围能够被扩展成替代地支持从单个4:4:4帧获得的两个4:2:0帧的构码/解码，其后面是用来恢复4:4:4帧的帧解包。两个4:2:0帧表示主视图和辅助视图。主视图（帧）和辅助视图（帧）两者具有这样的格式，其是4:2:0格式的等同物。主视图（帧）可以是独立地可用的，然而辅助视图（帧）在连同主视图一起适当地解释时有用。因此，这些方法能够使用帧包装布置SEI消息来有效地支持使用能够对4:2:0帧进行编码/解码的视频编解码器来对4:4:4帧进行构码/解码。

为此目的，SEI消息被扩展。例如，语法元素content_interpretation_type的语义被扩展如下。在相关的帧包装方法中，对于4:4:4帧，存在两个构成YUV 4:2:0帧 - 针对主视图的第一帧、以及针对辅助视图的第二帧。content_interpretation_type指示如以下表中所指定的构成帧的预定解释。值0、1以及2像在H.264/AVC标准和HEVC标准中那样被解释。用于content_interpretation_type的新的值被定义成指示构成帧应该被解释为包含来自YUV 4:4:4帧的数据：

值解释0帧包装的构成帧之间的未指定关系。1指示两个构成帧形成立体视图场景的左视图和右视图，其中帧0与左视图相关联并且帧1与右视图相关联。2指示两个构成帧形成立体视图场景的右视图和左视图，其中帧0与右视图相关联并且帧1与左视图相关联。3指示两个构成帧形成表示YUV 4:4:4帧的主YUV 4:2:2帧和辅助YUV 4:2:0帧，其中帧0与主视图相关联并且帧1与辅助视图相关联。指示帧0的色度样本应该被解释为4:4:4帧的未滤波样本（没有反锯齿滤波）。4指示两个构成帧形成表示YUV 4:4:4帧的主YUV 4:2:2帧和辅助YUV 4:2:0帧，其中帧0与主视图相关联并且帧1与辅助视图相关联。指示帧0的色度样本应该被解释为在帧包装之前已被反锯齿滤波。5指示两个构成帧形成表示YUV 4:4:4帧的主YUV 4:2:2帧和辅助YUV 4:2:0帧，其中帧1与主视图相关联并且帧0与辅助视图相关联。指示帧1的色度样本应该被解释为4:4:4帧的未滤波样本（没有反锯齿滤波）。6指示两个构成帧形成表示YUV 4:4:4帧的主YUV 4:2:2帧和辅助YUV 4:2:0帧，其中帧1与主视图相关联并且帧0与辅助视图相关联。指示帧1的色度样本应该被解释为在帧包装之前已被反锯齿滤波。

替换地，用于语法元素content_interpretation_type的不同值与前面的表中所示出的解释相关联。或者，针对content_interpretation_type的其它和/或附加的解释能够被用来支持通过帧包装从较高分辨率色度采样格式的一个或多个帧获得的较低分辨率色度采样格式的帧的构码/解码。

此外，出于简化的目的，以下约束中的一个或多个还可以被施加于帧包装布置SEI消息的其它语法元素。当content_interpretation_type有3与6之间的值时（即，针对牵涉YUV 4:4:4帧变成YUV 4:2:0帧的帧包装的情况），语法元素quincunx_sampling_flag、spatial_flipping_flag、frame0_grid_position_x、frame0_grid_position_y、framel_grid_position_x以及framel_grid_position_y的值应该是0。此外，当content_interpretation_type等于3或5（指示滤波不存在于预处理中）时，chroma_loc_info_present_flag应该是1，并且chroma_sample_loc_type_top_field和chroma_sample_loc_type_bottom_field的值应该是2。

在H.264/AVC标准中（并且在HEVC标准中），语法元素frame_packing_arrangment_type指示立体视图的两个构成帧如何被布置。例如，frame_packing_arrangement_type == 3指示两个构成帧的并排包装，frame_packing_arrangement_type == 4指示两个构成帧的自顶向下包装，以及frame_packing_arrangement_type == 5指示两个构成帧的时间交错。语法元素frame_packing_arrangement_type能够结合指示较高分辨率色度采样格式的帧的包装的content_interpretation_type的值被类似地使用。例如，frame_packing_arrangement_type == 3能够指示主帧和辅助帧的并排包装，frame_packing_arrangement_type == 4能够指示主帧和辅助帧的自顶向下包装，以及frame_packing_arrangement_type == 5能够指示主帧和辅助帧的时间交错。或者，帧包装布置元数据被以某种其它方式发信号通知。替换地，不是扩展content_interpretation_type语法元素的语义以便指示较高分辨率色度采样格式的帧的包装，而是frame_packing_arrangement_type的语义能够被扩展成指示较高分辨率色度采样格式的帧的包装。例如，帧包装布置元数据（诸如frame_packing_arrangement_type高于5的值）除指示主视图和辅助视图如何被布置之外能够指示帧包装/解包被使用还是未被使用、滤波或其它预处理操作被使用还是未被使用（并且因此对应的后处理滤波或其它后处理操作应该被使用还是未被使用）、要执行的后处理操作的类型，或关于帧包装/解包的其它信息。

在这些例子中，帧包装布置SEI消息通知解码器经解码的图片包含作为帧包装布置的构成帧的4:4:4帧的主视图和辅助视图。这个信息能够被用来适当地处理主视图和辅助视图以用于显示或其它目的。例如，当在解码端的系统期望4:4:4格式的视频并且能够从主视图和辅助视图重建4:4:4帧时，系统可以这样做，并且输出格式将是4:4:4。否则，仅主视图作为输出被给出，并且输出格式然后将是4:2:0。

C. 第一组示例性预处理和后处理操作。

较高分辨率色度采样格式的帧的色度样本值的简单子采样可能在经下采样的色度样本值中引入锯齿赝像。为了减轻锯齿，帧包装能够包括用来对色度样本值进行滤波的预处理操作。这样的滤波能够被称为反锯齿滤波。对应的帧解包然后能够包括用来补偿色度样本值的预处理滤波的后处理操作。例如，参考前面的表，当content_interpretation_type是4或6时，预处理操作能够被用来在帧包装期间对色度样本值进行滤波，并且帧解包能够包括对应的后处理操作。本节段描述了第一组示例性预处理和后处理操作。牵涉小波分解/重建或其它带分离滤波/逆滤波的另一组示例性预处理和后处理操作在下面被描述。

存在针对适配于帧包装/解包的预处理和后处理的各种原因。

例如，预处理能够帮助在仅表示主视图的YUV 4:2:0帧被用于显示时改进质量。这能够许可解码器在不用冒由色度信息的简单子采样所引起的锯齿赝像的风险的情况下忽视表示辅助视图的YUV 4:2:0帧。在没有预处理的情况下（当针对表示主视图的YUV 4:2:0帧的色度信号是从YUV 4:4:4帧通过色度信号的直接子采样获得的时），锯齿赝像可能在仅主视图被用来生成输出时在某种内容（例如，ClearType文本内容）上被看到。

作为另一例子，预处理和后处理能够帮助在YUV 4:4:4域中维持/强迫经压缩的色度信号的一致性和平滑度。当帧包装被用来将YUV 4:4:4帧包装成两个YUV 4:2:0帧时，色度信号被分成多个区域，并且每个区域可以取决于其位置而得以被不同地压缩（例如，具有量化的不同水平）。因为这个，当色度信号通过使来自多个区域的数据交错而被再次组装时，人工不连续和高频噪声可能被引入。后处理操作能够帮助使由于压缩而在这些区域中引起的差异平滑。

作为另一例子，预处理能够帮助增强表示辅助视图的YUV 4:2:0帧的压缩，其包含剩余色度信息。

在一些示例性实施方案中，预处理操作和后处理操作是有限的，使得它们仅影响作为表示主视图的YUV 4:2:0帧的一部分的色度信号。也就是说，经滤波的样本值是主视图的色度分量的一部分。

附加地，对于结合AVC编码/解码或HEVC编码/解码的帧包装/解包，预处理操作和后处理操作可以是基于色度样本位置类型（指示与亮度样本栅格的色度样本栅格对准）的。色度样本位置类型是根据作为经压缩的比特流的一部分发信号通知的chroma_sample_loc_type_top_field和chroma_sample_loc_type_bottom_field语法元素所确定的。（对于逐行扫描源内容，这两个元素将通常具有相等的值。）对于给定色度样本位置类型，如果对于特定方向（水平的或垂直的）色度样本与亮度样本对准，则奇数抽头对称滤波器（诸如[1 2 l]/4或[0.25 0.5 0.25]，以及舍入操作）被用来在该方向上对色度进行滤波。另一方面，如果对于特定方向（水平的或垂直的）色度样本不与亮度样本对准，并且对于特定方向（水平的/垂直的）色度样本栅格位置被定中心在亮度样本位置之间，则偶数抽头对称滤波器（典型地[1 l]/2或[0.5 0.5]，以及舍入操作）被用来在该方向上对色度进行滤波。针对后者情况的另一可能的滤波器选择是[1 3 3 1] / 8或[0.125 0.375 0.375 0.125]以及舍入操作。后处理操作的选择通常被做出，使得后处理操作补偿预处理操作。在一些情况下，后处理直接地颠倒预处理，然而在其它情况下后处理仅近似地颠倒预处理，如在下面所说明的。

在结合AVC编码/解码或HEVC编码/解码的帧包装/解包的实施方案中，如果色度样本位置类型对于chroma_sample_loc_type_top_field和chroma_sample_loc_type_bottom_field语法元素是1，则色度样本在水平方向或垂直方向上不与亮度样本对准，并且因此滤波器[0.5 0.5]被在水平方向和垂直方向两者上应用于预处理操作。在这样的情况下，对于参考图9所图示的方法（900），用于得到样本值区域B2和B3的等式如下。

· 对于区域B2：，并且

· 对于区域B3：，

其中对于两个区域，(x, y)的范围都是。

由于这个滤波，来自YUV 4:4:4帧的在位置U₄₄₄(2x, 2y)和V₄₄₄(2x, 2y)处的样本值在主视图（902）中未被直接地表示；替代地，滤波的样本值（和）在主视图（902）中的诸位置处。在区域B4 ... B9之中来自YUV 4:4:4帧的在U₄₄₄(2x + l,2y)、U₄₄₄(2x, 2y + 1)、U₄₄₄(2x + l,2y + 1)、V₄₄₄(2x + l,2y)、V₄₄₄(2x, 2y + 1)以及V₄₄₄(2x + l,2y + 1)处的样本值在辅助视图（903）中仍然被直接地表示。

在当YUV 4:4:4格式的帧将被输出时作为后处理操作的一部分的对应滤波中，针对YUV 4:4:4帧的位置U₄₄₄(2x, 2y)和V₄₄₄(2x, 2y)的样本值能够根据已包装帧中的值被计算为U'₄₄₄(2x, 2y)和V'₄₄₄(2x, 2y)，如下：

· ，并且

· ，

其中(x, y)的范围是，α是取决于实施方案的加权因子，并且"标记指示根据（可能有损的）编码的重建。在色度样本栅格位置被水平地且垂直地定中心在亮度样本位置之间的情况下，采用所建议的[0.5 0.5]的反锯齿滤波器，值α = 1将在不存在量化误差和舍入误差时完美地重建输入值，其直接地颠倒在预处理中执行的滤波。对于α的其它值，在后处理期间滤波仅近似地颠倒在预处理中执行的滤波。当考虑量化误差时，使用α的稍微较小的值（例如，α = 0.5）可能是合理的以便降低看得出的赝像。一般而言，α应该在0.0到1.0的范围内，并且当量化步长尺寸较大时α应该较小。使用α的高值可能使由于有损压缩而引入的赝像恶化。

或者，对于不同的样本位置，不同的权重能够被分配。针对YUV 4:4:4帧的位置U₄₄₄(2x, 2y)和V₄₄₄(2x, 2y)的样本值能够根据已包装帧中的值被计算为U'₄₄₄(2x, 2y)和V'₄₄₄(2x, 2y)，如下：

· ，

· ，

其中(x, y)的范围是，α、β以及γ是取决于实施方案的加权因子，并且"标记指示根据（可能有损的）编码的重建。在色度样本栅格位置被水平地且垂直地定中心在亮度样本位置之间的情况下，采用所建议的[0.5 0.5]的反锯齿滤波器，值α = β = γ = 1将在不存在量化误差和舍入误差时完美地重建输入值，其直接地颠倒在预处理中执行的滤波。对于α、β以及γ的其它值，在后处理期间滤波仅近似地颠倒在预处理中执行的滤波。当考虑量化误差时，使用α、β以及γ的稍微较小的值（例如，α = β = γ = 0.5）可能是合理的以便降低看得出的赝像。一般而言，α、β以及γ应该在从0.0到1.0的范围内，并且当量化步长尺寸较大时α、β以及γ应该较小。使用α、β以及γ的高值可能使由于有损压缩而引入的赝像恶化。α、β以及γ的值能够使用交叉相关分析针对条件最优性被设计。

当α = β = γ = 1时，针对YUV 4:4:4帧的位置U₄₄₄(2x, 2y)和V₄₄₄(2x, 2y)的样本值能够根据已包装帧中的值被简单地计算为U'₄₄₄(2x, 2y)和V'₄₄₄(2x, 2y)，如下：

· ，并且

· ，

其中(x, y)的范围是。

例如，在预处理期间，针对位置(2x, 2y)、(2x+1, 2y)、(2x, 2y+1)以及(2x+l, 2y+1)的样本值29、15、7以及18被滤波以便产生样本值17.25，其被舍入为17。17的值滤波的样本值被使用代替29的原始样本值。在后处理期间，针对位置(2x, 2y)的样本值被重建为68 -15 - 7 - 18 = 28。原始样本值（29）与重建样本值（28）之间的差示出了由于针对预处理操作的滤波而导致的精度的损失。

替换地，设备能够选择性地跳过在后处理期间的滤波操作，即便当滤波在预处理期间被执行时。例如，设备能够跳过在后处理期间的滤波以降低解码和回放的计算负荷。

替换地，预处理操作和后处理操作不限于作为表示主视图（例如，图9中所表示的帧902的区域B2和区域B3）的4:2:0帧的一部分的、4:4:4帧的色度信号。替代地，预处理操作和后处理操作针对作为表示辅助视图（例如，图9中所表示的帧903的区域B4至B9）的4:2:0帧的一部分的、4:4:4帧的色度信号被同样执行。这样的预处理和后处理操作（针对作为表示辅助视图的4:2:0帧的一部分的、4:4:4帧的色度信号）能够使用与成为表示主视图的4:2:0帧的一部分的、4:4:4帧的色度信号的预处理和后处理不同的滤波操作。

在预处理操作和后处理操作的前面的例子中，在预处理期间平均滤波被使用并且在后处理期间对应的滤波被使用。替换地，预处理操作和后处理操作能够实施变换/逆变换对。例如，变换/逆变换对可以是小波变换、提升变换以及其它变换的类别中的一个。特定变换还能够取决于用例情况而被设计，以便满足上面所提到的针对预处理操作和后处理操作在包装4:4:4帧的上下文中的使用的不同设计原因。或者，预处理和后处理能够使用具有支持的其它滤波器区域的其它滤波器结构，或者使用相对于内容和/或逼真度自适应的（例如，相对于用于构码的量化步长尺寸自适应的）的滤波。

在一些示例性的实施方案中，经帧包装的4:2:0内容的表示和/或压缩能够使用比4:4:4内容的原始样本比特深度更高的样本比特深度。例如，4:4:4帧的样本比特深度是每样本8个比特，并且经帧包装的4:2:0帧的样本比特深度是每样本10个比特。这能够帮助在预处理操作和后处理操作的应用期间降低精度损失。或者，当4:2:0帧使用有损压缩被构码时这能够帮助实现更高水平的逼真度。例如，如果4:4:4内容具有每样本8个比特的样本比特深度，并且经帧包装的4:2:0内容具有每样本10个比特的样本比特深度，则每样本10个比特的比特深度能够在构码器和解码器的所有或大多数内部模块中被维持。在接收端将内容解包为4:4:4格式之后，必要时样本比特深度能够被降低至每样本8个比特。更一般地，较高分辨率色度采样格式的帧的样本值能够具有第一比特深度（诸如每样本8、10、12或16个比特），然而较低分辨率色度采样格式（在帧包装之后）的帧的样本值具有比第一比特深度高的第二比特深度。

D. 针对YUV 4:2:2视频的替代方案。

在前面的例子的许多中，YUV 4:4:4帧被包装成YUV 4:2:0帧以用于构码和解码。在其它例子中，YUV 4:2:2帧被包装成YUV 4:2:0帧以用于构码和解码。典型的4:2:2帧针对每4个像素位置包含8个样本值，然而4:2:0帧针对每4个像素位置仅包含6个样本值。所以，在4:2:2帧中包含的样本值能够被包装成4/3个4:2:0帧。也就是说，当被高效地包装时，三个4:2:2帧能够被包装成四个4:2:0帧。

在一个方法中，针对4:2:2帧的帧包装以与在图8中针对4:4:4至4:2:0帧包装所图示的简单方法（800）类似的简单方式完成。

在其它方法中，YUV 4:2:2帧被包装成YUV 4:2:0帧，同时对于YUV 4:2:2帧的色度信息维持几何对应。在它们的Y分量、U分量以及V分量之间具有良好的几何对应的结果得到的YUV 4:2:0帧能够被更好地压缩，因为它们适合由适配于构码的YUV 4:2:0帧的典型构码器所预期的模型。同时，包装能够被完成使得YUV 4:2:0帧表示正由YUV 4:2:2帧所表示的完整场景，但是颜色分量在较低分辨率下。

这些设计约束在将YUV 4:2:2帧包装成两个YUV 4:2:0帧（主视图和辅助视图）时被满足。辅助视图将具有“空白”区域，但是这些区域能够使用固定值或通过复制色度值被填充。或者，空白区域能够被用来指示诸如场景的深度这样的其它信息。例如，对于参考图9所描述的包装方法（900），除了区域B4和区域B5将不具有数据，方法（900）能够被照原样使用。或者，对于参考图11所描述的包装方法（1100），除了区域A4和区域A5将不具有数据，方法（1100）能够被照原样使用。

在示例性实施方案中，用于content_interpretation_type的新的值被定义成发信号通知YUV 4:2:2帧到构成YUV 4:2:0帧的包装，如以下表中所示。

值解释0帧包装的构成帧之间的未指定关系。1指示两个构成帧形成立体视图场景的左视图和右视图，其中帧0与左视图相关联并且帧1与右视图相关联。2指示两个构成帧形成立体视图场景的右视图和左视图，其中帧0与右视图相关联并且帧1与左视图相关联。……7指示两个构成帧形成表示YUV 4:2:2帧的主YUV 4:2:0帧和辅助YUV 4:2:0帧，其中帧0与主视图相关联并且帧1与辅助视图相关联。指示帧0的色度样本应该被解释为4:2:2帧的未滤波样本（没有反锯齿滤波）。8指示两个构成帧形成表示YUV 4:2:2帧的主YUV 4:2:0帧和辅助YUV 4:2:0帧，其中帧0与主视图相关联并且帧1与辅助视图相关联。指示帧0的色度样本应该被解释为在帧包装之前已被反锯齿滤波。9指示两个构成帧形成表示YUV 4:2:2帧的主YUV 4:2:0帧和辅助YUV 4:2:0帧，其中帧1与主视图相关联并且帧0与辅助视图相关联。指示帧1的色度样本应该被解释为4:2:2帧的未滤波样本（没有反锯齿滤波）。10指示两个构成帧形成表示YUV 4:2:2帧的主YUV 4:2:0帧和辅助YUV 4:2:0帧，其中帧1与主视图相关联并且帧0与辅助视图相关联。指示帧1的色度样本应该被解释为在帧包装之前已被反锯齿滤波。

替换地，用于语法元素content_interpretation_type的不同值与前面的表中所示出的解释相关联。或者，针对content_interpretation_type的其它和/或附加的解释能够被用来支持通过帧包装从较高分辨率色度采样格式的一个或多个帧获得的较低分辨率色度采样格式的帧的构码/解码。

E. 其它色度采样格式。

作为色度采样格式，本文中所描述的例子中的许多牵涉诸如Y’UV、YIQ、Y’IQ、YdbDr、YCbCr、YCoCg等这样的YUV颜色空间在诸如4:4:4、4:2:2、4:2:0等这样的采样率方面的变例。替换地，作为色度采样格式，所描述的方法能够在诸如4:4:4、4:2:2、4:2:0等这样的采样率方面被用于诸如RGB、GBR等这样的颜色空间。例如，设备能够将较高分辨率非YUV色度采样格式（诸如RGB 4:4:4或GBR 4:4:4）的帧包装成较低分辨率格式（诸如4:2:0格式）的帧，其然后可以被构码。在解码中，标称亮度分量和标称色度分量表示非YUV分量的样本值（而不是近似亮度和色差值）。在对应的解包中，设备将较低分辨率格式（诸如4:2:0格式）的帧解包成较高分辨率非YUV色度采样格式（诸如RGB 4:4:4或GBR 4:4:4）的帧。

并且，所描述的方法能够被用于4:4:4格式、4:2:2格式或4:2:0格式的视频内容到4:0:0格式的帧包装，所述4:0:0格式典型地被用于灰度或单色视频内容。来自4:4:4格式、4:2:2格式或4:2:0格式的帧的色度信息能够被包装成4:0:0格式的一个或多个附加或辅助帧的主要分量。

F. 针对帧包装/解包的一般性的技术。

图12示出了用于帧包装的一般性的技术（1200）。实施例如如参考图4所描述的帧包装器的计算设备能够执行该技术（1200）。

设备将较高分辨率色度采样格式的一个或多个帧包装（1210）成较低分辨率色度采样格式的一个或多个帧。例如，设备将4:4:4格式（例如，YUV 4:4:4格式）的（一个或多个）帧包装成4:2:0格式（例如，YUV 4:2:0格式）的（一个或多个）帧。或者，设备将4:2:2格式（例如，YUV 4:2:2格式）的（一个或多个）帧包装成4:2:0格式（例如，YUV 4:2:0格式）的（一个或多个）帧。或者，设备将4:4:4格式（例如，YUV 4:4:4格式）的（一个或多个）帧包装成4:2:2格式（例如，YUV 4:2:2格式）的（一个或多个）帧。

对于YUV格式，设备能够执行帧包装（1210）以便在包装之后维持较高分辨率色度采样格式的（一个或多个）帧的色度分量的相邻样本值之间的几何对应。例如，这样的样本值作为较低分辨率色度采样格式的（一个或多个）帧的亮度分量和色度分量的相邻样本和/或并列部分被维持。后面的构码能够利用这样的几何对应。

在一些帧包装方法中，设备能够嵌入较高分辨率色度采样格式的（一个或多个）帧的较低色度分辨率版本作为较低分辨率色度采样格式的（一个或多个）帧的一部分。因此，较低分辨率色度采样格式的（一个或多个）帧的一部分表示较高分辨率色度采样格式的（一个或多个）帧的较低色度分辨率版本。较低分辨率色度采样格式的（一个或多个）帧的其余部分表示来自较高分辨率色度采样格式的（一个或多个）帧的剩余色度信息。在其它帧包装方法中，根据较高分辨率色度采样格式的（一个或多个）帧的空间分割，设备将较高分辨率色度采样格式的（一个或多个）帧的色度分量的样本值分配给较低分辨率色度采样格式的（一个或多个）帧的亮度分量和色度分量。

在帧包装期间，较高分辨率色度采样格式的（一个或多个）帧的色度分量的样本值能够被滤波，并且滤波的样本值被分配给较低分辨率色度采样格式的（一个或多个）帧的色度分量的部分。在一些实施方案中，较高分辨率色度采样格式的（一个或多个）帧的色度分量的样本值具有较低的比特深度（例如，每样本8个比特），并且经滤波的样本值具有更高的比特深度（例如，每样本10个比特）以用于在更高的比特深度下构码。

设备然后能够对较低分辨率色度采样格式的（一个或多个）帧进行构码（1220）。替换地，不同的设备执行构码（1220）。（一个或多个）设备能够在逐帧基础或其它基础上重复该技术（1200）。

设备能够发信号通知关于帧包装/解包的元数据。例如，设备发信号通知指示帧包装/解包被使用还是未被使用的元数据。或者，设备发信号通知较高分辨率色度采样格式的（一个或多个）帧的色度分量的样本值在帧包装期间已被滤波、并且应该作为后处理的一部分被滤波的指示。关于帧包装/解包的元数据能够作为补充增强信息消息的一部分或作为某种其它类型的元数据被发信号通知。

图13示出了用于帧解包的一般性的技术（1300）。实施例如如参考图5所描述的帧解包器的计算设备能够执行该技术（1300）。

在帧解包本身之前，设备能够对较低分辨率色度采样格式的（一个或多个）帧进行解码（1310）。替换地，不同的设备执行解码（1310）。

设备将较低分辨率色度采样格式的一个或多个帧解包（1320）成较高分辨率色度采样格式的一个或多个帧。例如，设备将4:2:0格式（例如，YUV 4:2:0格式）的（一个或多个）帧解包成4:4:4格式（例如，YUV 4:4:4格式）的（一个或多个）帧。或者，设备将4:2:0格式（例如，YUV 4:2:0格式）的（一个或多个）帧解包成4:2:2格式（例如，YUV 4:2:2格式）的（一个或多个）帧。或者，设备将4:2:2格式（例如，YUV 4:2:2格式）的（一个或多个）帧解包成4:4:4格式（例如，YUV 4:4:4格式）的（一个或多个）帧。

当较高分辨率色度采样格式的（一个或多个）帧的较低色度分辨率版本作为较低分辨率色度采样格式的（一个或多个）帧的一部分被嵌入时，设备具有用于显示的选项。表示较高分辨率色度采样格式的（一个或多个）帧的较低色度分辨率版本的、较低分辨率色度采样格式的（一个或多个）帧的部分能够被重建以用于输出和显示。较低分辨率色度采样格式的（一个或多个）帧的其余部分表示来自较高分辨率色度采样格式的（一个或多个）帧的剩余色度信息，并且能够作为帧解包的一部分被使用。在其它帧解包方法中，为了颠倒较高分辨率色度采样格式的（一个或多个）帧的空间分割，设备将较低分辨率色度采样格式的（一个或多个）帧的亮度分量和色度分量的样本值分配给较高分辨率色度采样格式的（一个或多个）帧的色度分量。

在帧解包期间，较高分辨率色度采样格式的（一个或多个）帧的色度分量的样本值能够作为后处理的一部分被滤波。在一些实施方案中，较高分辨率色度采样格式的（一个或多个）帧的色度分量的至少一些样本值在后处理滤波之前具有更高的比特深度（例如，每样本10个比特），并且这样的样本值在后处理滤波之后具有较低的比特深度（例如，每样本8个比特）。

设备还能够接收关于帧包装/解包的元数据。例如，设备接收指示帧包装/解包被使用还是未被使用的元数据。或者，设备接收较高分辨率色度采样格式的（一个或多个）帧的色度分量的样本值在帧包装期间已被滤波、并且应该作为后处理的一部分被滤波的指示。关于帧包装/解包的元数据能够作为补充增强信息消息的一部分或作为某种其它类型的元数据被发信号通知。

（一个或多个）设备能够在逐帧基础或其它基础上重复该技术（1300）。

G. 作为针对帧包装/解包的预处理/后处理操作的带分离滤波/逆滤波。

根据第二组示例性预处理和后处理操作，带分离滤波和逆滤波分别被用于预处理和后处理。在许多例子中，带分离滤波和逆滤波是小波分解和重建。帧包装能够包括作为预处理操作的一部分的小波分解（分析）以便对色度样本值进行滤波。对应的帧解包然后包括作为后处理的一部分的小波重建（合成）以对色度样本值进行逆滤波。

例如，在这些方法中，YUV 4:4:4帧能够被包装成两个YUV 4:2:0帧，同时维持针对YUV 4:4:4帧的色度信息的几何对应。在它们的Y分量、U分量以及V分量之间具有良好的几何对应的YUV 4:2:0帧能够被更好地压缩，因为它们适合由被适配成对YUV 4:2:0帧进行构码的典型构码器所预期的模型。如在上面所描述的一些方法中，包装还能够被完成使得两个YUV 4:2:0帧中的一个表示正由YUV 4:4:4帧所表示的完整场景，但是颜色分量在较低分辨率下。这提供解码方面的选项。不能够执行帧解包或者选择不执行帧解包的解码器能够仅仅采取表示场景的YUV 4:2:0帧的重建版本并且直接地将它馈送给显示器。

同时，辅助帧（具有来自较高分辨率色度采样格式的帧的剩余色度信息）能够被认为是要被与主帧组合的增强层信号。主要信号能量能够被集中到主帧中（通过在构码期间将更多的比特赋予主帧），同时辅助帧在构码期间对于增强层信号消耗任意少数目的比特。当辅助帧被以较低比特速率（相对于主帧的较低质量）构码时，来自主帧的色度信息对于重建之后的色度分量设置最小质量水平，并且来自辅助帧的任何信息能够被用来改进质量超过该最小质量水平。

1. 针对4:4:4到4:2:0的3带小波分解的框架。

在一组带分离滤波方法中，预处理操作包括针对4:4:4格式的视频内容到4:2:0格式的帧包装的三带小波分解。例如，假定YUV 4:4:4格式的样本值的三个原始阵列的高度H是4的倍数，并且假定YUV 4:4:4格式的样本值的三个原始阵列的宽度W也是4的倍数。图14图示了采用三带小波分解作为预处理的帧包装的方法（1400）。在这个方法（1400）中，YUV 4:4:4帧（801）被包装成两个YUV 4:2:0帧（1402, 1403）。第一帧（1402）以YUV 4:2:0格式提供“主视图” - 由YUV 4:4:4帧（801）所表示的完整场景的较低色度分辨率版本。第二帧（1403）以YUV 4:2:0格式提供“辅助视图”并且包含剩余色度信息。

对于阵列A（其中A是U色度样本值或V色度样本值），针对第一级的小波分解被定义为：

· ；并且

· 。

在图14中，平面U被分解成带C_U和带D_U。平面V被分解成带C_V和带D_V。因此，对于平面U或平面V来说，C和D分别是垂直低通滤波版本和垂直高通滤波版本。在垂直滤波之后，相应的垂直低通带（C_U和C_V）通过水平小波分解被进一步分解。

· ；

· 。

在图14中，低通带C_U被分解成带E_U和带F_U。低通带D_V被分解成带E_V和带F_V。因此，E和F分别是垂直低通滤波带的水平低通滤波版本和水平高通滤波版本。E和F能够被称为LL小波带和LH小波带。在小波分解（视情况而定，包括归一化，如在下面所示）之后，相应的带（D_U、D_V、E_U、E_V、F_U以及F_V）被布置为（一个或多个）YUV 4:2:0帧的节段。

以及

。

其中B指示比特深度。在这个例子中，假定了比特深度对于预处理的输入样本值和输出样本值是相同的。然而，在一些实施方案中，比特深度能够在预处理的输入样本值与结果之间变化。一般地，较高分辨率色度采样格式的帧的样本值能够具有第一比特深度（诸如每样本8、10、12或16个比特），然而较低分辨率色度采样格式（在帧包装之后）的帧的样本值具有比第一比特深度高的第二比特深度。并且，在一些情况下，预处理操作能够包括一些信号到从0至2^B -1的范围的削波（clipping）。

替换地，样本值能够被以不同的方式分配给区域。例如，来自YUV 4:4:4帧的原始U平面的数据能够被布置在辅助YUV 4:2:0帧的U平面中，并且来自YUV 4:4:4帧的原始V平面的数据能够被布置在辅助YUV 4:2:0帧的V平面中。在这个例子中，与图14相比，来自F_U的奇数行的样本值被分配给的下半部，并且来自F_V的偶数行的样本值被分配给的上半部。或者，样本值F_U被简单地分配给，并且来自F_V的样本值被简单地分配给。总之，辅助YUV 4:2:0帧的U平面（或V平面）是从YUV 4:4:4帧的U平面（或V平面）构建的，而不使来自不同的原始U和V平面的内容混合。

总之，带D、E以及F形成输入阵列A的三带小波分解，所述输入阵列A可以表示平面U或平面V的色度样本值。相对于到LL带、LH带、HL带以及HH带的更典型的四带小波分解，HL带和HH带在三带分解中未被创建。替代地，垂直高通信号D被保持在全水平分辨率下。同样地，带D、E以及F能够被称作H带、LL带以及LH带。在这个命名惯例中，第一字母指示垂直高通（H）或低通（L）信号抽取，并且第二字母（当存在时）指示水平高通或低通信号抽取。

YUV 4:2:0格式的第一帧（1402）和第二帧（1403）能够被组织为单独的帧（由图14中的暗线分离）。或者，YUV 4:2:0格式的第一帧（1402）和第二帧（1403）能够被组织为具有2 × H的高度的单个帧（忽视图14中的暗线）。或者，YUV 4:2:0格式的第一帧（1402）和第二帧（1403）能够被组织为具有2 × W的宽度的单个帧。或者，YUV 4:2:0格式的第一帧（1402）和第二帧（1403）能够使用针对H.264/AVC标准或HEVC标准中的frame_packing_arrangement_type所定义的方法中的任一个被组织为单个帧。

图15示出了采用三带小波分解作为预处理的帧包装的另一示例性方法（1500）。在这个方法（1500）中，YUV 4:4:4帧（801）被包装成两个YUV 4:2:0帧（1502, 1503）。再者，第一帧（1502）以YUV 4:2:0格式提供“主视图”，然而第二帧（1503）以YUV 4:2:0格式提供“辅助视图”并且包含剩余色度信息。不像参考图14所图示的方法（其是水平定向的分解，使得包含全宽度半高度U和V区），图15图示了其中包含半宽度全高度U和V区的对应垂直定向的情况。对于图15中所示出的方法，垂直分解和水平分解的排序被交换。

再者，样本值能够被以不同的方式分配给图15的区域。例如，来自YUV 4:4:4帧的原始U平面的数据能够被布置在辅助YUV 4:2:0帧的U平面中，并且来自YUV 4:4:4帧的原始V平面的数据能够被布置在辅助YUV 4:2:0帧的V平面中。在这个例子中，与图15相比，来自F_U的奇数列的样本值被分配给的右半部，并且来自F_V的偶数列的样本值被分配给的左半部。或者，样本值F_U被简单地分配给，并且来自F_V的样本值被简单地分配给。总之，辅助YUV 4:2:0帧的U平面（或V平面）是从YUV 4:4:4帧的U平面（或V平面）构建的，而不使来自不同的原始U和V平面的内容混合。

在本节段中，小波分解使用基于滤波器LPF = [1 1] / 2的低通滤波器（“LPD”），并且使用基于滤波器HPF = [1 -1] / 2的高通滤波器（“HPF”）。这个LPF-HPF滤波器对有时被称为哈尔（Haar）小波滤波器对。在这个表示法中，方括号中的数字指示滤波器抽头，并且分母指示归一化因子。滤波器对被水平地且垂直地、在水平地且垂直地定中心的采样相位（通过滤波得到的中点值）的情况下、并且在从被推迟以遵循水平滤波和垂直滤波两者的每个级除以二的情况下被应用。替换地，如在下面所描述的，小波分解使用在滤波器抽头、滤波器相位、归一化因子、归一化的定时、舍入的使用、削波的使用等方面不同的滤波器对。

2. 针对4:4:4到4:2:0的4带小波分解的框架。

在另一组带分离滤波方法中，预处理操作包括针对4:4:4格式的视频内容到4:2:0格式的帧包装的四带小波分解。再者，假定YUV 4:4:4格式的样本值的三个原始阵列的高度H是4的倍数，并且假定YUV 4:4:4格式的样本值的三个原始阵列的宽度W也是4的倍数。

在参考图14所图示的方法中，垂直低通滤波的/水平高通滤波的带F_A(x, y)在将样本值分配给和时被垂直地抽取。交替行根据F_A(x, y)被分配给和。这个布置在不用首先应用反锯齿滤波的情况下发生。

替换地，附加滤波被应用于带F_A(x, y)的样本值，如图16a中所图示的，其继续图14的第一部分但是包括YUV 4:2:0格式的不同的第一帧（1602）和第二帧（1603）。特别地，带F_A(x, y)通过垂直小波分解而被进一步分解成低通带G_A(x, y)和高通带H_A(x, y)。

· ；

· 。

在小波分解（视情况而定，包括归一化）之后，相应的带（D_U、D_V、E_U以及E_V）中的一些被布置为如参考图14所描述的（一个或多个）YUV 4:2:0帧的节段。剩余的带（G_U、G_V、H_U以及H_V）被布置为（一个或多个）YUV 4:2:0帧的节段如下。

· ；

· ；

· ；并且

· 。

替换地，样本值能够被以不同的方式分配给区域。例如，图16b继续图14的第一部分但是包括YUV 4:2:0格式的不同的第一帧（1604）和第二帧（1605）。如在图16a的例子中一样，相应的带（D_U、D_V、E_U以及E_V）中的一些被布置为如参考图14所描述的（一个或多个）YUV 4:2:0帧的节段。剩余的带（G_U、G_V、H_U以及H_V）被布置为（一个或多个）YUV 4:2:0帧的节段如下：

· ；

· ；

· ；并且

· 。

在图16b中，来自YUV 4:4:4帧的原始U平面的数据被布置在辅助YUV 4:2:0帧的U平面中，并且来自YUV 4:4:4帧的原始V平面的数据被布置在辅助YUV 4:2:0帧的V平面中。因此，辅助YUV 4:2:0帧的U平面（或V平面）是从YUV 4:4:4帧的U平面（或V平面）构建的，而不使来自不同的原始U和V平面的内容混合。（相比之下，在图16a的例子中，辅助YUV 4:2:0帧的U平面（或V平面）具有来自YUV 4:4:4帧的U分量和V分量的数据的混合物。辅助YUV 4:2:0帧的U平面（或V平面）的上半部包含来自原始U平面的数据，并且下半部包含来自原始V平面的数据。）。

总之，带D、E、G以及H形成输入阵列A的四带小波分解，所述输入阵列A可以表示平面U或平面V的色度样本值。带D、E、G以及H对应于H带、LL带、LHL带以及LHH带。在这个命名惯例中，第一字母指示第一垂直高通（H）或低通（L）信号抽取，第二字母（当存在时）指示水平高通或低通信号抽取，并且第三字母（当存在时）指示LH带的附加的垂直高通或低通信号抽取。

类似地，在参考图15所图示的方法中，水平低通滤波的/垂直高通滤波的带F_A(x, y)在将样本值分配给和时被水平地抽取。交替列根据F_A(x, y)被分配给和。这个布置在不用首先应用反锯齿滤波的情况下发生。替换地，附加的滤波能够被应用于带F_A(x, y)的样本值。特别地，带F_A(x, y)通过水平小波分解被进一步分解成低通带G_A(x, y)和高通带H_A(x, y)。相应的带（D_U、D_V、E_U以及E_V）中的一些被布置为如参考图15所描述的（一个或多个）YUV 4:2:0帧的节段。剩余的带（G_U、G_V、H_U以及H_V）被布置在（一个或多个）YUV 4:2:0帧的带和带中。

在本节段中，小波分解使用哈尔小波滤波器对。滤波器对被水平地且垂直地、在水平地且垂直地定中心的采样相位（通过滤波得到的中点值）的情况下、并且在从被推后以遵循最终滤波级的每个级除以二的情况下被应用。替换地，如在下面所描述的，小波分解使用在滤波器抽头、滤波器相位、归一化因子、归一化的定时、舍入的使用、削波的使用等方面不同的滤波器对。

3. 针对4:4:4到4:2:2的小波分解的框架。

在另一组带分离滤波方法中，预处理操作包括针对4:4:4格式的视频内容到4:2:2格式的帧包装的小波分解。例如，对于阵列A（其中A是U色度样本值或V色度样本值），针对第一级的小波分解被定义为：

· ；并且

· 。

因此，平面U被分解成带C_U和带D_U，并且平面V被分解成带Cv和带Dv。对于平面U或平面V来说，C和D分别是水平低通滤波版本和水平高通滤波版本。在水平滤波之后，相应的带（C_U、C_V、D_U以及D_V）被布置为（一个或多个）YUV 4:2:2帧的节段如下。

· ；

· ；

· ；

· ；

· ；并且

· 。

在这个方法中，所“制造的”信号在解码之后能够简单地被丢弃。替换地，高通滤波版本的样本值能够被分配给辅助帧的亮度分量，然而辅助帧的色度分量和分配了在解码之后能够被丢弃的制造值。

· ；

· ；

· ；并且

· 。

在本节段中，小波分解使用哈尔小波滤波器对。滤波器对在定中心的采样相位（通过滤波得到的中点值）的情况下被水平地应用。替换地，如在下面所描述的，小波分解使用在滤波器抽头、滤波器相位、归一化因子、归一化的定时、舍入的使用、削波的使用等方面不同的滤波器对。

4. 针对4:2:2到4:2:0的小波分解的框架。

在另一组带分离滤波方法中，预处理操作包括针对4:2:2格式的视频内容到4:2:0格式的帧包装的小波分解。在这种情况下，原始U和V阵列的宽度是W / 2，并且所有三个原始阵列的高度是H。例如，对于阵列A（其中A是U色度样本值或V色度样本值），针对第一级的小波分解被定义为：

· ；并且

· 。

因此，平面U被分解成带C_U和带D_U，并且平面V被分解成带C_V和带D_V。对于平面U或平面V来说，C和D分别是垂直低通滤波版本和垂直高通滤波版本。在垂直滤波（视情况而定，包括归一化）之后，相应的带（C_U、C_V、D_U以及D_V）被布置为（一个或多个）YUV 4:2:0帧的节段，如下。

；并且

。

在这个方法中，所“制造的”信号在解码之后能够简单地被丢弃。替换地，高通滤波版本的样本值能够被分配给辅助帧的亮度分量的上半部，然而辅助帧的色度分量和以及的下半部分配了在解码之后能够被丢弃的制造值。

并且

。

在本节段中，小波分解使用哈尔小波滤波器对。滤波器对在定中心的采样相位（通过滤波得到的中点值）的情况下被垂直地应用。替换地，如在下面所描述的，小波分解使用在滤波器抽头、滤波器相位、归一化因子、归一化的定时、舍入的使用、削波的使用等方面不同的滤波器对。

5. 滤波器的示例性实施方案。

在前面节段中的一些例子中，小波分解使用其中LPF = [11]/ 2并且HPF = [1 -1] / 2的哈尔小波滤波器对。方括号中的数字指示滤波器抽头，并且分母指示归一化因子。在前面节段中，滤波器对被水平地和/或垂直地、在滤波被执行的定中心的采样相位（通过滤波得到的中点值）的情况下、并且在从被推后以遵循最终滤波级的每个级除以二的情况下被应用。

更一般地，用于小波分解或其它带分离滤波的滤波器取决于实施方案。所使用的滤波器能够依据以下各项变化：（a）滤波器抽头、（b）归一化因子、（c）归一化如何发生（例如，在每个滤波级之后，或者针对一个或多个滤波级部分地或完全推迟）、（d）比特深度扩展是否被许可（例如，通过跳过或者降低归一化以便为一个或多个滤波级提供比例）、（e）除法如何被实施（例如，采用算术右移操作或整数除法）、（f）舍入如何被应用（例如，无舍入、采用最近整数舍入、采用抖动舍入）、（g）削波是否被使用和/或（h）另一因素。理想地，滤波器对有低复杂性但是同样在去相关以及因此压缩方面提供良好性能。

针对滤波器抽头、归一化因子以及归一化的定时的实施方案选项

如前面节段中所示，滤波器对的滤波器抽头可以是基于哈尔小波的。替换地，不同的滤波器在预处理期间被用于小波分解或其它带分离滤波。例如，小波分解能够使用对称双正交多贝西（Daubechies）小波滤波器对。滤波器对LPF = [-1 1 8 8 1 -1] / 16、HPF = [-1 1] / 2潜在地促进更好的压缩效率。这个滤波器有相同的采样相位（通过滤波得到的中点值）。或者，作为另一例子，对于其中滤波级应该垂直地和/或水平地产生共站样本值（与输入样本值对准）的滤波，小波分解能够使用滤波器对LPF = [-1 2 6 2 -1] / 8、HPF = [-1 2 -1] / 4。或者，来自另一滤波器族的滤波器对能够被使用。例如，滤波器对可以是基于正交镜像滤波器的，但是这可能牵涉在不存在量化误差和舍入误差时未实现完美信号重建的属性的滤波器。或者，作为另一例子，滤波器对可以是基于被用在AAC音频编码/解码中的多相正交滤波器的。或者，作为再一个例子，滤波器对可以是基于共轭正交滤波器的，所述共轭正交滤波器是包括使用多贝西正交小波的那些的许多正交滤波器组的基础。取决于实施方案，滤波器对中的任一个可以是按比例或未封闭的。

归一化因子一般地取决于滤波器抽头并且在滤波器的定义中被按照惯例表达为分母。取决于实施方案，归一化因子能够被实施为每个滤波级之后的除法。或者，归一化中的一些能够针对一个或多个滤波级被部分地或完全推迟，使得在后面级（例如，最终级）的除法补偿在该级引入的扩展并且同样计及推迟的归一化。

或者，小波分解或其它带分离滤波能够在带的样本值中许可一定数量的比特深度扩展，以便降低舍入/截断误差并且潜在地许可确切的可逆性。例如，为了允许由哈尔滤波器对的应用产生的已生成信号的比例，当从D_A个阵列的样本值形成阵列时除以2能够被跳过，或者当从F_A个阵列的样本值形成阵列时除以2能够代替除以4被使用。（在这样的情况下，如果适当，削波能够被应用来避免对0到2^B - 1范围的违犯。）。

针对除法操作和舍入的实施方案选项

对于低通滤波器或高通滤波器，除法操作可以包括最近整数舍入。当使用整数算术时，用来在等于某个值n（通常被表示为二的互补二进制数）的分子和对于某个k > 1等于2^k的分母的情况下这样做的典型方式是执行操作，其中“>>”表示算术右移操作。

当对于滤波执行除法操作时，抖动舍入或其它优化舍入能够被应用。例如，当除以二的k次幂（即，除以2^k）、采取形式时舍入因子能够被包括，其中值p是舍入因子。值的不同型式能够被用于p。例如，p的值遵循诸如重复M×M块型式这样的2D周期性型式在0与1之间交替。或者，p的值遵循伪随机基础在0与1之间交替。或者，p的值遵循“蓝噪声抖动”信号或其它抖动信号在0与1之间交替。

在定时方面，如上面所指出的，归一化（并且因此除法和舍入）能够被推迟直到最终级为止。替换地，滤波级能够与在两个级之间应用的舍入级联，例如，使得中间舍入在垂直滤波级与水平滤波级之间发生。

针对值的削波、偏移以及范围的实施方案选项。

在一些实施方案中，预处理操作包括用来防止动态范围扩展的削波。总的说来，削波能够简化实施方案，但是它可能在处理一些病态输入信号值时引入失真。例如，LPF核[-1 1 8 8 1 -1] / 16能够在处理无符号输入数据时产生负输出值。然而，因为图像和视频信号典型地是高度统计上相关的，所以对于这样的负输出值来说通常很少在实践中发生。事实上，它可能是如此少以致简单地对LPF的输出削波以不允许负输出值是明智的设计选择。

在许多前面的例子中，Y信号、U信号以及V信号的样本值具有从0到2^B - 1的范围。替换地，样本值能够具有某个其它范围。例如，样本值具有从-2^(B-1)到2^(B-1) - 1的范围。采用这个示例性替代信号范围，2^(B-1)的偏移未被用在上述等式中。

针对边缘处理的实施方案选项

对于使用小波分解或其它带分离滤波的方法中的任一个，预处理操作能够包括边缘处理级。例如，边缘值能够被从边缘向外填补。或者，边缘值能够被反映在边缘处。或者，值能够使用按模计算/循环卷绕被重复。

在有或没有削波的情况下针对提升（lifting）的实施方案选项

对于使用小波分解的方法，提升可以被用来降低舍入/截断误差并且潜在地许可确切的可逆性。提升能够被与削波相结合地使用。

在一些实施方案中，例如，哈尔小波滤波器对的滤波器被适配成使用提升并且可选地使用削波。在参考图14所描述的例子中，带分裂被首先垂直地（在y维度上）执行以便创建低通信号C_A(x, y)和高通信号D_A(x, y)。如果输入值A₄₄₄(x, 2y)和A₄₄₄(x, 2y + 1)具有B个比特的动态范围（其中A可以是U色度分量或V色度分量的样本值），则C_A(x, y)和D_A(x, y)的值的动态范围每个将是（近似地）B+1个比特。在许多情况下，动态范围的这样的扩展是不期望的。提升能够被应用来在不牺牲确切的可逆性的情况下针对两个信号中的一个来消除动态范围扩展，如下。

· ；并且

· 。

在这个变例中，带和带D_A(x, y)和参考图14所描述的例子中的带C_A(x, y)和带D_A(x, y)服务相同的目的（低通和高通表示）。然而，的动态范围是仅B个比特而不是B + 1个比特，因为的动态范围近似地等于C_A(x, y)带的值一半。可逆性不因为这个提升操作而牺牲（不管由右移操作所引入的舍入/截断误差），因为原始信号能够通过用代数方法简单地颠倒这些等式被从带和带D_A(X, y)确切地恢复如下。

· ，并且

· 。

在这个变换（即，D_A(x, y)中用于带中的一个的样本值的动态范围仍然被扩展为B + 1个比特，而不是和输入信号具有相同的动态范围。用来解决这个差异的一个方式是应用削波。图像内容和视频内容在性质上典型地是“低通” - 邻近样本值之间的极其大的量级差异在实践中是非常稀少的。带D_A(x, y)表示邻近样本值之间的差。为了削波，在构码器中计算D_A(x, y)和之后，构码器对进行计算（和构码），而不是简单地将D_A(x, y)构码为高通信号。这个操作将D_A(x, y)的样本值削波为在-2^(B-1)至2^(B-1) -1的范围内。对应的解码器使用（或其有损解码的近似）代替使用D_A(_X, y)（或其有损解码的近似）来颠倒带分离滤波。对于典型的视频内容，这个削波引入失真的情况是稀少的，并且结果将仍然是优于使用仅4:2:0表示的改进 - 因为高通信号的振幅的至少一部分将被保持。当然，每当D_A(x, y)在削波范围内时，削波操作将不引入任何失真。这使得能够使用带和带来表示输入值，而无需动态范围的任何扩展，并且只要D_A(x, y)在削波范围内就不牺牲可逆性，情况几乎总是这样。

在一些实施方案中，带的样本值通过将恒定偏移2^(B-1)加到它的值被偏移，以便产生具有从0到2^B - 1的范围的信号，如果这是原始输入信号范围的话。

· ；

· ；并且

· 。

除了当削波影响信号时，该操作是完全可逆的，并且低通信号（）和输入信号具有相同的动态范围。高通信号（）的动态范围的扩展通过削波而被防止。削波可能引入失真，但是削波实际上限制高通信号的情况预期为稀少的，并且在任何情况下削波的高通信号仍然提供增强信号。当在解码之后颠倒变换时恒定偏移能够被减去。

· ；

· ；并且

· 。

其中"标记指示根据（可能有损的）编码的重建。这个例子示出了垂直处理步骤。相同的处理步骤也能够被与水平滤波相结合地应用。

使用削波来限制高通信号的动态范围还能够在不使用提升的情况下被应用，但是这可能牵涉牺牲确切的可逆性。并且，半量级低通信号的使用也能够在不使用提升的情况下被应用，但是这可能牵涉牺牲确切的可逆性。

在本节段中，提升和削波操作针对第一步骤垂直滤波级使用哈尔小波滤波器作为LPF和HPF被描述，如参考图14所描述的。替换地，相同的提升和削波技术能够针对其它级（例如，水平地）并且在其它LPF和HPF核的情况下被应用。

在本节段中，存在对如应用于小波分解和小波重建的确切的可逆性的数个引用。当在后续构码期间对带的样本值执行有损压缩时，可以对构码值的近似而不是对它们实际的原始值执行解码器操作。一般而言，当有损压缩被执行时，确切的可逆性是不可能的。在任何情况下，解码器可以对有损压缩的值执行与解码器将对于值的无损表示执行的相同的（或相似的）逆转换操作。

针对实施方案选项的其它替代方案

在本文中所描述的三带小波分解的例子中，H带在第一滤波级之后不经受附加的小波分解。替换地，H带在第一滤波级之后经受附加的小波分解，以便产生LL带、LH带、HL带以及HH带，其值然后被分配给较低分辨率色度采样格式的主帧和辅助帧。

取决于实施方案，较低分辨率色度采样格式的主帧的构码的中间和/或最终结果能够在较低分辨率色度采样格式的辅助帧的构码期间被使用。例如，构码器能够使用来自主帧的构码的运动矢量（以及潜在地宏块/子宏块/子宏块分区信息和/或CU/PU/合并/TU分段信息）来帮助搜索运动矢量（和对应的分段信息）以用于在对辅助帧进行构码时使用。或者，构码器能够基于主帧的构码的结果来选择要在辅助帧的各种区域中应用的量化步长尺寸值。

在其它带分离滤波方法中，预处理操作包括针对4:4:4格式、4:2:2格式或4:2:0格式的视频内容到4:0:0格式的帧包装的小波分解，所述4:0:0格式典型地被用于灰度或单色视频内容。来自4:4:4格式、4:2:2格式或4:2:0格式的帧的色度信息能够被包装成4:0:0格式的一个或多个附加或辅助帧的主要分量。

为得到关于在前面节段的例子中能够被用于小波分解或其它带分离滤波的滤波器的变例的附加细节，并且为得到关于针对这样的滤波器的实施方案选项的附加细节，见以下参考文献：

· R. C. Calderbank, I. Daubechies, W. Sweldens, and B.-L. Yeo, “Wavelet Transforms That Map Integers to Integers,”Appl. Comput. Harmon. Anal., vol. 5, no. 3, pp. 332-369 (1998)。

· W. Sweldens, “The Lifting Scheme: A Construction of Second Generation Wavelets,”SIAM Journal on Mathematical Analysis (1998)。

· A. Cohen, I. Daubechies, J.-C. Feauveau, “Biorthogonal Bases of Compactly Supported Wavelets,”Communications on Pure and Applied Mathematics 45 (5): 485-560 (1992)。

· Rec. ITU-T T.800 | ISO/IEC 15444-1 Information technology - JPEG 2000 image coding system: Core coding system (2002)。

· D. Le Gall and A. Tabatabai, “Sub-band Coding of Digital Images Using Symmetric Short Kernel Filters and Arithmetic Coding Techniques,”Proc. IEEE Intl. Conf. on Acoustics, Speech, and Signal Processing (ICASSP), pp. 761-764 (1988)。

· J. D. Villasenor, B. Belzer, and J. Liao, “Wavelet Filter Evaluation for Image Compression,”IEEE Trans on Image Processing, pp. 1053-1057 (Aug. 1995)。

· G. Uytterhoeven, D. Roose, and A. Bultheel, Wavelet-Based Interactive Video Communication and Image Database Consulting - Wavelet Transforms using the Lifting Scheme, Technical Report ITA-Wavelets-WP1.1, Katholieke Universiteit Leuven, Revised version (April 28, 1997)。

· J. Rothweiler, “Polyphase Quadrature Filters - A New Subband Coding Technique,”Proc.Int. Conf. on Acoustics, Speech, and Signal Processing, vol. 8, pp. 1280-1283 (1983)。

· M. J. T. Smith and T. P. Barnwell, III, “Exact Reconstruction Techniques for Tree- structured Subband Coders,”IEEE Trans, on Signal Processing, vol. 34, pp. 434- 441 (1986)。

6. 针对带分离滤波/逆滤波的语法元素。

在示例性实施方案中，比特流中的语法指示能够被用来识别构码器中应用的滤波的类型和/或指示在解码时应该被应用的滤波的类型。例如，帧包装布置SEI消息的content_interpretation_type语法元素能够指示滤波类型。扩展节段VIII.B中所示出的表（例如，content_interpretation_type的附加值）能够指示小波分解或其它带分离滤波的应用。值1-6的范围像在表中那样被定义。7的值能够指示第一带分离/小波滤波方案，8的值能够指示第二带分离/小波滤波方案，9的值能够指示第三带分离/小波滤波方案等等。不同的带分离/小波滤波方案可能在分解的型式（例如，三带分解对比四带分解，用于重新布置样本值的不同方式）、所使用的滤波器和/或针对滤波器的实施方案选择的方面不同。

并且，比特流中的语法指示能够被用来识别构码器中应用的滤波的相位和/或指示在解码时应该被应用的滤波的相位。例如，诸如视频可用性信息（“VUI”）的chroma_sample_loc_type_top_field和chroma_ample_loc_type_bottom_field元素这样的语法元素能够被用来指示滤波相位（例如，产生中点值的滤波对比产生共站值的滤波）。当带分离滤波和逆带分离滤波将哈尔小波对用于水平滤波和垂直滤波时，chroma_loc_info_present_flag、chroma_sample_loc_type_top_field以及chroma_sample_loc_type_bottom_field语法元素具有1的值。

在针对H.264/AVC标准或HEVC标准的构码/解码的示例性实施方案中，对特定语法元素的值的附加约束可以应用。在帧顺序方法中，语法元素pic_output_flag能够针对主视频帧被设置为1并且针对辅助视频帧被设置为0。例如，在H.264/AVC中，当frame_packing_arrangement等于5时pic_output_flag语法元素被设置为等于0，并且语法元素current_frame_is_frame0_flag被设置为等于0。这与其中在主构成帧和辅助构成帧两者中pic_output_flag被设置为相同值的方法形成对比。

作为另一例子，在针对主帧和辅助帧的并排布置（在H.264/AVC中，frame_packing_arrangement等于3）或针对主帧和辅助帧的自顶向下布置（frame_packing_arrangement等于4）中，修剪（cropping）矩形能够被设置成仅包封主构成帧，而不包封辅助构成帧。替换地，修剪矩形能够被设置成包封主构成帧和辅助构成帧两者。

7. 示例性小波重建或其它逆带分离滤波。

使用小波重建或其它逆带分离滤波，解码器从带的值重建输入信号的近似。带的值可以是原始值的近似（在有损构码和对应的解码之后）或原始值的确切表示（例如，在无损中间处理之后）。例如，解码器从带通滤波值（例如，针对带D、E以及F）重建输入信号的值（例如，A的样本值）。一般而言，由解码器应用的低通/高通子带滤波技术和相关联的逆处理操作反映由构码器应用的低通/高通子带滤波技术和相关联的操作。

更详细地，解码器对较低分辨率色度采样格式的主帧和辅助帧的值进行解码。解码器然后将来自较低分辨率色度采样格式的主帧和辅助帧的重建样本值分配给较高分辨率色度采样格式的帧的适当带。在图14、图15以及图16中，例如，重建值被从较低分辨率色度采样格式的（一个或多个）帧分配给如对于用于小波分解的方法适当的带C、D、E、F、G和/或H。解码器然后对带中的值执行小波重建或其它逆带分离滤波。如果针对一些带的值不可用或否则未用在重建中，则解码器能够对剩余带中的值执行小波重建或其它逆带分离滤波。小波重建或其它逆带分离滤波的细节典型地匹配或者反映对应的小波分解或其它带分离滤波的细节。

当小波分解包括了滤波的多个级时，小波重建典型地以相反顺序对于受影响带执行多个级。例如，在图14的例子中，用于整个分量平面A产生带C_A(x, y)和带D_A(x, y)的垂直滤波级后面是用于垂直低通带C_A(x, y)产生带E_A(x, y)和带F=(x, y)的水平滤波级。在对应的小波重建中，针对两个带E_A(x, y)和F_A(x, y)的重建版本的水平逆滤波级产生带C_A(x, y)的重建版本。然后，带C_A(x, y)和带D_A(x, y)的重建版本的垂直逆滤波产生分量平面A的重建版本。

对于一些实施方案选项（诸如滤波器抽头、对应的归一化因子、滤波器相位、针对比特深度扩展的调整），逆滤波的细节取决于对应的滤波如何被执行。例如，当小波分解使用哈尔小波滤波器对时，小波重建能够使用哈尔小波滤波器对来颠倒小波分解。当小波分解使用另一类型的滤波器对（例如，对称双正交多贝西小波滤波器对）时，小波重建使用具有被定义成颠倒滤波的滤波器抽头和归一化因子的滤波器对。如果比特深度在从输入值产生带的值时扩展了，则比特深度在重建分量平面的值时被恢复。

其它实施方案选项（诸如归一化如何发生、提升是否被使用、除法如何被实施、舍入如何被应用、削波是否被使用）还可以被设置成匹配或者反映在小波分解或其它带分离滤波期间执行的操作。或者，在一些情况下，解码器可以以不确切地反映在构码之前执行的对应的滤波操作的方式实施逆滤波操作。

在一个实施方案中，例如，在帧解包期间，YUV 4:2:0格式的帧的区域中的样本像以下伪代码中所示出的那样被逆带分离滤波并且分配给YUV 4:4:4格式的帧的重建色度分量U'₄₄₄和V'₄₄₄。

其中"标记指示根据（可能有损的）编码的重建。

8.针对采用带分离滤波/逆滤波的帧包装/解包的一般性的技术。

图17示出了针对采用小波分解或其它带分离滤波的帧包装的一般性的技术（1700）。实施例如如参考图4所描述的帧包装器的计算设备能够执行该技术（1700）。

一般而言，根据技术（1700），设备将较高分辨率色度采样格式的一个或多个帧包装成较低分辨率色度采样格式的一个或多个帧。例如，设备将4:4:4格式的（一个或多个）帧包装成4:2:0格式的（一个或多个）帧。或者，设备将4:2:2格式的（一个或多个）帧包装成4:2:0格式的（一个或多个）帧。或者，设备将4:4:4格式的（一个或多个）帧包装成4:2:2格式的（一个或多个）帧。或者，设备将4:4:4格式、4:2:2格式或4:2:0格式的（一个或多个）帧包装成4:0:0格式的（一个或多个）帧。

特别地，作为包装的一部分，设备对较高分辨率色度采样格式的（一个或多个）帧的色度分量的样本值执行小波分解或其它带分离滤波以便产生多个带的样本值。设备然后将多个带的样本值分配（1712）给较低分辨率色度采样格式的（一个或多个）帧的部分。

例如，小波分解可以是如图14或图15中所示出的三带小波分解、如图16a或图16b中所示出的四带小波分解、或其它小波分解。典型地，小波分解或其它带分离滤波使用具有LPF和HPF的滤波器对。滤波器对可以是按比例或未封闭的（a）LPF = [1 1] / 2和HPF = [1 -1] / 2；（b）LPF = [-1 1 8 8 1 -1] / 16和HPF = [1 -1] / 2；（c）LPF = [-1 2 6 2 -1] / 8和HPF = [-1 2 -1] / 2；（d）基于正交镜像滤波器的LPF和HPF；（e）基于多相正交滤波器的LPF和HPF；（f）基于共轭正交滤波器的LPF和HPF；或（g）某种其它滤波器对。对于滤波器对，除法操作能够用算术右移操作加以实施、用整数除法操作加以实施或者以另一方式实施。除法操作能够包括无舍入，包括最近整数舍入或者包括抖动舍入。取决于实施方案，小波分解或其它带分离滤波可以使用提升。并且，取决于实施方案，小波分解或其它带分离滤波可以包括针对带的样本值中的至少一些的削波。

在许多例子中，小波分解或其它带分离滤波包括多个滤波级。取决于实施方案，多个滤波级可以包括垂直滤波级，其后面是水平滤波级。或者，多个滤波级可以包括水平滤波级，其后面是垂直滤波级。对于这样的多级滤波，取决于实施方案，用来补偿扩展的归一化（a）能够在多个滤波级的每个滤波级之后发生，（b）能够针对多个滤波级中的一个或多个被至少部分地推迟，或者（c）能够针对一个或多个滤波级被至少部分地忽视，以便提供带的样本值的比例。

设备然后能够对较低分辨率色度采样格式的（一个或多个）帧进行构码（1720）。替换地，不同的设备执行构码（1720）。（一个或多个）设备能够在逐帧基础或其它基础上重复该技术（1700）。

设备能够发信号通知关于帧包装/解包的元数据。例如，设备发信号通知指示所应用的滤波的类型和/或所应用的滤波的滤波相位的元数据。

图18示出了针对采用小波重建或其它逆带分离滤波的帧解包的一般性的技术（1800）。实施例如如参考图5所描述的帧解包器的计算设备能够执行该技术（1800）。

在帧解包本身之前，设备能够对较低分辨率色度采样格式的一个或多个帧进行解码（1810）。替换地，不同的设备执行解码（1810）。

一般而言，根据技术（1800），设备将较低分辨率色度采样格式的（一个或多个）帧解包成较高分辨率色度采样格式的一个或多个帧。例如，设备将4:2:0格式的（一个或多个）帧解包成4:4:4格式的（一个或多个）帧。或者，设备将4:2:0格式的（一个或多个）帧解包成4:2:2格式的（一个或多个）帧。或者，设备将4:2:2格式的（一个或多个）帧解包成4:4:4格式的（一个或多个）帧。或者，设备将4:0:0格式的（一个或多个）帧解包成4:4:4格式、4:2:2格式或4:2:0格式的（一个或多个）帧。

特别地，作为解包的一部分，设备将较低分辨率色度采样格式的（一个或多个）帧的部分分配（1821）给多个带的样本值。设备然后对带的样本值执行（1822）小波重建或其它逆带分离滤波以便产生较高分辨率色度采样格式的（一个或多个）帧的色度分量的样本值。

例如，小波重建可以是三带小波重建、四带小波重建或其它小波重建。典型地，小波重建或其它带分离滤波使用具有LPF和HPF的滤波器对。对于滤波器对，除法操作能够用算术右移操作加以实施、用整数除法操作加以实施或者以另一方式实施。除法操作能够包括无舍入，包括最近整数舍入或者包括抖动舍入。取决于实施方案，小波重建或其它逆带分离滤波可以使用提升。并且，取决于实施方案，小波重建或其它逆带分离滤波可以包括针对带的样本值中的至少一些的削波。

在许多例子中，小波重建或其它逆带分离滤波包括多个滤波级。取决于实施方案，多个滤波级可以包括垂直滤波级，其后面是水平滤波级。或者，多个滤波级可以包括水平滤波级，其后面是垂直滤波级。对于这样的多级滤波，取决于实施方案，用来补偿扩展的归一化（a）能够在多个滤波级的每个滤波级之后发生，（b）能够针对多个滤波级中的一个或多个被至少部分地推迟，或者（c）能够补偿在预处理中带的样本值的比例。

设备还能够接收关于帧包装/解包的元数据。例如，设备接收指示所应用的滤波的类型和/或所应用的滤波的滤波相位的元数据。

（一个或多个）设备能够在逐帧基础或其它基础上重复该技术（1800）。

鉴于所公开的发明的原理可以被应用于的许多可能的实施例，应认识到，所图示的实施例仅是本发明的优选例子，并且不应该被视为限制本发明的范围。相反，本发明的范围由以下权利要求定义。我们因此要求落入这些权利要求的范围和精神内的全部作为我们的发明。