用于可缩放视频译码和3D视频译码的一般化残差预测

摘要

根据某些方面的用于对视频信息进行译码的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元存储参考层的视频信息。所述处理器至少部分基于预测值及与所述参考层相关联的经调整的残差预测值来确定视频单元的值。所述经调整的残差预测值等于从所述参考层的残差预测乘以不同于1的加权因子。

说明书

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到大范围的装置中，包含数字电视、数字直播系统、无线广播 系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数 码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或 卫星无线电电话、所谓的智能电话摂、视频会议装置、视频流式装置等等。数字视频装 置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4 第10部分高级视频译码(AVC)、目前在开发中的高效率视频译码(HEVC)标准定义的标 准和所述标准的扩展部分中所描述的那些视频压缩技术。视频装置可通过实施此些视频 译码技术来更高效地发射、接收、编码、解码和/或存储数字视频信息。

视频压缩技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列 中所固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部 分)分割为若干视频块，所述视频块还可被称作树块、译码单元(CU)和/或译码节点。使 用空间预测相对于同一图片中的相邻块中的参考样本来编码图片的经帧内译码(I)切片 中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相 邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可 被称作帧，且参考图片可被称作参考帧。

空间或时间预测产生对待译码的块的预测性块。残差数据表示待译码的原始块与预 测性块之间的像素差。根据指向形成预测性块的参考样本块的运动向量以及指示经译码 块与所述预测性块之间的差的残差数据来编码经帧间译码块。根据帧内译码模式和残差 数据来编码经帧内译码块。为了进一步压缩，可将残差数据从像素域变换为变换域，从 而产生残差变换系数，所述残差变换系数随后可被量化。起初布置在二维阵列中的经量 化变换系数可依序扫描以产生变换系数的一维向量，且可应用熵译码以实现更多的压 缩。

发明内容

一般来说，本发明描述与可缩放视频译码(SVC)相关的技术。在一些实例中，本发 明的技术可提供一般化残差预测(GRP)框架。层间残差预测使用参考层的残差来预测当 前视频单元。在一般化残差预测中，对当前视频单元的层间残差预测可基于当前层的残 差、当前层的时间预测，及参考层的残差。参考层的残差可通过加权因子来调整。加权 因子可基于且包含各种类型的信息。此类信息的实例可包含加权候选者的数目、加权步 长、加权索引及加权表。

根据某些方面的用于对视频信息进行译码的设备包含存储器单元及与所述存储器 单元通信的处理器。所述存储器单元存储参考层的视频信息。所述处理器至少部分基于 预测值及与所述参考层相关联的经调整的残差预测值来确定视频单元的值。所述经调整 的残差预测值等于从所述参考层的残差预测乘以不同于1的加权因子。

一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及 附图和从权利要求书中显而易见。

附图说明

图1为说明可利用根据本发明中所描述的各方面的技术的实例性视频编码及解码系 统的框图。

图2是说明可实施根据本发明中所描述的各方面的技术的视频编码器的实例的框 图。

图3是说明可实施根据本发明中所描述的各方面的技术的视频解码器的实例的框 图。

图4是说明根据本发明的各方面的一般化残差预测的实例方法的流程图。

图4A是说明根据本发明的各方面的一般化残差预测的另一实例方法的流程图。

图5是说明根据本发明的各方面的使用单循环解码的一般化残差预测的实例方法的 流程图。

图6是说明根据本发明的各方面的使用多循环解码的一般化残差预测的实例方法的 流程图。

图7是说明根据本发明的各方面的用于用信号发送一般化残差预测参数的实例方法 的流程图。

图8是说明根据本发明的各方面的用于导出一般化残差预测参数的实例方法的流程 图。

图9是说明根据本发明的各方面的用于在一般化残差预测中对层进行上取样或下取 样的实例方法的流程图。

图10是说明根据本发明的各方面的用于在一般化残差预测中对运动信息进行再映 射、上取样或下取样的实例方法的流程图。

图11是说明根据本发明的各方面的用于确定用于在一般化残差预测中编码的加权 因子的实例方法的流程图。

具体实施方式

本发明中所描述的技术一般涉及可缩放视频译码(SVC)和3D视频译码。举例来说， 所述技术可与高效率视频译码(HEVC)可缩放视频译码(SVC)扩展相关，且与其一起使用 或在其内使用。在SVC扩展中，可存在多个视频信息层。最低层处的层可充当基础层 (BL)，且最顶部处的层可充当增强型层(EL)。“增强型层”有时被称作“增强层”，且这 些术语可互换地使用。中间的所有层可充当EL或BL中的任一者或两者。举例来说， 中间的层可为用于其下方的层(例如，基础层或任何中介的增强层)的EL，且同时充当用 于其上方的增强层的BL。

仅出于说明的目的，本发明中所描述的技术使用仅包含两个层(例如，例如基础层等 较低层级的层及例如增强型层等较高层级的层)的实例进行描述。将理解，本发明中所描 述的实例还可扩展到具有多个基础层和增强层的实例。

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC  MPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉以及ITU-T H.264(还被称为ISO/IEC  MPEG-4 AVC)，包含其可缩放视频译码(SVC)以及多视图视频译码(MVC)扩展。另外， 正由ITU-T视频译码专家组(VCEG)以及ISO/IEC运动图片专家组(MPEG)的视频译码联 合合作小组(JCT-VC)开发新的视频译码标准，即高效率视频译码(HEVC)。截止2012年 6月7日，HEVC的最近草案可从http：//wg11.sc29.org/jct/doc_end_user/current_document.php？id＝5885/JCTVC-I1003-v2得到。截止2012年6月7日，被称作 “HEVC工作草案7(HEVC Working Draft 7)”的HEVC标准的另一最近草案可从 http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v3.zip下载。HEVC工作草案7的全部引用是布洛斯(Bross)等人的文献HCTVC-I1003“高效率 视频译码(HEVC)文本规范草案7(High Efficiency Video Coding(HEVC)Text Specification  Draft 7)”，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组 (JCT-VC)第9次会议：瑞士日内瓦，2012年4月27日到2012年5月7日。这些参考中 的每一者以全文引用的方式并入。

可缩放视频译码(SVC)可用于提供质量(还被称作信噪比(SNR))可缩放性、空间可缩 放性和/或时间可缩放性。增强型层与可具有与基础层不同的空间分辨率。举例来说， EL与BL之间的空间纵横比可为1.0、1.5、2.0或其它不同比率。换句话说，EL的空间 方面可等于BL的空间方面的1.0、1.5或2.0倍。在一些实例中，EL的缩放因子可大于 BL。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，虽然不是 限制，但EL的空间分辨率大于BL的空间分辨率可为可能的。

在H.264的SVC扩展中，可使用针对SVC提供的不同层来执行对当前块的预测。 此预测被称作层间预测。层间预测方法可用于SVC中以便减少层间冗余。层间预测的 一些实例可包含层间帧内预测、层间运动预测，及层间残差预测。层间帧内预测使用基 础层中的位于同一地点的块的重构来预测增强层中的当前块。层间运动预测使用基础层 的运动来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。

在层间残差预测中，可使用基础层的残差来预测增强层中的当前块。可将残差界定 为视频单元的时间预测与源视频单元之间的差异。在残差预测中，还考虑基础层的残差 来预测当前块。举例来说，可使用从增强层的残差、从增强层的时间预测及从基础层的 残差来重构当前块。可根据以下等式来重构当前块：

${\hat{I}}_e=r_e+P_e+r_b---\left(1\right)$

其中，表示当前块的重构，r_e表示从增强层的残差、P_e表示从增强层的时间预测， 且r_b表示从基础层的残差预测。

为了使用对增强层中的宏块(MB)的层间残差预测，基础层中的位于同一地点的宏块 应为帧间MB，且位于同一地点的基础层宏块的残差可根据增强层的空间分辨率比率而 被上取样(例如，因为SVC中的层可具有不同的空间分辨率)。在层间残差预测中，增强 层的残差与经上取样基础层的残差之间的差异可在位流中译码。基础层的残差可基于基 础层和增强层的量化步骤之间的比率而被规格化。

对H.264的SVC扩展需要对运动补偿的单循环解码以便维持解码器的低复杂度。 一般来说，通过如下添加当前块的时间预测和残差来执行运动补偿：

$\hat{I}=r+P---\left(2\right)$

其中表示当前帧，r表示残差，且P表示时间预测。在单循环解码中，SVC中的 每一被支持的层可使用单一运动补偿循环来解码。为了实现此，使用受约束的帧内预测 对用于对较高的层进行层间帧内预测的所有层进行译码。在受约束的帧内预测中，帧内 模式MB被帧内译码，而不参考来自相邻经帧间译码MB的任何样本。另一方面，HEVC 允许用于SVC的多循环解码，其中可使用多个运动补偿循环对SVC层进行解码。举例 来说，基础层首先被完全解码，且随后对增强层进行解码。

在等式(1)中制定的残差预测可为H.264SVC扩展中的有效技术。然而，其性能可在 HEVC SVC扩展中得到进一步改进，尤其在多循环解码用于HEVC SVC扩展中时。

在多循环解码的情况下，可使用差域运动补偿来取代残差预测。在SVC中，可使 用像素域译码或差域译码来译码增强层。在像素域译码中，对于非SVC HEVC层，可译 码增强层像素的输入像素。另一方面，在差域译码中，可译码增强层的差值。所述差值 可为增强层的输入像素与对应的经缩放基础层经重构像素之间的差。此差值可用于对差 域运动补偿的运动补偿。

对于使用差域的帧间译码，基于增强层参考图片中的对应的预测块样本与经缩放基 础层参考图片中的对应的预测块样本之间的差值来确定当前预测块。差值可被称作差预 测块。将位于同一地点的基础层经重构样本添加到所述差预测块以便获得增强层经重构 样本。

然而，在层间预测中使用差域运动补偿会引入两组运动估计和运动补偿，这是因为 运动估计和运动补偿常常用于像素域和差域两者。引入两组运动估计和运动补偿可导致 较高的缓冲和计算成本，其对于编码器或解码器可为不实际的。另外，对两组运动向量 进行译码可降低译码效率，这是因为当两组运动向量具有不同的性质且在译码单元(CU) 层级处交错时，运动字段可变得不规则。另外，差域中的运动估计需要基础层和增强层 共享相同的运动。此外，差域运动补偿不与单循环解码一起工作，这是因为两个层之间 的差分图片的导出是基于每一层的完全经重构图片。因此，当使用差域运动补偿时，避 免在具有两组运动估计和运动补偿中的冗余将是有利的。而且，在单循环解码中扩展差 域运动补偿将是有利的。

本发明中所描述的技术可解决与SVC中的层间残差预测和差域运动补偿相关的问 题。所述技术可提供一般化残差预测(GRP)框架。如上文所阐释，层间残差预测使用参 考层的残差来预测当前视频单元，例如块或帧。在一般化残差预测中，对当前视频单元 的层间残差预测可基于当前层的残差、当前层的时间预测，及参考层的残差。参考层的 残差可通过加权因子来调整。加权因子可基于且包含各种类型的信息。此类信息的实例 可包含加权候选者的数目、加权步长、加权索引及加权表。GRP框架还可应用于帧内预 测。当使用帧内预测时，在GRP框架中使用从当前层的空间预测而不是从当前层的时 间预测。举例来说，对当前视频单元的层间残差预测可基于当前层的残差、当前层的时 间预测，及参考层的残差。

根据本发明的各方面的GRP框架可通过并入加权因子而适应各种类型的残差预测。 适当地调整加权因子可导致用于残差预测的显著译码增益。另外，在GRP框架中，可 使用不一定是传统残差预测中的基础层的参考层来执行残差预测。举例来说，可从当前 增强层导出参考层。当加权因子被设定为1时，GRP还可适应传统的残差预测。GRP 框架可与单循环解码和多循环解码两者一起使用。另外，在GRP框架中，差域中的运 动估计可不是必需的，且因此，当前层和增强层不必须共享用于运动估计的相同运动。 GRP框架可应用于许多不同类型的残差预测，且如等式(1)中界定的传统残差预测及差域 运动补偿是使用GRP框架的两个特定情景。所述技术可提高HEVC的可缩放扩展中的 运动补偿的性能且还可应用于HEVC的3D视频译码扩展。

下文参考附图更全面地描述新颖的系统、设备和方法的各个方面。然而，本发明可 以不同的形式来体现，且不应被解释为受限于整个本发明中所呈现的任何特定结构或功 能。而是，提供这些方面以使得本发明将是彻底且完整的，且将把本发明的范围完全地 传达给所属领域的技术人员。基于本文中的教示，所属领域的技术人员应了解，本发明 的范围既定涵盖本文中所揭示的新颖系统、设备和方法的任何方面，无论是独立地实施 还是与本发明的任何其它方面组合地实施。举例来说，可使用任何数目的本文所陈述的 方面来实施设备或实践方法。另外，本发明的范围界定涵盖使用除本文所陈述的本发明 的各个方面之外或不同于本文所陈述的本发明的各个方面的其它结构、功能性或结构与 功能性而实践的此类设备或方法。应理解，本文中所揭示的任何方面可通过权利要求的 一或多个元件来体现。

尽管本文中描述特定方面，但这些方面的许多变化和排列落入本发明的范围内。尽 管提到了优选方面的一些益处和优点，但本发明的范围无意限于特定益处、用途或目的。 而是，本发明的方面意在广泛地适用于不同无线技术、系统配置、网络和传输协议，其 中的一些以实例方式说明于图中和优选方面的以下描述中。详细描述和图式仅说明本发 明，而不是限制由所附权利要求书及其等效物界定的本发明的范围。

图1为说明可利用根据本发明中所描述的各方面的技术的实例性视频编码及解码系 统的框图。如图1中所示，系统10包含源装置12，所述源装置提供经编码视频数据以 在稍后时间由目的地装置14解码。具体来说，源装置12经由计算机可读媒体16将视 频数据提供给目的地装置14。源装置12和目的地装置14可包括广泛多种装置中的任一 者，包含桌上型计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、电话手 持机(例如，所谓的“智能”电话)、所谓的“智能”平板、电视、相机、显示装置、数 字媒体播放器、视频游戏控制台、视频流式装置等。在一些情况下，源装置12和目的 地装置14可经装备以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可 读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任何类 型的媒体或装置。在一个实例中，计算机可读媒体16可包括用以使得源装置12能够实 时地将经编码视频数据直接发射到目的地装置14的通信媒体。可根据例如无线通信协 议等通信标准来调制经编码的视频数据，且将其发射到目的地装置14。所述通信媒体可 包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多条物理传输线。通信媒体可 形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信媒体可 包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其 它设备。

在一些实例中，可从输出接口22将经编码数据输出到存储装置。类似地，可通过 输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存 储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失 性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在 进一步的实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视 频的另一中间存储装置。目的地装置14可经由流式传输或下载而存取来自存储装置的 所存储的视频数据。文件服务器可为能够存储经编码视频数据和将所述经编码视频数据 发射到目的地装置14的任何类型的服务器。实例性文件服务器包含网络服务器(例如， 用于网站)、FTP服务器、网络附接式存储(NAS)装置，或本地磁盘驱动器。目的地装置 14可通过任何标准的数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线 信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或适合于存 取存储于文件服务器上的经编码视频数据的以上两者的组合。经编码视频数据从存储装 置的传输可为流式传输、下载传输，或两者的组合。

本发明的技术不一定受限于无线应用或环境。所述技术可应用于支持多种多媒体应 用(例如，空中电视广播、有线电视传输、卫星电视发射、因特网串流视频传输(例如， 经由HTTP的动态自适应串流(DASH)))中的任一者的视频译码、被编码到数据存储媒体 上的数字视频、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中， 系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频回放、视 频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的 地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的 视频编码器20可经配置以应用用于对包含与多个标准或标准扩展相符的视频数据的位 流进行译码的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例 来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样，目的地装 置14可与外部显示装置介接，而不是包含集成式显示装置。

图1的所说明的系统10仅为一个实例。可通过任何数字视频编码和/或解码装置来 执行用于确定当前块的运动向量预测符的候选列表的候选者的技术。尽管一般来说，本 发明的技术是由视频编码装置来执行，但所述技术还可由视频编码器/解码器(通常被称 作“CODEC”)来执行。另外，本发明的技术还可由视频预处理器来执行。源装置12及 目的地装置14仅为此些译码装置的实例，其中源装置12产生用于发射到目的地装置14 的经译码视频数据。在一些实例中，装置12、14可以大体上对称的方式操作以使得装 置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14 之间的单向或双向视频发射，例如用于视频流式传输、视频回放、视频广播或视频电话。

源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前所俘获的视频 的视频存档，和/或用以接收来自视频内容提供者的视频的视频馈送接口。作为另一替代 方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、存档视频与 计算机产生的视频的组合。在一些情况下，如果视频源18为摄像机，那么源装置12及 目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，一般来说， 本发明中所描述的技术可适用于视频译码，且可适用于无线及/或有线应用。在每一情况 下，可由视频编码器20来编码经俘获的、经预先俘获的或计算机产生的视频。经编码 视频信息可随后被输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含瞬时数据，例如无线广播或有线网络传输，或存储媒体 (即，非暂时性存储媒体)，例如硬盘，快闪驱动器、压缩光盘、数字视频光盘、蓝光光 盘，或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可(例如)经由网络传输、 直接有线通信等从源装置12接收经编码视频数据，且将经编码视频数据提供给目的地 装置14。类似地，媒体生产设施(光盘压印设施)的计算装置可从源装置12接收经编码 视频数据，且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体 16可被理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16 的信息可包含由视频编码器20界定的语法信息，所述语法信息还由视频解码器30使用， 所述语法信息包含描述块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。 显示装置32向用户显示经解码的视频数据，且可包括多种显示装置中的任一者，例如 阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示 器或另一类型的显示装置。

视频编码器20和视频解码器30可根据视频译码标准来操作，例如目前在开发中的 高效率视频译码(HEVC)标准，且可符合HEVC测试模型(HM)。或者，视频编码器20 和视频解码器30可根据例如ITU-T H.264标准(或者被称作MPEG4第10部分，高级视 频译码(AVC))或此类标准的扩展等其它专有或产业标准而操作。然而，本发明的技术不 限于任何特定译码标准，包含但不限于上文所列举的标准中的任一者。视频译码标准的 其它实例包含MPEG-2和ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编 码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的 MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频与 视频两者的编码。如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例 如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信号 处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬 件、固件或其任何组合的多种合适的编码器电路中的任一者。当所述技术部分地在软件 中实施时，一装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在 硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。视频编码器20和视 频解码器30中的每一者可包含于一或多个编码器或解码器中，所述视频编码器和视频 解码器中的任一者可在相应装置中被集成为组合式编码器/解码器(CODEC)的一部分。包 含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信 装置，例如蜂窝式电话。

JCT-VC致力于HEVC标准的开发。HEVC标准化工作是基于被称作HEVC测试模 型(HM)的视频译码装置的演进模型。HM假设相对于根据(例如)ITU-T H.264/AVC的现 有装置的视频译码装置的额外能力。举例来说，尽管H.264提供九种帧内预测编码模式， 但HM可提供多达三十三种帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可以被划分为包含明度和色度样本两 者的一连串树块或最大译码单元(LCU)。位流内的语法数据可界定LCU的大小，所述 LCU是在像素数目方面的最大译码单元。切片包含呈译码次序的多个连续树块。视频帧 或图片可以被分割成一或多个切片。每一树块可以根据四叉树而分裂成多个译码单元 (CU)。一般来说，四叉树数据结构每个CU包含一个节点，其中根节点对应于树块。如 果将CU分裂为四个子CU，那么对应于CU的节点包含四个叶节点，所述四个叶节点中 的每一者对应于子CU中的一者。

所述四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中 的节点可包含分裂旗标，从而指示对应于所述节点的CU是否被分裂为子CU。可递归 地界定CU的语法元素，且所述语法元素可取决于CU是否被分裂为子CU。如果CU未 进一步分裂，那么其被称作叶CU。在本发明中，叶CU的四个子CU也将被称作叶CU， 即使不存在对原始叶CU的明确分裂。举例来说，如果16×16大小的CU未进一步分裂， 那么四个8×8子CU也将被称作叶CU，虽然16×16的CU从未分裂。

CU具有与H.264标准的宏块类似的目的，只不过CU不具有大小区别。举例来说， 树块可分裂成四个子节点(还被称作子CU)，且每一子节点又可为父节点且分裂成另外四 个子节点。最终的未分裂的子节点(被称作四叉树的叶节点)包括译码节点，还被称作叶 CU。与经译码位流相关联的语法数据可界定树块可分裂的最大次数(被称作最大CU深 度)，且还可界定译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。在 HEVC的上下文中，本发明使用术语“块”来指代CU、PU或TU中的任一者，或在其 它标准的上下文中的类似数据结构(例如，H.264/AVC中的宏块及其子块)。

CU包含译码节点和与译码节点相关联的预测单元(PU)及变换单元(TU)。所述CU 的大小对应于译码节点的大小且在形状上必须是正方形。CU的大小的范围可从8×8像 素直到具有最大64×64像素或更大的树块的大小。每一CU可含有一或多个PU及一或 多个TU。与CU相关联的语法数据可描述(例如)将CU分割为一或多个PU。分割模式 在CU被跳过、被直接模式编码、被帧内预测模式编码还是被帧间预测模式编码之间可 不同。可将PU的形状分割为非正方形。与CU相关联的语法数据还可描述(例如)根据四 叉树将CU分割为一或多个TU。TU的形状可为正方形或非正方形(例如，矩形)。

HEVC标准允许根据TU的变换，其对于不同的CU可不同。所述TU的大小通常 基于针对经分割LCU而界定的给定CU内的PU的大小而设定，但可能不总是这样。TU 通常与PU是相同大小或小于PU。在一些实例中，可使用被称为“残差四叉树”(RQT) 的四叉树结构将对应于CU的残差样本细分为更小的单元。RQT的叶节点可被称作变换 单元(TU)。可将与TU相关联的像素差值变换以产生变换系数，所述变换系数可经量化。

叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的全部或 一部分的空间区域，且可包含用于检索PU的参考样本的数据。另外，PU包含与预测相 关的数据。举例来说，在对PU进行帧内模式编码时，PU的数据可包含于残差四叉树 (RQT)中，其可包含描述对应于PU的TU的帧内预测模式的数据。作为另一实例，在对 PU进行帧间模式编码时，PU可包含界定PU的一或多个运动向量的数据。界定PU的 运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的 分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或 运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。可使用RQT(还被称作 TU四叉树结构)来指定变换单元，如上文所论述。举例来说，分裂旗标可指示叶CU是 否被分裂为四个变换单元。随后，每一变换单元可进一步分裂为进一步的子TU。当TU 不进一步分裂时，其可被称作叶TU。一般来说，对于帧内译码，属于叶CU的所有叶 TU共享同一帧内预测模式。也就是说，一般应用同一帧内预测模式来计算叶CU的所 有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式来计算每一叶TU的 残差值以作为对应于TU的CU的部分与原始块之间的差。TU不一定受限于PU的大小。 因此，TU可比PU更大或更小。对于帧内译码，PU可与同一CU的对应的叶TU并置。 在一些实例中，叶TU的最大大小可对应于对应的叶CU的大小。

另外，叶CU的TU还可与相应的四叉树数据结构(被称作残差四叉树(RQT))相关联。 也就是说，叶CU可包含指示叶CU如何被分割为TU的四叉树。TU的根节点一般对应 于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。RQT的未分裂的TU被称 作叶TU。一般来说，本发明使用术语CU和TU来分别指代叶CU和叶TU，除非另有 注释。

一视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多 个视频图片。GOP可在GOP的标头、图片中的一或多者的标头或其它地方中包含语法 数据，所述语法数据描述包含于GOP中的图片的数目。图片的每一切片可包含切片语 法数据，所述切片语法数据描述相应切片的编码模式。视频编码器20通常对个别视频 切片内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码单元。视频 块可具有固定或变化的大小，且大小可根据指定的译码标准而不同。

作为一实例，HM支持按各种PU大小的预测。假定特定CU的大小为2N×2N，HM 支持按2N×2N或N×N的PU大小的帧内预测，以及按2N×2N、2N×N、N×2N或N×N 的对称PU大小的帧间预测。HM还支持用于按2N×nU、2N×nD、nL×2N和nR×2N的 PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向未被分割，而另一 方向被分割为25％和75％。CU的对应于25％分区的部分由“n”继之以“向上”、“向下”、 “左边”或“右边”的指示来指示。因此，例如，“2N×nU”指代被水平地分割成在顶部 具有2N×0.5N PU且在底部具有2N×1.5N PU的2N×2N CU。

在本发明中，“N×N”与“N乘N”可以可互换地使用，以在垂直和水平尺寸方面 指代视频块的像素尺寸，例如16×16像素或16乘16像素。一般来说，16×16块将具有 在垂直方向上的16个像素(y＝16)和在水平方向上的16个像素(x＝16)。同样地，N×N 块一般具有在垂直方向上的N个像素和在水平方向上的N个像素，其中N表示非负整 数值。一块中的像素可布置在若干行和若干列中。此外，块无需一定在水平方向上具有 与在垂直方向上相同数目的像素。举例来说，块可包括N×M个像素，其中M不一定等 于N。

在使用CU的PU进行帧内预测译码或帧间预测译码之后，视频编码器20可计算用 于CU的TU的残差数据。PU可包括描述在空间域(还被称作像素域)中产生预测性像素 数据的方法或模式的语法数据，且TU可包括在变换域(例如，在对残差视频数据应用例 如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换之后)中的系数。 残差数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码 器20可形成包含CU的残差数据的TU，且随后变换TU以产生CU的变换系数。

在进行任何变换以产生变换系数之后，视频编码器20可执行变换系数的量化。量 化一般指代将变换系数量化以可能地减少用于表示系数的数据量从而提供进一步压缩 的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，在量化期 间，可将n位值向下舍入到m位值，其中n大于m。

在量化之后，视频编码器可扫描变换系数，从而从包含经量化变换系数的二维矩阵 产生一维向量。所述扫描可经设计以将较高能量(且因此较低频率)系数放置在阵列的前 方，且将较低能量(且因此较高频率)系数放置在阵列的后方。在一些实例中，视频编码 器20可利用预先界定的扫描次序来扫描经量化变换系数以产生可经熵编码的串行化向 量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成 一维向量之后，视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下 文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、 概率区间分割熵(PIPE)译码或另一熵编码方法来熵编码所述一维向量。视频编码器20还 可对与经编码视频数据相关联的语法元素进行熵译码，以供视频解码器30在解码视频 数据中使用。

为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待发射的符号。 所述上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20 可针对待发射的符号选择可变长度码。可将VLC中的码字建构成使得相对较短的代码 对应于更有可能的符号，而较长的代码对应于较不可能的符号。以此方式，与(例如)针 对待发射的每一符号使用相等长度的码字相比，使用VLC可实现位节省。概率确定可 基于指派给符号的上下文。

视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基 于块的语法数据、基于帧的语法数据和基于GOP的语法数据等语法数据发送到视频解 码器30。所述GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用于 编码对应帧的编码/预测模式。

图2是说明可实施根据本发明中所描述的各方面的技术的视频编码器的实例的框 图。视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例， 模式选择单元40可经配置以执行本发明中所描述的技术中的任一者或全部。然而，本 发明的各方面不限于此。在一些实例中，本发明中所描述的技术可在视频编码器20的 各种组件之间共享。在一些实例中，除此之外或作为替代，处理器(未图示)可经配置以 执行本发明中所描述的技术中的任一者或全部。

在一些实施例中，模式选择单元40、运动估计单元42、运动补偿单元44、帧内预 测单元46(或模式选择单元40的另一组件(图示或未图示))，或编码器20的另一组件(图 示或未图示)可执行本发明的技术。举例来说，模式选择单元40可接收用于编码的视频 数据，所述视频数据可被编码到基础层和对应的一或多个增强层中。模式选择单元40、 运动估计单元42、运动补偿单元44、帧内预测单元46，或编码器20的另一适当单元可 至少部分基于预测值及与参考层相关联的经调整的残差预测值来确定视频单元的值。所 述经调整的残差预测值可等于从所述参考层的残差预测乘以不同于1的加权因子。编码 器20可编码视频单元且在位流中用信号发送加权因子或加权信息。

视频编码器20可执行对视频切片内的视频块的帧内译码和帧间译码。帧内译码依 赖于空间预测以减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于 时间预测以减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模 式)可指代若干基于空间的译码模式中的任一者。帧间模式(例如单向预测(P模式)或双向 预测(B模式))可指代若干基于时间的译码模式中的任一者。

如图2所示，视频编码器20接收视频帧内的待编码的当前视频块。在图1的实例 中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元 52、量化单元54以及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动 估计单元42、帧内预测单元46和分割单元48。对于视频块重构，视频编码器20还包 含反量化单元58、反变换单元60，和求和器62。还可包含解块滤波器(图2中未展示) 以将块边界滤波，以从经重构视频移除成块性假影。在需要时，解块滤波器通常对求和 器62的输出进行滤波。除了解块滤波器之外，还可使用额外的滤波器(环路内或环路后)。 出于简明起见而未展示所述滤波器，但在需要时可对求和器50的输出进行滤波(作为环 路内滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片划分 为多个视频块。运动估计单元42和运动补偿单元44相对于一或多个参考帧中的一或多 个块执行对所接收的视频块的帧间预测译码以提供时间预测。帧内预测单元46可替代 地相对于在与待译码的块相同的帧或切片中的一或多个相邻块执行对所接收视频块的 帧内预测译码，以提供空间预测。视频编码器20可执行多个译码回合(例如)以选择用于 视频数据的每一块的适当译码模式。

另外，分割单元48可基于对先前译码回合中的先前分割方案的评估而将视频数据 块分割为子块。举例来说，分割单元48可起初将帧或切片分割为LCU，且基于速率- 失真分析(例如，速率-失真优化)将LCU中的每一者分割为子CU。模式选择单元40可 进一步产生指示将LCU分割为子CU的四叉树数据结构。四叉树的叶节点CU可包含一 或多个PU及一或多个TU。

模式选择单元40可(例如)基于误差结果而选择译码模式(帧内或帧间)中的一者，且 将所得的经帧内译码或经帧间译码的块提供到求和器50以产生残差块数据，且提供到 求和器62以重构经编码块以用作参考帧。模式选择单元40还将例如运动向量、帧内模 式指示符、分区信息及其它此类语法信息等语法元素提供给熵编码单元56。

运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以 说明。由运动估计单元42执行的运动估计是产生运动向量的过程，运动向量估计视频 块的运动。运动向量(例如)可相对于当前块在当前帧(或其它经译码单元)内译码而指示当 前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块的移位。 预测块是被发现在像素差异方面紧密地匹配待译码的块的块，其可通过绝对差总和 (SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算 存储于参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器 20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。 因此，运动估计单元42可执行相对于完整像素位置和分数像素位置的运动搜索，且以 分数像素位置输出运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算经帧间译码 切片中的视频块的PU的运动向量。可从第一参考图片列表(列表0)或第二参考图片列表 (列表1)来选择所述参考图片，所述列表中的每一者识别存储于参考帧存储器64中的一 或多个参考图片。运动估计单元42将计算出的运动向量发送到熵编码单元56和运动补 偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量 来获取或产生预测块。再次地，在一些实例中，运动估计单元42与运动补偿单元44可 在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻定位 运动向量在所述参考图片列表中的一者中所指向的预测块。求和器50通过从正经译码 的当前视频块的像素值减去预测块的像素值从而形成像素差值，而形成残差视频块，如 下文所论述。一般来说，运动估计单元42相对于亮度分量执行运动估计，且运动补偿 单元44使用基于所述亮度分量所计算的运动向量来用于色度分量和亮度分量两者。模 式选择单元40还可产生与视频块和视频切片相关联的语法元素以供视频解码器30在解 码视频切片的视频块中使用。

帧内预测单元46可对当前块进行帧内预测，以作为如上文所描述的由运动估计单 元42和运动补偿单元44执行的帧间预测的替代方案。具体来说，帧内预测单元46可 确定用以对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可(例如) 在单独编码回合期间使用各种帧内预测模式对当前块进行编码，且帧内预测单元46(在 一些实例中，或为模式选择单元40)可从所测试的模式中选择将使用的适当的帧内预测 模式。

举例来说，帧内预测单元46可使用对各种所测试的帧内预测模式的速率-失真分析 来计算速率-失真值，且在所测试的模式中选择具有最佳速率-失真特性的帧内预测模式。 速率-失真分析一般确定经编码块与曾被编码以产生所述经编码块的原始未经编码块之 间的失真(或误差)量，以及用于产生所述经编码块的位速率(即，位数目)。帧内预测单元 46可根据各种经编码块的失真和速率计算比率，以确定哪一帧内预测模式展现出用于所 述块的最佳的速率-失真值。

在选择了用于块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的选 定帧内预测模式的信息提供给熵编码单元56。熵编码单元56可对指示选定的帧内预测 模式的信息进行编码。视频编码器20可将配置数据包含在所发射的位流中，所述配置 数据可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(还被称作码 字映射表)、各种块的编码上下文的定义，及最可能帧内预测模式的指示、帧内预测模式 索引表，及经修改的帧内预测模式索引表，以用于所述上下文中的每一者。

视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据 而形成残差视频块。求和器50表示执行此减法运算的组件。变换处理单元52可对残差 块应用变换(例如，离散余弦变换(DCT)或概念上类似的变换)，从而产生包括残差变换系 数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用子波 变换、整数变换、子带变换或其它类型的变换。在任何情况下，变换处理单元52对残 差块应用所述变换，从而产生残差变换系数块。所述变换可将残差信息从像素值域转换 到变换域(例如，频域)。变换处理单元52可将所得的变换系数发送到量化单元54。量 化单元54量化变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部 相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54 可接着执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。

在量化之后，熵编码单元56对经量化变换系数进行熵译码。举例来说，熵编码单 元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码 (CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE) 译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在由 熵编码单元56熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)或 存档以供随后发射或检索。

反量化单元58和反变换单元60分别应用反量化和反变换，以在像素域中重构残差 块，(例如)以用于稍后用作参考块。运动补偿单元44可通过将残差块添加到参考帧存储 器64的帧中的一者的预测块而计算参考块。运动补偿单元44还可将一或多个内插滤波 器应用于经重构残差块以计算子整数像素值以在运动估计中使用。求和器62将经重构 的残差块添加到由运动补偿单元44产生的经运动补偿的预测块以产生经重构的视频块 以供存储在参考帧存储器64中。经重构的视频块可由运动估计单元42和运动补偿单元 44用作用于对后续视频帧中的块进行帧间译码的参考块。

图3是说明可实施根据本发明中所描述的各方面的技术的视频解码器的实例的框 图。视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例， 运动补偿单元72和/或帧内预测单元74可经配置以执行本发明中所描述的技术中的任一 者或全部。然而，本发明的各方面不限于此。在一些实例中，本发明中所描述的技术可 在视频解码器30的各种组件之间共享。在一些实例中，除此之外或作为替代，处理器(未 图示)可经配置以执行本发明中所描述的技术中的任一者或全部。

在一些实施例中，熵解码单元70、运动补偿单元72、帧内预测单元74，或解码器 30的另一组件(图示或未图示)可执行本发明的技术。举例来说，熵解码单元70可接收 经编码视频位流，其可编码与基础层和对应的一或多个增强层相关的数据。运动补偿单 元72、帧内预测单元74，或解码器30的另一适当单元可至少部分基于预测值及与参考 层相关联的经调整的残差预测值来确定视频单元的值。所述经调整的残差预测值可等于 从所述参考层的残差预测乘以不同于1的加权因子。解码器30可解码视频单元且在位 流中接收加权因子或加权信息。

在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测 单元74、反量化单元76、反变换单元78、参考帧存储器82以及求和器80。视频解码 器30在一些实例中可执行一般与关于视频编码器20(图2)所描述的编码回合互逆的解码 回合。运动补偿单元72可基于从熵解码单元70接收的运动向量而产生预测数据，而帧 内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符而产生预测数据。

在解码过程期间，视频解码器30从视频编码器20接收表示经解码视频切片和相关 联的语法元素的视频块的经编码视频位流。视频解码器30的熵解码单元70对位流进行 熵解码以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单 元70将运动向量和其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片 层级和/或视频块层级处接收语法元素。

当将视频切片译码为经帧内译码(I)切片时，帧内预测单元74可基于用信号通知的 帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频 块的预测数据。当将视帧帧译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单 元72基于从熵解码单元70接收的运动向量和其它语法元素而产生当前视频切片的视频 块的预测块。可从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码 器30可基于存储于参考帧存储器92中的参考图片使用默认建构技术来建构参考帧列 表，列表0和列表1。运动补偿单元72通过解析运动向量和其它语法元素而确定当前视 频切片的视频块的预测信息，且使用所述预测信息以产生正经解码的当前视频块的预测 块。举例来说，运动补偿单元72使用所接收的语法元素中的一些语法元素来确定用于 对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片 类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的建 构信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视 频块的帧间预测状态，及用以对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如由视频 编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插 值。在此情况下，运动补偿单元72可从所接收的语法元素来确定由视频编码器20使用 的内插滤波器且使用所述内插滤波器来产生预测块。

反量化单元76将提供于位流中且由熵解码单元80解码的经量化的变换系数反量化 (例如，解量化)。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块 计算的量化参数QP_Y，以确定应应用的量化程度以及同样的反量化程度。

反变换单元78对变换系数应用反变换(例如，反DCT、反整数变换，或概念上类似 的反变换过程)，以便在像素域中产生残差块。

在运动补偿单元82基于运动向量和其它语法元素产生当前视频块的预测块之后， 视频解码器30通过对来自反变换单元78的残差块与由运动补偿单元72产生的对应预 测块求和而形成经解码视频块。求和器90代表执行此求和操作的组件。在需要时，还 可应用解块滤波器以对经解码块进行滤波，以便移除成块性假影。还可使用其它环路滤 波器(在译码环路中或在译码环路之后)来平滑像素转变或以其它方式提高视频质量。接 着将给定帧或图片中的经解码视频块存储于参考图片存储器92中，所述参考图片存储 器存储用于后续运动补偿的参考图片。参考帧存储器82还存储经解码视频以供稍后在 显示装置(例如，图1的显示装置32)上呈现。

图4是说明根据本发明的各方面的一般化残差预测的实例方法的流程图。本发明中 所描述的技术可提供一般化残差预测(GRP)框架。如上文所阐释，层间残差预测使用参 考层的残差来预测当前视频单元，例如帧。在一般化残差预测中，对当前视频单元的层 间残差预测可基于当前层的残差、当前层的时间预测，及参考层的残差。参考层的残差 可通过加权因子来调整。可如下界定GRP方案：

${\hat{I}}_c=r_c+P_c+w·r_r---\left(3\right)$

其中，表示当前帧的重构，r_c表示从当前层的残差预测、P_c表示从相同层的时间 预测，r_r表示从参考层的残差预测，且w表示加权因子。GRP框架还可应用于帧内CU。 在此情况下，P_c指示从相同层的空间预测。

加权因子可基于且包含各种类型的信息。此类信息的实例可包含加权候选者的数 目、加权步长、加权索引及加权表。加权候选者的数目可指示可应用于参考层的残差的 不同加权因子的数目。加权步长可指示可用的加权因子之间的增量或单元的大小。加权 索引可指示可用的加权因子中的特定加权因子。加权表可包含关于加权因子的信息，且 可通过加权索引来存取，类似于查找表。在特定实例中，三个加权因子候选者可为可用 的：0.0、0.5和1.0。在此实例中，加权候选者的数目是3，因为三个加权因子候选者是 可用的。3个加权候选者之间的加权步长是0.5。每一加权候选者可通过加权索引来识别。 加权因子0通过索引0来识别，加权因子0.5通过索引1来识别，且加权因子1.0通过 索引2来识别。加权步长和索引可用于导出加权因子，因为用信号发送分数可为昂贵的。

根据本发明的各方面的GRP框架可通过并入加权因子而适应各种类型的残差预测。 适当地调整加权因子可导致用于残差预测的显著译码增益。GRP可通过在残差预测中并 入参考层的加权信息而提高译码性能，同时减少存储器的量和计算成本。举例来说，GRP 可提高译码性能，因为经加权残差预测更准确。而且，举例来说，可减少存储器的量和 计算成本，因为通常不使用如在差域运动补偿中的两组运动补偿循环。另外，在GRP 框架中，可使用不一定是传统残差预测中的基础层的参考层来执行残差预测。举例来说， 可从当前层的增强层导出参考层。当加权因子被设定为1时，GRP还可适应传统的残差 预测。GRP框架可与单循环解码和多循环解码两者一起使用。

相对于差域运动补偿，可在单循环解码中应用GRP框架。如上文所阐释，在H.264 中，差域运动补偿可不在单循环解码情景中使用，这是因为必须基于每一层的完全经重 构图片来计算层之间的差分图片。为了在差域运动补偿中获得差图片，常常使用每一层 的完全重构，且对于每一层，可将一个运动补偿循环用于完全重构。举例来说，常常使 用两个运动补偿循环以具有两个层的完全重构。因此，可不在单循环解码中使用差域运 动补偿。相比而言，GRP可支持单循环解码和多循环解码两者。另外，在GRP框架中， 差域中的运动估计可不是必要的。因此，当前层和增强层可不必共享相同的运动以用于 运动估计。GRP框架可适用于许多不同类型的残差预测，且如等式(1)中界定的传统残差 预测及差域运动补偿是使用GRP框架的两个特定情景。

现在将参考图4阐释根据本发明的各方面的一般化残差预测的实例方法。可通过编 码器(例如，如图2中所示的编码器等)、解码器(例如，如图3中所示的解码器等)或任何 其它组件来执行过程400。关于图3中的解码器30来描述过程400的框，但过程400可 通过其它组件来执行，例如，如上文提及的编码器。

在框401处，解码器30将加权因子应用于从参考层的残差预测。如上文所阐释， 一般化残差预测(GRP)可将加权因子应用于从参考层的残差。可将加权因子确定为对于 特定情景(例如，单循环解码)是最佳的。所述加权因子可包含信息，例如加权候选者的 数目、加权步长、加权索引及加权表。

在框402处，解码器30获得从增强层的残差预测。在框403处，解码器30获得从 增强层的时间预测。

在框404处，解码器30基于通过所述加权因子调整的从所述参考层的所述残差预 测、从增强层的残差预测及从增强层的时间预测来确定当前视频单元。如上文所阐释， 在GRP中，可根据等式(3)来预测当前视频单元。

关于图4所描述的根据本发明的各方面的用于一般化残差预测的实例方法可在各种 译码层级处实施，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)的群 组、译码单元(CU)、预测单元(PU)的群组、预测单元(PU)、块、像素区或像素。另外， 关于图4所描述的根据本发明的各方面的用于一般化残差预测的实例方法还可应用于信 号分量，例如亮度分量和色度分量。举例来说，所述实例方法可仅应用于亮度分量，仅 应用于色度分量，或亮度分量与色度分量的组合(例如，一个亮度分量和两个色度分量的 任何组合)。另外，关于图4所描述的所有实施例可单独地实施，或彼此组合地实施。

图4A是说明根据本发明的各方面的一般化残差预测的另一实例方法的流程图。可 通过编码器(例如，如图2中所示的编码器等)、解码器(例如，如图3中所示的解码器等) 或任何其它组件来执行过程400A。关于图3中的解码器30来描述过程400A的框，但 过程400A可通过其它组件来执行，例如，如上文提及的编码器。过程400A可应用于 SVC以及3D视频译码。关于图4A所描述的所有实施例可单独地实施，或彼此组合地 实施。

在框401A处，解码器30获得从参考层的残差预测。所述参考层可为当前层的基础 层。所述参考层还可为对应于当前增强层的增强层。可以各种方式确定从参考层的残差 预测。举例来说，参考层中的位于同一地点的视频单元的残差可被上取样以与当前层的 分辨率匹配。

在框402A处，解码器30通过加权因子调整从参考层的残差预测。所述加权因子可 不同于1。如果加权因子是1，那么解码器30可执行传统的残差预测。所述加权因子可 基于加权信息来确定，所述加权信息例如为加权步长、加权表、加权因子候选者的数目 及加权索引。在一些实施例中，可在位流中接收所述加权因子。在其它实施例中，所述 加权因子可从在位流中接收的信息或从先前经解码信息而被至少部分导出。所述加权因 子可在任何译码层级处被译码，包含但不限于以下语法层级：序列、帧群组、帧、切片 群组、切片、译码单元(CU)的群组、译码单元(CU)、预测单元(PU)的群组、预测单元(PU)、 块、像素区、像素，及一个亮度分量与两个色度分量的任何组合。

在一些实施例中，所述加权信息还可在位流中接收，或可从在位流中接收的信息或 先前经解码信息而被至少部分导出。所述加权信息还可在任何译码层级处被译码，包含 但不限于以下语法层级：序列、帧群组、帧、切片群组、切片、译码单元(CU)的群组、 译码单元(CU)、预测单元(PU)的群组、预测单元(PU)、块、像素区、像素，及一个亮度 分量与两个色度分量的任何组合。

在框403A处，解码器30确定预测值。所述预定值可为当前视频单元的预测值。在 一些实施例中，所述预定值是当前视频单元的预测单元。所述预测值可为时间预测值或 空间帧内预测值。过程400A可与帧间预测和帧内预测两者一起使用。

在框404A处，解码器30至少部分基于预测值及与所述参考层相关联的经调整的残 差预测来确定视频单元的值。视频单元可为视频数据的任何单元，且可包含但不限于： 帧、切片、最大译码单元(LCU)、译码单元(CU)、块、像素及子像素、视频单元的值可 通过产生视频单元的预测单元(PU)来确定。

在一些实施例中，解码器30可基于层中的当前视频单元的残差预测、所述当前视 频单元的预测值及与参考层相关联的经调整的残差预测来确定所述当前视频单元的值。 所述当前视频单元的残差预测及预测值可来自当前层。当前视频单元的值可通过添加当 前视频单元的预测值、当前视频单元的残差预测及与参考层相关联的经调整的残差预测 来确定。

图5是说明根据本发明的各方面的使用单循环解码的一般化残差预测的实例方法的 流程图。如上文所阐释，在单循环解码中，使用一个循环来用于增强层的运动补偿。在 单循环解码的情景中，基础层的完全重构不可用。因此，基础层的规格化残差可直接用 作基础残差预测符。对于增强层，可如下确定重构

${\hat{I}}_e=r_e+P_e+w·r_b=r_e+P_e+w·{r_b}^{\text{'}}·(Q_e/Q_b)---\left(4\right)$

其中r_e和P_e表示增强层的经解量化的残差和时间预测，r_b表示规格化的基础层残差 预测符(在空间可缩放情况中被上取样)，r_b′表示基础层残差，且Q_e和Q_b分别表示增强 层和基础层的量化步长。

现在将参考图5阐释根据本发明的各方面的使用单循环解码的一般化残差预测的实 例方法。可通过编码器(例如，如图2中所示的编码器等)、解码器(例如，如图3中所示 的解码器等)或任何其它组件来执行过程500。关于图3中的解码器30来描述过程500 的框，但过程500可通过其它组件来执行，例如，如上文提及的编码器。在框501处， 解码器30在GRP框架的单循环解码中确定用于从参考层的残差预测的加权因子。在框 502处，解码器30基于通过所述加权因子调整的从RL的残差预测、从EL的残差预测 及从EL的时间预测来确定当前视频单元。举例来说，如上文关于等式(4)所阐释，规格 化的基础层残差可用于RL残差预测。关于图5所描述的根据本发明的各方面的使用单 循环解码的一般化残差预测的实例方法可在各种译码层级处实施，例如序列、图片、帧 群组、帧、切片群组、切片、译码单元(CU)的群组、译码单元(CU)、预测单元(PU)的群 组、预测单元(PU)、块、像素区或像素。另外，关于图5所描述的根据本发明的各方面 的使用单循环解码的一般化残差预测的实例方法还可应用于信号分量，例如亮度分量和 深度分量。举例来说，所述实例方法可仅应用于亮度分量，仅应用于色度分量，或亮度 分量与色度分量的组合(例如，一个亮度分量和两个色度分量的任何组合)。另外，关于 图5所描述的所有实施例可单独地实施，或彼此组合地实施。

图6是说明根据本发明的各方面的使用多循环解码的一般化残差预测的实例方法的 流程图。如上文所阐释，在多循环解码中，使用多个循环来用于增强层的运动补偿。在 多循环解码的情景中，基础层的完全重构在编码/解码增强层时是可用的。因此，可将先 前经译码增强层和基础层(在必要时被上取样)的重构之间的差分值用作残差预测符。对 于增强层，可如下确定重构

${\hat{I}}_e=r_e+P_e+w·({\hat{I}}_b-P_b)---\left(5\right)$

其中r_e指示增强层中的当前视频单元的经解量化的残差，P_e和P_b分别指示增强层 和基础层中的当前视频单元的时间预测，且指示基础层中的当前视频单元的完全重 构。因为增强层和基础层可具有不同的质量目标，所以时间预测P_e和P_b的运动可不同。

如果基础层和增强层具有相同的运动，那么时间预测P_e和P_b的运动是相同的，且 可直接使用等式(5)。在解码增强层的帧间视频单元时，其增强层和基础层时间预测P_e和P_b都是可用的。基础层重构也是可用的。因此，可从经解量化的残差r_e和w获得 重构其可用信号发送或导出，如关于图7和8更详细地阐释类似地，在将GRP框架 应用于帧内CU时，P_e和P_b分别指示增强层和基础层中的当前视频单元的空间帧内预测。 另外，可通过应用相同的帧内预测方向来获得P_e和P_b，其类似于其中可假设P_e和P_b的 相同运动的帧间预测情况。

如果基础层和增强层具有不同的运动，那么增强层和基础层时间预测P_e和P_b的运 动是不同的，且基础层的残差和增强层的残差可不相关。在此情况下，残差预测可不导 致良好的结果。为了提高残差预测的性能，可假设增强层和基础层时间预测共享相同的 运动。作为假设EL和BL时间预测共享相同的运动的补充或替代，可迫使基础层的运 动或增强层的运动应用于另一层以产生残差预测符。举例来说，可将增强层时间预测P_e的运动应用于基础层以取得P_b。在此情况下，常常使用两个运动补偿以解码增强层，这 是因为可使用P_e的运动产生P_e和P_b两者。

现在将参考图6阐释根据本发明的各方面的使用多循环解码的一般化残差预测的实 例方法。可通过编码器(例如，如图2中所示的编码器等)、解码器(例如，如图3中所示 的解码器等)或任何其它组件来执行过程600。关于图3中的解码器30来描述过程600 的框，但过程600可通过其它组件来执行，例如，如上文提及的编码器。在框601处， 解码器30在GRP框架的多循环解码中确定用于从参考层的残差预测的加权因子。在框 602处，解码器30基于通过所述加权因子调整的从RL的残差预测、从EL的残差预测 及从EL的时间预测来确定当前视频单元。举例来说，如上文关于等式(5)所阐释，可用于RL残差预测。关于图6所描述的根据本发明的各方面的使用多循环解码的一般 化残差预测的实例方法可在各种译码层级处实施，例如序列、图片、帧群组、帧、切片 群组、切片、译码单元(CU)的群组、译码单元(CU)、预测单元(PU)的群组、预测单元(PU)、 块、像素区或像素。另外，关于图6所描述的根据本发明的各方面的使用多循环解码的 一般化残差预测的实例方法还可应用于信号分量，例如亮度分量和深度分量。举例来说， 所述实例方法可仅应用于亮度分量，仅应用于色度分量，或亮度分量与色度分量的组合 (例如，一个亮度分量和两个色度分量的任何组合)。另外，关于图6所描述的所有实施 例可单独地实施，或彼此组合地实施。

图7是说明根据本发明的各方面的用于用信号发送一般化残差预测参数的实例方法 的流程图。如上文所阐释，加权信息可包含加权候选者的数目、加权步长(或加权表)及 加权索引。可基于所述加权信息来确定加权因子w。可通过N_w表示加权候选者的数目。 加权步长可由S_w表示，且加权表由W_T表示。加权索引可由i_w表示。在一个实施例中， 如下基于加权步长S_w和加权索引i_w来导出加权因子w：

w＝S_w·i_w       (6)

在另一实施例中，可根据索引i_w从查找表W_T获得w。

可以各种方式用信号发送加权因子信息，其可包含但不限于N_w、S_w、W_T及i_w。在 一些实施例中，加权步长S_w或加权表W_T可被硬译码或用信号发送。可在序列层级或图 片层级处用信号发送S_w或W_T。可在例如CU和PU等较低层级处用信号发送加权索引 i_w。

在一个实施例中，加权步长S_w使用3位量化(S_w可为1/8，2/8，...，8/8)和在序列参数 集(SPS)中译码的无正负号的整数指数-哥伦布来表示。考虑到N_w≥1，(N_w-1)也是在 SPS中译码的无正负号的整数指数-哥伦布。加权索引i_w首先用截断的一元码二进制化 (N_w作为最大数)，且随后被CABAC译码。在CABAC译码中，第一二进位用一个上下 文译码，且其余二进位用另一上下文译码。为了译码加权索引i_w，所述上下文可取决于 先前经译码参数。举例来说，空间上相邻的CU(例如，左边和顶部CU)的i_w可用作当前 CU的加权索引i_w的上下文。而且，当前CU的类型(例如，当前CU是被跳过还是合并 译码)或当前CU的大小可用作上下文。

其它实施例中，不同的CU模式可具有不同的加权因子信令方法。举例来说，对于 跳过和合并模式，可选择且用信号发送三个加权因子(例如，w＝0、w＝0.5及w＝1)。 对于除了跳过和合并模式之外的帧间模式，可选择且用信号发送仅两个加权因子(例如， w＝0及w＝1)。或者，对于除了跳过和合并模式之外的帧间模式，可仅应用一个固定 加权因子。在此情况下，可不使用额外的信令用于加权因子。

现在将参考图7阐释根据本发明的各方面的用于用信号发送一般化残差预测参数的 实例方法。可通过编码器(例如，如图2中所示的编码器等)、解码器(例如，如图3中所 示的解码器等)或任何其它组件来执行过程700。关于图2中的编码器20来描述过程700 的框，但过程700可通过其它组件来执行，例如，如上文提及的解码器。在框701处， 编码器20用信号发送加权步长或加权表。在框702处，编码器20用信号发送加权候选 者的数目。在框703处，编码器20用信号发送加权索引。可以不同次序执行过程700 中的框。举例来说，可在加权步长(或加权表)之前用信号发送加权候选者的数目。关于 图7所描述的根据本发明的各方面的用于用信号发送一般化残差预测参数的实例方法可 在各种译码层级处实施，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU) 的群组、译码单元(CU)、预测单元(PU)的群组、预测单元(PU)、块、像素区或像素。另 外，关于图7所描述的根据本发明的各方面的用于用信号发送一般化残差预测参数的实 例方法还可应用于信号分量，例如亮度分量和深度分量。举例来说，所述实例方法可仅 应用于亮度分量，仅应用于色度分量，或亮度分量与色度分量的组合(例如，一个亮度分 量和两个色度分量的任何组合)。另外，关于图7所描述的所有实施例可单独地实施，或 彼此组合地实施。

图8是说明根据本发明的各方面的用于导出一般化残差预测参数的实例方法的流程 图。可如关于图7所阐释用信号发送GRP参数。还可从包含于位流中的信息来导出GRP 参数。还完全或部分从位流中的信息导出GRP参数。在一个实施例中，根据相关的CU 大小在CU层级处导出加权步长S_w。在下表中列举了加权步长S_w与CU大小之间的实 例映射。

CU大小 S_w64×64 1/8 32×32 1/4 16×16 1/2 8×8 1/2

表1-加权步长与CU大小之间的实例映射

在另一实施例中，基于先前经译码信息(例如，CU模式、CU大小及量化)在CU层 级处调整加权候选者的最大数目。举例来说，对于小于16×16的CU，仅可允许两个加 权候选者，(例如)以便节省信令成本。

现在将参考图8阐释根据本发明的各方面的用于导出一般化残差预测参数的实例方 法。可通过编码器(例如，如图2中所示的编码器等)、解码器(例如，如图3中所示的解 码器等)或任何其它组件来执行过程800。关于图3中的解码器30来描述过程800的框， 但过程800可通过其它组件来执行，例如，如上文提及的编码器。

在框801处，解码器30从位流获得信息，或获得先前经译码信息以便确定加权信 息。举例来说，如上文所阐释，GRP参数可基于CU大小。或GRP参数可基于先前经 译码信息，例如CU模式、CU大小及量化。在框802处，解码器30基于在框801处获 得的信息来确定一般化残差预测的一或多个参数。举例来说，解码器30可基于CU大小 来确定加权步长S_w。解码器30还可基于CU大小来确定加权候选者的数目N_w。解码器 30还可基于先前经译码信息(例如CU模式、CU大小及量化)来调整加权信息。关于图8 所描述的根据本发明的各方面的用于导出一般化残差预测参数的实例方法可在各种译 码层级处实施，例如序列、图片、帧群组、帧、切片群组、切片、译码单元(CU)的群组、 译码单元(CU)、预测单元(PU)的群组、预测单元(PU)、块、像素区或像素。另外，关于 图8所描述的根据本发明的各方面的用于导出一般化残差预测参数的实例方法还可应用 于信号分量，例如亮度分量和深度分量。举例来说，所述实例方法可仅应用于亮度分量， 仅应用于色度分量，或亮度分量与色度分量的组合(例如，一个亮度分量和两个色度分量 的任何组合)。另外，关于图8所描述的所有实施例可单独地实施，或彼此组合地实施。

图9是说明根据本发明的各方面的用于在一般化残差预测中对层进行上取样或下取 样的实例方法的流程图。在层间预测过程中，将上取样或下取样滤波过程应用于基础层 图片以与增强层的空间纵横比匹配。甚至在基础层和增强层的图片大小是相等时也可应 用例如平滑滤波器等滤波过程。一般来说，使用且硬译码一个固定上取样、下取样及平 滑滤波器组。所述滤波器可根据分数像素移位(有时被称作相位)而选自所述组，所述分 数像素移位是基于基础层与增强层图片之间的空间纵横比来计算。

在GRP框架中，可应用不同滤波器组以提高层间预测性能。可在序列或图片层级 处硬译码或用信号发送所述滤波器组。可在例如CU和PU等较低层级处用信号发送或 导出滤波器组索引。所述滤波器组索引可基于加权因子w的值而导出，或可基于加权索 引i_w而导出。可在序列或图片层级处硬译码或用信号发送滤波器组索引与加权因子w 之间或滤波器组与加权索引i_w之间的导出映射。

现在将参考图9阐释根据本发明的各方面的用于在一般化残差预测中对层进行上取 样或下取样的实例方法。可通过编码器(例如，如图2中所示的编码器等)、解码器(例如， 如图3中所示的解码器等)或任何其它组件来执行过程900。关于图3中的解码器30来 描述过程900的框，但过程900可通过其它组件来执行，例如，如上文提及的编码器。

在框901处，解码器30确定是对参考层进行上取样还是对增强层进行下取样。在 空间可缩放性中，执行所述上取样或下取样以使得可以相同的分辨率执行层间预测。如 果确定将在框902处对参考层进行上取样，那么解码器30在框903处将参考层上取样 到增强层的分辨率。另一方面，如果确定将在框902处对增强层进行下取样，那么解码 器30在框904处将增强层下取样到参考层的分辨率。在框905处，解码器30将平滑滤 波器应用于经上取样或下取样的图片。即使增强层和参考层图片是相同的，也可应用平 滑滤波器。可适当地选择平滑滤波器。在框906处，解码器30基于经上取样或下取样 的图片而使用GRP确定当前视频单元。

关于图9所描述的根据本发明的各方面的用于在一般化残差预测中对层进行上取样 或下取样的实例方法可在各种译码层级处实施，例如序列、图片、帧群组、帧、切片群 组、切片、译码单元(CU)的群组、译码单元(CU)、预测单元(PU)的群组、预测单元(PU)、 块、像素区或像素。另外，关于图9所描述的根据本发明的各方面的用于在一般化残差 预测中对层进行上取样或下取样的实例方法还可应用于信号分量，例如亮度分量和深度 分量。举例来说，所述实例方法可仅应用于亮度分量，仅应用于色度分量，或亮度分量 与色度分量的组合(例如，一个亮度分量和两个色度分量的任何组合)。另外，关于图9 所描述的所有实施例可单独地实施，或彼此组合地实施。

图10是说明根据本发明的各方面的用于在一般化残差预测中对运动信息进行再映 射、上取样或下取样的实例方法的流程图。在一些情况下，在将一个层的运动信息应用 于另一层以产生残差预测符时，一个层中可用的参考可能在另一层中不可用。在此情况 下，运动再映射是必需的。在一个实施例中，如果参考仅在一个层中可用，那么将其标 记为不可用，使得此参考将不在所提议的GRP框架中用于产生残差预测符。在另一实 施例中，可通过在相关参考列表的开头处的参考取代不可用的参考，且将运动设定为零 运动。

在3D视频译码中，SVC视频数据还包含用于不同视图的视频数据。因为所述视图 可与不同角度相关，所以视差可存在于不同视图之间。如果在3D视频译码的上下文中 再映射运动，那么可在再映射所述运动中考虑视差向量。

在空间可缩放情况下，可归因于增强层与基础层之间的不同分辨率而对运动向量进 行上取样或下取样。在一个实施例中，运动向量缩放直接基于分辨率比率。在另一实施 例中，可在直接缩放之后应用额外的相移(+1或-1)。可在位流中用信号发送或基于先前 经译码信息(例如，PU大小、运动向量、CU深度等)来导出所述额外的相移。

现在将参考图10阐释根据本发明的各方面的用于对运动信息进行再映射、上取样 或下取样的实例方法。可通过编码器(例如，如图2中所示的编码器等)、解码器(例如， 如图3中所示的解码器等)或任何其它组件来执行过程1000。关于图3中的解码器30来 描述过程1000的框，但过程1000可通过其它组件来执行，例如，如上文提及的编码器。 在框1001处，如果用于运动信息的参考在层中的一者中不可用，那么解码器30在框1002 处再映射运动信息。举例来说，如果另一层中的对应参考不可用，那么解码器30可将 参考标记为不可用。或解码器30可将所述参考再映射到相关参考列表中的参考。如果 在框1001处用于运动信息的参考在层中可用于帧间预测，那么解码器30可不执行如框 1003中所示的进一步处理。在框1004处，如果使用空间SVC，那么解码器30在框1005 处确定是对参考层运动信息进行上取样还是对增强层运动信息进行下取样。如果不使用 空间可缩放性，那么解码器30可不执行任何进一步处理，如在框1006处所示。在框1007 处，如果确定将对参考层运动信息进行上取样，那么解码器30在框1008处将参考层运 动信息上取样到增强层的分辨率。另一方面，如果确定将在框1007处对增强层运动信 息进行下取样，那么解码器30在框1009处将增强层运动信息下取样到参考层的分辨率。 在框1010处，解码器30使用经上取样或下取样的图片而使用GRP确定当前视频单元。

关于图10所描述的根据本发明的各方面的用于对运动信息进行再映射、上取样或 下取样的实例方法可在各种译码层级处实施，例如序列、图片、帧群组、帧、切片群组、 切片、译码单元(CU)的群组、译码单元(CU)、预测单元(PU)的群组、预测单元(PU)、块、 像素区或像素。另外，关于图10所描述的根据本发明的各方面的用于对运动信息进行 再映射、上取样或下取样的实例方法还可应用于信号分量，例如亮度分量和深度分量。 举例来说，所述实例方法可仅应用于亮度分量，仅应用于色度分量，或亮度分量与色度 分量的组合(例如，一个亮度分量和两个色度分量的任何组合)。另外，关于图10所描述 的所有实施例可单独地实施，或彼此组合地实施。

图11是说明根据本发明的各方面的用于确定用于在一般化残差预测中编码的加权 因子的实例方法的流程图。所述实例方法可应用于编码器侧优化。在一个实施例中，通 过用每一加权因子候选者检验CU速率-失真成本来确定用于每一CU的最佳加权因子 w。将具有最小成本的加权因子选择为用于CU的加权因子w。在另一实施例中，通过 将增强层时间预测P_e的运动应用于基础层时间预测P_b而导出残差预测符。可如下确定 加权因子w：

$w=\frac{\underset{x,y}{\Sigma }\{(I-P_e)·({\hat{I}}_b-P_b)\}}{\underset{x,y}{\Sigma }\left\{{({\hat{I}}_b-P_b)}^2\right\}}---\left(7\right)$

其中I指示增强层的源图片，指示差分块(I-P_e)和的 点积的总和。

现在将参考图11阐释根据本发明的各方面的用于确定用于在一般化残差预测中编 码的加权因子的实例方法。可通过编码器(例如，如图2中所示的编码器等)、解码器(例 如，如图3中所示的解码器等)或任何其它组件来执行过程1100。关于图2中的编码器 20来描述过程1100的框，但过程1100可通过其它组件来执行，例如，如上文提及的解 码器。在框1101处，编码器20通过将EL时间预测的运动应用于BL时间预测而导出 EL的残差预测。在框1102处，解码器30基于所导出的残差预测而导出加权因子。关 于图11所描述的根据本发明的各方面的用于确定用于在一般化残差预测中编码的加权 因子的实例方法可在各种译码层级处实施，例如序列、图片、帧群组、帧、切片群组、 切片、译码单元(CU)的群组、译码单元(CU)、预测单元(PU)的群组、预测单元(PU)、块、 像素区或像素。另外，关于图11所描述的根据本发明的各方面的用于确定用于在一般 化残差预测中编码的加权因子的实例方法还可应用于信号分量，例如亮度分量和深度分 量。举例来说，所述实例方法可仅应用于亮度分量，仅应用于色度分量，或亮度分量与 色度分量的组合(例如，一个亮度分量和两个色度分量的任何组合)。另外，关于图11所 描述的所有实施例可单独地实施，或彼此组合地实施。

将认识到，取决于实例，可以不同次序执行、可添加、合并或完全省去本文中所描 述的技术中的任一者的某些动作或事件(例如，不是所有的所描述的动作或事件对于技术 的实践来说都是必要的)。此外，在某些实施例中，可同时(例如，通过多线程处理、中 断处理或多个处理器)而非循序地执行动作或事件。

在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如 果以软件实施，那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体 上或经由计算机可读媒体进行传输且由基于硬件的处理单元执行。计算机可读媒体可包 含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体 包含促进(例如)根据通信协议将计算机程序从一处传递到另一处的任何媒体。以此方式， 计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或 载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索 指令、代码和/或数据结构来用于实施本发明中所描述的技术的任何可用媒体。计算机程 序产品可包含计算机可读媒体。

举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM 或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储 呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。举例来 说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电 及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双 绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理 解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体， 而是针对于非暂时的有形存储媒体。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、 激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性 地复制数据，而光盘使用激光光学地复制数据。以上各者的组合也应包含在计算机可读 媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、 现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行 所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中 所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能 性可提供于经配置以用于编码及解码的专用硬件模块和/或软件模块内，或并入组合式编 解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或 IC组(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示 的技术的装置的若干功能性方面，但不一定需要通过不同的硬件单元来实现。而是，如 上文所描述，各种单元可联合合适的软件和/或固件而组合于编解码器硬件单元中或通过 互操作的硬件单元的集合(包含如上文所描述的一或多个处理器)来提供。

已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。