视频译码中的非正方形变换单元和预测单元

摘要

本发明提出用于帧内预测视频译码过程中的变换分割的技术。在一个实例中，对于给定经帧内预测块，基于某些条件，允许减少数目的变换单元分区选项。在另一实例中，使变换单元从用于经帧内预测块的预测单元去耦。对于给定预测单元，可应用与所述预测单元不同大小和形状的变换。在另一实例中，对于具有非方形状的预测单元，允许减少数目的帧内预测模式。

说明书

本申请案主张2011年9月12日申请的第61/533,703号美国临时申请案、2011年9 月19日申请的第61/536,414号美国临时申请案以及2011年10月27日申请的第 61/552,216号美国临时申请案的权益，所述临时申请案中的每一者的整个内容以引用的 方式并入本文中。

技术领域

本发明涉及视频译码，且更明确地说，涉及在译码视频数据时为经帧内预测块选择 和信令变换单元和预测单元分区的技术。

背景技术

数字视频能力可并入到较宽范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数 字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话 会议装置等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、 ITU-T H.264/MPEG-4，第10部分，高级视频译码(AVC)界定的标准，或目前正在开发的 高效视频译码(HEVC)标准或此些标准的扩展中所描述的那些技术，以更高效地发射、接 收和存储数字视频信息。

视频压缩技术包含空间预测和/或时间预测以减少或去除视频序列中固有的冗余。对 于基于块的视频译码，可将一视频帧或切片分割成若干块。可进一步分割每一块。相对 于经帧内译码(I)帧或片中的相邻块中的参考样本，使用空间预测来编码同一帧或片中的 块。经帧间译码(P或B)帧或片中的块可相对于同一帧或片中的相邻块中的参考样本使 用空间预测，或相对于其它参考帧中的参考样本使用时间预测。空间或时间预测得出待 译码的块的预测块。残差数据表示待译码的原始块与预测块之间的像素差。

根据指向形成所述预测块的参考样本块的运动向量以及指示经译码块与预测块之 间的差的残差数据来编码经帧间译码的块。根据帧内译码模式和残差数据来编码经帧内 译码的块。为了进一步压缩，可将残差数据从像素域变换到变换域，从而得出接着可量 化的残差变换系数。可以特定次序扫描经量化变换系数(初始布置成二维阵列)，以产生 变换系数的一维向量用于熵译码。

发明内容

一般来说，本发明描述用于译码视频数据的技术。本发明描述用于在允许非正方形 变换分区的视频编码过程中选择和信令变换分区的技术。在一些实例中，基于帧内预测 译码模式选择变换分区。在其它实例中，变换分区不取决于预测单元的大小和形状，而 是可独立地选自对预测残差的测试。另外，本发明描述用于通过减少可用于短距帧内预 测(SDIP)分区的帧内模式集合的数目来减小经编码视频位速率且降低编码器复杂性的技 术。

在本发明的一个实例中，一种视频编码器可经配置以从视频数据块的多个预测单元 分区中确定一预测单元分区，且基于所确定的预测单元分区确定一组帧内预测模式。在 一个实例中，所确定的预测单元分区为垂直定向的非正方形预测单元分区，且所述组帧 内预测模式包含垂直定向的帧内预测模式。在另一实例中，所确定的预测单元分区为水 平定向的非正方形预测单元分区，且所述组帧内预测模式包含水平定向的帧内预测模 式。

在本发明的另一实例中，一种视频编码器可进一步经配置以从视频数据块的一组帧 内预测模式确定一帧内预测模式，基于所确定的帧内预测模式确定所述视频数据块的变 换单元分区，且使用所确定的变换单元分区来编码视频数据块。

在本发明的另一实例中，视频编码器可经配置以基于帧内预测模式从一组变换单元 分区确定所述变换单元分区。在一个实例中，所确定的帧内预测模式为垂直定向的帧内 预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。在另一实例 中，所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包含水 平定向的非正方形变换单元分区。在又一实例中，所确定的帧内预测模式为DC模式、 平面模式或对角线模式，且所述组变换单元分区包含正方形变换单元分区。

在本发明的另一实例中，一种视频解码器可经配置以接收来自视频数据块的多个预 测单元分区中的一预测单元分区的指示，且基于所述预测单元分区确定一组帧内预测模 式。在一个实例中，所述预测单元分区为垂直定向的非正方形预测单元分区，且所述组 帧内预测模式包含垂直定向的帧内预测模式。在另一实例中，所述预测单元分区为水平 定向的非正方形预测单元分区，且所述组帧内预测模式包含水平定向的帧内预测模式。

在本发明的另一实例中，一种视频解码器可进一步经配置以接收来自视频数据块的 一组帧内预测模式的一帧内预测模式的指示，基于所确定的帧内预测模式确定所述视频 数据块的变换单元分区，且使用所确定的变换单元分区来解码视频数据块。

在本发明的另一实例中，视频编码器可经配置以基于帧内预测模式从一组变换单元 分区确定所述变换单元分区。在一个实例中，所确定的帧内预测模式为垂直定向的帧内 预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。在另一实例 中，所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包含水 平定向的非正方形变换单元分区。在又一实例中，所确定的帧内预测模式为DC模式、 平面模式或对角线模式，且所述组变换单元分区包含正方形变换单元分区。

还将在方法、设备、装置和计算机可读存储媒体的方面描述本发明的实例。

在附图及下文描述中陈述一个或一个以上实例的细节。将从描述和图式且从所附权 利要求书明白其它特征、目标和优点。

附图说明

图1是说明根据本发明的实例而操作的实例视频编码和解码系统的框图。

图2是说明实例帧内预测模式方向的概念图。

图3是实例四叉树块结构的概念图。

图4A是实例垂直定向非正方形变换和预测分区的概念图。

图4B是实例水平定向非正方形变换和预测分区的概念图。

图5A是经帧内预测块的实例正方形变换单元分区的概念图。

图5B是经帧内预测块的实例非正方形变换单元分区的概念图。

图6是用于帧内预测的实例预测单元的概念图。

图7是说明根据本发明的实例而操作的实例视频编码器的框图。

图8是说明根据本发明的实例而操作的实例视频解码器的框图。

图9是描绘根据本发明实例的实例视频编码方法的流程图。

图10是描绘根据本发明实例的实例视频解码方法的流程图。

具体实施方式

一般来说，本发明描述用于译码视频数据的技术。本发明描述用于在视频译码过程 中选择和信令变换单元(TU)分区和/或预测单元(PU)分区的技术。明确地说，本发明的实 例技术允许使用非正方形TU分区和/或非正方形PU变换。

对于经帧内预测的块，由于TU与PU耦合在一起(即，其具有相同大小和/或形状)， 因此检查块内的TU分区的不同选项可涉及执行多次预测和重构，因为每一唯一TU分 区与一唯一PU分区匹配。因此，在正检查和信令额外非正方形分区的情况下，编码复 杂性变得相当高。此高编码器复杂性可使得在一些情形中除正方形变换之外使用非正方 形变换来译码经帧内预测块不切实际。鉴于这些缺点，本发明旨在以降低的复杂性实现 经帧内预测块的非正方形TU分区，同时保留译码效率。

本发明呈现用于解决这些缺点的若干技术。作为一个实例，对于给定经帧内预测块， 基于某些条件，允许减少数目的TU分区选项。在另一实例中，本发明提出将TU从经 帧内预测块的PU去耦。对于给定PU，可应用与对应PU不同大小和形状的TU。在此 情况下，用以变换特定PU的残差数据的至少一些TU可具有与此些PU不同的大小和/ 或形状。因此，检查不同TU分区将不要求单独获得所述块的对应预测，因为可将不同 TU形状应用于从一个PU大小和形状获得的预测。

当例如结合短距帧内预测(SDIP)使用非正方形PU时，每一PU可使用多个帧内预测 模式/方向(例如，图2的35种模式)中的一者。此布置存在若干缺点。首先，为了将选 定模式用信号通知给每一PU的解码器，在经编码视频位流中信令选定模式的索引。由 于将使用哪一帧内预测的不确定性较高(即，可存在35种模式)，因此使用相对较大数目 的位来编码所述索引，这增加了经压缩视频的位速率。第二，编码器可能必须检查每个 模式来确定最佳模式来使用，或至少识别满足要求(例如速率失真阈值)的模式。对于每 一PU可能的所有帧内预测模式/方向，此检查过程增加编码器处的计算负担。

本发明提出用于通过减少用于正方形和非正方形SDIP分区的可能帧内预测模式的 数目来减小经编码视频位速率且降低编码器复杂性的技术。可能帧内预测模式的数目的 此减少是基于以下观察：对于经垂直分区的CU(例如，hN×2N PU)，较可能选择垂直或 几乎垂直的帧内预测模式(例如，模式1、22、23...)作为最佳模式。类似地，对于经水 平分区的CU(例如，2NxhN PU)，较可能选择水平或几乎水平帧内预测模式(例如，模式 2、30、31...)作为最佳模式。就是说，将可能选择此些模式，因为其针对给定分区类型 较可能产生较有利的速率失真结果。

图1是说明根据本发明实例的可经配置以利用帧内预测译码技术的实例视频编码和 解码系统10的框图。如图1中所示，系统10包含源装置12，其经由通信信道16将经 编码的视频发射到目的地装置14。经编码视频数据还可存储在存储媒体34或文件服务 器36上，且可由目的地装置14在需要时存取。当存储到存储媒体或文件服务器时，视 频编码器20可将经译码视频数据提供给另一装置，例如用于将经译码视频数据存储到 存储媒体的网络接口、压缩光盘(CD)、蓝光或数字视频光盘(DVD)烧录器或冲压设施装 置，或其它装置。同样地，与视频解码器30分开的装置，例如网络接口、CD或DVD 读取器等，可从存储媒体检索经译码视频数据，并将检索到的数据提供给视频解码器30。

源装置12和目的地装置14可包括各种各样的装置中的任一者，包含桌上型计算机、 笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的智能电话)、 电视机、相机、显示装置、数字媒体播放器、视频游戏控制台等。在许多情况下，此些 装置可为无线通信而配备。因此，通信信道16可包括适合传输经编码视频数据的无线 信道、有线信道或无线与有线信道的组合。类似地，目的地装置14可经由任何标准数 据连接(包含因特网连接)接入文件服务器36。这可包含无线信道(例如，Wi-Fi连接)、有 线连接(例如，DSL、电缆调制解调器等)，或两者的组合，其适合存取存储在文件服务 器上的经编码视频数据。

根据本发明的实例，帧内预测译码技术可应用于支持多种多媒体应用(例如空中电视 广播、有线电视发射、卫星电视发射、流式视频发射(例如经由因特网))中的任一者的视 频译码，编码数字视频以供存储在数据存储媒体上、解码存储在数据存储媒体上的数字 视频，或其它应用。在一些实例中，源装置10可经配置以支持单向或双向视频发射以 支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20、调制器/解调器22以 及发射器24。在源装置12中，视频源18可包含例如视频捕获装置等来源，例如视频相 机、含有先前所捕获视频的视频存档、用以接收来自视频内容提供者的视频的视频馈送 接口，和/或用于产生计算机图形数据作为源视频的计算机图形系统，或此些来源的组合。 作为一个实例，如果视频源18为视频相机，那么源装置12及目的地装置14可形成所 谓的相机电话或视频电话。然而，本发明中所描述的技术可适用于一般视频译码，且可 应用于无线和/或有线应用，或其中将经编码视频数据存储在本地磁盘上的应用。

所捕获、预捕获或计算机产生的视频可由视频编码器20编码。经编码的视频信息 可由调制解调器22根据通信标准(例如无线通信协议)来调制，且经由发射器24发射到 目的地装置14。调制解调器22可包含经设计以用于信号调制的各种混频器、滤波器、 放大器或其它组件。发射器24可包含经设计以用于发射数据的电路，包含放大器、滤 波器及一个或一个以上天线。

由视频编码器20编码的所捕获、预捕获或计算机产生的视频还可存储到存储媒体 34或文件服务器36上以供以后消耗。存储媒体34可包含蓝光光盘、DVD、CD-ROM、 快闪存储器，或任何其它用于存储经编码视频的合适数字存储媒体。存储在存储媒体34 上的经编码视频可接着由目的地装置14存取，以用于解码和重放。

文件服务器36可为能够存储经编码视频且将所述经编码视频发射到目的地装置14 的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、 网络附接存储(NAS)装置、本地磁盘驱动器，或能够存储经编码视频数据并将其发射到 目的地装置的任何其它类型的装置。经编码视频数据从文件服务器36的发射可为流式 发射、下载发射或两者的组合。目的地装置14可经由任何标准数据连接(包含因特网连 接)接入文件服务器36。这可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、 电缆调制解调器、以太网、USB等)，或两者的组合，其适合存取存储在文件服务器上 的经编码视频数据。

在图1的实例中，目的地装置14包含接收器26、调制解调器28、视频解码器30 以及显示装置32。目的地装置14的接收器26经由信道16接收信息，且调制解调器28 解调所述信息以为视频解码器30产生经解调位流。经由信道16传送的信息可包含由视 频编码器20产生的多种语法信息，以供视频解码器30在解码视频数据时使用。此语法 还可与存储在存储媒体34或文件服务器36上的经编码视频数据包含在一起。视频编码 器20和视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器 (CODEC)的部分。

显示装置32可与目的地装置14集成或可在目的地装置14外部。在一些实例中， 目的地装置14可包含集成显示装置，且还可经配置以与外部显示装置交互。在其它实 例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码的视频 数据，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子体显示器、 有机发光二极管(OLED)显示器或另一类型的显示装置。

在图1的实例中，通信信道16可包含任何无线或有线通信媒体，例如，射频(RF) 频谱或一个或一个以上物理传输线、或无线和有线媒体的任一组合。通信信道16可形 成例如局域网、广域网或例如因特网等全局网络的基于包的网络的部分。通信信道16 一般表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不 同通信媒体的集合，包括有线或无线媒体的任何合适组合。通信信道16可包含可用于 促进从源装置12到目的装置14的通信的路由器、交换器、基站或任何其它设备。

视频编码器20和视频解码器30可根据视频压缩标准来操作，例如目前在开发的高 效视频译码(HEVC)标准，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频 解码器30可根据其它专有或行业标准来操作，例如ITU-T H.264标准，或者称为 MPEG-4，部分10，高级视频译码(AVC)，或此些标准的扩展。然而，本发明的技术不 限于任何特定译码标准。其它实例包括MPEG-2和ITU-T H.263。

尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音 频编码器和解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或 其它硬件及软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。在一 些实例中，如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户 数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可经实施为例如一个或一个以上微处理器、数 字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软 件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当所述技术部分以软 件来实施时，装置可将用于所述软件的指令存储在合适的非暂时计算机可读媒体中，且 使用一个或一个以上处理器来在硬件中执行所述指令以实施本发明的技术。视频编码器 20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中，其中的任 一者可集成为相应装置中的组合式视频编码器/解码器(CODEC)的部分。

视频编码器20可实施本发明的用于视频编码过程中的帧内预测译码的技术中的任 一者或全部。同样地，视频解码器30可实施用于视频译码过程中的帧内预测译码的这 些技术中的任一者或全部。如本发明中所描述，视频译码器可指代视频编码器或视频解 码器。类似地，视频译码单元可指代视频编码器或视频解码器。同样地，视频译码可指 代视频编码或视频解码。

根据下文进一步详细论述的本发明的实例，视频编码器20可经配置以从视频数据 块的多个预测单元分区中确定一预测单元分区，且基于所确定的预测单元分区确定一组 帧内预测模式。在一个实例中，所确定的预测单元分区为垂直定向的非正方形预测单元 分区，且所述组帧内预测模式包含垂直定向的帧内预测模式。在另一实例中，所确定的 预测单元分区为水平定向的非正方形预测单元分区，且所述组帧内预测模式包含水平定 向的帧内预测模式。

在本发明的另一实例中，视频编码器20可进一步经配置以从视频数据块的一组帧 内预测模式确定一帧内预测模式，基于所确定的帧内预测模式确定所述视频数据块的变 换单元分区，且使用所确定的变换单元分区来编码视频数据块。

在本发明的另一实例中，视频编码器20可经配置以基于帧内预测模式从一组变换 单元分区确定所述变换单元分区。在一个实例中，所确定的帧内预测模式为垂直定向的 帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。在另一 实例中，所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包 含水平定向的非正方形变换单元分区。在又一实例中，所确定的帧内预测模式为DC模 式、平面模式或对角线模式，且所述组变换单元分区包含正方形变换单元分区。

在本发明的另一实例中，视频解码器30可经配置以接收来自视频数据块的多个预 测单元分区中的一预测单元分区的指示，且基于所述预测单元分区确定一组帧内预测模 式。在一个实例中，所述预测单元分区为垂直定向的非正方形预测单元分区，且所述组 帧内预测模式包含垂直定向的帧内预测模式。在另一实例中，所述预测单元分区为水平 定向的非正方形预测单元分区，且所述组帧内预测模式包含水平定向的帧内预测模式。

在本发明的另一实例中，视频解码器30可进一步经配置以接收来自视频数据块的 一组帧内预测模式的一帧内预测模式的指示，基于所确定的帧内预测模式确定所述视频 数据块的变换单元分区，且使用所确定的变换单元分区来解码视频数据块。

在本发明的另一实例中，视频解码器30可经配置以基于帧内预测模式从一组变换 单元分区确定所述变换单元分区。在一个实例中，所确定的帧内预测模式为垂直定向的 帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。在另一 实例中，所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包 含水平定向的非正方形变换单元分区。在又一实例中，所确定的帧内预测模式为DC模 式、平面模式或对角线模式，且所述组变换单元分区包含正方形变换单元分区。

数字视频装置实施视频压缩技术来较高效地编码和解码数字视频信息。视频压缩可 应用空间(帧内)预测和/或时间(帧间)预测技术以减少或去除视频序列中固有的冗余。

典型的视频编码器将原始视频序列的每一帧分区成称为“块”或“译码单元”的连 续矩形区。在“帧内模式”(I模式)下或在“帧间模式”(P模式或B模式)下编码这些块。

对于P模式，编码器首先搜索与由F_ref表示的“参考帧”中正编码的块类似的块。 搜索通常受限于不多于从待编码块的某一空间位移。当已识别到最佳匹配或“预测”时， 其以二维(2D)运动向量(Δx、Δy)的形式表达，其中Δx为水平位移，且Δy为垂直位移。 远动向量与参考帧一起用以构造预测性块F_pred，如下：

F_pred(x，y)＝F_ref(x+Δx，y+Δy)

像素在帧内的位置由(x，y)表示。对于在I模式下编码的块，使用来自同一帧内的先 前经编码相邻块的空间预测来形成预测性块。对于I模式和P或B模式两者，预测误差 (即，正编码的块中的像素值与预测性块中的像素值之间的差)表示为某一离散变换(例如 离散余弦变换(DCT))的一组经加权基础函数。可基于不同大小的块(例如4×4、8×8或 16×16以及更大)执行变换。变换块的形状不总是正方形的。还可使用例如具有16x4、 32×8等变换块大小的矩形形状变换块。

随后量化权重(即，变换系数)。量化引入信息损失，且由此，经量化系数具有比原 始变换系数低的精度。可单独地预测、量化和变换像素的亮度和色度分量。就是说，可 将译码过程应用于像素的亮度分量块，以及应用于像素的一个或一个以上色度分量的 块。

经量化变换系数和运动向量是“语法元素”的实例。这些语法元素加上一些控制信 息形成视频序列的经译码表示。还可对语法元素进行熵译码，从而进一步减少其表示所 需的位的数目。熵译码是旨在通过利用其分布的特性(一些符号比其它服务出现得频繁) 来最小化表示所发射或所存储符号(在我们的情况下为语法元素)所需的位的数目的无损 操作。

在解码器中，通过首先以与编码器中相同的方式构造其预测，且通过将经压缩预测 误差添加到所述预测来获得当前帧中的块。通过使用经量化系数对变换基础函数进行加 权以产生像素差值来找到经压缩预测误差。所重构的帧与原始帧之间的差称为重构误 差。

可通过调整量化变换系数时所使用的量化参数(QP)的值来控制压缩比，即用来表示 原始序列和经压缩序列的位数目的比率。压缩比可取决于所使用的熵译码的方法。

存在新的视频译码标准，即正由ITU-T视频译码专家组(VCEG)和ISO-IEC运动图 片专家组(MPEG)的视频译码联合协作团队(JCT-VC)开发的高效视频译码(HEVC)。布罗 斯等人在文献JCTVC-I1003，“高效视频译码(HEVC)文本规范草案7”(ITU-T SG16WP3 和ISO/IEC JTC1/SC29/WG11的视频译码联合协作团队(JCT-VC)第9次会议)中描述 HEVC标准的最新草案，称为“HEVC工作草案7”或“WD7”：日内瓦，CH，2012年 4月27日至5月7日，截止2012年8月21日为止，其可从http：//phenix.int-evry.fr/jct/ doc_end_user/documents/9_Geneva/wgll/JCTVC-I1003-v6.zip下载。

作为一个实例，对于根据目前正由JCT-VC开发的HEVC标准的视频译码，可将视 频帧分区为若干译码单元。译码单元(CU)通常指代充当对其应用各种译码工具以进行视 频压缩的基础单元的图像区。CU通常具有亮度分量，表示为Y，以及两个色度分量， 表示为U和V。取决于视频取样格式，在样本数目方面，U和V分量的大小可与Y分 量的大小相同或不同。CU通常是正方形的，且可被视为类似于所谓的宏块，例如根据 其它视频译码标准，例如ITU-T H.264。

为了实现较佳译码效率，译码单元可取决于视频内容具有可变大小。另外，可将 CU分裂成较小的块以进行预测或变换。明确地说，每一CU可进一步被分区成预测单 元(PU)和变换单元(TU)。根据其它视频译码标准(例如H.264)，可将PU视为类似于所谓 的分区。变换单元(TU)指代可对其应用变换以产生变换系数的残差数据块。

出于说明的目的，本申请案中将描述根据正开发的HEVC标准的当前所提出方面中 的一些方面的译码。然而，本发明中所描述的技术可对其它视频译码过程有用，例如根 据ITU-T H.264或其它标准所定义的过程或专有视频译码过程。

HEVC标准化努力是基于视频译码装置的称为HEVC测试模型(HM)的模型。HM假 定视频译码装置有优于根据例如ITU-T H.264/AVC的装置的若干能力。举例来说，H.264 提供九种帧内预测编码模式，而HM提供多达三十五种帧内预测编码模式。

HEVC中的三十五种帧内预测模式包含一种DC模式、一种平面模式以及33种不同 的定向预测模式。对于定向预测模式，沿所述模式所指示的某一方向基于相邻块经重构 像素执行预测。图2中展示与不同预测模式相关联的方向(0到34)。

根据HM，CU可包含一个或一个以上PU和/或一个或一个以上TU。位流中的语法 数据可界定最大译码单元(LCU)，其为依据像素数目的最大CU。一般来说，CU具有与 H.264的宏块类似的目的，只是CU不具有大小差别。因此，CU可分裂为若干子CU。 一般来说，本发明中对CU的参考可指代图片的最大译码单元或LCU的子CU。可将LCU 分裂为若干子CU，且每一子CU可进一步分裂为若干子CU。用于位流的语法数据可界 定LCU可分裂的最大次数，称为CU深度。因此，位流还可界定最小译码单元(SCU)。 本发明还使用术语“块”、“分区”或“部分”来指代CU、PU或TU中的任一者。一般 来说，“部分”可指代视频帧的任一子集。

LCU可与四叉树数据结构相关联。一般来说，四叉树数据结构每CU包含一个节点， 其中根节点对应于LCU。如果CU分裂为四个子CU，那么对应于CU的节点包含四个 叶节点，其各自对应于子CU中的一者。四叉树数据结构的每一节点可提供用于对应CU 的语法数据。举例来说，四分数中的节点可包含分裂旗标，指示对应于所述节点的CU 是否被分裂为子CU。CU的语法元素可递归地界定，且可取决于CU是否分裂为子CU。 如果不进一步分裂CU，那么将其称为叶CU。

此外，叶CU的TU还可与相应的四叉树数据结构相关联。就是说，叶CU可包含 指示如何将叶CU分割为TU的四叉树。本发明将指示如何分割LCU的四叉树称为CU 四叉树，且将指示如何将叶CU分割为TU的四叉树称为TU四叉树。TU四叉树的根节 点通常对应于叶CU，而CU四叉树的根节点通常对应于LCU。TU四叉树的不再分裂的 TU称为叶TU。

叶CU可包含一个或一个以上预测单元(PU)。一般来说，PU表示对应CU的全部或 一部分，且可包含用于检索PU的参考样本的数据。举例来说，当PU经帧间模式编码 时，PU可包含描述PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量 的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，整数像素精度、四分之一 像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考列表(例 如，列表0或列表1)。界定PU的叶CU的数据还可描述(例如)将CU分割为一个或一个 以上PU。分割模式可依据CU未经预测性译码、经帧内预测模式编码还是经帧间预测模 式编码而不同。对于帧内译码，可将PU视为与下文所述的叶变换单元相同。

HEVC还允许四叉树型变换单元分区结构。如图3中所示，例如，外部块为原始CU。 内部块表示根据四叉树结构的变换块分解的结果。当然，此结果只是许多可能分解之一。 在图3的实例中，存在三个等级的变换分解。对于等级1分解，将整个变换块分裂成四 个四分之一大小的块。接着，在等级2处，进一步将第二四分之一大小的变换块(在右上) 分裂成四个1/16大小的变换块。接着，在等级3处，进一步将第四个1/16大小的变换 块分裂成四个更小的变换块。等级0处的变换单元意味着将整个译码单元一起变换，而 无进一步分裂。在此情况下，变换单元具有译码单元的相同大小。实际上，基于速率失 真优化来确定是否进一步分裂变换单元。

在针对HEVC的一个提议中，除正方形变换单元(例如图3中所示的那些单元)之外， 还可使用非正方形形TU。图4A的块1是实例垂直定向非正方形变换分区的概念图。举 例来说，对于大小为2N×2N的经帧间预测块，可使用大小为0.5N×2N的四个变换块(其 也可称为变换单元)，如块1中所示。此些变换可结合2N×2N PU分区使用，或在PU分 区呈块2、3或4的形式时使用。块2为分成两个分区的2N×2N PU，每一分区具有为原 始块大小的一半的大小。块2中的分区有时称为N×2N分区。将块3和4的PU分成分 别具有原始块大小的1/4和3/4的大小的两个分区。块3的左分区有时称为0.5Nx2N分区， 而块3的右分区有时称为1.5Nx2N分区。同样地，块4的左分区有时称为1.5N×2N分 区，而块4的右分区有时称为0.5×2N分区。

在图4A中，PU的分区垂直定向。如图4B中所示，当PU的分区水平定向时，可 使用类似的TU分割。图4B的块5是实例水平定向非正方形变换分区的概念图。举例 来说，对于大小为2N×2N的经帧间预测块，可使用大小为2N×0.5N的四个变换块(其也 可称为变换单元)，如块5中所示。此些变换可结合2N×2N PU分区使用，或在PU分区 呈块6、7或8的形式时使用。块6为分成两个分区的2N×2N PU，每一分区具有为原始 块大小的一半的大小。块6中的分区有时称为2N×N分区。将块7和8的PU分成分别 具有原始块大小的1/4和3/4的大小的两个分区。块7的上分区有时称为2Nx0.5N分区， 而块7的下分区有时称为2N×1.5N分区。同样地，块8的上分区有时称为2Nx1.5N分 区，而块8的下分区有时称为2×0.5N分区。

可看出，根据经帧间预测块的HEVC，取决于当前块的分区模式，使用非正方形变 换。如果以垂直定向方式对PU进行分区，如图4A的块2、3和4中所示，那么可使用 垂直定向的变换块。如果以水平定向方式对PU进行分区，如图4B的块6、7和8中所 示，那么可使用水平定向的变换块。

与经帧间预测块形成对比，针对HEVC的先前提议仅允许经帧内预测块的正方形 TU。另外，使TU的形状的大小与用于经帧内预测块的PU的形状和大小对准。图5A 中展示经帧内预测块的实例TU和PU。将块11分区为四个四分之一大小的分区。在块 13中，进一步将第二四分之一大小的分区(在右上)分区为具有原始块大小的1/16的大小 的四个较小分区。基于针对HEVC的较早提议，单独地预测、变换和重构图5A中所示 的每一块。在每一情况下，TU大小与PU大小相同。

HEVC中的最新提议要求在经帧内预测块中使用非正方形变换。图5B描绘可用于 经帧内预测块的非正方形TU和PU的实例。在图5B的实例中，PU还可具有矩形形状。 并且，TU与PU对准，且具有相同的大小和形状。块15展示具有垂直定向矩形形状的 TU和PU，且块17展示具有水平定向矩形形状的TU和PU。一个接一个，从经重构像 素的相邻块预测(即，使用帧内预测来预测)每一分区，其中使用与用于预测的PU相同 大小的TU来变换预测残差。

除图5A的正方形TU和PU之外，可使用图5B中所示的实例非正方形TU和PU。 换句话说，对于给定块，允许图5A和5B中所例示的情况。举例来说，在四叉树分解等 级1处，可选择块11中所示的变换分区。在另一情况下，可选择块15或17中所示的 变换分区。在编码器侧，测试所有可允许PU和TU分区(包含图5A和5B中所示的那些 分区)，以确定展现最佳速率失真度量(或满足规定的速率失真阈值)的分区模式，并在经 编码位流中用信号通知最佳分区模式。测试已显示，实现除正方形变换之外的非正方形 形变换可改进经帧内预测块的译码效率。

对于经帧内预测的块，由于TU与PU耦合在一起，因此检查块内的TU分区的不 同选项可涉及执行多次预测和重构，因为每一唯一TU分区与一唯一PU分区匹配。因 此，在正检查和信令额外非正方形分区的情况下，编码复杂性变得相当高。此高编码器 复杂性可使得在一些情形中除正方形变换之外使用非正方形变换来译码经帧内预测块 不切实际。鉴于这些缺点，本发明提出用于以降低的复杂性实现经帧内预测块的非正方 形变换同时保留译码效率的技术。

本发明呈现用于解决这些缺点的若干技术。作为一个实例，对于给定经帧内预测块， 基于某些条件，允许减少数目的变换单元分区选项。在另一实例中，本发明提出将TU 大小和形状从经帧内预测的块的PU大小和形状去耦。就是说，对于给定PU，可应用与 PU不同大小和形状的TU。因此，检查不同TU分区可不需要在所有情况下单独地获得 所述块的对应预测。

根据本发明的一个实例，对于经帧内预测的块，基于用于对应PU的帧内预测方向(或 帧内预测模式)，允许减少数目个TU分区选项。举例来说，如果当前PU的帧内预测模 式指示从垂直方向预测PU，例如帧内预测模式0，那么仅允许垂直定向非正方形变换(例 如，图5B中的块15中的TU分区)。对于使用垂直定向帧内预测模式预测的PU，不允 许正方形变换。另外，也不允许水平定向的非正方形TU(例如，图5B中的块17中的 TU分区)。一般来说，可将此约束应用于主要垂直定向的所有帧内预测方向，例如模式 0、21、22、11和12。模式0、21、22、11和12仅为实例垂直定向帧内预测模式。在 其它实例中，可将额外帧内预测模式分类为垂直定向。

类似地，根据本发明的另一实例，如果当前PU的帧内预测模式指示从水平方向预 测PU，例如帧内预测模式1，那么仅允许水平定向非正方形TU(例如，图5B中的块17 中的TU分区)。对于使用水平定向帧内预测模式预测的PU，不允许正方形变换。另外， 也不允许垂直定向的非正方形TU(例如，图5B中的块15中的TU分区)。一般来说，可 将此约束应用于主要水平定向的所有帧内预测方向，例如模式1、29、30、15和16。模 式1、29、30、15和16仅为实例水平定向帧内预测模式。在其它实例中，可将额外帧 内预测模式分类为水平定向。

在本发明的另一实例中，如果用于当前PU的帧内预测模式不具有任何明显方向偏 好，例如DC模式2或平面模式34，对于所述块仅允许正方形TU。一般来说，可将此 约束应用于既不水平也不垂直定向的所有帧内预测方向。举例来说，对正方形TU的约 束也可应用于主要对角线定向的那些帧内预测方向，例如模式3、18和26。模式3、18 和26仅为实例对角线定向的帧内预测模式。在其它实例中，可将额外帧内预测模式分 类为对角线定向。

上文未具体提到的例如图2中所示的其它帧内预测模式可对可允许的TU分区的类 型无约束。举例来说，可允许正方形TU分区、非正方形垂直定向TU分区以及非正方 形水平定向TU分区。

上文所述的基于帧内预测模式的TU分区约束(即，某些TU分区对每一帧内预测模 式的约束)可在模式决策级(即，选择帧内预测模式时)进行，且可用于整个编码过程(即， 在模式决策级和熵译码级)。

模式决策级(例如，图7的模式选择单元40)指代编码器测试可能TU分区且基于位 速率/失真标准选择一个分区的级。如果仅在模式决策级处应用TU约束，那么视频编码 器20仅测试选定帧内预测模式允许的选定TU(其可为所有可用TU的子集)。在熵译码 级(例如，图7的熵编码单元56)处，视频编码器20考虑所有可能TU，不仅是选定帧内 预测所允许的子集，如可用于信令。举例来说，假设存在总共三个可能TU分区(例如， 垂直定向(分区A)、水平定向(分区B)和正方形(分区C))。假设对于帧内模式k，在模式 决策级，仅允许考虑变换A。然而，在熵译码级，视频编码器20假定所有分区A、B和 C可用，且因此，考虑到所有这些可能性而用信号通知分区A的选择。举例来说，视频 编码器20可用信号通知square_tranform_flag＝1以指示选择分区C，或可用信号通知 square_transform_flag＝0以指示非正方形变换(即，A或B)，以及transform_dir_flag＝1(或 0)以指示选择变换A或B中的哪一者。语法元素transform_dir_flag＝1可对应于水平定向 的TU，而transform_dir_flag＝0可对应于垂直定向的TU，且反之亦然。

将TU分区约束应用于整个编码过程意味着将可用变换的约束应用于模式决策级 (如上文所述)且应用于熵译码级。在熵译码级中，当用信号通知TU分区选择时，仅考 虑选定帧内预测模式所允许的变换。举例来说，如果对于帧内模式k，仅允许变换A和 C(不允许B)，那么视频编码器20用信号通知一个旗标(旗标＝1，选择A；旗标＝0，选择 C)。在另一实例中，如果对于模式k，仅允许变换A，那么视频编码器20将无需发送任 何旗标，因为可在解码器处从帧内模式推断所述变换。

根据本发明的一个实例，可供使用的TU分区取决于为在视频编码器20处使用而选 择的帧内预测模式。在此实例中，对于每一帧内预测模式，仅指定一个TU分区。可用 的TU分区的类型可包含正方形TU分区、垂直定向非正方形TU分区以及水平定向非 正方形TU分区。

可使帧内预测模式与TU分区之间的依赖性例如以存储在存储器中的映射表的形式 或作为一组所实施公式或规则在视频编码器20和视频解码器30处可用。因此，在此实 例中，不需要将所使用的TU分区的类型从编码器用信号通知给解码器。代替地，在视 频解码器30处，一旦解码块或PU的帧内预测模式，就可以如编码器处相同的方式，即 从基于帧内预测模式的映射表或规则，确定其从属TU分区。

根据本发明的另一实例，所选择的TU分区仍取决于当前块/PU的选定帧内预测模 式，然而，对于每一预测方向，可存在所指定且允许的一个或一个以上TU分区。当存 在为某一帧内预测模式指定的一个以上TU分区时，除在经编码视频位流中用信号通知 选定帧内预测模式之外，还用信号通知额外位或旗标，以指示将使用为选定帧内预测模 式指定的哪一TU分区。举例来说，对于垂直预测方向(例如，模式0)，可使用垂直定向 的非正方形TU分区或正方形TU分区。对于水平定向的预测方向(例如，模式1)，可使 用水平定向的非正方形TU分区或正方形TU分区。

在此上下文中，在经编码位流中用信号通知TU分区不要求将此些元素从编码器实 时发射到解码器，而是意味着将此些语法元素编码到位流中，并使其可被解码器以任何 形式存取。这可包含实时发射(例如，在视频会议中)以及将经编码位流存储在计算机可 读媒体上，以供解码器将来使用(例如，在流式传输、下载、磁盘存取、卡存取、DVD、 蓝光等中)。

如果对于帧内预测模式，仅存在一个所指定TU分区，那么当使用此帧内预测模式 时，不需要用信号通知额外位或旗标，以将TU分区从编码器向解码器指示。代替地， 可在编码器和解码器两者处推断相关联的TU分区。举例来说，在DC模式或平面模式 下，可仅使正方形TU分区可供使用。并且，可使帧内预测模式、所允许的TU分区的 数目以及所允许的TU分区的类型之间的依赖性例如以存储在存储器中的映射表的形式 或作为一组所实施的公式或规则，在编码器和解码器两者处可用。

根据本发明的又一实例，所选择的TU分区仍取决于当前块的帧内预测模式，然而， 对于每一帧内预测方向，可存在相同数目的所指定且允许的TU分区。举例来说，对于 每一预测模式，存在两个所指定且允许的TU分区。

这样做的动机是为了在使用例如CABAC等熵译码器时避免与第二实例的方案相关 联的剖析问题。根据上文所述的第二实例，依据帧内预测模式，可需要或可不需要发送 指示变换分区的额外位或旗标。在视频解码器30处，为了知晓是否为当前块剖析额外 一个位或旗标，必须完整地解码所述块的帧内预测模式。这在使用例如CABAC等熵译 码器时可引发解码器处的问题。

在其中每个帧内预测模式具有相同数目的所指定TU分区(例如，两个TU分区)的实 例中，与选择哪一帧内预测模式无关，用信号通知一个额外位或旗标以指示用于所述块 /PU的TU分区。因此，在解码器侧剖析此额外位或旗标不取决于块的实际帧内预测模 式，因为将总是发送旗标的额外位。

根据本发明的另一实例，对于经帧内预测的块，在大小和/或形状方面，TU不再与 PU耦合。换句话说，TU可具有与对应PU不同的大小和/或形状。举例来说，如图6中 所示，具有2N×2N分区模式的经帧内预测块的PU19可具有与CU相同的大小。具有N×N 分割模式的经帧内预测块的PU21的每一分区可具有为CU大小的四分之一的大小。

对于每一PU，首先使用经重构像素的相邻块来执行帧内预测，与什么TU分区将用 于PU无关。一旦预测残差可用于PU，就可进一步确定和用信号通知PU内的TU分区。

对于此技术，由于TU和PU不再耦合在一起，预测残差保持不变，与什么TU分 区用于特定PU无关。因此，在编码器侧，可测试不同TU分区，而不每次重新计算预 测和预测残差。由此，可降低编码器复杂性。

举例来说，当使用图6的PU19的分割时，首先获得整个CU的预测方向。在那之 后，为整个CU计算残差。接着，基于预测残差，可测试如图4A和4B中所示的不同 TU分区，且在经编码视频位流中用信号通知最佳TU分区。

根据本发明的又一实例，对于经帧内预测块，TU不与PU耦合。换句话说，TU可 具有与对应PU不同的大小或形状。然而，取决于所选择的帧内预测模式，可允许减少 数目的TU分区。

举例来说，对于给定帧内预测模式，某些TU分区可极不可能得出最佳速率失真度 量。在此情况下，通过为给定帧内预测模式排除不可能使用的TU分区来减少所允许的 pTU分区的数目可减少TU分区的信令开销，且改进译码效率。

当存在可用于给定帧内预测模式的TU分区的一个以上选项时，在经编码视频位流 中用信号通知当前块/PU的最佳TU分区的索引。举例来说，当存在可用于特定帧内预 测模式的TU分区的三个选项时，可用信号通知索引值0、1或2，以分别指示为块/PU 选择哪一TU分区。

为了改进用信号通知此索引值中的译码效率，可将当前块的帧内预测模式用作上下 文。取决于帧内预测模式，在用信号通知TU分区的索引值时可使用自适应译码(例如， CABAC)中所使用的不同概率模型。就是说，对于给定帧内预测模式，将使用具有考虑 此较高可能性的概率模型的CABAC来译码已展示有较高可能性具有最佳速率失真度量 的TU分区。根据本发明的另一实例，可将用于当前块的相邻块的TU分区的索引值用 作译码当前块的变换单元分区的索引值是的上下文。

根据本发明的其它实例，描述用于用信号通知非正方形PU的技术。明确地说，本 发明描述用于通过减少用于非正方形短距帧内预测分区的帧内模式集合来减小经编码 视频位速率且降低编码器复杂性的技术。

如上文所论述，HEVC、H.264以及其它视频译码标准中的基于先前块的帧内译码 使用一个N×N正方形块作为重构单元和预测单元。可从相邻经重构块的边界预测正方 形块内部的像素。这可导致与序列的一些区中的其它像素相比，正方形块的右下部分上 的像素的不是最佳的预测。为了更好地利用空间相关性，最近已提出了短距帧内预测 (SDIP)译码方案，以供HEVC标准中使用。SDIP技术包含将一个N×N正方形块分割成 具有矩形形状的若干行或非正方形块。在所述块中，逐行或逐矩形预测和重构像素。因 此，缩短了预测距离。

在SDIP的一个实例中，将小于32×32的一个N×N正方形块分成具有非正方形矩形 形状的若干个像素行或非正方形块。在所述块中，逐行或逐矩形预测和重构像素。

在SDIP的另一实例中，可将小于64x64的一个CU分区为具有矩形形状的行或非 正方形块。举例来说，可将32×32CU分区为四个8×32PU或四个32×8PU。在另一实 例中，16×16CU可不仅划分成四个8×8PU，而且划分成四个4x16/16x4PU，且4×16/16×4 PU可进一步分裂成四个1×16/16×1分区。类似地，还可将一个8x8CU划分成四个 2×8/8×2PU，且可将每个4x4PU进一步划分成四个1×4/4×1分区。

更一般地说，对于大小为2N×2N的帧内CU，存在先前用于HEVC中的两个PU大 小。2N×2N和N×N(当前在最小CU等级下仅允许N×N)。图5中展示实例2N×2N和N×N 分区。对于2N×2N分区19，整个CU仅具有一个PU(大小为2N×2N)。通过引入SDIP， 添加两个新的预测单元：2NxhN和hN×2N。对于2N×hN分区，CU具有42N×hN PU个， 且对于hN×2N，CU具有4个hN×2N PU。每一PU具有其自己的帧内预测模式(即，如 图2中所示的35种模式中的一者)。图4B的块17展示实例2N×hN PU分区。图4B的 块15展示实例hN×2N PU分区。

当例如结合SDIP使用非正方形PU时，每一PU可使用多个帧内预测模式/方向(例 如，图2的35种模式)中的一者。此布置存在若干缺点。首先，为了将选定模式用信号 通知给每一PU的解码器，在经编码视频位流中信令选定模式的索引。由于选择哪一帧 内预测的不确定性较高(即，可存在35种模式)，因此使用相对较大数目的位来编码所述 索引，这增加了经压缩视频的位速率。第二，编码器可能必须检查每个模式来确定最佳 模式来使用，或至少识别满足要求(例如速率失真阈值)的模式。每一PU所允许的所有 帧内预测模式/方向，此检查过程增加编码器处的计算负担。

本发明提出用于通过减少用于正方形和非正方形SDIP分区的可能帧内预测模式的 数目来减小经编码视频位速率且降低编码器复杂性的技术。可能帧内预测模式的数目的 此减少是基于以下观察：对于经垂直分区的CU(例如，hN×2N PU)，较可能选择垂直或 几乎垂直的帧内预测模式(例如，模式1、22、23…)作为最佳模式。类似地，对于经水 平分区的CU(例如，2NxhN PU)，较可能选择水平或几乎水平帧内预测模式(例如，模式 2、30、31…)作为最佳模式。

在本发明中，提出依赖于SDIP分区的帧内预测模式。SDIP PU分区(例如，2N×hN 和hH×2N分区)的帧内预测模式集合可不同于用于正方形PU分区(例如，2N×2N和N×xN 分区)的帧内预测模式集合。举例来说，SDIP PU分区的帧内预测模式集合可为可用于正 方形PU分区的模式总数(例如，图2的35种模式)。换句话说，SDIP PU分区的帧内预 测模式集合可包含比用于正方形PU分区的帧内预测模式集合少的模式。此外，帧内预 测模式集合可取决于SDIP分区方向。举例来说，经垂直分区的hN×2N分区以及经水平 分区的2N×hN分区可具有不同的帧内预测模式集合。

通过减少某些SDIP分区的给定集合中的帧内预测模式的量，用来编码选定帧内预 测模式的码字可较短，且因此可保留位且可降低位速率。另外，由于为SDIP分区检查 较少帧内预测模式，因此编码过程上的计算负担可减少，且编码可加速。通过使帧内预 测模式集合取决于SDIP分区方向，预期35种帧内预测模式的完整补充所提供的大多数 编码增益可用选定帧内预测模式候选者(即，减小的帧内预测模式集合)保持。

在本发明的一个实例中，对于hN×2N PU分区，帧内预测模式集合可包含那些垂直 或几乎垂直的帧内预测模式，包含帧内预测模式0、21、22、11和12，但排除其它帧内 预测模式(例如，水平或几乎水平模式、DC模式、平面模式以及其它有角度模式)。对于 2N×hN PU，帧内预测模式集合可包含那些水平或几乎水平的帧内预测模式，包含模式1、 29、30、15和16，但排除其它帧内预测模式(例如，垂直或几乎垂直模式、DC模式、 平面模式以及其它有角度模式)。

在本发明的另一实例中，对于hN×2N PU分区，帧内预测模式集合可包含那些垂直 或几乎垂直的帧内预测模式以及不具有较强方向性的其它模式(例如，DC模式和/或平面 模式)，但排除其它帧内预测模式(例如，水平或几乎水平模式以及其它有角度模式)。具 有较强方向性的模式是垂直或几乎垂直的那些模式以及水平或几乎水平的模式。对于 2N×hN PU分区，帧内预测模式集合可包含那些水平或几乎水平的帧内预测模式以及不 具有较强方向性的其它模式(例如，DC模式和/或平面模式)，但排除其它帧内预测模式(例 如，垂直或几乎垂直模式以及其它有角度模式)。

在本发明的另一实例中，对于hN×2N PU分区，帧内预测模式集合可包含那些垂直 或几乎垂直的帧内模式，不具有较强方向性的其它模式(例如，DC模式和/或平面模式)， 以及一些水平或几乎水平的模式(例如，模式2)。此帧内模式集合中的模式总数可小于 用于正方形分区的模式总数(例如，所有35种模式)。对于2NxhN PU分区，帧内预测模 式集合可包含那些水平或几乎水平的帧内模式，不具有较强方向性的其它模式(例如， DC模式和/或平面模式)，以及一些垂直或几乎垂直的模式(例如，模式1)。此帧内模式 集合中的模式总数可小于用于正方形分区的模式总数(例如，小于包含所有35种模式的 集合)。

本发明还提出用于使特定PU分区的可用帧内预测模式集合也取决于CU大小的技 术。举例来说，具有hN×2N SDIP PU分区的32x32CU可具有与具有hN×2N SDIP PU 分区的16x16CU不同的帧内模式集合。在此实例中，对于32x32CU(具有hN×2N SDIP PU分区)，帧内模式集合包含模式0、21和22；对于16x16CU(具有hN×2N SDIP PU分 区)，帧内模式集合包含模式0、21、22、11、12、20和23。并且，帧内预测模式集合 还可取决于其它边信息，如图片类型。举例来说，对于帧内片段/图片，具有hN×2N SDIP PU分区的CU的帧内预测模式集合包含模式0、21、22、11、12、20和23。对于P或 B片，具有hN×2N SDIP PU分区的CU的帧内预测模式集合包含所有35种模式。

在一些实例中，用于SDIP分区的帧内预测模式集合可为固定集合，且可存储在视 频编码器20和视频解码器30两者处。在其它实例中，还可使用某一高级语法在经编码 位流中用信号通知帧内预测模式集合。举例来说，可在SPS(序列参数集合)和/或PPS(图 片参数集合)中用信号通知此语法。

在本发明的另一实例中，可对SDIP帧内预测模式集合中的模式进行重新编号(例如， 连续地从0开始)，使得熵译码可较简单且较高效。举例来说，假设用于hN×2N分区的 帧内预测模式集合包含3种模式：0、21和22(如图2中所示)。可将模式0、21和22重 新编号为0、1和2(例如，0-＞0、21-＞1、22-＞2)，以进行熵译码。在视频解码器30处， 可将经重新编号的帧内预测模式重新映射到原始模式编号(在此实例中为0、21和22)， 使得可执行具有正确方向的帧内预测。

使用最可能模式(MPM)来用信号通知帧内预测模式。在HM软件的一个版本中，存 在两种MPM。一种MPM为顶部PU(即，在当前PU正上方的PU)的模式，且另一MPM 为左侧PU(即，直接在当前PU左侧的PU)的模式。如果当前PU的模式与MPM PU中 的一者的模式相同，那么在经编码视频位流中用信号通知旗标。如果旗标为真，那么将 在经编码视频位流中用信号通知另一旗标，以指示当前PU的模式与哪一MPM匹配。 使用MPM信令技术减少了用信号通知PU的选定帧内预测模式所需的位的量。

如本发明中所提出，两个SDIP PU(即，hN×2N和2NxhN)以及正方形PU可具有不 同的帧内预测模式集合。这可导致基于MPM的帧内预测模式信令中的一些问题和/或低 效。举例来说，如果左侧PU和顶部PU具有与当前PU的帧内预测模式集合不同的帧内 预测模式集合，那么从左侧和顶部PU得出的MPM有可能不同于可用于当前PU的任何 帧内预测模式，且因此MPM译码变得没用。

鉴于此缺点，本发明进一步提出在用于PU A和B的帧内预测模式集合为不同的情 况下，当将PU(A)的模式用作另一PU(B)的MPM时，执行模式映射/量化。将S(A)界定 为PU(A)的帧内预测模式集合，且将m(A)界定为用于PU(A)的模式。类似地，将S(B) 界定为PU(B)的帧内预测模式集合，且将m(B)界定为用于PU(B)的模式。可执行映射以 将m(A)映射到S(B)中的模式Y，且将Y用作用于编码m(B)的MPM。视频编码器20可 执行此正向映射。另外，视频解码器30也可执行正向映射以获得原始帧内预测模式。

在一个实例中，将Y界定为具有与m(A)最类似的方向的S(B)中的模式。在另一实 例中，S(A)中的模式到S(B)中的模式的映射是固定的，且在编码器和解码器两者处可用。 在另一实例中，S(A)中的模式到S(B)中的模式的映射是编码器界定的，且使用某一高级 语法(例如，在SPS或PPS中)发射。就是说，根据映射算法在编码器处执行映射，且在 经编码视频位流中用信号通知用以执行映射的算法(或所述算法的索引)。在另一实例中， S(A)中的模式到S(B)中的模式的映射取决于边信息(例如，CU/PU大小、图片类型等)。

图7是说明可使用如本文中所述的用于TU和PU选择和信令的技术的视频编码器 20的实例的框图。出于说明的目的，将在HEVC译码的上下文中描述视频编码器20， 但就可能需要变换系数的译码的其它译码标准或方法而论不限制本发明。视频编码器20 可执行视频帧内的CU的帧内和帧间译码。帧内译码依靠空间预测来减少或去除给定视 频帧内的视频数据中的空间冗余。帧间译码依靠时间预测来减少或去除视频序列的当前 帧与先前译码帧之间的时间冗余。帧内模式(I模式)可涉及若干基于空间的视频压缩模式 中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间 的视频压缩模式中的任一者。

如图7中所示，视频编码器20接收待编码视频帧内的当前视频块。在图7的实例 中，视频编码器20包含运动补偿单元44、运动估计单元42、帧内预测模块46、参考帧 缓冲器64、求和器50、变换模块52、量化单元54以及熵编码单元56。对于视频块重 构，视频编码器20还包含逆量化单元58、逆变换模块60以及求和器62。还可包含解 块滤波器或其它环路内滤波器(图7中未展示)以对块边界进行滤波，以从经重构的视频 去除成块性假影。在需要时，解块滤波器将通常对求和器62的输出进行滤波。

模式选择单元40可例如基于每一模式的速率失真分析来选择译码模式中的一者(帧 内或帧间)，且将所得经帧内预测或帧间预测的块(例如，预测单元(PU))提供给求和器50 以产生残差块数据，且提供给求和器62以重构经编码块以用于参考帧中。求和器62将 所预测的块与来自用于所述块的逆变换模块60的经逆量化、逆变换数据进行组合，以 重构经编码块，如下文更详细地描述。可将一些视频帧指定为I帧，其中I帧中的所有 块均以帧内预测模式编码。在一些情况下，帧内预测模块46可执行P或B帧中的块的 帧内预测编码，例如当运动估计单元42所执行的运动搜索未得出所述块的充足预测时。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片分为 多个视频块(例如，最大译码单元(LCU))。运动估计单元42和运动补偿单元44相对于一 个或一个以上参考帧中的一个或一个以上块执行对所接收的视频块的帧间预测译码以 提供时间压缩。帧内预测模块46可相对于与待译码的块在同一帧或切片中的一个或一 个以上相邻块执行所接收视频块的帧内预测译码，以提供空间压缩。

运动估计单元42与运动补偿单元44可高度集成，但出于概念上的目的而分开予以 说明。运动估计(或运动搜索)是产生估计视频块的运动的运动向量的过程。举例来说， 运动向量可指示当前帧中的预测单元相对于参考帧的参考样本的移位。运动估计单元42 通过将预测单元与存储在参考帧缓冲器64中的参考帧的参考样本进行比较来计算经帧 间译码的帧的预测单元的运动向量。参考样本可为发现与CU的包含正依据像素差译码 的PU的部分密切匹配的块，其可由绝对差和(SAD)、平方差和(SSD)或其它差度量确定。 参考样本可出现在参考帧或参考片内的任何地方，且不一定在参考帧或片的块(例如，译 码单元)边界处。在一些实例中，参考样本可出现在分数像素位置处。

运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。由 运动向量识别的参考帧的部分可称为参考样本。运动补偿单元44可例如通过检索由PU 的运动向量识别的参考样本来计算当前CU的预测单元的预测值。

作为运动估计单元42和运动补偿单元44所执行的帧间预测的替代方案，帧内预测 模块46可对接收到的块执行帧内预测。在假定块的从左到右、从上到下编码次序的情 况下，帧内预测模块46可相对于相邻的先前经译码块(例如在当前块上方、上方且右侧、 上方且左侧或左侧的块)预测接收到的块。帧内预测模块46可经配置以根据多种不同帧 内预测模式中的一者执行帧内预测。举例来说，帧内预测模块46了基于正编码的CU 的大小配置有某一数目的定向预测模式，例如三十五种定向预测模式。

帧内预测模块46可通过例如为各种帧内预测模式计算误差值且选择得出最低误差 值的模式来选择帧内预测模式。定向预测模式可包含用于组合空间上相邻像素的值且将 组合值应用于PU中的一个或一个以上像素位置的功能。一旦已计算PU中的所有像素 位置的值，帧内预测单元46可基于PU与待编码当前块之间的像素差来计算所述预测模 式的误差值。帧内预测模块46可继续测试帧内预测模式，直到发现得出可接受误差值 的帧内预测模式为止。帧内预测模块46可接着将预测性块发送到求和器50。

视频编码器20通过将运动补偿单元44或帧内预测模块46所计算的预测数据从正 译码的原始视频块减去来形成残差块。求和器50表示执行此减法运算的组件。残差块 可对应于像素差值的二维矩阵，其中残差块中的值的数目与对应于所述残差块的预测性 块中的像素的数目。残差块中的值可对应于预测性块中与待译码的原始块中位于同一位 置的像素的值之间的差，即误差。所述差可为取决于被译码块的类型的色度和亮度差。

变换模块52可从残差块形成一个或一个以上TU。变换模块52从多个变换之中选 择变换。可基于一个或一个以上译码特性(例如，块大小、译码模式等)来选择变换。变 换模块52接着将选定变换应用于TU，从而产生包括变换系数的二维阵列的视频块。变 换模块52可根据上文所述的本发明的技术选择变换分区。另外，变换模块52可用信号 通知经编码视频位流中的选定变换分区。

变换模块52可将所得变换系数发送到量化单元54。量化单元54可接着量化变换系 数。熵编码单元56可接着根据扫描模式执行矩阵中的经量化变换系数的扫描。本发明 将熵编码单元56描述为执行所述扫描。然而，应理解，在其它实例中，其它处理单元(例 如量化单元54)可执行所述扫描。

一旦将变换系数扫描到一维阵列中，熵编码单元56就可对所述系数应用熵译码， 例如CAVLC、CABAC、基于语法的上下文自适应二进制算术译码(SBAC)或另一熵译码 方法。

为了执行CAVLC，熵编码单元56可为待发射的符号选择可变长度代码。可构造 VLC中的码字，使得相对较短的代码对应于概率较大的符号，而较长的代码对应于概率 较小的符号。以此方式，与例如对待发射的每一符号使用等长码字相比，VLC的使用可 实现位节省。

为了执行CABAC，熵编码单元56可选择上下文模型来应用于某一上下文以编码待 发射的符号。所述上下文可与例如相邻值是非零还是零有关。熵编码单元56还可对语 法元素(例如代表选定变换的信号)进行熵编码。根据本发明的技术，熵编码单元56可基 于(例如)帧内预测模式的帧内预测方向、对应于语法元素的系数的扫描位置、块类型和/ 或变换类型以及用于上下文模型选择的其它因素选择用以编码这些语法元素的上下文 模型。

在熵译码单元56进行的熵译码之后，可将所得经编码视频发射到另一装置(例如视 频解码器30)或加以存档以用于稍后发射或检索。

在一些情况下，熵编码单元56或视频编码器20的另一单元可经配置以执行除熵译 码之外的其它译码功能。举例来说，熵编码单元56可经配置以确定CU和PU的经译码 块模式(CBP)值。并且，在一些情况下，熵编码单元56可执行系数的游程长度译码。

逆量化单元58和逆变换模块60分别应用逆量化和逆变换，以在像素域中重构残差 块，例如以供稍后用作参考帧的参考块。运动补偿单元44可通过将残差块与参考帧存 储器64的帧中的一者的预测块相加来计算参考块。运动补偿单元44还可将一个或一个 以上内插滤波器应用于经重构的残差块，以计算用于运动估计中的子整数像素值。求和 器62将经重构残差块加到由运动补偿单元44所产生的经运动补偿预测块以产生经重构 视频块以供存储于参考帧缓冲器64中。参考帧缓冲器64有时称为经解码图片缓冲器 (DPB)。经重构视频块可由运动估计单元42和运动补偿单元44用作参考块以对后续视 频帧中的块进行帧间预测。

图8是说明对经编码视频序列进行解码的视频解码器30的实例的框图。在图8的 实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测模块74、逆量 化单元76、逆变换单元78、参考帧缓冲器82以及求和器80。视频解码器30在一些实 例中可执行一般与关于视频编码器20(见图7)所描述的编码遍次互逆的解码遍次。

熵解码单元70对经编码位流执行熵解码过程，以检索变换系数的一维阵列。所使 用的熵解码过程取决于视频编码器20所使用的熵译码(例如，CABAC、CAVLC等)。可 在经编码位流中用信号通知编码器所使用的熵译码过程，或其可为预定义过程。

在一些实例中，熵解码单元70(或逆量化单元76)可使用反映视频编码器20的熵编 码单元56(或量化单元54)所使用的扫描模式的扫描来扫描接收到的值。尽管可在逆量化 单元76中执行系数的扫描，但将出于说明的目的，将扫描描述为由熵解码单元70执行。 另外，尽管为了便于说明展示为单独的功能单元，但视频解码器30的熵解码单元70、 逆量化单元76以及其它单元的结构和功能性可彼此高度集成。

逆量化单元76将提供于位流中且由熵解码单元70解码的经量化的变换系数逆量化 (即，去量化)。逆量化过程可包括(例如)类似于为HEVC所提出或由H.264解码标准界 定的过程的常规过程。逆量化过程还包含针对CU使用由视频编码器20计算的量化参数 QP来确定量化程度以及同样的应应用逆量化的程度。在将系数从一维阵列转换为二维 阵列之前或之后，逆量化单元76可对变换系数进行逆量化。

逆变换单元78将逆变换应用于经逆量化的变换系数。在一些实例中，逆变换单元 78可基于来自视频编码器20的信令或通过从例如块大小、译码模式等一个或一个以上 译码特性推断变换来确定逆变换。在一些实例中，逆变换单元78可基于包含当前块的 LCU的四叉树的根节点处的用信号通知的变换，确定要应用于当前块的变换。或者，可 在LCU四叉树中的叶节点CU的TU四叉树的根部用信号通知变换。在一些实例中，逆 变换单元78可应用级联逆变换，其中逆变换单元78将两个或两个以上逆变换应用于正 解码的当前块的变换系数。

另外，逆变换模块74可根据上文所述的本发明的技术应用逆变换来产生变换单元 分区。就是说，逆变换模块74可将变换应用于如根据本发明的技术用信号通知的正方 形或非正方形TU分区。

帧内预测模块74可基于用信号通知的帧内预测模式以及来自当前帧的先前经解码 块的数据为当前帧的当前块产生预测数据。

基于检索到的运动预测方向、参考帧索引以及所计算的当前运动向量，运动补偿单 元产生当前部分的经运动补偿的块。这些经运动补偿的块本质上重新创建用以产生残差 数据的预测性块。

运动补偿单元72可产生经运动补偿的块，从而可能执行基于内插滤波器的内插。 待用于具有子像素精度的运动补偿的内插滤波器的识别符可包含于语法元素中。运动补 偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参 考块的子整数像素的经内插值。运动补偿单元72可根据所接收的语法元素来确定视频 编码器20所使用的内插滤波器，且使用内插滤波器来产生预测块。

另外，在HEVC实例中，运动补偿单元72和帧内预测模块74可使用语法信息(例 如由四叉树提供)中的一些来确定用以编码经编码视频序列的帧的LCU的大小。运动补 偿单元72和帧内预测模块74还可使用语法信息来确定描述如何分裂经编码视频序列的 帧的每一CU(且同样地，如何分裂子CU)的分裂信息。明确地说，帧内预测模块74可 使用减少数目的帧内预测模式来对非正方形SDIP PU分区执行帧内预测，如本发明在上 文所述。语法信息还可包含指示如何编码每一分裂的模式(例如，帧内或帧间预测，且用 于帧内预测编码模式的帧内预测)、每一经帧间编码PU的一个或一个以上参考帧(和/或 含有参考帧的指示符的参考列表)，以及用以解码经编码视频序列的其它信息。

求和器80对残差块与由运动补偿单元72或帧内预测模块74产生的对应预测块进 行组合以形成经解码块。如果需要的话，还可应用解块滤波器来对经解码块进行滤波， 以便去除成块假象。接着将经解码的视频块存储在参考帧缓冲器82中，参考帧缓冲器 82提供用于后续运动补偿的参考块且还产生用于在显示装置(例如，图1的显示装置32) 上呈现的经解码视频。

图9是描绘根据本发明实例的实例视频编码方法的流程图。图9的方法可由视频编 码器20的一个或一个以上结构执行。

最初，作为任选步骤，视频编码器20可经配置以从视频数据块的多个预测单元(PU) 分区中确定一预测单元分区(920)，且基于所确定的预测单元分区确定一组帧内预测模式 (922)。

在一个实例中，所确定的预测单元分区为垂直定向的非正方形预测单元分区，且所 述组帧内预测模式包含垂直定向的帧内预测模式。在另一实例中，所确定的预测单元分 区为水平定向的非正方形预测单元分区，且所述组帧内预测模式包含水平定向的帧内预 测模式。

视频编码器20可进一步经配置以从视频数据块的一组帧内预测模式确定一帧内预 测模式(924)，基于所确定的帧内预测模式确定所述视频数据块的变换单元(TU)分区 (926)，且使用所确定的变换单元分区来编码视频数据块(928)。视频编码器20可接着经 配置以在经编码视频位流中用信号通知所确定的变换分区(930)。

在一个实例中，所述视频数据块为预测单元，且预测单元分区具有与所述所确定的 变换单元分区相同的大小和形状。在另一实例中，所述视频数据块为预测单元，且预测 单元分区具有与所确定的变换单元不同的大小和形状。

在本发明的另一实例中，视频编码器20可经配置以基于帧内预测模式从一组变换 单元分区确定所述变换单元分区。在一个实例中，所确定的帧内预测模式为垂直定向的 帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。在另一 实例中，所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包 含水平定向的非正方形变换单元分区。在又一实例中，所确定的帧内预测模式为DC模 式、平面模式或对角线模式，且所述组变换单元分区包含正方形变换单元分区。

变换单元分区集合可具有不同数目的分区。在一个实例中，变换单元分区集合每帧 内预测模式仅包含一个变换单元分区。在另一实例中，多个帧内预测模式中的每一者的 每一组变换单元分区中存在相等数目的变换单元分区。

在本发明的另一实例中，确定变换单元分区(926)可包含：根据所确定的帧内预测模 式对视频数据块执行帧内预测以产生预测残差；根据预测残差测试多个变换分区；以及 基于所述测试选择所述多个变换分区中的一者。

图10是描绘根据本发明实例的实例视频解码方法的流程图。图10的方法可由视频 解码器30的一个或一个以上结构执行。

最初，作为任选步骤，视频解码器30可经配置以接收来自视频数据块的多个预测 单元(PU)分区中的一预测单元分区的指示(1020)，且基于所述预测单元分区确定一组帧 内预测模式(1022)。

在一个实例中，所述预测单元分区为垂直定向的非正方形预测单元分区，且所述组 帧内预测模式包含垂直定向的帧内预测模式。在另一实例中，所述预测单元分区为水平 定向的非正方形预测单元分区，且所述组帧内预测模式包含水平定向的帧内预测模式。

视频解码器30可进一步经配置以接收来自视频数据块的一组帧内预测模式的一帧 内预测模式的指示(1024)，基于所确定的帧内预测模式确定所述视频数据块的变换单元 分区(1026)，且使用所确定的变换单元分区来解码视频数据块(1028)。

在一个实例中，所述视频数据块为预测单元，且预测单元分区具有与所述所确定的 变换单元分区相同的大小和形状。在另一实例中，所述视频数据块为预测单元，且预测 单元分区具有与所确定的变换单元不同的大小和形状。

在本发明的另一实例中，视频解码器30可经配置以基于帧内预测模式从一组变换 单元分区确定所述变换单元分区。在一个实例中，所确定的帧内预测模式为垂直定向的 帧内预测模式，且所述组变换单元分区包含垂直定向的非正方形变换单元分区。在另一 实例中，所确定的帧内预测模式为水平定向的帧内预测模式，且所述组变换单元分区包 含水平定向的非正方形变换单元分区。在又一实例中，所确定的帧内预测模式为DC模 式、平面模式或对角线模式，且所述组变换单元分区包含正方形变换单元分区。

变换单元分区集合可具有不同数目的分区。在一个实例中，变换单元分区集合每帧 内预测模式仅包含一个变换单元分区。在另一实例中，多个帧内预测模式中的每一者的 每一组变换单元分区中存在相等数目的变换单元分区。

在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任何组合来实 施。如果以软件来实施，那么所述功能可作为一个或一个以上指令或代码存储在计算机 可读媒体上或经由计算机可读媒体而传输，且由基于硬件的处理单元执行。计算机可读 媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体等有形媒体，或包含例如 根据通信协议促进计算机程序从一处到另一处的传送的任何媒体的通信媒体。以此方 式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信 号或载波的通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上 处理器存取以检索指令、代码和/或数据结构以供实施本发明中所描述的技术的任何可用 媒体。计算机程序产品可包含计算机可读媒体。

作为实例(而非限制)，所述计算机可读存储媒体可包括RAM、ROM、EEPROM、 CD-ROM或其它光盘存储装置、磁盘存储装置，或其它磁性存储装置，快闪存储器，或 可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒 体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、 光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、 服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、 无线电及微波等无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和 数据存储媒体不包含连接、载波、信号或其它瞬态媒体，而是针对非瞬态有形存储媒体。 如本文中所使用，磁盘及光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字多功能光 盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地 复制数据。上文的组合也应包括在计算机可读媒体的范围内。

指令可由一个或一个以上处理器执行，例如一个或一个以上数字信号处理器(DSP)、 通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或 离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本 文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所述的功能 性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入在组合式编解 码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。

本发明的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(IC) 或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元，以强调经配置以执行 所揭示技术的装置的功能方面，但不一定要求由不同硬件单元来实现。相反，如上文所 述，各种单元可组合在编解码器硬件单元中，或由互操作硬件单元的集合提供，包含如 上文所述的一个或一个以上处理器，结合合适的软件和/或固件。

已描述了各种实例。这些和其它实例在所附权利要求书的范围内。