产生用于不同的颜色取样格式的子像素值

摘要

视频编码或译码方法使用影像间之预测而编码输入的视频数据，其中各彩色成分具有亮度成分的1/M水平分辨率及亮度成分的1/N垂直分辨率，其中M及N系等于1或更大的整数，包含：储存目前影像之前的一或多个影像；插补储存影像的较高分辨率版之预测单元，以致使插补的预测单元之亮度成分具有储存影像的对应部分之水平分辨率P倍的水平分辨率，及储存影像的对应部分之垂直分辨率Q倍的垂直分辨率，其中P及Q系大于1的整数；侦测目前影像与一或多个插补的储存影像间的影像间之移动，以便产生目前影像的预测单元与一或多个在前之影像的区域之间的移动向量；以及相对于由个别的移动向量所指出之插补的储存影像的区域，而产生目前影像的预测单元之移动补偿预测，其中插补步骤包含：施加xR水平及xS垂直插补滤波器至储存影像的彩色成分，而产生插补的彩色预测单元，其中R系相对于(U×M×P)且S系相等于(V×N×Q)，U及V系等于1或更大的整数；以及子取样插补的彩色预测单元，以致使其水平分辨率系除以U之因子且其垂直分辨率系以除以V之因子，而从而产生MP×NQ个取样的区块。

说明书

相关申请的交叉引用

本申请案分别主张2012年6月22日、2012年6月22日及2012年4 月26日在英国知识产权局所申请之GB 1211072.2、GB 1211073.0及GB  1207459.7的在先申请日期之权益，该等申请案的全部内容是结合于本文 以参考。

技术领域

此发明涉及数据编码及译码。

背景技术

在此所提供的〝背景〞说明系用于一般性地呈现本发明的背景之目 的。在此背景段落，以及在申请时可能不被认定为现有技术的说明观点中 所述范围内之目前所指名发明人的著述，并未被明确地或暗示地认可做为 相对本发明之现有技术。

存在有若干视频数据编码及译码系统，其转换视频数据成为频域表 示、量化频域系数、且然后施加某一形式的熵编码至所量化的系数。此可 达成视频数据的压缩。对应之译码或解压缩系施加用以恢复原始视频数据 的重现型式。

诸如使用于H.264/MPEG-4先进视频编码(AVC)中之该视频编码译 码器的现行视频编码译码器(编码器-译码器)主要通过仅编码连续视频 帧间之差异，而达成数据压缩。该编码译码器使用所谓巨区块之规则性数 组，其各者系使用做为与前一视频帧中的对应巨区块之比较的区域，且然 后，在巨区块内的影像区系依据视频顺序中之对应的目前及前一巨区块 间，或视频顺序中之单一帧内的邻接巨区块间所发现之移动的程度，而予 以编码。

亦公知为H.265或MPEG-H第二部之高效率视频编码(HEVC)系针 对H.264/MPEG-4AVC所提议的接任者。对于HEVC而言，其系打算要相 较于H.264而增进视频质量及使数据压缩比加倍，且要变成可自128×96 缩放至7680×4320像素分辨率，而约略等效于范围自128k位/秒至800M 位/秒的比特率。

在HEVC中，所谓4:2:0区块结构系提出用于顾客装备，其中使用于 各彩色频道中之数据量系亮度频道中之数据量的四分之一。此系因为，在 主观上，人类对亮度变化比对彩色变化更灵敏，且因此，可使用更大的压 缩及/或更少的信息于彩色频道中，而无质量之主观上的损失。

HEVC根据可变尺寸结构之编码单元(CU)而以更挠性的方案，取 代现有H.264及MPEG中所出现的巨区块。

因此，当编码视频帧之中的影像数据时，则可响应外观的影像复杂度 或所侦测的移动位准而选择CU尺寸，以取代使用均匀分布的巨区块。因 而，可在具有很少移动于帧间及具有很少变化于帧内之区域中获得极大的 压缩，而在高的帧间移动或影像复杂度之区域中保存较佳的影像质量。

各CU包含图像内或图像间预测类型之一或多个可变区块尺寸预测 单元(PU)及一或多个转换单元(TU)，该转换单元(TU)包含用于空 间区块转换及量化的系数。

此外，PU及TU系提供用于三个频道之各者；亮度(Y)，系光亮度 或亮度频道，且其可被视为灰度频道，以及两个色差或色度(彩色)频道； Cb及Cr，该频道提供彩色以供亮度频道的灰度频道之用。光亮度及亮度 (Y)之用语系可互换地使用于此说明中，且同样地，色度及彩色(Cb及 Cr)之用语亦可予以适当互换地使用，注意的是，色度或彩色可统称地使 用于〝Cr及Cb的其中一者或二者〞，而当特定的色度频道正被讨论时， 则其将通过Cb或Cr之用语而予以辨识。

通常，PU系视为频道独立的，除了PU具有亮度部件及彩色部件之 外。大致地，此意指的是，用于各频道之PU的取样形成部件表示影像的 相同区域，以致使三个频道间的PU之间具有固定的关系。例如，对于4:2:0 视频，用于亮度之8×8PU一直具有用于彩色之4×4PU，而PU的彩色部件 表示与亮度部件相同的区域，但因为相较于4:2:0视频中的亮度资料之 4:2:0彩色数据的子取样性质而包含较少数目的像素。(在4:4:4中，采样 率系相同的，且因此，可使用相同的PU结构于亮度及彩色取样)。该两个 彩色频道分享预测内信息；且该三个频道分享预测间信息。同样地，TU 结构亦具有固定的关系于该三个频道之间。

然而，对于职业广播及数字电影装备而言，在彩色频道中具有更少的 压缩(或更多的信息)系所欲的，且此可影响到目前的及所提议之HEVC 的处理如何操作。

发明内容

本发明解决或减轻由此处理所产生的问题。

本发明之个别的观点及特性系界定于所附权利要求书之中。

将了解的是，上述概括说明及下文详细说明系代表性的，且并未限制 本技术。

附图说明

本发明之更完整的理解及其许多伴随的优点将通过参照详细说明而 立即获得，因为当连同附图一起考虑时，其将变成被优选地了解，其中：

图1概略地描绘使用视频数据压缩及解压缩之音频/视频(A/V)数据 传输及接收系统；

图2概略地描绘使用视频资料解压缩之视频显示系统；

图3概略地描绘使用视频数据压缩及解压缩之音频/视频储存系统；

图4概略地描绘使用视频数据压缩之摄影机；

图5提供视频数据压缩及解压缩设备的概略总览；

图6概略地描绘预测影像的产生；

图7概略地描绘最大编码单元(LCU)；

图8概略地描绘四个编码单元(CU)之组；

图9及图10概略地描绘被细分为较小编码单元之图8的该单元；

图11概略地描绘预测单元(PU)之数组；

图12概略地描绘转换单元(TU)之数组；

图13概略地描绘部分编码的影像；

图14概略地描绘一组可能的内预测方向；

图15概略地描绘一组预测模式；

图16概略地描绘右上方对角线扫描；

图17概略地描绘视频压缩设备；

图18a和图18b概略地描绘可能的区块尺寸；

图19概略地描绘来自彩色及亮度区块的协同定位之信息的使用；

图20概略地描绘其中来自一彩色频道的协同定位之信息系相对于另 一彩色频道而使用的情势；

图21概略地描绘使用于LM-CHROMA模式之像素；

图22概略地描绘一组亮度预测方向；

图23概略地描绘当被施加至水平稀疏彩色频道时之图22的方向；

图24概略地描绘被映像至矩形彩色像素数组之图22的方向；

图25至图28概略地描绘亮度及彩色像素插补；

图29a和图2b概略地分别描绘用于4:2:0及4:2:2的量化参数表；以 及

图30及图31概略地描绘量化变化表。

具体实施方式

现请参阅附图，图1至图4系提供用以给定将与本技术的实施例相关 连而被叙述于下文之使用压缩及/或解压缩设备的设备或系统之概略图 解。

在下文将被叙述之所有的数据压缩及/或解压缩设备可以以硬件、以 运转于诸如通用型计算机之通用型数据处理设备上的软件，予以实施成为 诸如应用特定集成电路(ASIC)或可场编程门阵列(FPGA)之可编程硬 件或成为其结合。在其中实施例系由软件及/或固件所实施的情况中，将 理解的是，该软件及/或固件、以及其中该软件及/或固件系通过其而予 以储存或提供的非瞬时数据储存器，系视为本技术之实施例。

图1概略地描绘使用视频数据压缩及解压缩之音频/视频数据传输及 接收系统。

输入的音频/视频信号10系供应至视频数据压缩设备20，其至少压缩 音频/视频信号10的视频成分，以供沿着诸如电缆、光纤、无线链路、或 其类似者之传输路由30的传输之用。所压缩的信号系由解压缩设备40所 处理，用以提供输出的音频/视频信号50。对于返回路径而言，压缩设备 60压缩音频/视频信号以供沿着对解压缩设备70之传输路由30的传输之 用。

因此，压缩设备20及解压缩设备70可形成传输链路的一节点。解压 缩设备40及解压缩设备60可形成该传输链路的另一节点。当然在其中传 输链路系单向性的情况中，仅该节点的其中一者将需要压缩设备，且另一 节点将仅需要解压缩设备。

图2概略地描绘使用视频资料解压缩的视频显示系统。特别地，压缩 的音频/视频信号100系由解压缩设备110所处理，用以提供可被显示于显 示器120上之解压缩的信号。可将解压缩设备110实施成为显示器120的 必要部件，例如，设置于与显示设备相同的壳体内。选择性地，可将解压 缩设备110设置成为(例如)所谓机顶盒(STB)，注意的是，〝机上〞 的表示并不意指该盒需以相对于显示器120之任何特殊的取向或位置予以 设置；其仅系使用于本项技艺中之用语，用以指示可连接至显示器做为周 边装置的装置。

图3概略地描绘使用视频数据压缩及解压缩的音频/视频储存系统。 输入的音频/视频信号130系施加至压缩设备140而产生压缩的信号，用于 由储存装置150所储存，该储存装置150系例如，磁盘装置、光盘装置、 磁带装置诸如半导体内存之固态储存装置、或其他储存装置。对于重放而 言，压缩的数据系读取自储存装置150，且传递至解压缩设备160，以供 解压缩之用，用以提供输出的音频/视频信号170。

将理解的是，压缩的或编码的信号及储存该信号的储存媒体系视为本 技术之实施例。

图4概略地描绘使用视频数据压缩的摄影机。在图4中，诸如电荷耦 合装置(CCD)影像传感器及相关联的控制以及读出电子装置的影像捕获 装置180产生被传递至压缩设备190的视频信号。微音器(或复数个微音 器)200产生将被传递至压缩设备190的音频信号。压缩设备190产生将 被储存及/或传送(一般性地显示成为示意级220)之压缩的音频/视频信 号210。

将被叙述于下文之技术主要关于视频数据压缩及解压缩。将理解的 是，许多现有的技术可连同将被叙述的视频数据压缩技术，而予以使用于 音频数据压缩，用以产生压缩的音频/视频信号。因而，将不提供音频数据 压缩的个别讨论。而且，将理解的是，与视频数据，尤其与广播质量视频 数据相关联的数据速率系通常极高于与音频数据相关联的数据速率(无论 是否被压缩或未被压缩)。因此，将理解的是，未被压缩的音频数据可伴 随压缩的视频数据，而形成压缩的音频/视频信号。进一步将理解的是，虽 然该实例(在图1至图4中所示者)有关音频/视频资料，但将被叙述于下 文的技术可发现单纯涉及视频数据之系统中的使用(也就是说，压缩、解 压缩、储存、显示及/或传送)。换言之，实施例可应用至视频数据压缩， 而丝毫无需具有任何相关联的音频数据处理。

图5提供视频数据压缩及解压缩设备的概略总览。

控制器343控制设备的全面操作，且特别地，当引用至压缩模式时， 可通过扮演选择器的角色，用以选择诸如CU、PU、及TU区块尺寸之各 种模式的操作，而控制尝试编码处理(将予以叙述于下)，且不论视频资 料是否将被无损失地编码。

输入的视频信号300之连续影像系供应至加法器310且至影像预测器 320。影像预测器320将参照图6而被更详细叙述于下文。事实上，加法 器310执行减法(负的加法)运算，其中其接收输入的视频信号300于〝+〞 输入上及影像预测器320的输出于〝-〞输入上，以致使预测的影像自输 入的影像减法。结果在于产生所谓剩余影像信号330，而表示实际的及投 影的影像间之差异。

何以产生剩余影像信号的一理由系如下。将被叙述的数据编码技术， 亦即，将被施加至剩余影像信号的该技术易于当在将予以编码的影像中具 有较少的〝能量〞时，更有效率地工作。在此，〝有效率地〞意指小量的 编码数据之产生；对于特殊的影像质量位准，尽量少地产生实用的数据系 所欲的(且视为〝有效率地〞)。对剩余影像中之〝能量〞的指示有关包 含于剩余影像中之信息的总量。若预测的影像系将与真实的影像一致时， 则在该两者之间的差异(也就是说，剩余影像)将包含零信息(零能量)， 且将系很容易编码成为小量的编码数据。通常，若可使预测处理适当合理 地工作时，则可预期的是，剩余影像数据将包含比输入的影像更少之信息 (更少之能量)，且因此，将更容易编码成为小量的编码数据。

现将叙述扮演编码器角色之剩余设备(用以编码剩余或差异影像)。 剩余影像数据330系供应至转换单元340，而产生该剩余影像数据的离散 余弦转换(DCT)表示。DCT技术本身系公知的，且将不再予以详细叙述 于此。然而，具有使用于本设备中之技术的观点，特别地，有关将施加 DCT操作之资料的不同区块之选择，其将被更详细叙述于下文。将参照图 7至图12而加以讨论该者于下文。

转换单元340的输出，亦即，用于影像数据之各转换区块的DCT系 数之组系供应至量化器350。各种量化技术系公知于视频数据压缩的领域 中，范围自通过量化缩放因子之简单的乘法至量化参数的控制下之复杂查 表的应用。概括的目标有两部分。首先，量化处理降低所转换数据之可能 的值之数目。其次，量化处理可增加所转换数据为零的可能性。该二者可 使下文将被叙述之熵编码处理在产生小量的压缩视频资料中，更有效率地 工作。

数据扫描处理系由扫描单元360所施加。扫描处理之目的在于记录量 化的转换数据，以便尽量多地聚集非零量化的转换系数在一起，且因此， 当然尽量多地聚集零值的系数在一起。该等特性可允许所谓运转长度编码 或相似技术被有效率地施加。因此，扫描处理包含依据〝扫描顺序〞而自 量化的转换数据，且特别地，自对应已被转换及量化之影像数据的区块之 系数的区块，选择系数，以致使(a)所有的系数被选择一次做为扫描的 一部分，以及(b)扫描易于提供所欲的记录。可易于给定有用结果之一 实例的扫描顺序系所谓右上方对角线扫描顺序。

然后，将扫描的系数传递至熵编码器(EE)370。而且，可使用各种 类型的熵编码。两个实例系所谓CABAC(上下文适应性二元算术编码) 系统的变化例，及所谓CAVLC(上下文适应性可变长度编码)系统的变 化例。在一般性的观点中，CABAC被认为提供较佳的效率，且在若干研 究中，已显示在相较于CAVLC之用于可比较的影像质量之编码输出数据 数量中提供10至20％的降低。然而，CAVLC系视为表示比CABAC极更 低的复杂度位准(自其实施之角度)。注意的是，扫描处理及熵编码处理 系显示为个别的处理，但实际上，可予以结合或在一起处理。也就是说， 至熵编码器内的数据之读取可以以扫描顺序发生。对应考虑可施加至将被 叙述于下文之个别的逆处理。注意的是，在申请专利时的考虑下之现时的 HEVC文献不再包含CAVLC系数编码器的可能性。

熵编码器370的输出与例如，用以界定其中预测器320产生预测影像 之方式的额外数据(上述及/或下文将讨论的)一起提供压缩的输出视频 信号380。

然而，因为预测器320本身之操作根据压缩的输出数据之解压缩型式 而定，所以亦设置返回路径。

用于此特性的理由系如下。在解压缩处理(将叙述于下文)中之适当 的级处，系产生剩余数据的解压缩型式。此解压缩的剩余数据必须被添加 至预测的影像，用以产生输出的影像(因为原始的剩余数据系输入的影像 与预测的影像之间的差异)。为了要使此处理可比较，于压缩处理期间及 解压缩处理期间，在压缩侧与解压缩侧间之由预测器320所产生的预测影 像应系相同的。当然在解压缩时，设备不具有对原始的输入影像之存取， 而是仅对解压缩的影像。因此，在压缩时，预测器320之其预测(至少， 针对影像间之编码)系根据压缩影像的解压缩型式而定。

由熵编码器370所执行的熵编码处理被认为系〝无损失的〞，亦即， 其可反转到达最先所供应至熵编码器370之真正相同的数据。因此，返回 路径可在熵编码级之前，予以实施。实际上，由扫描单元360所执行的扫 描处理亦系视为无损失的，但在本实施例中，返回路径390系自量化器350 的输出至互补之逆量化器420的输入。

在一般性的观点中，熵译码器410、逆扫描单元400、逆量化器420、 及逆转换单元430提供熵编码器370、扫描单元360、量化器350、及转换 单元340之个别的逆功能。现将透过压缩处理而继续讨论；用以解压缩输 入的压缩视频信号之处理将分别讨论于下文。

在压缩处理中，扫描的系数系通过返回路径390而自量化器350传递 至逆量化器420，而执行扫描单元360的逆操作。逆量化及逆转换处理系 由单元420、430所执行，用以产生压缩解压缩的剩余影像信号440。

影像信号440系在加法器450添加至预测器320的输出，用以产生重 现的输出影像460。此形成对影像预测器320的一输入，如下文将叙述地。

现将转至用以解压缩接收的压缩视频信号470所施加之处理，在通过 加法器450而被添加至影像预测器320的输出之前，该信号系供应至熵译 码器410且自该处至逆扫描单元400、逆量化器420、及逆转换单元430 的链路。因此，在译码器侧，译码器重现剩余影像的型式，且然后，施加 此(通过加法器450)至影像的预测型式(一区块一区块地为基础)，以便 解碼各区块。在直接观点中，加法器450的输出460形成输出的解压缩视 频信号480。实用上，可在输出该信号之前，施加进一步的滤波。

因此，图5及图6之设备扮演压缩设备或解压缩设备的角色。该两类 型之设备的功能系极大比重地重迭。扫描单元360及熵编码器370并未被 使用于解压缩模式中，且预测器320的操作(将详细叙述于下文)及其他 单元跟随包含于所接收的压缩比特流中之模式及参数信息，而非产生该信 息本身。

图6概略地描绘预测影像的产生，且特别地，影像预测器320的操作。

具有由影像预测器320所执行之预测的两个基本模式：所谓影像内之 预测及所谓影像间，或移动补偿(MC)之预测。在编码器侧，各包含侦 测相对于将被预测之目前区块的预测方向，以及依据其他取样(在相同(影 像内)或另一(影像间)影像中)而产生预测区块之取样。凭借单元310 或450，在预测区块与实际区块之间的差异被编码或施加，以便分别编码 或译码该区块。

影像内之预测根据来自相同影像内之数据而预测影像之区块的内容。 此对应其他视频压缩技术中之所谓I帧编码。对照于其中整个影像系内编 码之I帧编码，在本实施例中，于内与编码之间的选择可以以一区块一区 块地为基础予以做成，虽然在其他实施例中，该选择仍系以一影像一影像 地为基础予以做成。

移动补偿之预测系影像间之预测的实例，且使用另一邻接或毗邻影像 中的移动信息，而尝试要界定将被编码于目前影像中之影像细节的来源。 因而，在理想的实例中，可将预测影像中之影像数据的区块之内容极简易 地编码，做为指示邻接影像中之相同的或稍为不同的位置处之对应区块的 参考(移动向量)。

现请翻阅图6，系显示两个影像预测配置(对应影像内及影像间之预 测)，其结果系在模式信号510的控制下，由多任务器500所选择，以便 提供预测影像之区块，以供供应至加法器310及450之用。选择系根据给 定最低〝能量〞之选择而做成(其可如上述地被视为需要编码的信息内 容)，且该选择系在编码输出的数据流内，信令至编码器。关于此点，例 如，影像能量可通过执行来自输入影像的两型式预测影像之区块的尝试减 法、使不同影像之各像素值开平方、合计该平方值、及辨识该两型式的何 者产生与该影像区域相关联之不同影像的较低均方值，而予以侦测出。

在内编码系统中，实际预测系以所接收为信号460之一部分的影像区 块为基础予以做成，亦即，预测系根据编码译码之影像区块，以便使真正 相同的预测可在解压缩设备做成。无论如何，数据可通过模式内选择器520 而自输入之视频信号300导出，用以控制影像内预测器530的操作。

对于影像内之预测，移动补偿(MC)预测器540使用诸如移动向量 之通过移动估算器550而自输入之视频信号300所导出的移动信息。该移 动向量系通过移动补偿预测器540而施加至重现影像460之经处理的型 式，用以产生影像内之预测的区块。

因而，单元530及540(与估算器550一起操作)各扮演侦测器的角 色，用以侦测出相对于将被预测之目前区块的预测方法，且扮演产生器的 角色，用以依据由该预测方向所界定的其他取样而产生取样之预定区块 (形成传递至单元310及450之预测的一部分)。

现将叙述所施加至信号460之处理。首先，信号系由滤波器单元560 所滤波，该滤波器单元560将被更详细地叙述于下文。此包含施加〝解区 块〞滤波器，用以去除或至少有助于降低由转换单元340及其后之操作所 执行的以区块为基础之处理的效应。取样适应性偏置(SAO)滤波器(将 进一步叙述于下文)亦可被使用。而且，适应性循环滤波器系使用通过处 理重现之信号460及输入之视频信号300所导出的系数，而予以施加。该 适应性循环滤波器系使用已知技术之类型的滤波器，其施加适应性滤波器 系数至将被滤波的资料。也就是说，滤波器系可根据各种因子而变化。界 定要使用那些滤波器系数的数据系包含做为编码的输出数据流之一部分。

适应性滤波表示用于影像恢复的循环内滤波。LCU可由直至16个滤 波器所滤波，而滤波的选择及ALF开/关状态(适应性循环滤波器-请参阅 下文)系相对于LCU内之各CU而予以导出。一般地，该控制系在LCU 层次，而非CU层次。

实际上，当设备系操作成为压缩设备时，来自滤波器单元560之滤波 的输出形成输出之视频信号480。而且，其系缓冲于一或多个影像或帧储 存器570中；连续影像的储存系移动补偿之预测处理，且尤其，移动向量 之产生的必要条件。为了要在储存需要上节约，在影像储存器570中之储 存的影像可保持于压缩形式中，且然后，予以解压缩以供产生移动向量之 用。对于此特殊之目的，可使用任何已知的压缩/解压缩系统。储存的影像 系传递至插补滤波器580，其产生该储存的影像之较高分辨率版；在此实 例中，系产生中间取样(子取样)，以致使通过插补滤波器580而输出的 插补之影像的分辨率系影像储存器570中所储存之影像的4倍(在各维中) 分辨率用于4:2:0之亮度频道，且系影像储存器570中所储存之影像的8 倍(在各维中)分辨率用于4:2:0之彩色频道。该插补之影像传递至移动 估算器550且亦至移动补偿预测器540，做为输入。

在实施例中，系提供进一步之选用的级，其系用以使用乘法器600 而以4的因子相乘输入之视频信号的数据值(有效地稍微左移数据值两 位)，且用以使用除法器或右移器610而施加对应除法运算(右移两位) 于设备的输出处。因此，左移及右移单纯地改变数据以供设备的内部运算 之用。此措施可在设备内提供较高的计算准确性，因为可降低环绕误差之 任何资料的效应。

现将叙述其中划分影像以供压缩处理的方式。在基本层次处，将被压 缩的影像系视为取样之区块的数组。针对本讨论之目的，在考虑中之最大 该区块系所谓最大编码单元(LCU)700(图7)，其表示典型地，64×64 取样之方阵列(LCU尺寸系由编码器所配置，直至诸如由HEVC文献所 界定之最大尺寸)。在此，该讨论有关亮度取样。根据诸如4:4:4、4:2:2、 4:2:0、或4:4:4:4(GBR加上关键数据)之彩色模式，将具有对亮度区块 之不同数目的对应彩色取样。

将叙述三个基本类型的区块:编码单元、预测单元、及转换单元。在 一般性的观点中，LCU的递归细分允许输入的图像以此方式被划分，使得 区块尺寸及区块编码参数(诸如预测或剩余编码模式)可依据将被编码之 影像的特定特征而予以设定。

LCU可被细分成所谓编码单元(CU)。编码单元一直系正方形的， 且具有8×8取样与LCU 700的全尺寸之间的尺寸。该编码单元可被配置 成为一种树状结构，以致使第一细分可如图8中所示地发生，而给定32×32 取样之编码单元710；接着，随后的细分可以以选择性为基础而发生，以 便给定16×16取样之若干编码单元720(图9)，且潜在地，8×8取样之若 干编码单元730(图10)。就整体而言，此处理可提供CU区块之内容适 应编码树状结构，其各可如LCU一样地大或如8×8取样一样地小。输出 之视频数据的编码系以编码单元结构为基础而发生，亦即，一LCU被编 码，且然后，该处理移至下一个LCU，等等。

图11概略地描绘预测单元(PU)之数组。预测单元系用以承载与影 像预测处理相关联之信息，或换言之，承载所添加至熵编码剩余影像数据 用以自图5之设备形成输出的视频信号之额外数据的基本单元。通常，预 测单元并未在形状中受限于正方形。其可采取其他形状，特别地，矩形形 状，用以形成正方形编码单元之其中一者的一半(例如，8×8CU具有8×4 或4×8PU)。使用与影像特征配向之PU并非HEVC系统之强制性的部分， 且一般之目的将系在于允许适当的编码器使邻接之预测单元的边界配向， 用以匹配(尽量靠近)图像中之实体的边界，使得可施加不同的预测参数 至不同的实体。各编码单元可包含一或多个预测单元。

图12概略地描绘转换单元(TU)之数组。转换单元系转换及量化处 理的基本单元。转换单元可系或可非正方形的，且可采取4×4直至32×32 取样的尺寸。各编码单元可包含一或多个转换单元。在图12中之头字语 SDIP-P表示所谓短距离内预测划分。在此配置中，系使用仅一维的转换， 因此，4×N区块系透过N个转换以与对该转换输入之数据一起传递，而该 转换系根据目前SDIP-P内之在前解碼的相邻区块及在前解碼的相邻列而 定。SDIP-P系并未在目前于申请本申请案时，包含于HEVC中。

如上述，编码系按一LCU而发生，然后，下一个LCU，等等。在 LCU内，编码系一个CU一个CU地执行。在CU内，编码系针对一TU 而执行，然后，下一个TU，等等。

现将讨论内预测之处理。在一般性的观点中，内预测包含自相同影像 中之在前所编码的及所译码的取样而产生目前区块的预测(预测单元)。 图13概略地描绘部分所编码之影像800。在此，影像系以LCU为基础， 自左下方至右下方地予以编码。透过整个影像的操纵而予以部分地编码之 实例LCU系显示成为区块810。在区块810之上面且至其左边的遮影区 820系已被编码。区块810之内容的影像内之预测可使用任何该遮影区 820，但无法使用其下面之未遮影区。然而，请注意的是，对于在目前LCU 内之个别的TU，上述之编码的阶层顺序(一个CU一个CU地，然后， 一个TU一个TU地)意指的是，可具有在前所编码的取样于目前LCU中， 且可用于该TU之编码，例如，该取样系在该TU的右上方或左下方。

区块810表示LCU；如上述地，针对影像内之预测处理的目的，可 将此细分成一组较小的预测单元及转换单元。目前TU 830之实例系显示 于LCU 810之内。

影像内之预测斟酌在将被考虑的目前TU之前所编码的取样，诸如在 目前TU之上面及/或至左边的该等者。所需之取样系自其所预测来源取 样可位在相关于目前TU之不同位置或方向处。为决定何者方向适用于目 前预测单元，实例编码器的模式选择器520可测试可用之TU结构的所有 组合以供各候选方向之用，且以最佳压缩效率选择PU方向及TU结构。

图像亦可以以〝切片〞为基础予以编码。在一实例中，切片系LCU 之水平邻接组群。但在更普通的观点中，整个剩余影像可形成切片，或切 片可系单一的LCU，或切片可系一列LCU，等等。当切片被编码成为独 立单元时，其可给予误差若干弹性。编码器及译码器状态系完全地重设于 切片边界处。例如，内预测系不跨越切片边界而予以执行；为此目的，切 片边界系视为影像边界。

图14概略地描绘一组可能的(候选的)预测方向。34个侯选方向的 全组系可用于8×8、16×16、或32×32取样之预测单元。4×4及64×64取 样之预测单元尺寸的特别情况具有可用于它们之候选方向减少的组合(分 别地，17个候选方向及5个候选方向)。该方向系由相对于目前区块位置 之水平及垂直的位移所决定，但系编码成为预测模式，其一组系显示于图 15中。注意的是，所谓DC模式表示包围之上方及左手边取样之简单的算 术平均值。

在一般性的观点中，于侦测出相对于各预测单元的预测方向之后，该 系统系可操作用以根据由预测方向所界定之其他取样，而产生预测区块之 取样。

图16概略地描绘所谓右上方对角线扫描，其系可由扫描单元360所 施加之实例扫描图案。在图16中，图案系显示用于8×8DCT系数之实例 区块，而DC系定位于区块之左上方位置840处，且渐增的水平及垂直空 间频率系由向下且至该左上方位置840之右边的渐增矩离处之系数所表 示。取代地可使用其他选择性的扫描顺序。

将讨论区块配置以CU、PU、及TU结构的变化例于下文。该者将以 图17之设备的情况予以讨论，其系在许多方面与上述图5及图6中所描 绘的设备相似。确实地，已使用许多相同的参考符号，且该部件将不予以 进一步讨论。

相对于图5及图6之主要的实质差异有关滤波器560(图6)，其系在 图17中更详细地显示为包含解区块滤波器1000及相关联的编码决定区块 1030、取样适应性偏置(SAO)滤波器1010及相关联的系数产生器1040、 以及适应性循环滤波器(ALF)1020及相关联的系数产生器1050。

解区块滤波器1000尝试要通过使尖锐边缘平滑而降失真且改善视觉 质量及预测性能，该尖锐边缘可当使用区块编码技术时，形成于CU、PU、 及TU边缘之间。

SAO滤波器1010分类重现的像素成为不同种类，且然后，尝试要通 过添加偏置用于各种类的像素而降低失真。像素强度及边缘性质系使用于 像素分类。为了要进一步增进编码效率，可将图像划分成为用于偏置参数 之局部化的区域。

ALF 1020尝试要恢复压缩之图像，使得重现与来源帧之间的差异最 小化。ALF之系数系以帧为基础予以计算及传送。ALF可被施加至整个帧 或至局部区域。

如上述，所提议之HEVC文献使用公知为4:2:0方案之特殊彩色取样 方案。该4:2:0方案可使用于家庭/顾客装备。然而，若干其他的方案系可 能的。

尤其，所谓4:4:4方案将适用于职业广播、母带后期处理、及数字影 片，且原则上，将具有最高的质量及数据速率。

同样地，所谓4:2:2方案可使用于具有若干传真度损失之联业广播、 母带后期处理、及数字影片中。

下文将叙述该等方案及其对应之可能的PU及TU区块结构。

此外，其他方案包含4:0:0单色方案。

在4:4:4方案中，Y、Cb及Cr三个频道之各者具有相同的采样率。 因此，原则上，在此方案中，将具有如亮度数据两倍之更多的彩色数据。

因而，在HEVC中，于此方案中，Y、Cb及Cr三个频道之各者将具 有对应之相同尺寸的PU及TU区块；例如，8×8亮度区块将具有用于该 两个彩色频道之各者的对应8×8彩色区块。

因此，在此方案中，大致地，将具有直接之1:1关系于各频道中的区 块尺寸之间。

在4:2:2方案中，该两个彩色成分系以亮度之采样率的一半予以取样 (例如，使用垂直或水平子取样，但针对本说明之目的，系假定子取样)。 因此，原则上，在此方案中，将具有如亮度数据一样多的彩色数据，虽然 该彩数据将在该两个彩色频道之间被分割。

因而，在HEVC中，于此方案中，Cb及Cr频道将具有与亮度频道 不同尺寸的PU及TU区块；例如，8×8亮度区块可具有用于各彩色频道 之对应的4(宽)×8(高)彩色区块。

因此，显著地，在此方案中，该彩色区块可系非正方形的，虽然它们 对应正方形的亮度区块。

在目前所提议的HEVC 4:2:0方案中，该两个彩色成分系以亮度之采 样率的四分之一予以取样(例如，使用垂直及水平子取样)。因此，原则 上，在此方案中，具有如亮度数据一半之彩色数据，该彩色数据在该两个 彩色频道之间被分割。

因而，在HEVC中，于此方案中，Cb及Cr频道再具有与亮度频道 不同尺寸的PU及TU区块。例如，8×8亮度区块将具有用于各彩色频道 之对应的4×4彩色区块。

上述方案系在本项技艺中通俗地公知为〝频道比〞，如在〝4:2:0频 道比〞中一样地；然而，将从上述说明理解的是，实际上，此并非总是意 指Y、Cb及Cr频道系以该比例予以压缩或提供。因此，虽然称为频道比， 但不应将此假定成为照文义的。事实上，用于4:2:0方案之正确比例系4:1:1 (实际地，用于4:2:2方案及4:4:4方案之比例系正确的)。

在参照图18a及图18b而讨论特殊配置之前，将概述及重访若干通用 之术语。

最大编码单元(LCU)系根图像对象。典型地，其覆盖相等于64×64 亮度像素之区域。其被递归地分割，用以形成树状阶层之编码单元(CU)。 在一般性的观点中，该三个频道(一个亮度频道及两个彩色频道)具有相 同的CU树状阶层。然而，如上述，根据频道比，特殊的亮度CU可包含 与对应彩色CU不同数目的像素。

在树状阶层的末端处之CU，亦即，由递归分割处理所产生之最小 CU(其亦称为叶状CU)系接着分割成为预测单元(PU)。该三个频道(亮 度及两个彩色频道)具有相同的PU结构，除了当用于彩色频道之对应PU 将具有太少的取样之外，在该情况中，可仅用一PU以供该频道之用。此 系可配置的，但PU内之最小尺寸一般系4个取样；PU间之最小尺寸系4 个亮度取样(或用于4:2:0之两个彩色取样)。在最小CU尺寸上的限制应 大到足可供任何频道之至少一PU之用。

叶状CU亦被分割成为转换单单元(TU)。可将该TU，且当它们太 大时(例如，超过32×32取样)，必须将它们分割成为进一步的TU。限制 系施加使得TU可被向下分割至目前被配置成为2层次之最大树状深度， 亦即，它们不可超过各CU 16个TU。描绘性之最小可允许的TU尺寸系 4×4取样，且最大可允许的TU尺寸系32×32取样。再者，无论何时，该 三个频道可具有相同的TU结构，但若由于尺寸限制而无法将TU分割至 特殊深度以供给定频道之同时，则将其保持在最大尺寸处。所谓非正方形 四个树状转变配置(NSQT)系相似的，但分割成为四个TU的方法无需 系2×2，且系4×1或1×4。

现请参阅图18a及图18b，将概述用于CU、PU、及TU区块之可能 的不同区块尺寸，而〝Y〞表示亮度区块，且〝C〞在一般意义中表示彩 色区块之代表者，以及数目表示像素。〝间〞表示帧间预测PU(例如， 与帧内预测PU相反)。在许多情况中，仅显示用于亮度区块之区块尺寸。 相关联的彩色区块之对应尺寸系依据频道比，而与亮度区块尺寸相关联。

因此，对于4:4:4，该彩色频道具有与图18a及图18b中所示之亮度 区块相同的区块尺寸。因而，彩色PU结构反射出(或系分别相同于)亮 度PU结构于所有所分割的层次处(其中〝所分割的层次〞意指CU尺寸 选用的选择，以及在CU尺寸内，PU尺寸及彩状选用的选择)。虽然将可 使用同组之可能的区块尺寸及形状，但为了要允许不同者(不同于该组者) 相对于CU之亮度及彩色成分而被选择，在本发明之若干实施例中，PU 区块尺寸及形状系选择用于对应CU之彩色及亮度成分。因此，无论何者 PU尺寸及形状被选择用于亮度CU，相同尺寸及形状PU系选择用于该 CU的彩色部分。注意的是，如下文所讨论地，区块尺寸及形状以及PU 之选择系在控制器343的控制下，以编码器为基础之决定。在该配置中， 亮度及彩色成分系在4:4:4格式中，且系配置成为复数个编码单元，各包 含亮度及彩色取样的区块；以及预测方向系相对于目前预测单元而予以侦 测出，目前预测单元系表示个别编码单元的至少一子集之亮度或彩色取样 的区块。对于特殊的编码单元，各包含来自该编码单元的亮度及彩色取样 之一或多个预测单元的尺寸及形状系做成(例如，通过控制器343)，以致 使用于亮度取样及用于彩色取样之预测单元尺寸及形状的选择相同。

对于4:2:2及4:2:0，依据频道比，彩色区块将各具有比对应亮度区块 更少的像素。

在图18a及图18b中所示的配置分别有关四个可能的CU尺寸： 64×64、32×32、16×16、及8×8亮度像素。该等CU的各者具有对应列之 PU选用(显示于行1140中)及TU选用(显示于行1150中)。对于上文 所界定之可能的CU尺寸，该等选用之列系分别表示成为1100、1110、1120、 及1130。

请注意的是，目前，64×64系最大CU尺寸，但此限制可改变。

在各列1100…1130之内，不同的PU选用系显示可应用至该CU尺 寸。可应用至该等PU组态的TU选用系显示与个别的PU选用水平地配 向。

注意的是，在若干情况中，系提供多重PU选用。如上述，在选择 PU组态中之设备的目的在于匹配(尽量靠近)图像中之实体的边界，以 致使不同的预测参数可被施加至不同的实体。

区块尺寸及形状以及PU系在控制器343的控制下，以编码器为基础 之决定。目前方法包含执行许多方向之许多TU树状结构的尝试，用以取 得各层次之最优〝成本〞。在此，该成本可表示为产生自各区块结构之失 真、或噪声、或误差、或比特率的测量。因此，在选择该尝试的其中一者 而给予某一所需质量测量最低比特率，或所需比特率最低失真(或误差、 或噪声、或该等测量的组合)、或该等测量的组合之前，编码器可在上述 之树状结构及阶层下所允许的该等者之内，尝试二或更多个(或甚至所有 可用的)区块尺寸及形状之排列。

当给定特殊PU组态的选择时，可施加各种层次之分割，用以产生对 应TU。请参阅列1100，在64×64P的情况中，对于使用做为TU而言， 此区块尺寸系太大，且因此，第一层次之分割(自〝层次0〞(不分割) 至〝层次1〞)系强制性的，用以造成四个32×32亮度TU之数组。该等 者各可视需要地接受在树状阶层中之进一步的分割(自〝阶层1〞至〝阶 层2〞)，而该分割系在执行TU的转换或量化之前被执行。在TU树状中 之层次的最大数目系由(例如)HEVC文献所限制。

其他的选用系在64×64亮度像素CU的情况中，设置用于PU尺寸及 形状。该等者系受限于仅只在编码之图像间，且在若干情况中，仅与所谓 AMP选用致能一起使用。AMP意指非对称移动划分，且允许用于将被非 对称划分之PU。

同样地，在若干情况中，选用系设置用于TU尺寸及形状，若NQST (非正方形四树状转换，基本地允许非正方形TU)被致能时，则可如图 标地执行对层次1及/或层次2的分割，而若NQST未被致能时，则TU 尺寸顺从用于该CU尺寸之个别最大TU的分割图案。

相似的选用系设置用于其他的CU尺寸。

除了图18a及图18b中所示的图形表示之外，相同信息之符号系提供 于下表中，虽然在图18a及图18b图的表示系视为决定性的。〝n/a〞指示 不被允许的模式。首先，将叙述水平像素尺寸。若给定第三图形时，则例 如，在(水平)×(垂直)×(情况之数目)区块中，其有关该区块尺寸之 情况的数目。N系整数。

4:2:0、4:2:2、及4:4:4区块结构变化例

已理解的是，4:2:0及4:4:4方案二者具有用于内预测之编码的正方形 PU区块。此外，目前4:2:0方案准许4×4像素PU及TU区块。

因而，在实施例中，所提议的是，对于4:4:4方案，用于CU区块之 递归系准许向下至4×4像素，而非8×8像素，因为如上述，在4:4:4模式 中，亮度及彩色区块将系相同尺寸(亦即，彩色数据不被子取样)，且所 以，对于4×4CU，PU或TU将需小于已允许之最小的4×4像素。因此， 此系用于特殊编码单元之自该编码单元的至少一子集选择各包含亮度或 彩色取样之一或多个预测单元的尺寸及形状的实例，该预测单元尺寸及形 状之选择系相同用于亮度取样及用于彩色取样。

同样地，在4:4:4方案中，于实施例中，Y、Cr、Cb频道之各者，或 Y及Cr、Cb二频道一起地，可具有个别的CU树状阶层。然后，可使用 旗标用以信令将使用何者阶层或阶层的配置。此方法亦可使用于4:4:4 RGB彩色空间方案。然而，取代地，在选择例中，用于彩色及亮度的树 状阶层可系独立的。

在4:2:0方案中之8×8CU的实例中，此造成四个4×4亮度PU及一 个4×4彩色PU。因此，在4:2:2方案中，具两倍彩色数据，于此情况中之 一选用在于具有两个4×4彩色PU，其中(例如)底部彩色区块将在位置 中对应底部左边亮度区块。然而，已理解的是，使用一个非正方形4×8彩 色PU于此情况将与用于4:2:0彩色格式的配置更一致。

在4:2:0方案中，原则上，具有若干非正方形TU区块被允许用于某 些种类的预测间之编码，且并非用于内预测之编码。然而，在预测内之编 码中，当使非正方形四树状转换(NSQT)失能时(其系用于4:2:0方案之 目前的缺设)，则所有的TU系正方形。因此，实际上，目前4:2:0方案实 施正方形TU。例如，16×16 4:2:0亮度TU将与个别的Cb及Cr 8×8 4:2:0 彩色TU相互对应。

然而，如上述，4:2:2方案可具有非正方形PU。因此，在实施例中， 所提议的在于允许非正方形TU用于4:2:2方案。

例如，虽然16×16 4:2:2亮度TU可与两个个别的Cb及Cr 8×8 4:2:2 彩色TU相互对应，但在此实施例中，取代地，其可以与个别的Cb及Cr 8×16 4:2:2彩色TU相互对应。

同样地，四个4×4 4:2:2亮度TU可与两个个别的4×4Cb+Cr 4:2:2TU 相互对应，或在此实施例中，取代地，可以与个别的4×8Cb及Cr 4:2:2TU 相互对应。

当具有非正方形彩色TU，且因此，更少的TU时，则可更有效率， 因为其可包含更少的信息。然而，此可影响该TU的转换及扫描处理，如 稍后将叙述地。

最后，对于4:4:4方案，可优选地使TU结构频道独立且可以以顺序、 图像、切片、或更精密的位准选择。

如上述，在HEVC的4:2:0方案中，目前系使NQST失能。然而，若 用于图像间之预测时，则使NSQT致能且准许非对称移动划分(AMP)， 此允许用于将被非对称划分的PU；因而，例如，16×16CU可具有4×16PU 及12×16PU。在该等情况中，对于4:2:0及4:2:2方案而言，区块结构之 进一步考虑系重要的。

对于4:2:0方案，在NQST中，可将TU之最小宽度/高度限制至4亮 度/彩色取样。

因此，在非限制的实例中，16×4/16×12亮度PU结构具有四个16×4 亮度TU及四个4×4彩色TU，其中亮度TU系在1×4垂直区块配置中以 及彩色TU系在2×2区块配置中。

在其中划分系垂直而非水平之相似的配置中，4×16/12×16亮度PU结 构具有四个4×16亮度TU及四个4×4彩色TU，其中亮度TU系在4×1水 平区块配置中以及彩色TU系在2×2区块配置中。

对于4:2:2方案，在做为非限制实例的NSQT中，4×16/12×16亮度 PU结构具有四个4×16亮度TU及四个4×8彩色TU，其中亮度TU系在4×1 水平区块配置中；彩色TU系在2×2区块配置中。

然而，已理解的是，可针对若干情况而考虑不同的结构。因此，在实 施例中，于做为非限制实例的NSQT中，16×4/16×12亮度PU结构具有四 个16×4亮度TU及四个8×4彩色TU，但现在，亮度及彩色TU系在1×4 垂直区块配置中，而随着PU布局配置(例如，与在2×2区块配置中之四 个4×8彩色TU的4:2:0样式配置相反)。

同样地，32×8PU可具有四个16×4亮度TU及四个8×4彩色TU，但 现在，亮度及彩色TU系在2×2区块配置中。

因此，更概括地，对于4:2:2方案，在NSQT中，TU区块尺寸系选 择用以随着非对称之PU区块布局配向。因而，NSQT有效地允许TU边 界与PU边界对齐，而降低可能发生的高频人工产物。

在一般性的观点中，本发明之实施例可有关可相对于4:2:2格式视频 信号而操作的视频编码方法、设备、或程序。将被编码的影像系划分成为 编码单元、预测单元、及转换单元以供编码之用，编码单元系亮度取样及 对应彩色取样的正方形数组，而在编码单元中具有一或多个预测单元，且 在编码单元中具有一或多个转换单元；其中预测单元系预测的基本单元， 以致使单一预测单元内的所有取样使用共同的预测技术而予以预测，以及 转换单元系转换及量化的基本单元。

非正方形转换模式(诸如NSQT模式)系致能以便允许非正方形预 测单元。选用地，非对称移动划分系致能以便允许对应单一编码单元之二 或多个预测单元间的非对称。

例如，控制器343通过侦测对应PU之影像的部分中之影像特征，且 选择相对于该PU的TU区块尺寸，而控制转换单元区块尺寸的选择，用 以与预测单元区块布局配向，以便使TU边界与该影像的该部分中之影像 特征的边缘对齐。

上文所讨论的规则说明那些区块尺寸的组合可用。编码器可适当地尝 试不同的组合。如上述，尝试可包含二或多个，直至所有可用的选用。该 尝试编码处理可依据成本函数计量及依据该成本函数之估算所选择的结 果，而予以执行。

假定具有依据CU尺寸及形状、PU尺寸及形状、以及TU尺寸及形 状之三层次的变化，则此可导致将被尝试编码之很多的排列。为了要降低 此变化，系统可通过使用可允许用于各CU尺寸之PU/TU组态的所任意选 择者而对CU尺寸尝试编码；然后，当已选择CU尺寸时，则PU尺寸及 形状可通过各以单一任意选择的TU组态尝试编码不同的PU选用，而予 以选择。接着，当已选择CU及PU时，则系统可尝试所有可应用的TU 组态，用以选择最终的TU组态。

另一可能性在于若干编码器可使用区块组态的固定选择，或可允许上 述讨论中所限定的该组合之受限的子集。

内预测

4:2:0内预测

现请翻阅图22，对于内预测，HEVC考虑角彩色预测。

当做介绍，图22描绘可应用至亮度区块的35个预测模式，其之33 个指明方向用以参考目前预测之取样位置110的取样。剩余的两个模式系 模式0(平面)及模式1(dc)。

HEVC允许彩色具有DC、垂直、水平、平面DM_CHROMA、及 LM_CHROMA模式。

DM_CHROMA指示将被使用的预测模式系与协同定位之亮度PU的 该者相同(亦即，图22中所示的35个之一)。

LM_CHROMA(线性模式彩色)指示协同定位之亮度取样(相对于 频道比适当地下行取样)系使用以导出预测彩色取样。在此情况中，若其 中将采取DM_CHROMA预测模式的亮度PU选择DC、垂直、水平、或 平面时，则在彩色预测列表中之该登录系使用模式34予以置换。在 LM_CHROMA模式中，其中预测彩色像素的亮度像素系依据亮度与彩色 之间的线性关系而予以缩放(且具有所适当施加的偏置)。此线性关系系 导出自周围的像素，且该导出可以以一区块一区块为基础予以执行，而在 移动至下一者之前，译码器完成译码一区块。

值得注意的是，预测模式2至34取样45度至225度之角范围；也就 是说，正方形之一对角线的半部。此系有用于4:2:0方案的情况中，如上 述地，该方案仅使用正方形彩色PU以供图像内预测之用。

4:2:2内预测之变化例

然而，亦如上述地，4:2:2方案可具有矩形(非正方形)彩色PU，即 使当亮度PU系正方形时。或确实地，反之亦然：矩形亮度PU可对应正 方形彩色PU。差异的理由系在4:2:2中，彩色系水平地子取样(相对于亮 度)，而非垂直地。所以，亮度区块及对应彩色区块的纵横比将被预测为 不同的。

因而，在实施例中，对于具有与对应亮度区块不同纵横比的彩色PU， 需要映像表以供指向之用。假定(例如)1对2纵横比之矩形彩色PU，则 例如，模式18(目前在135度的角度)可被重映射至123度。选择性地， 目前模式18的选择可被相同地重映像至模式22的选择。

因此，更概括性地，对于非正方形PU，在参考取样的方向与所选择 的内预测模式间之不同的映射可与用于正方形PU之该者相较地予以设 置。

仍更概括性地，包含非指向性模式的任何模式亦可根据实验之证据而 予以重映射。

该映射将可产生多对一之关系，而使全组模式的规格冗余以供4:2:2 彩色PU之用。在此情况中，例如，可仅17个模式(对应角分辨率的一半) 系必要的。选择性地或此外，该等模式可以以非对称方式予以成角度地分 布。

同样地，当预测取样位置处之像素时所使用于参考取样上的平滑滤波 器可予以不同地使用；在4:2:0方案中，其仅系使用以使亮度像素平滑， 但非彩色者。然而，在4:2:2及4:4:4方案中，此滤波器亦可被使用于彩色 PU。在4:2:2方案中，该滤波器可再响应PU之不同的纵横比而予以修正， 例如，仅被使用于近水平模式之子集。优选地，模式之实例子集系2至18 及34，或更优选地，7至14。在4:2:2中，于实施例中，可仅执行参考取 样之左栏的平滑。

该等配置将于稍后予以更详细地讨论。

4:4:4内预测之变化例

在4:4:4方案中，彩色及亮度PU系相同尺寸，且因此，用于彩色PU 之内预测模式可与协同定位的亮度PU相同(由于不必编码个别模式，所 以在比特流中节省若干架空)，或选择性地，其可被独立地选择。

因此，在此后者的情况中，于实施例中，系统可具有1、2、或3个 不同的预测模式以供CU中的各PU之用。

在第一实例中，Y、Cb、及Cr之PU均可使用相同的内预测模式。

在第二实例中，Y之PU可使用一内预测模式，以及Cb及Cr之PU 二者使用另一独立选择的内预测模式。

在第三实例中，Y、Cb、及Cr之PU各使用个别独立选择的内预测 模式。

将理解的是，具有用于该等彩色频道(或各彩色频道)之独立的预测 模式将增进彩色预测准确度。但此系以额外数据架空做为编码之数据的一 部分为代价，用以联络该等独立的预测模式。

为了要减轻此，模式之数目的选择可以以高阶造句法予以指示(例如， 以顺序、图像、或切片位准)。选择性地，独立模式的数目可自视频路格 式导出；例如，GBR可具有直至3个，而YCbCr可受限为直至2个。

除了独立选择模式之外，可允许可用的模式以使在4:4:4方案中与 4:2:0方案不同。

例如，当亮度及彩色PU系在4:4:4中相同尺寸时，彩色PU可享用 对所有35+LM_CHROMA+DM_CHROMA方向的存取。因此，对于各具 有独立预测模式之Y、Cb、及Cr的情况，则Cb频道可具有对 DM_CHROMA及LM_CHROMA之存取，而Cr频道可具有对 DM_CHROMA_Y、DM_CHROMA_Cb、LM_CHROMA_Y、及 LM_CHROMA_Cb之存取，其中该等以对Y或Cb彩色频道之参考取代对 亮度频道之参考。

当亮度预测模式系由导出最可能模式的列表及传送用于该列表之索 引所信令时，则若彩色预测模式系独立时，其可能必须要导出最可能模式 的独立列表以供各频道之用。

最后，以与上述用于4:2:2情况所示方式相似之方式，在4:4:4方案 中，当预测取样位置处之像素时所使用于

参考取样上的平滑滤波器可以以与亮度PU相似之方式被使用于彩色 PU。目前，可在内预测之前，将[1,2,1]低通滤波器施加至参考取样。此仅 系当使用某些预测模式时，使用于亮度TU。

可用于彩色TU之内预测模式的其中一者系以协同定位的亮度取样 之预测取样为基础。该配置系概略地描绘于图19中，其显示由Cb、Cr、 及Y频道中的小正方形所表示之TU 1200的数组(来自来源影像之区域)， 而显示出Cb及Y频道中以及Cr及Y频道中之影像特征间的特别配向(由 深及浅阴影格子1200所概略指示)。在此实例中，其系有益于迫使彩色 TU以协同定位的亮度取样之其预测取样为基础。然而，并非一直系影像 特征在三个频道之间对应的情况。实际上，某些特征可仅出现在该等频道 的其中一者或二者之中，且通常，三个频道的影像内容可不同。

在实施例中，对于Cr TU，LM_Chroma可选用地根据来自Cb频道之 协同定位的取样(或者，在其他实施例中，相依性可系近似的其他方式)。 该配置系以概略形式显示于图20中。在此，空间配置的TU系描绘于Cr、 Cb、及Y频道之间。就整体而言，如所示地，称为〝来源〞之进一步之 组的TU系彩色图像之概略表示。在来源影像之中所示的影像特征(左上 方三角形及右下方三角形)实际上并未显示亮度中的改变，而仅该两个三 角形区域间之彩色中的改变。在此情况中，根据亮度取样之用于Cr的 LM_Chroma将产生不充分的预测，但根据Cb取样之其可给予较佳的预测。

关于将使用那一个LM_Chroma模式的决定可根据不同选用之尝试编 码(包含根据协同定位的亮度或协同定位的彩色取样之选用)，而由控制 器343及/或模式控制器520所做成，而关于选择那一个模式的决定则系 与上述该者相似地通过评估相对于不同尝试编码之成本函数予以做成。该 成本函数的实例系噪声、失真、误差率、或比特率。来自接受尝试编码的 该等者之中而给予该成本函数之最低的任一者或多者之模式被选择。

图21概略地描绘实施例中所使用以获得用于内预测之参考取样的方 法。在观察图21中，应注意的是，编码系依据扫描图案而予以执行，以 致在一般性的观点中，于将被编码之目前区块的上方及左边之该区块的编 码型式系可用于编码处理。偶而，可使用左下方或右上方之取样，若其已 于先前被编码成为目前LCU内之其他已编码妥的TU之一部分时。例如， 请参阅如上述之图13。

阴影区1210表示目前TU，也就是说，目前正被编码的TU。

在4:2:0及4:2:2中，因为水平的子取样，所以正好在目前TU之左边 的像素之行并不包含协同定位的亮度及彩色取样。换言之，此系因为4:2:0 及4:2:2格式具有如亮度像素之一半一样多的彩色像素，所以并非每个亮 度取样位置均具有协同设置的彩色取样。因此，虽然亮度取样可呈现于正 好在TU左边之像素的行中，但彩色取样并不存在。因此，在若干实施例 中，设置两个取样至目前TU之左边的行系使用以提供用于LM_Chroma 的参考取样。注意的是，在4:4:4中之情势系不同的，其中正好在目前TU 之左边的行确实包含协同定位的亮度及彩色取样。因此，可使用此行以提 供参考取样。

该参考取样被如下地使用。

在LM_Chroma模式中，预测的彩色取样依据线性关系而导出自重现 的亮度取样。所以，在一般性的观点中，可称TU内之预测的彩色值系由 下式所给定：

P_C＝a+bP_L

其中P_C系彩色取样值，P_L系在该取样位置处之重现的亮度取样，以 及a及b系常数。该等常数系针对特殊区块，而通过侦测正好在该区块上 方之列中，及正好在该区块左边之行中(该等者系已被编码之取样位置(请 参阅上文))的重现亮度取样与彩色取样之间的关系，予以导出。

在若干实施例中，常数a及b系如下地导出：

a＝R(P_L’，P_C’)/R(P_L’，P_L’)

其中R表示线性(最小平方)递归函数，以及P_L’及P_C’分别系来自 如上述之邻接列及行的亮度及彩色取样，且：

b＝mean(P_C’)-a.mean(P_L’)

对于4:4:4，P_L’及L_C’值系取自正好在目前TU之左边的行、及正好在 目前TU之上方的列。对于4:2:2，P_L’及P_C’值系取自正好在目前TU之上 方的列，及离开目前TU之左缘的两个取样位置之邻接区块中的行。对于 4:2:0(其系垂直及水平地子取样)，P_L’及P_C’将被理想地取自目前TU之上 方的两列，但实际地取自目前TU之上方的一取样位置之邻接区块中的列， 及离离目前TU之左缘的两个取样位置之邻接区块中的行。理由在于避免 必须维持额外的整列数据于内存中。所以，关于此点，4:2:2及4:2:0系以 相似方式处理。

从而，该等技术施加至具有彩色预测模式的视频编码方法，其中表示 影像之区域的彩色取样之目前区块系通过导出及编码彩色取样相对于表 示影像之相同区域的亮度取样(诸如重现的亮度取样)之协同设置的区块 之关系，而予以编码。该关系(诸如线性关系)系通过比较来自邻接之已 被编码的区块之协同设置的(或述说为对应设置的)亮度及彩色取样，而 予以导出。彩色取样系依据该关系而导出自亮度取样；以及在预测的彩色 取样与实际的彩色取样之间的差异系编码成为剩余数据。

关于其中彩色取样具有与亮度取样相同的采样率之第一取样分辨率 (诸如4:4:4)，协同设置的取样系在邻接目前区块之取样位置中的取样。

关于其中彩色取样具有比亮度取样之采样率更低的采样率之第二取 样分辨率(诸如4:2:2或4:2:0)，距离邻接之已被编码的区块最近的行或 列之协同设置的亮度及彩色取样系使用以提供协同设置的取样。或者，在 其中第二取样分辨率系4:2:0取样分辨率的情况中，对应设置的取样系邻 接目前区块之取样的列，及距离邻接之已被编码的区块最近的行或列之对 应设置的亮度及彩色取样。

图22概略地描绘用于亮度取样之可用的预测角度。将被预测的目前 像素系显示于附图中心，成为像素1220。较小的点1230表示邻接像素。 位于目前像素的顶部或左侧上之该等者系可用作参考取样用以产生预测， 因为它们已被先前地编码。其他像素系目前未知的(在预测像素1220时)， 且其将被顺序地预测。

各个编号的预测方向指示目前区块之顶部或左缘上的参考取样 1230，其系使用以产生预测的像素。在其中预测方向指示参考取样间的位 置之更小区块的情况中，系使用线性插补于邻接的参考取样之间。

将朝向用于彩色取样的内角度预测，对于4:2:0，因为彩色取样之相 对缺少，所以较少的预测方向可用。然而，若选择DM_CHROMA模式时， 则目前的彩色区块将使用与协同定位的亮度区块相同的预测方向。依序 地，此意指用于内预测之亮度方向亦可用于彩色。

然而，对于4:2:2中的彩色取样，假设彩色区域现具有与亮度区块之 纵横比不同的纵横比时，则当选择DM_CHROMA时，可违反直觉地考虑 使用与亮度相同的预测演算及方向。例如，用于正方形亮度取样之数组的 45度线应仍映像至用于彩色取样的45度线，虽然具有矩形尺寸之取样数 组。实际上，覆盖矩形格栅至正方形上指出的是，45度线将映射至26.6 度线。

图23概略地描绘当被施加至4:2:2中的彩色像素时之关于将被预测 的目前像素1220之亮度内预测的方向。注意的是，因为4:2:2具有当与亮 度频道相较时之一半的水平取样率于彩色频道中，所以具有垂直像素一半 的水平像素。

图24概略地描绘4:2:2彩色像素对正方形格栅之转换或映射，以及 接着，此转换如何改变预测方向。

亮度预测方向系显示成为断续线1240。彩色像素1250系重映像至正 方形格栅，而给定对应亮度数组(诸如图22中所示之该者)的一半宽度 1260之矩形数组。在图23中所示之预测方向已被重映像至矩形数组。可 发现到的是，对于某些方向对(一对系亮度方向及彩色方向)，具有重迭 或靠近关系。例如，在亮度数组中之方向2实质地压在彩色数组中的方向 6之上。然而，亦将注意的是，约略亮度方向之一半的若干亮度方向不具 有对应的彩色方向。实例系编号3的亮度方向。而且，若干彩色方向(2 至5)并不具有在亮度数组中之对等者，以及若干亮度方向(31至34)亦 不具有在彩色数组中之对等者。但大致地，如图24中之重迭说明的是， 使用相同的角度以供亮度及彩色频道二者之用将系不适当的。

因而，为了要当(a)DM_CHROMA被选择及(b)目前所使用之 DM_CHROMA模式指出彩色预测方向应系协同定位之亮度区块的该者 时，导出用于彩色的适当预测角度，可施加以下程序：

(i)依据通常之HEVC规则而导出内预测角度步阶及依据亮度方向 之其倒数；

(ii)若亮度方向系主要地垂直时(亦即，例如，编号为18至34(包 含18及34)之模式)，则内预测角度步阶减半，且其倒数加倍；

(iii)否则，若亮度方向系主要地水平时(亦即，例如，编号为2至 17(包含2及17)之模式)，则内预测角度步阶加倍，且其倒数减半。

因而，该等实施例有关视频编码或译码方法，设备或程序，其中亮度 及彩色取样系依据与将被预测之取样相关联的预测方向而预测自其他个 别的参考取样。在诸如4:2:2的模式中，彩色取样具有比亮度取样更低的 水平及/或垂直采样率，以致使亮度水平分辨率对彩色水平分辨率的比例 系与亮度垂直分辨率对彩色垂直分辨率的比例不同。简言之，此意指的是， 亮度取样的区块具有与彩色取样之对应区块不同的纵横比。

例如，帧内预测器530系可操作以侦测第一预测方向，而该第一预测 方向系与相对于将被预测之一组目前取样的第一纵横比之格栅相关联所 界定；以及施加映像至该预测方向之方向以便产生第二预测方向，而该第 二预测方向系与相对于将被预测之同一组目前取样的不同纵横比之取样 格栅相关联所界定。

在实施例中，第一预测方向系相对于亮度或彩色取样之其中一者而予 以界定，以及第二预测方向系相对于亮度或彩色取样之另一者而被界定。 在本说明中所讨论的特殊实例中，可修正亮度预测方向以提供彩色预测方 向。惟，相近之其他方式可予以使用。

特别地，该技术系可应用至内预测，使得参考取样系与将被预测之取 样相同的个别影像之取样。

在至少若干配置中，第一预测方向系相对于包含目前亮度取样之亮度 取样的正方形区块而予以界定；以及第二预测方向系相对于包含目前彩色 取样之彩色取样的矩形区块而被界定。

可提供独立的预测模式以供该两个彩色成分之用。在该配置中，彩色 取样包含第一及第二彩色成分之取样，且该技术包含相对于第一彩色成分 (诸如Cb)而施加上述步骤所讨论之方向映像；以及相对于第二彩色成 分(诸如Cr)而提供不同的预测模式。

例如，视频数据可系4:2:2格式或4:4:4格式。

在一般性的观点中，本发明之实施例可提供用于彩色成分之独立预测 模式(例如，分别用于亮度及彩色成分之各者)。该等实施例有关视频编 码方法，其中影像的亮度及彩色取样系依据与将被预测之取样相关联的预 测方向而预测自相同影像之其他个别的参考取样，彩色取样具有比亮度取 样更低的水平及/或垂直采样率，以致使亮度水平分辨率对彩色水平分辨 率的比例系与亮度垂直分辨率对彩色垂直分辨率的比例不同，使得亮度取 样的区块具有与彩色取样之对应区块不同的纵横比，以及彩色取样表示第 一及第二彩色成分。

帧内模式选择器520选择界定一或多个参考取样之选择的预测模式， 用以预测第一彩色成分(诸如Cb)的目前彩色取样。其亦选择不同的预 测模式，用以界定一或多个参考取样之不同的选择，以供预测第二彩色成 分(诸如Cr)的目前彩色取样之用，而与该第一彩色成分的目前彩色取样 协同设置。

参考取样滤波器可被选用地施加至例如，水平取样或垂直取样(或二 者)，做为帧储存器570及/或预测器530、540之操作的一部分，而扮演 滤波器配置之角色。该滤波器可系3抽头〝121〞滤波器，而一般被施加 至除了底部左边及顶部右边之外的所有亮度参考取样(N×N区块之取样系 聚集在一起以形成尺寸2N+1的单一1D数组，且然后，被选用地滤波)。 在该技术的实施例中，其仅系施加至4:2:2的第一(左侧边缘)或最后(顶 部边缘)的N+1彩色取样(但应注意的是，底部左边、顶部右边、及顶部 左边则将不予以调整)；或4:2:2及4:4:4的所有彩色取样(如用于亮度一 样地)。

实施例亦可提供视频编码或译码方法，设备或程序，其中亮度以及第 一及第二彩色成分之取样系依据与将被预测之取样相关联的预测方向而 被预测自其他个别的参考取样，包含自第一彩色成分的取样而预测第二彩 色成分的取样。

实施例亦可提供视频编码或译码方法，设备或程序，其中亮度以及第 一及第二彩色成分之取样系依据与将被预测之取样相关联的预测方向而 被预测自其他个别的参考取样，包含滤波该等参考取样。

如参照图19及图20所讨论地，不同预测模式可包含其中第二彩色成 分的取样系自第一彩色成分的取样而予以预测之模式。

注意的是，模式0及1并非角预测模式，且因此，不包含于此程序中。 上文所示之该程序的功效在于映像彩色预测方向至图24中之亮度预测方 向上。

对于4:2:0，当选择纯粹水平预测模式(亮度模式10)或纯粹垂直预 测模式(亮度模式26)时，则预测TU之顶部或左缘系仅受到用于亮度频 道的滤波。对于水平预测模式，顶部列系以垂直方向滤波。对于垂直预测 模式，左侧行系以水平方向滤波。

以水平方向滤波一行取样可被了解为依序地施加水平取向的滤波器 至该行取样之各取样。因此，对于个别的取样，其值将通过滤波器的作用， 而根据来自该取样及以水平方向位移自该取样之取样位置处的一或多个 其他取样(亦即，所讨论之取样的左边及/或右边之一或多个其他取样) 之目前值所产生的滤波值，来加以修正。

以垂直方向滤波一列取样可被了解为依序地施加垂直取向的滤波器 至该列取样之各取样。因此，对于个别的取样，其值将通过滤波器的作用， 而根据来自该取样及以垂直方向位移自该取样之取样位置处的一或多个 其他取样(亦即，所讨论之取样的上面及/或下面之一或多个其他取样) 之目前值所产生的滤波值，来加以修正。

上述之边缘像素滤波处理之一目的在于降低预测中之以区块为主的 边缘效应，而藉以减少剩余影像数据之中的能量。

在实施例中，对应之滤波处理亦系提供用于4:4:4及4:2:2中的彩色 TU。当考虑水平子取样时，一提议系仅滤波4:2:2中之彩色TU的顶部列。 但滤波4:4:4中的顶部列及左侧行(适当地依据选择之模式)。可适当地考 虑仅在该等区域之中滤波，以避免滤除太多有用的细节，而导致剩余数据 之能量增加。

对于4:2:0，当选择DC模式时，则预测TU之顶部及/或左缘的其中 一者或二者系仅受到用于亮度频道的滤波。在此，此系其中亮度取样表示 亮度成分以及个别的彩色取样表示两个彩色成分，滤波步骤系施加至该三 个成分的子集，而该子集系该三个成分的其中一者或二者之情况的实例。 该子集可由亮度成分所组成。该滤波可包含滤波预测区块的取样中之取样 的左侧行，及预测区块的取样中之取样的顶部列之其中一者或二者。

该滤波可在DC模式中，使得滤波器做成(1×毗邻外部取样+3*边缘 取样)/4之平均运算，以供两边缘上的所有取样之用。然而，对于顶部左 边，滤波器功能系(2×目前取样+1×上面取样+1×左边取样)/4。此系其中， 在其中预测取样系产生成为周围取样之简单算术平均值的DC模式中，滤 波步骤包含滤波预测区块的取样中之取样的左侧行，及滤波预测区块的取 样中之取样的顶部列之运算的实例。

H/V滤波器系毗邻外部取样与边缘取样之间的平均器。

在若干实施例中，此滤波处理亦系提供用于4:4:4及4:2:2中的彩色 TU。而且，在若干实施例中，当考虑水平子取样时，仅滤波4:2:2之彩色 取样的顶部列，但滤波4:4:4之彩色TU的顶部列及左侧列。

因而，此技术可相对于视频编码或译码方法，设备或程序而应用，其 中在(例如)4:4:4格式或4:2:2格式中之亮度及彩色取样系依据与将被预 测之取样的区块相关联之预测方向，而被预测自其他个别的取样。

在该技术的实施例中，预测方向系相对于将被预测的目前区块而予以 侦测。彩色取样的预测区块系依据该预测方向所界定之其他彩色取样而产 生。若所侦测的预测方向系实质地垂直时(例如，系在其中n系(例如) 2之真正垂直模式的+/-n角度模式之内)，则在彩色取样的预测区块中滤波 取样的左行(例如，在使用水平取向滤波器的水平方向中)。或者，若所 侦测的预测方向系实质地水平时(例如，系在其中n系(例如)2之真正 水平模式的+/-n角度模式之内)，则在彩色取样的预测区块中滤波取样的 顶部列(例如，在使用垂直取向滤波器的垂直方向中)。在各自情况中， 操作可分别地仅施加至左行或顶部列。然后，编码所滤波的预测彩色区块 与实际的彩色区块之间的差异，例如，做为剩余数据。选择性地，测试可 用于真正垂直或水平模式，而非实质垂直或水平模式。+/-n的公差可被施 加至该等测试(垂直或水平)的其中一者，且非另一者。在本发明的实施 例中，可仅滤波预测区块的左行或顶部列，且该滤波可通过水平取向滤波 器或垂直取向滤波器而予以分别地执行。

该滤波可通过扮演关于此点之滤波器角色的个别预测器520、530， 而予以执行。

在滤波处理之后，该技术之实施例编码所滤波的预测彩色区块与实际 的彩色区块之间的差异(在编码器处)，或施加译码之差异至所滤波的预 测彩色区块，以便编码该区块(在译码器处)。

间预测

请注意的是，在HEVC中的间预测已允许矩形PU，所以4:2:2及4:4:4 模式系已与PU间预测处理可兼容。

视须影像之各帧系实际场景的分离取样，且因而，各像素系彩色及亮 度中之现实世界梯度的逐步近似。

为彰显此，当自前一视频帧中之值而预测新的视频帧中之像素的Y、 Cb或Cr值时，则插补该前一视频帧中之像素用以产生原始之现实世界梯 度的较佳估算，而允许亮度或彩色之更准确的选择以供新的像素之用。因 此，所使用以在视频帧之间指示的移动向量并未受限于整数像素分辨率。 而是，它们可指示所插补之影像内的子像素位置。

4:2:0间预测

现请参阅图25及图26，在如上述之4:2:0方案中，典型地，8×8亮 度PU 1300将与Cb及Cr 4×4彩色PU 1310相关联。因此，为了要插补亮 度及彩色像素数据直至相同有效的分辨率，将使用不同的插补滤波器。

例如，对于8×8 4:2:0亮度PU，插补系1/4像素，且因此，8抽头×4 滤波器系首先水平地施加，以及接着，相同的8抽头×4滤波器系垂直地 施加，以致使亮度PU在各方向中被有效地展开4次，而形成如图25中所 示之插补的数组1320。另一方面，对应之4×4 4:2:0彩色PU系1/8像素插 补，用以产生相同的最终分辨率，且因此，4抽头×8滤波器系首先水平地 施加，接着，相同的4抽头×8滤波器系垂直地施加，以致使4:2:0彩色PU 在各方向中被有效地展开8次，而形成如图26中所示之数组1330。

4:2:2间预测

现将参照图27及图28而叙述用于4:2:2之相似的配置，其描绘亮度 PU 1350及一对对应彩色PU 1360。

请参阅图28，如上述，在4:2:2方案中，彩色PU 1360可系非正方形， 且对于8×8 4:2:2亮度PU之情况，将典型地系4(宽)×8(高)4:2:2彩色 PU用于Cb及Cr频道的各者。注意的是，针对图28之目的，彩色PU系 绘制成为非正方形像素之正方形形状的数组，但在一般性的观点中，请注 意的，PU 1360系4(水平)×8(垂直)像素数组。

虽然可因此而垂直地使用现有8抽头×4亮滤波器于彩色PU上，但 在本发明之实施例中，已被理解的是，当实际上仅对插补的彩色PU之甚 至微少位置感兴趣时，则现有4抽头×8彩色滤波器将足以供垂直插补之 用。

因此，图27显示如之前以8抽头×4滤波器所插补的8×8 4:2:2亮度 PU 1350，以及以现有4抽头×8彩色滤波器所插补的4×8 4:2:2彩色PU 1360 于水平及垂直方向中，且仅具有甚至微少结果用以在垂直方向中形成插补 的影像。

该等技术系可应用至使用影像间预测以编码输入之视频数据的视频 编码或译码方法，设备或程序，其中各彩色成分具有亮度成分之1/M水平 分辨率，及亮度成分之1/N垂直分辨率，其中M及N系等于1或更大的 整数。例如，对于4:2:2，M＝2，N＝1。对于4:2:0，M＝2，N＝2。

帧储存器570系可操作以储存目前影像之前的或一或多个影像。

插补滤波器580系可操作以插补储存影像之较高分辨率版的预测单 元，以致使插补的预测单元之亮度成分具有储存影像的对应部分之水平分 辨率P倍的水平分辨率，以及储存影像的对应部分之垂直分辨率Q倍的垂 直分辨率，其中P及Q系大于1的整数。在目前之实例中，P＝Q＝4，以致 使插补滤波器580可操作以产生1/4取样分辨率之插补的影像。

移动估算器550系可操作以侦测目前影像与一或多个插补的储存影 像间的影像间之移动，以便产生目前影像的预测单元与该一或多个在前之 影像的区域之间的移动向量。

移动补偿预测器540系可操作以相对于由个别移动向量所指出之插 补的储存影像之区域，而产生目前影像之预测单元的移动补偿预测。

现请返回至插补滤波器580之操作的讨论，此滤波器的实施例系可操 作以施加xR水平及xS垂直插补滤波器至储存影像的彩色成分，用以产生 插补的彩色预测单元，其中R系相等于(U×M×P)且S系相等于(V×N×Q)， U及V系等于1或更大的整数；以及子取样插补的彩色预测单元，以致使 其水平分辨率系除以U之因子且其垂直分辨率系除以V之因子，而藉以 产生MP×NQ个取样的区块。

因此，在4:2:2的情况中，插补滤波器580施加x8插补于水平及垂 直方向中，且然后，通过2之因子，例如，通过使用插补输出中之每第二 个取样，而垂直地子取样。用以达成此之一方式系通过使索引值加倍于取 样的数组内。所以，考虑其系8取样之取样数组中的数组方向(诸如在此 实例中的垂直方向)，则编索引为0..7。在子取样的范围中之所需的取样系 编索引于范围0..3中。因此，使此索引加倍将给定0、2、4、及6之值， 其可接着被使用以在原始数组中存取取样，以致使每交变之取样被使用。 此系选择插补的彩色预测单元之取样的子集之实例。

因此，此技术允许相同的(例如，x8)滤波器相对于4:2:0及4:2:2 而被使用，但具有其中伴随4:2:2所需之子取样的进一步步骤。

在实施例中，如所讨论地，插补的彩色预测单元具有取样中之高度， 该取样中之高度系使用相同的xR及xS插补滤波器所插补之4:2:0格式预 测单元的该者之两倍。

提供不同滤波器之需要可通过使用该等技术，且尤其，通过使用相对 于4:2:0输入的视频数据及4:2:2输入的视频数据之相同的xR水平及xS 垂直插补滤波器，而予以避免或减轻。

如所讨论地，子取样插补的彩色预测单元之步骤包含使用垂直方向中 之插补的彩色预测单元之每第N个取样，及/或使用垂直方向中之插补的 彩色预测单元之每第U个取样。更通常地，子取样可包含选择插补的彩色 预测单元之取样的子集。

实施例可包含导出用于预测单元的亮度移动向量；以及独立地导出用 于该预测单元之一或多个彩色移动向量。

在若干实施例中，R及S的至少一者系2或更大；且在若干实施例中， 该xR水平及xS垂直插补滤波器亦系施加至储存影像的亮度成分。

应注意，相同的插补技术可被用于编码器中和解码器中。

4:4:4间预测变化例

通过引申，仅使用甚至微少结果以供现有的4抽头x8彩色滤波器之 用的相同原理可被垂直及水平地施加用于8×8 4:4:4彩色PU。

进一步地对该等实例，可使用该x8彩色滤波器以供所有插补之用， 包含亮度。

进一步的间预测变化例

在移动向量(MV)导出的一实施例中，一向量系产生用于P切片中 之PU(且两个向量用于B切片中之PU(其中P切片自前一帧取得预测， 以及B切片自前一及后一帧取得预测，其均系以与MPEG P及B帧相似 之方式))。明显地，在4:2:0方案中之此实施例中，该向量系共享于所有 频道，且此外，彩色数据无需被使用以计算移动向量。换言之，所有频道 使用根据亮度数据的移动向量。

在实施例中，于4:2:2方案中，可导出彩色向量以与亮度无关联(亦 即，可分离地导出用于Cb及Cr之单一向量)，且在4:4:4方案中，彩色向 量可进一步独立用于Cb及Cr频道之各者。

转换

在HEVC中，大多数影像系由在前所编码/译码的帧而被编码成为移 动向量，该移动向量告知译码器，在该其他译码的帧之何处可拷贝目前影 像的良好近似数据。结果系目前影像的近似版。然后，HEVC编码所谓的 剩余数据，其系该近似版与正确影像之间的误差。此剩余数据需要比直接 指明实际影像更少的信息。然而，其仍可大致优选地压缩此剩余信息，而 进一步降低全面的比特率。

在包含HEVC之许多编码方法中，该数据系使用整数余弦转换(ICT) 而被转换成为空间频域，且然后，典型地，一些压缩系通过保持低空间频 率数据及抛弃较高空间频率数据而依据所欲之压缩位准予以达成。

4:2:0转换

使用于HEVC中之空间频率转换系以4之乘方而产生系数(例如， 64个频率系数)之习知者，因为此系特别地适合一般的量化/压缩方法。 在4:2:0方案中之正方形TU均系4的乘方，且因此，此系直接达成。

若致能NSQT选用时，则某些非正方形转换系可用于诸如4×16之非 正方形TU，但再次明显地，该者产生64个系数，亦即，再次地，4之乘 方。

4:2:2及4:4:4转换变化

4:2:2方案可产生非正方形TU，其并非4之乘方；例如，4×8TU具 有32个像素，且32并非4之乘方。

因此，在实施例中，可使用用于非4数目之乘方的系数之非正方形转 换，而承认随后的量化处理可能需要修要。

选择性地，在实施例中，非正方形TU系分割成为具有4区域之乘方 的正方形区域，且生成之系数可加以交织。

例如，对于4×8区块奇数/偶数垂直取样，可予以分割成为两个正方 形区块。选择性地，对于4×8区块，顶部4×4像素及底部4×4像素可形成 两个正方形区块。再选择性地，对于4×8区块，可使用哈尔(Haar)小波 分解以形成下方及上方频率4×4区块。

可使该等选用之任何者可用，且可将特殊选用之选择信令至译码器或 由译码器所导出。

其他转换模式

在4:2:0方案中，具有提议的旗标(所谓 〝qpprime_y_zero_transquant_bypass_flag〞)，而允许剩余数据被无损失地 包含于比特流中(亦即，无需被转换、量化、或进一步地滤波)。在4:2:0 方案中，旗标应用至所有频道。

因而，该等实施例表示视频编码或译码方法，设备或程序，其中预测 亮度及彩色取样，且编码取样与个别预测取样之间的差异，并使用指示器， 该指示器被配置以指示亮度差异数据是否将被无损失地包含于输出比特 流中；以及独立地指示彩色差异数据是否将被无损失地包含于比特流中。 该旗标或该等旗标(或分别地，该指示器或等该指示器)可通过例如，控 制器343而予以插入。

在实施例中，所提议的是，用于亮度频道之旗标系与彩色频道分离。 因此，对于4:2:2方案，该等旗标应被分离地设置用于亮度频道及用于彩 色频道，且对于4:4:4方案，该等旗标应被分离地设置用于亮度及彩色频 道，或一旗标系设置用于该三个频道之各者。此认可与4:2:2及4:4:4方案 相关联之增加的彩色数据速率，且使例如，无损失的亮度数据能与压缩之 彩色数据在一起。

对于内预测编码，模式相依之方向性转换(MDDT)允许用于TU之 水平或垂直ICT(或二者ICT)根据内预测方向，而以整数正弦转换允以 置换。在4:2:0方案中，此并未被施加至彩色TU。然而，在实施例中，所 提议的在于施加其至4:2:2及4:4:4彩色TU，而请注意的是，IST仅系目 前界定用于4取样转换尺寸(水平地或垂直地)，且因此，目前无法被垂 直地施加至4×8彩色TU。

在视频编码的方法中，可配置各种实施例以便指示亮度差异数据是否 将被无损失地包含于输出比特流中；以及独立地指示彩色差异数据是否将 被无损失地包含于比特流中，且以该等指示所界定的形式编码或包含相关 联的数据。

量化

在4:2:0方案中，用于彩色之量化计算系与用于亮度相同。惟，量化 参数(QP)系不同。

用于彩色之QP系如下地计算自亮度QP：

Qp_Cr＝缩放表[Qp_亮度+second_chroma_qp_index_offset]

其中该缩放表系如图29a或图29b(分别用于4:2:0及4:2:2)中所示 地界定，以及〝chroma_qp_index_offset〞及 〝second_chroma_qp_index_offset〞系界定于图像参数值之中，且可相同或 不同以供Cr及Cb之用。换言之，在中括号之中的值于各情况中界定〝索 引〞至缩放表之内(图29a或图29b)，且缩放表接着给予QP(〝值〞) 之校正值。

注意的是，取代地，〝chroma_qp_index_offset〞及 〝second_chroma_qp_index_offset〞可被分别称为cb_qp_offset及 cr_qp_offset。

彩色频道典型地包含比亮度更少的信息，且因此，具有更小规模的系 数；在彩色QP上之此限制可防止所有彩色细节在比重大的量化位准处损 失。

在4:2:0中之QP-除数关系系对数者，以致使QP中之6的增加相等 于除数之加倍(在此说明书中之其他处所讨论之量化步阶尺寸，注意的是， 虽然其可在使用前通过Q_矩阵而予以进一步修正)。因此，在51-39＝12之缩 放表中的最大差异表示除数中之4的因子之改变。

然而，在实施例中，对于潜在包含4:2:0方案之两倍彩色信息的4:2:2 方案，于缩放表中之最大彩色QP值可上升至45(亦即，除数减半)。相 似地，对于4:4:4方案，在缩放表中之最大彩色QP值可上升至51(亦即， 与除数相同)。在此情况中，实际上，该缩放表系冗余的，但可被单纯地 保持以供运算效率之用(亦即，使得系统以相同方式参照用于各方案之表 而工作)。所以，更一般性地，在实施例中，彩色QP除数系响应相对于 4:2:0方案之编号方案中之信息总量，而予以修正。

因而，实施例应用至视频编码或译码方法，其可操作以依据界定量化 步阶尺寸之选择的量化参数，而量化4:4:4或4:2:2格式中之频率转换的亮 度及彩色成分数据之区块。量化参数关联(诸如例如，图29a或图29b中 之适当的表)系界定亮度与彩色量化参数之间，其中该关联系使得对于 4:2:2格式，最大彩色量化步阶尺寸小于最大亮度量化步阶尺寸(例如， 45)，但对于4:4:4格式则相等于最大亮度量化步阶尺寸(例如，51)。量 化处理操作以产生量化之空间频率数据的对应区块，其中频率转换之数据 的各成分系通过导出自个别量化步阶之个别值而予划分，以及结果被修整 为整数值。

将理解的是，划分及修整步骤指示依据个别量化步阶尺寸(或导出自 其之数据，例如，通过Q矩阵之施加)之一般性量化阶段的实例。

实施例包含选择量化参数或索引(用于亮度之QP)用以使空间频率 系数量化，该量化参数依据可应用至亮度数据的QP表而对一组量化步阶 之个别者扮演参考值的角色。然后，界定量化参数关联的处理可包含：对 于彩色成分，参考依据所选择的量化参数之修正量化参数的表(诸如图29a 或图29b之表)，其依序包含(i)对于第一彩色成分，添加第一偏置(诸 如chroma_qp_index_offset)至量化参数，且在表中，选择对应于登录之修 正的量化索引，用以使该量化索引增加该第一偏置；以及(ii)对于第二 彩色成分，添加第二偏置(诸如second_chroma_qp_index_offset)至量化 参数，且在表中，选择对应于输入之修正的量化索引，用以使该量化索引 增加该第二偏置；以及参考依据用于亮度数据之量化参数和用于第一及第 二彩色成分之第一及第二修正的量化索引之该组中的个别量化步阶尺寸。 当以不同方式观察时，此系包含选择量化参数用以使空间频率系数量化之 处理的实例，该量化参数对一组量化步阶之个别者扮演参考值的角色；且 其中界定步骤包含：对于彩色成分，参考依据所选择的量化参数之修正量 化参数的表，该参考步骤包含：对于各彩色成分，添加个别的偏置至量化 参数，且在表中，选择对应于登录之修正的量化参数，用以使该量化参数 增加个别之偏置；以及参考依据依据用于亮度数据之量化参数和用于第一 及第二彩色成分之第一及第二修正的量化参数之该组中的个别量化步阶 尺寸。

该等技术系特别可应用至其中在该组中之该等量化步阶尺寸的连续 值系对数地相关联之配置，以致使m(其中m系整数)之量化参数中的 改变表示通过p之因子(其中p系大于1的整数)的量化步阶尺寸中的改 变。在本发明实施例中，m＝6及p＝2。

在实施例中，如上述，最大亮度量化参数系51；对于4:2:2格式，最 大彩色量化参数系45；以及对于4:4:4格式，最大彩色量化参数系51。

在实施例中，第一及第二偏置可以与编码之视频数据相关联而被连 系。

在4:2:0中，最初，转换矩阵A系使用：

$A_{\mathrm{ij}}=\mathrm{int}(64\times \sqrt{N}\times {A^{\prime }}_{\mathrm{ij}})$

而由真正常态化之N×N DCT A’的该等者所产生(通过转换单元 340)，其中i及j指示矩阵内之位置。相对于常态化之转换矩阵的此缩放 提供精确度中的增加，避免分次计算之需，以及增加内部精准度。

当忽略由于A_ij之修整的差异时，因为X系乘以A及A^T二者(矩阵 A之移项)，所以生成之系数与通过：

$(64\times \sqrt{N})(64\times \sqrt{M})=4096\sqrt{N}\sqrt{M}$

的共同缩放因子之真正常态化M×N(M＝高度、N＝宽度)的该等者 不同。

注意的是，该一般缩放因子可与此实例不同。而且，请注意的是，矩 阵乘以A及A^T二者可以以各种方式加以执行，诸如蝶形方法(Butterfly  method)。表明的事实在于所执行之该运算是否相等于传统的矩阵乘法， 而非其是否以特殊传统的运算序列予以执行。

此缩放因子系等效于通过若干位转换偏移(transformShift)之二元左 移位元运算，因为在HEVC中，此产生2的乘方：

transformShift＝(12+0.5log₂(N)+0.5log₂(M))

为了要降低内部位精准度上之需求，该等系数系在转换处理期间右移 两次(使用正修整)：

shift1＝log₂(N)+bitDepth-9

shift2＝log₂(M)+6

因而，当该等系数离开顺向转换过程且进入量化器时，它们系通过下 式而有效地左移：

resultingShift(全面偏移)＝(12+0.5log₂(NM))-(shift1+shift2)

＝(12+0.5log₂(N)+0.5log₂(M))-(log₂(N)+bitDepth-9+log₂(M)+6)

＝15-(0.5log₂(N)+0.5log₂(M)+bitDepth)

在4:2:0中，由频率转换所产生之频率分离(例如，DCT)系(2^{resultingShift}) 之因子，其大于常态化DCT将产生之该等者。

在若干实施例中，该等区块系具有2：1纵横比之正方形或矩形。因 此，对于N×M之区块大小：

N＝M，在该情况中，resultingShift系整数且S＝N＝M＝sqrt(NM)；或

0.5N＝2M或2N＝0.5M，在该情况中，resultingShift仍系整数且 S＝sqrt(NM)

resultingShift＝15-(0.5log₂(N)+0.5log₂(M)+bitDepth)＝15-(log₂(S)+bitDepth)

随后，将该等系数量化，其中量化除数系根据量化参数QP而加以导 出。

注意的是，resultingShift系等于整数，所以共同缩放因子系2的整数 乘方，该转换过程之全面左移〝resultingShift〞亦系通过施加相等但相反 的右移〝quantTransformRightShift〞而在此阶段被说明。

因为resultingShift系整数，所以位偏移操作系可能的。

而且，请注意的是，如上述，除数-QP(量化参数或索引)关系遵循 2之基的乘方曲线，其中在QP中增加6具有使除数加倍之功效，而在QP 中增加3则具有增加除数sqrt2(2之平方根)之因子的功效。

由于在4:2:2中之彩色格式，所以具有更多的TU宽度：高度(N：M) 比：

N＝M(根据前文)其中S＝N＝M＝sqrt(NM)(resultingShift系整数)

0.5N＝2M及2N＝0.5M(根据前文)其中S＝sqrt(NM)(resultingShift 系整数)

N＝2M    其中S＝sqrt(NM)

2M＝N    其中S＝sqrt(NM)

4N＝0.5M    其中S＝sqrt(NM)

resultingShift＝15-(log₂(S)+bitDepth)

在该等后者之三个情势中，resultingShift并非整数。例如，此可应用 于其中视频数据取样的区块之至少若干者包含M×N取样，其中N/M的平 方根并不等于2的整数方。该区块尺寸可在若干本发明实施例中，相对于 彩色取样而发生。

因而，在该等情况中，以下技术系与视频编码或译码方法，设备或程 序相关联，也就是说，其系可操作用以通过使用包含整数值数组之转换矩 阵而执行频率转换于视频数据取样的区块上，该等整数值系相对于常态化 转换矩阵之个别的值而各自地缩放相依于该转换矩阵之尺寸的数量；以及 用以根据选择的量化步阶尺寸而量化空间频率数据，其具有通过以转换矩 阵矩阵相乘区块及转换矩阵之移项而频率转换视频数据取样之区块的步 骤，用以通过共同缩放因子(例如，resultingShift)而产生缩放之空间频 率系数的区块，该等系数系大于将由视频数据取样之该区块的常态化频率 转换所产生之空间频率系数。

因此，在量化阶段，无法使用适当的位偏移操作而以简单方式抵销该 操作。

对此之解决方法系提议如下：

在量化器阶段，施加右移：

quantTransformRightShift＝15-log2(S’)-bitDepth

其中该值S’系导出使得

resultingShift-quantTransformRightShift＝+1/2

quantTransformRightShift是整数

在1/2之位移间的差异系相等于通过sqrt(2)的乘法，亦即，在此点， 该等系数系大于它们应有之sqrt(2)倍，而使位偏移整数个位偏移。

对于量化过程，施加(QP+3)之量化参数意指的是，量化除数系有 效地增加sqrt(2)之因子，而藉以抵消来自前一步骤的sqrt(2)缩放因子。

因而，可概述该等步骤(在视频编码或译码方法(或对应之设备或程 序)的情况中，其系可操作用以通过使用包含整数值数组之转换矩阵而执 行频率转换于视频数据取样的区块上，该等整数值系相对于常态化转换矩 阵之个别的值而各自地缩放相依于该转换矩阵之尺寸的数量；以及用以根 据选择的量化步阶尺寸而量化空间频率数据，其包含通过以转换矩阵矩阵 相乘区块及转换矩阵之移项而频率转换视频数据取样之区块，用以通过共 同缩放因子而产生缩放之空间频率系数的区块，该等系数系大于将由视频 数据取样之该区块的常态化频率转换所产生之空间频率系数)如下：选择 量化步阶尺寸，用以量化空间频率系数；施加n位偏移(例如， quantTransformRightShift)，用以通过2ⁿ之因子而除所缩放之空间频率系 数之各者，其中n系整数；以及侦测剩余缩放因子(例如， resultingShift-quantTransformRightShift)系由2ⁿ所除之共同缩放因子。例 如，在上述情势中，量化步阶尺寸系接着依据剩余缩放因子而产生修正之 量化步阶尺寸；以及在区块中之缩放的空间频率之各者系除以依据修正之 量化步阶尺寸及修正结果为整数值的值，用以产生量化之空间频率数据的 区块。如所讨论地，量化步阶尺寸之修正可通过添加偏置至QP而予以简 单地执行，以便当映射QP至量化步阶尺寸的表之内时，选择不同的量化 步阶尺寸。

现在，该等系数系用于原始QP之正确大小。

转换矩阵可包含整数值之数组，该等整数值系相对于常态化转换矩阵 之个别的值而缩放相依于转换矩阵之尺寸的数量。

其跟随的是，用于S’之所需的值常可被导出如下：

S’＝sqrt(2＊M＊N)

做为选择性之提议，S’可被导出使得：

resultingShift-quantTransformRightShift＝-1/2

在此情况中，S’＝sqrt(1/2*M*N)，且所施加之量化参数系(QP-3)。

在该等情况的各者中(添加3至QP或自QP减3)，选择量化步阶尺 寸的步骤包含选择量化索引(例如，QP)，该量化索引界定量化步阶尺寸 之表中的个别登录，以及修正步骤包含改变量化索引，以便选择不同的量 化步阶尺寸，使得不同的量化步阶尺寸对原始所选择的量化步阶尺寸之比 例系实质地相等于剩余缩放因子。

此工作得特别良好，其中，如在本发明之实施例中，在表中之量化步 阶尺寸的连续值系对数地相关联，以致使m(其中m系整数)之量化索 引(例如，QP)中改变表示量化步阶尺寸改变p之因子(其中p系大于1 的整数)。在本发明之实施例中，m＝6及p＝2，以致使QP中之6的增加表 示所施加之量化步阶尺寸的加倍，以及在QP中之6的减少表示生成之量 化步阶尺寸的减半。

如上述，该修正可通过选择相对于亮度取样的量化索引(例如，QP 基)；产生与选择用于亮度取样之量化索引相关联的量化索引偏置，以供 彩色成分的各者或二者之用；依据剩余缩放因子而改变量化编置；以及与 编码之视频数据相关联而传达该量化索引偏置，而予以执行。在HEVC的 实施例中，用于该二彩色频道的QP偏置系以比特流而加以传送。该等步 骤对应其中可将+/-3之QP偏置(为说明剩余缩放因子)结合至该等偏置 之内，或当使用该等偏置以导出彩色QP时，可将它们增量/减量的系统。

注意的是，若使用不同形状的区块时，QP偏置无需一定要系+/-3； 而+/-3仅系表示可应用至上述相对于例如，4:2:2视频之区块形状及纵横 比的偏置。

在若干实施例中，n(如所施加之位偏移)系选择使得2ⁿ大于或等于 共同缩放因子。在其他实施例中，n系选择使得2ⁿ小于或等于共同缩放因 子。在实施例(使用该等配置之任一者)中，可选择位偏移n以便成为最 靠近(在任一方向中)共同缩放因子之下一者，使得剩余缩放因子表示具 有小于2之大小的因子。

在其他实施例中，量化步阶尺寸之修正可通过使该量化步阶尺寸乘以 相依于剩余缩放因子之因子，而予以简单地执行。也就是说，该修正无需 包含修正索引QP。

而且，请注意的是，如上述之量化步阶尺寸无需一定要系其中转换的 取样系由其所划分之实际量化步阶尺寸。以此方式所导出之量化步阶尺寸 可予以进一步修正。例如，在若干配置中，该量化步阶尺寸系通过值之矩 阵(Q矩阵)中之个别的登录而予以进一步修正，以致使不同的最终量化 步阶尺寸系使用于系数之量化区块之不同的系数位置处。

而且，值得注意的是，在4:2:0方案中，最大的彩色TU系16×16， 而对于4:2:2方案，16×32TU系可能的，且对于4:4:4，32×32彩色TU系 可能的。因此，在实施例中，系提议用于32×32彩色TU之量化矩阵(Q 矩阵)。同样地，Q矩阵应被界定用于诸如16×32TU之非正方形TU，而 一实施例系较大正方形Q矩阵的子取样。

Q矩阵可通过以下之任一者而加以界定：

在格栅中之值(关于4×4及8×8Q矩阵)；

空间地插补自个别之较小或较大的矩阵；

-在HEVC中，较大的Q矩阵可由较小参考者之系数的个别组群所 导出，或较小的矩阵可被子取样自较大的矩阵。注意的是，此插补或子取 样可在频道比之内被执行-例如，用于频道比之较大矩阵可通过用于该频 道比之较小者而予以插补。

与其他Q矩阵有关者(亦即，不同的值，或差量)；

-因此，仅需传送该等差量。

仅取小的实例以供描绘性目的之用，诸如相对于4:2:0的4×4矩阵之 用于一频道比的特殊矩阵可被界定：

(a b)

(c d)

其中a，b，c，及d系个别系数。此扮演参考矩阵之角色。

本发明之实施例可接着相对于另一频道比而界定一组不同的值，以供 相似尺寸的矩阵之用：

(diff1 diff2)

(diff3 diff4)

使得为了要产生用于其他频道比之Q矩阵，差值之矩阵被矩阵相加 至该参考矩阵。

取代差值，可界定乘法因子的矩阵以供其他频道比之用，使得(i) 乘法因子之矩阵系与参考矩阵矩阵相乘，用以产生用于其他频道比之Q矩 阵，或(ii)在参考矩阵中之各系数系由个别因子所分别地相乘，用以产 生用于其他频道比的Q矩阵。

做为另一Q矩阵之函数；

-例如，与另一矩阵相关联之缩放比(使得上述实例中之a、b、c、 及d之各者系乘以相同的因子，或具有相同的差值被添加至其)。此降低 用以传输差值或因子数据之资需求。

-因此，仅需传送该等函数之系数(诸如缩放比)。

做为方程式/函数(例如，每件之线性曲线、指数、多项式)；

-因此，仅需传送该等方程式之系数，用以导出该矩阵，

或上述之任何组合。例如，实际上，a、b、c、及d之各者可由函数 所界定，该函数可包含在矩阵内之系数位置(i，j)上之相依性。例如， (i，j)可表示矩阵之自左至右的系数位置，紧随着自顶部至底部的系数 位置。实例系：

系数_ij＝3i+2j

注意的是，可将Q矩阵称为HEVC环境内之缩放列表。在其中量化 系在扫描处理之后施加的实施例中，所扫描的数据可系连续数据取样的线 性流。在该等情况中，Q矩阵的概念仍施加，但矩阵(或扫描列表)可被 视为1×N矩阵，使得在1×N矩阵内之N个数据值顺序对应其中个别的Q 矩阵值将被施加之扫描取样的顺序。换言之，具有1:1的关系于扫描数据 中的数据顺序、依据扫描图案的空间频率、及在1×N Q矩阵中的数据顺序 之间。

注意的是，在若干实施例中，可旁路或省略DCT(频率分离)阶段， 但要保持量化阶段。

其他有用的信息包含其中该等值系与其他矩阵相关联选用指示器，亦 即，前一频道或第一(初始)频道；例如，如所示地，用于Cr之矩阵可 系用于Y、或用于Cb之矩阵的缩放因子。

因而，本发明之实施例可提供视频编码或译码方法(及对应之设备或 计算机程序)，其系可操作通过(选用地)执行频率转换于视频数据取样 的区块上，且依据选择的量化步阶尺寸及修正该量化步阶尺寸之数据的矩 阵以供使用于取样之有序区块(诸如频率转换取样之有序区块)内之不同 的个别区块位置之用，用以量化该视频数据(诸如空间频率数据)，而产 生量化之空间频率数据的区块，该方法系可相对于至少两个不同的彩色子 取样格式而操作。

对于该等彩色子取样的至少一者，一或多个量化矩阵系相对于一或多 个参考量化矩阵而被界定为一或多个预订的修正，该等参考量化矩阵系界 定用于彩色子取样格式的参考者。

在本发明之实施例中，界定步骤包含界定一或多个量化矩阵做为值之 矩阵，而该等值之各者系由参考量化矩阵之个别的复数个值所插补。在其 他实施例中，界定步骤包含界定一或多个量化矩阵做为值之矩阵，而该等 值的各者系子取样自参考量化矩阵的值。

在本发明之实施例中，界定步骤包含相对于参考量化矩阵的对应值而 界定一或多个量化矩阵做为差值之矩阵。

在本发明之实施例中，界定步骤包含界定一或多个量化矩阵做为参考 量化矩阵之值的预定函数。在该等情况中，该预定函数可系多项式函数。

在本发明之实施例中，以下之一者或二者系提供做为例如，编码之视 频数据的一部分或与编码之视频数据相关联：(i)参考指示器之数据，用 以相对于编码之视频数据而指示参考量化矩阵；以及(ii)修正指示器之 数据，用以相对于编码之视频数据而指示一或多个预定的修正。

该等技术系特别地可应于其中该等彩色子取样的二者系4:4:4及4:2:2 格式。

在HEVC 4:2:0中之Q矩阵的数目系现行地6用于各转换尺寸：3用 于对应频道，以及一组用于帧内及用于帧间。在4:4:4GBR方案的情况中， 将理解的是，可使用量化矩阵的任一组以供所有频道之用，或可使用量化 矩阵之三个个别的组。

在本发明之实施例中，该等矩阵之至少一者系1×N矩阵。此将系其 中一或多个矩阵实际系缩放列表或其类似者的情况(如在此所述地)，而 成为系数之线性1×N有序数组。

所提议之解决方法包含减量或增量所施加之QP。然而，此可以以若 干方式予以达成。

在HEVC中，用于该二彩色频道之QP偏置系传送于比特流中。该 +/-3可结合至该等偏置之内，或当使用该等偏置以导出彩色QP时，可将 该等偏置增量/减量。

如上文所讨论地，(亮度QP+彩色偏置)系使用做为表之索引，以便 导出彩色QP。此表可被修正用以结合该+/-3(亦即，通过以3增量/减量 原始之表的值)。

在已导出彩色QP之后，依照正常HEVC处理，可接着将结果增量(或 减量)3。

做为用以修正QP之选择列，可使用sqrt(2)或1/sqrt(2)之因子以修正 量化系数。

对于顺向/反向量化，除法/乘法处理系通过使用(QP％6)做为表 之索引而予以实施，用以获得量化系数或量化步阶尺寸，反向Q步阶/缩 放Q步阶。在此，QP％6意指QP模6)。注意的是，如上述，此并不表 示所施加至转换数据之最终的量化步阶尺寸；而是可在使用前，通过Q矩 阵将其予以进一步修正。

在HEVC中的缺设表示系长度6，涵盖倍频(加倍)之值。此系单纯 降低储存需求之意义；该等表系通过依据QP之模数(模6)选择表中之 登录，且然后，乘以或除以2之适当乘方，根据来自预定基值之(QP-QP 模6)的差值，而予以扩展以供实际使用之用。

此配置可加以变化，而允许用于QP值中之+/-3的偏置。该偏置可在 表之对照处理中被施加，或上述之模数处理可使用修正之QP而予以取代 地执行。然而，假设偏置系在表对照时施加，则可如下地提供额外的登录 于表之中：

一选择例系以3个登录扩展该表，其中该等新的登录系如下(用于6 至8之索引值)。

在图30中所示的实例表将由[(QP％6)+3]所索引(〝QP增量方 法〞)，其中记号QP％6表示〝QP模6〞。

在图31中所示的实例表将由[(QP％6)-3]所索引(〝QP减量方 法〞)，具有用于-1至-3之索引值的额外登录。

熵编码

基本的熵编码包含指定码字至输入的数据符号，其中最短的可用码字 系指定至该输入的数据之最可能的符号。平均而言，结果系无损失，但更 小地表示输入的数据。

此基本方案可通过辨识出最近在前之数据上的符号机率常系条件性， 而予以进一步地改善，且因此，使该指定处理上下文适应。

在该方案中，上下文变量(CV)系使用以决定个别之机率模型的选 择，且该等CV系提供用于HEVC 4:2:0方案中。

为了要扩展熵编码至4:2:2方案，而该方案将使用例如，4×8彩色TU 而非用于8×8亮度TU之4×4TU，可通过简单地垂直重复等效之CV选择 而选用地提供该等上下文变量。

然而，在本发明之实施例中，CV选择并不重复用于顶部左边系数(亦 即，高能量、DC、及/或低空间频率系数)，且取代地，新的CV被导出。 在此情况中，例如，可将映像导出自亮度映像。此方式亦可使用于4:4:4 方案。

在编码期间，于4:2:0方案中，所谓z字形扫描自高至低频率顺序地 扫描该等系数。然而，请再注意的是，在4:2:2方案中之彩色TU可系非 正方形，且因此，在本发明之实施例中，不同的彩色扫描系以倾斜而使其 更水平，或更一般地，回应TU之从横比的扫描角度予以提议。

相似地，对于效映像之CV选择的附近以及用于大于1及大于2之 CV选择的c1/c2系统可一致地适应。

同样地，在本发明之实施例中，最后有效系数位置(其在译码期间变 成起始点)亦可被调整用于4:4:4方案，而用于彩色TU之最后有效位置 系微分编码自协同定位的亮度TU之最后有效位置。

该系数扫描亦可被做成相依于某些TU尺寸之预测模式。因此，不同 的扫描序列可根据内预测模式而使用于一些TU尺寸。

在4:2:0方案中，模式相依之系数扫描(MDCS)仅系施加用于4×4/8×8 亮度TU及4×4彩色TU，以供内预测之用。MDCS系根据内预测模式， 考虑距离水平及垂直+/-4之角度而予以使用。

在本发明之实施例中，所提议的是，在4:2:2方案中，MDCS系施加 至4×8及8×4彩色TU，以供内预测之用。相似地，所提议的是，在4:4:4 方案中，MDCS系施加至8×8及4×4彩色TU。用于4:2:2之MDCS仅可 在水平或垂直方向做成，以及4:4:4彩色对4:4:4亮度对4:2:2彩色对4:2:2 亮度对4:2:0亮度之角度范围可系不同的。

循环内滤波器

解区块

解区块系施加至所有的CU、PU、及TU边界，且CU/PU/TU形状并 不予以考虑。滤波器长度及尺寸系根据局部统计而定，且解区块具有8×8 亮度像素之颗粒度。

因此，可预期的是，所施加用于4:2:0方案之目前的解区块亦应可应 用于4:2:2及4:4:4方案。

取样适应性偏置

在取样适应性偏置(SAO)中，各频道系完全地独立。SAO使用四 分树(quad-tree)而分割影像数据用于各频道，且生成之区块系在尺寸上 至少一LCU。该等叶状区块系配向至LCU边界，且各叶状物可如编码器 所决定地延伸于三模式之一者(〝中央带偏置〞，〝侧带偏置〞，或〝边 缘偏置〞)。各叶状物分类其之像素，且编码器通过比较SAO输入数据与 源数据而导出用于16个分类之各者的偏置值。该等偏置系传送至译码器。 用于解码之像素种类的偏置系添加至其值，用以使来源之偏差最小化。

此外，SAO系致能或使失能于图像位准；若致能用于亮度时，则其 亦可被分别致能用于各彩色频道。因此，SAO将仅在被施加至亮度时，才 会被施加至彩色。

因而，该处理系大大地简易于根本之区块方案，且可预期的是，目前 所施加用于4:2:0方案之SAO亦应可应用于4:2:2及4:4:4方案。

适应性循环滤波

在4:2:0方案中，适应性循环滤波(ALF)系通过缺设而使失能。然 而，原则上(亦即，若允许时)，则ALF将被施加至用于彩色的整个图像。

在ALF中，取样可如HEVC文献所决定地被分类为若干种类的其中 一者；各种类使用不同的维纳为主(Wiener-based)滤波器。

对照地，在4:2:0中，彩色取样并未被分类-仅具有-维纳为主滤波器 用于Cb，以及一用于Cr。

因此，在本发明之实施例中，依照4:2:2及4:4:4方案中所增加之彩 色信息，所提议的是，将彩色取样分类；例如，以K种类用于4:2:2以及 以J种类用于4:4:4:。

虽然在4:2:0方案中，可使用ALF控制旗标而以每CU为基础(向下 至ALF控制深度所指明之CU位准)使ALF失能，但对于彩色，仅可以 以每图像为基础使其失能。注意的是，在HEVC中，目前之此深度仅受限 于LCU位准。

因而，在本发明之实施例中，4:2:2及4:4:4方案系以一或两个两频道 特定ALF控制旗标提供用于彩色。

句法

在HEVC中，句法系已存在用于指示4:2:0、4:2:2、或4:4:4方案， 且系以关联位准予以指示。然而，在本发明之实施例中，所提议的是，亦 以此位准指示4:4:4GBR编码。

数据信号

将理解的是，由上述编码设备的变化例所产生之数据信号，及承载该 等信号之储存或传输媒体系视为表示本发明之实施例。

通过以下编号条款来限定各个实施例的特征

1.一种视频编码方法，相对于4:2:2格式视频信号的影像操作，包括：

将被编码的影像划分成为编码单元、预测单元、及转换单元以供编码 之用，编码单元系亮度取样及对应彩色取样的正方形数组，而在编码单元 中具有一或多个预测单元，且在编码单元中具有一或多个转换单元；其中 预测单元系预测的基本单元，以致使单一预测单元内的所有取样使用共同 的预测技术而予以预测，以及转换单元系转换及量化的基本单元；

致能非正方形转换以便允许非正方形预测单元；并且

选择转换单元区块尺寸以与预测单元区块布局对齐。

2.根据条款1所述的方法，包括：

致能非对称移动划分以允许对应单一编码单元之二或多个预测单元 间的非对称。

3.根据条款1或条款2所述的方法，其中选择转换单元区块尺寸的步 骤包括：

侦测对应于预测单元的影像的各部分中的影像特征；并且

选择相对于该PU的TU区块尺寸，以便使TU边界与该影像的该部 分中之影像特征的边缘对齐。

4.根据条款3所述的方法，其中选择转换单元区块尺寸的步骤包括：

依据相对于各个预测单元的尺寸限定的除数(division)的树状结构， 选择转换单元区块尺寸用于从编码单元导出的一个或多个变换单元。

5.根据上述任一项条款所述的方法，其中选择转换单元区块尺寸的 步骤包括：根据所选择的编码单元和预测单元的组态从以下表中选择转换 单元区块尺寸：

其中层次0、层次1和层次2表示除数的树状结构中的连续层次，n/a 表示未允许的模式，各区块的大小由(水平尺寸)×(垂直尺寸)×(情况 之数目，如果适用)的符号表示，并且N是大于1的整数。

6.根据条款1至4中任一项所述的方法，其中选择转换单元区块尺寸 的步骤包括：根据所选择的编码单元和预测单元的组态从以下表中选择转 换单元区块尺寸：

其中层次0、层次1和层次2表示除数的树状结构中的连续层次，n/a表示 未允许的模式，各区块的大小由(水平尺寸)×(垂直尺寸)×(情况之数 目，如果适用)的符号表示，并且N是大于1的整数。

7.根据前述条款任一项所述的方法，包括：在转换或量化该转换单 元之前将非正方形转换单元分割成多个正方形单元。

8.一种计算机软件，在由计算机执行时，致使该计算机执行根据上 述条款中的任一项所述的方法。

9.一种计算机可读取之非瞬时储存介质，其储存根据条款8所述的 方法。

10.一种数据信号，包含编码之数据，系根据条款1至7中的任一项 所述之方法而予以产生。

11一种视频编码设备，相对于4:2:2格式视频信号的影像操作，包括：

控制器，被配置为将被编码的影像划分成为编码单元、预测单元、及 转换单元以供编码之用，编码单元系亮度取样及对应彩色取样的正方形数 组，而在编码单元中具有一或多个预测单元，且在编码单元中具有一或多 个转换单元；其中预测单元系预测的基本单元，以致使单一预测单元内的 所有取样使用共同的预测技术而予以预测，以及转换单元系转换及量化的 基本单元；致能非正方形转换以便允许非正方形预测单元；并且选择转换 单元区块尺寸以与预测单元区块布局对齐。

通过以下编号条款限定进一步的各个实施例：

1.一种视频译码方法，系使用影像间之预测而编码输入的视频数据， 其中各彩色成分具有亮度成分的1/M水平分辨率及该亮度成分的1/N垂直 分辨率，其中M及N系等于1或更大的整数，该方法包含：

储存目前影像之前的一或多个影像；

插补该等储存影像的较高分辨率版之预测单元，以致使该等插补的预 测单元之该等亮度成分具有该等储存影像的对应部分之水平分辨率P倍 的水平分辨率，及该等储存影像的该等对应部分之垂直分辨率Q倍的垂直 分辨率，其中P及Q系大于1的整数；

侦测目前影像与该一或多个插补的储存影像间的影像间之移动，以便 产生该目前影像的预测单元与该一或多个在前之影像的区域之间的移动 向量；以及

相对于由个别移动向量所指出之该等插补的储存影像的区域，而产生 该目前影像的该预测单元之移动补偿预测，

其中该插补步骤包含：

施加xR水平及xS垂直插补滤波器至该等储存影像的该等彩色成分， 用以产生插补的彩色预测单元，其中R系相等于(U×M×P)且S系相等 于(V×N×Q)，U及V系等于1或更大的整数；以及

子取样该等插补的彩色预测单元，以致使其水平分辨率系除以U之 因子且其垂直分辨率系除以V之因子，而藉以产生MP×NQ个取样的区块。

2.根据条款1之方法，其中M＝2以及N＝1。

3.根据条款2之方法，其中该输入的视频数据系4:2:2格式。

4.根据条款3之方法，其中该等插补的彩色预测单元具有取样中之 高度，该取样中之高度系使用相同的xR及xS插补滤波器所插补之4:2:0 格式预测单元的该者之两倍。

5.根据条款2之方法，该方法系相对于4:2:0输入的视频数据及4:2:2 输入的视频数据，而可使用相同的xR水平及xS垂直插补滤波器分别地操 作。

6.根据前述条款中任一项之方法，其中P＝4。

7.根据前述条款中任一项之之方法，其中Q＝4。

8.根据前述条款中任一项之之方法，其中子取样该等插补的彩色预 测单元之该步骤包含使用垂直方向中之该等插补的彩色预测单元之每第 V个取样。

9.根据前述条款中任一项之之方法，其中子取样该等插补的彩色预 测单元之该步骤包含使用垂直方向中之该等插补的彩色预测单元之每第 U个取样。

10.根据前述条款中任一项之之方法，包含：

导出亮度移动向量用于预测单元；以及

独立导出一或多个彩色移动向量用于该预测单元。

11.根据前述条款中任一项之之方法，其中R及S的至少一者系等于 2或更大。

12.根据前述条款中任一项之之方法，包含施加xR水平及xS垂直插 补滤波器至该等储存影像的该等亮度成分。

13.根据前述条款中任一项之之方法，其中该子取样包含选择该等插 补的彩色预测单元之取样的子集。

14.一种视频编码方法，系使用影像间之预测而编码输入的视频数 据，其中各彩色成分具有亮度成分的1/M水平分辨率及该亮度成分的1/N 垂直分辨率，其中M及N系等于1或更大的整数，该方法包含：

储存目前影像之前的一或多个影像；

插补该等储存影像的较高分辨率版之预测单元，以致使该等插补的预 测单元之该等亮度成分具有该等储存影像的对应部分之水平分辨率P倍 的水平分辨率，及该等储存影像的该等对称部分之垂直分辨率Q倍的垂直 分辨率，其中P及Q系大于1的整数；

侦测目前影像与该一或多个插补的储存影像间的影像间之移动，以便 产生该目前影像的预测单元与该一或多个在前之影像的区域之间的移动 向量；以及

相对于由个别的移动向量所指出之该等插补的储存影像的区域，而产 生该目前影像之该预测单元之移动补偿预测，

其中该插补步骤包含：

施加xR水平及xS垂直插补滤波器至该等储存影像的该等彩色成分， 而产生插补的彩色预测单元，其中R系相等于(U×M×P)且S系相等于 (V×N×Q)，U及V系等于1或更大的整数；以及

子取样该等插补的彩色预测单元，以致使其水平分辨率系除以U之 因子且其垂直分辨率系除以V之因子，而藉以产生MP×NQ个取样的区块。

15.一种计算机软件，当由计算机所执行时，其致使该计算机执行如 条款1至14中任一项之方法。

16.一种计算机可读取之非瞬时储存媒体，其储存如条款15之软件。

17.一种数据信号，包含编码之数据，系依据条款1至14中任一项 之方法而予以产生。

18.一种视频译码设备，系使用影像间之预测而编码输入的视频数 据，其中各彩色成分具有亮度成分的1/M水平分辨率及该亮度成分的1/N 垂直分辨率，其中M及N系等于1或更大的整数，该设备包含：

影像储存器，系组构用以储存目前影像之前的一或多个影像；

插补器，系组构用以插补该等储存影像的较高分辨率版之预测单元， 以致使该等插补的预测单元之该等亮度成分具有该等储存影像的对应部 分之水平分辨率P倍的水平分辨率，及该等储存影像的该等对应部分之垂 直分辨率Q倍的垂直分辨率，其中P及Q系大于1的整数；

侦测器，系组构用以侦测目前影像与该一或多个插补的储存影像间的 影像间之移动，以便产生该目前影像的预测单元与该一或多个在前之影像 的区域之间的移动向量；以及

产生器，系组构用以相对于由个别的移动向量所指出之该等插补的储 存影像的区域，而产生该目前影像的该预测单元之移动补偿预测，

其中，该插补器系组构：

用以施加xR水平及xS垂直插补滤波器至该等储存影像的该等彩色 成分，而产生插补的彩色预测单元，其中R系相等于(U×M×P)且S系 相等于(V×N×Q)，U及V系等于1或更大的整数；以及

子取样该等插补的彩色预测单元，以致使其水平分辨率系除以U之 因子且其垂直分辨率系除以V之因子，而藉以产生MP×NQ个取样的区块。

19.一种视频编码设备，系使用影像间之预测而编码输入的视频数 据，其中各彩色成分具有亮度成分的1/M水平分辨率及该亮度成分的1/N 垂直分辨率，其中M及N系等于1或更大的整数，该设备包含：

影像储存器，系组构用以储存目前影像之前的一或多个影像；

插补器，系组构用以插补该等储存影像的较高分辨率版之预测单元， 以致使该等插补的预测单元之该等亮度成分具有该等储存影像的对应部 分之水平分辨率P倍的水平分辨率，及该等储存影像的该等对应部分之垂 直分辨率Q倍的垂直分辨率，其中P及Q系大于1的整数；

侦测器，系组构用以侦测目前影像与该一或多个插补的储存影像间的 影像间之移动，以便产生该目前影像的预测单元与该一或多个在前之影像 的区域之间的移动向量；以及

产生器，系组构用以相对于由个别的移动向量所指出之该等插补的储 存影像的区域，而产生该目前影像的该预测单元之移动补偿预测，

其中该插补器系组构：

用以施加xR水平及xS垂直插补滤波器至该等储存影像的该等彩色 成分，而产生插补的彩色预测单元，其中R系相等于(U×M×P)且S系 相等于(V×N×Q)，U及V系等于1或更大的整数；以及

子取样该等插补的彩色预测单元，以致使其水平分辨率系除以U之 因子且其垂直分辨率系除以V之因子，而藉以产生MP×NQ个取样的区块。

20.一种视频捕获、显示、传输、接收及/或储存设备，包含条款18 或19之设备。