法律状态公告日
法律状态信息
法律状态
2018-11-06
授权
授权
2015-03-25
实质审查的生效 IPC(主分类):H04N19/597 申请日:20130416
实质审查的生效
2015-02-18
公开
公开
技术领域
本发明涉及对多视点视频进行编码和解码。
背景技术
随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供， 对于用于有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码 器的需求正在增加。根据现有技术的视频编解码器，基于具有预定尺寸的宏 块，根据受限的编码方法来对视频进行编码。
空间域的图像数据经由频率变换被变换为频率域的系数。根据视频编解 码器，将图像划分为预定尺寸的块，对每个块执行离散余弦变换(DCT)，并 以块为单位对频率系数进行编码，以进行频率变换的快速计算。与空间域的 图像数据相比，频率域的系数容易被压缩。具体地，由于根据经由视频编解 码器的帧间预测或帧内预测的预测误差来表示空间域的图像像素值，因此当 对预测误差执行频率变换时，大量数据可被变换为0。根据视频编解码器， 可通过使用小量数据来代替连续并重复产生的数据，来减少数据量。
随着对在多个视点捕捉的视频的需求，与视点的数量成比例地增加的视 频数据量会是一个问题。因此，正为对多视点视频进行有效编码不断做出大 量努力。
发明内容
技术问题
本发明提供一种对作为单独的层的基本视点图像和附加视点图像进行预 测编码和预测解码的方法。本发明还提供一种对来自同一视点图像的作为单 独的层的纹理图像和深度图像进行预测编码和预测解码的方法。
解决方案
根据本发明的一方面，提供一种多视点视频层间编码方法，所述方法包 括以下操作：基于树结构的编码单元对基本层图像进行编码，其中，树结构 的编码单元包括通过分层划分图像的最大编码单元而获得的编码单元之中的 被完全划分的编码单元，基本层图像是基本视点图像之中的基本视点纹理图 像和基本视点深度图像中的一个；基于树结构的编码单元，通过参考预定层 间编码模式和基本层图像的编码信息，对作为单独的附加层图像的以下图像 分别执行预测编码：基本视点纹理图像和基本视点深度图像之中的不是基本 层图像的另一个、附加视点图像之中的附加视点纹理图像和附加视点深度图 像；基于所述预定层间编码模式输出基本视点图像的编码模式和预测值以及 附加视点图像的层间编码模式，其中，通过对视频的图像进行空间划分而获 得的每个最大编码单元被划分为多个编码单元，并且，是否将所述多个编码 单元中的每个编码单元划分为更小的编码单元以独立于邻近的编码单元的方 式被确定。
有益效果
多视点视频的基本视点纹理图像和基本视点深度图像中的一个被指定为 基本层图像，基本视点图像中的另一个图像、附加视点纹理图像和附加视点 深度图像被指定为附加层图像，使得对多视点视频执行层间预测。由于在通 过使用根据树结构的编码单元、预测单元和变换单元被编码的基本层图像和 附加层图像之间彼此相应的基本层数据单元和附加层数据单元被正确地检 测，并且通过使用各种类型的基本层数据单元的编码信息确定附加层数据单 元，因此，用于附加层图像的编码信息的传输比特量可减少，并且可有效实 现对层间视频进行编码和解码的方法。
附图说明
图1是根据本发明的实施例的基于树结构的编码单元的视频编码设备的 框图。
图2是根据本发明的实施例的基于树结构的编码单元的视频解码设备的 框图。
图3是用于描述根据本发明的实施例的编码单元的构思的示图。
图4是根据本发明的实施例的基于编码单元的图像编码器的框图。
图5是根据本发明的实施例的基于编码单元的图像解码器的框图。
图6是示出根据本发明的实施例的根据深度的较深层编码单元以及分区 的示图。
图7是用于描述根据本发明的实施例的编码单元和变换单元之间的关系 的示图。
图8示出根据本发明的实施例的根据深度的多条编码信息。
图9是根据本发明的实施例的根据深度的较深层编码单元的示图。
图10、图11和图12是用于描述根据本发明的实施例的编码单元、预测 单元和变换单元之间的关系的示图。
图13是用于描述根据表1的编码模式信息的编码单元、预测单元和变换 单元之间的关系的示图。
图14是根据本发明的实施例的多视点视频层间编码设备的框图。
图15是根据本发明的实施例的多视点视频层间解码设备的框图。
图16是根据本发明的实施例的层间编码系统的框图。
图17示出根据本发明的实施例的用于多视点视频的层间编码系统。
图18示出根据本发明的实施例的用于多视点视频服务的发送和接收系 统。
图19示出根据本发明的实施例的多视点视频的层间预测结构。
图20示出根据本发明的实施例的层间预测模式的类型。
图21示出根据本发明的实施例的基本层和附加层之间的映射关系。
图22是根据本发明的实施例的多视点视频层间编码方法的流程图。
图23是根据本发明的实施例的多视点视频层间解码方法的流程图。
图24是根据本发明的实施例的存储程序的盘的物理结构的示图。
图25是用于通过使用盘来记录和读取程序的盘驱动器的示图。
图26是用于提供内容分配服务的内容供应系统的整体结构的示图。
图27和图28是根据本发明的实施例的应用了视频编码方法和视频解码 方法的移动电话的外部结构和内部结构的各自的示图。
图29是根据本发明的实施例的应用通信系统的数字广播系统的示图。
图30是示出根据本发明的实施例的使用视频编码设备和视频解码设备 的云计算系统的网络结构的示图。
最佳实施方式
根据本发明的一方面，提供一种多视点视频层间编码方法，所述方法包 括以下操作：基于树结构的编码单元对基本层图像进行编码，其中，树结构 的编码单元包括通过分层划分图像的最大编码单元而获得的编码单元之中的 被完全划分的编码单元，基本层图像是基本视点图像之中的基本视点纹理图 像和基本视点深度图像中的一个图像；基于树结构的编码单元，通过参考预 定层间编码模式和基本层图像的编码信息，对作为单独的附加层图像的以下 图像分别执行预测编码：基本视点纹理图像和基本视点深度图像之中的不是 基本层图像的另一个、附加视点图像之中的附加视点纹理图像和附加视点深 度图像；基于所述预定层间编码模式输出基本视点图像的编码模式和预测值 以及附加视点图像的层间编码模式，其中，通过对视频的图像进行空间划分 而获得的每个最大编码单元被划分为多个编码单元，并且，是否将所述多个 编码单元中的每个编码单元划分为更小的编码单元以独立于邻近的编码单元 的方式被确定。
对基本层图像进行编码的操作可包括以下操作：对基本视点纹理图像和 基本视点深度图像中的一个进行编码；对附加层图像执行预测编码的操作可 包括以下操作：根据所述预定层间编码模式，通过参考经由对基本视点纹理 图像和基本视点深度图像中的一个进行编码而产生的编码信息，对基本视点 纹理图像和基本视点深度图像中的另一个进行编码。
对附加层图像执行预测编码的操作可包括以下操作：对附加视点纹理图 像和附加视点深度图像中的一个进行编码；根据所述预定层间编码模式，通 过参考经由对基本视点纹理图像、基本视点深度图像、附加视点纹理图像和 附加视点深度图像中的一个进行编码而产生的编码信息，对附加视点纹理图 像和附加视点深度图像中的另一个进行编码。
对基本层图像进行编码的操作可包括以下操作：通过参考基本视点纹理 图像的编码信息对基本视点纹理图像和基本视点深度图像中的至少一个进行 编码；通过参考基本视点深度图像的编码信息对基本视点纹理图像和基本视 点深度图像中的至少一个进行编码。
对附加层图像执行预测编码的操作可包括以下操作：基于基本视点图像 和附加视点图像之间的视差，确定将被附加视点图像的数据单元参考的基本 视点图像的数据单元。
确定所述数据单元的操作可包括以下操作：通过使用附加视点图像的当 前数据单元和基本视点图像之间的视差，确定与附加视点图像的当前数据单 元相映射的基本视点图像的数据单元的位置。
确定所述数据单元的操作可包括以下操作：通过使用先前在基本视点深 度图像或先前在附加视点图像的邻近数据单元中使用的视差或深度信息，确 定附加视点图像的当前数据单元和基本视点图像之间的视差；通过使用确定 的视差，确定与所述当前数据单元相映射的基本视点图像的数据单元的位置。
根据本发明的另一方面，提供一种多视点视频层间解码方法，所述方法 包括以下操作：从多个比特流解析基本层图像的编码信息以及基本层图像和 附加层图像之间的层间编码模式，其中，所述多个比特流分别包括作为单独 的层的以下图像：基本视点图像的基本视点纹理图像、基本视点图像的基本 视点深度图像、附加视点图像的附加视点纹理图像和附加视点图像的附加视 点深度图像；通过使用解析的基本层图像的编码信息，基于树结构的编码单 元对基本层图像进行解码，其中，树结构的编码单元包括通过分层划分最大 编码单元而获得的编码单元之中的被完全划分的编码单元，基本层图像是基 本视点图像的基本视点纹理图像和基本视点深度图像中的一个；根据附加视 点图像的层间编码模式，通过参考解析的基本层图像的编码信息，基于树结 构的编码单元，对作为单独的附加层图像的以下图像分别执行预测解码：基 本视点纹理图像和基本视点深度图像之中的不是基本层图像的另一个、附加 视点图像之中的附加视点纹理图像和附加视点深度图像，其中，通过对视频 的图像进行空间划分而获得的每个最大编码单元被划分为多个编码单元，并 且，是否将所述多个编码单元中的每个编码单元单独地划分为更小的编码单 元以独立于邻近的编码单元的方式被确定。
对基本层图像进行解码的操作可包括以下操作：对基本视点纹理图像和 基本视点深度图像中的一个进行解码；并且对附加层图像执行预测解码的操 作可包括以下操作：根据所述层间编码模式，通过参考解析的基本层图像的 编码信息，对基本视点纹理图像和基本视点深度图像中的另一个进行解码。
对附加层图像执行预测解码的操作可包括以下操作：对附加视点纹理图 像和附加视点深度图像中的一个进行解码；根据所述层间编码模式，通过参 考基本视点纹理图像、基本视点深度图像、附加视点纹理图像和附加视点深 度图像中的一个的编码信息，对附加视点纹理图像和附加视点深度图像中的 另一个进行解码。
对附加层图像执行预测解码的操作可以下包括：通过参考基本视点纹理 图像的编码信息对基本视点纹理图像和基本视点深度图像中的至少一个进行 解码；通过参考基本视点深度图像的编码信息对基本视点纹理图像和基本视 点深度图像中的至少一个进行解码。
对附加层图像执行预测解码的操作可包括以下操作：通过使用附加视点 图像的当前数据单元和基本视点图像之间的视差信息，确定将被附加视点图 像的当前数据单元参考的基本视点图像的数据单元。
确定所述数据单元的操作可包括以下操作：通过使用附加视点图像的当 前数据单元和基本视点图像之间的视差信息，确定与所述当前数据单元相映 射的基本视点图像的数据单元的位置。
确定所述数据单元的操作可包括以下操作：通过使用先前在基本视点深 度图像或先前在附加视点图像的邻近数据单元中使用的视差信息或深度信 息，确定附加视点图像的当前数据单元和基本视点图像之间的视差信息；通 过使用确定的视差信息，确定与所述当前数据单元相映射的基本视点图像的 数据单元的位置。
根据本发明的另一方面，提供一种多视点视频层间编码设备，所述设备 包括：基本层编码器，基于树结构的编码单元对基本层图像进行编码，其中， 树结构的述编码单元包括通过分层划分图像的最大编码单元而获得的编码单 元之中的被完全划分的编码单元，基本层图像是基本视点图像之中的基本视 点纹理图像和基本视点深度图像中的一个；附加层编码器，基于树结构的编 码单元，通过参考预定层间编码模式和基本层图像的编码信息，对作为单独 的附加层图像的以下图像分别执行预测编码：基本视点纹理图像和基本视点 深度图像之中的未作为基本层图像的另一个、附加视点图像之中的附加视点 纹理图像和附加视点深度图像；输出单元，基于所述预定层间编码模式输出 基本视点图像的编码信息以及附加视点图像的层间编码模式，其中，通过对 视频的图像进行空间划分而获得的每个最大编码单元被划分为多个编码单 元，并且，是否将所述多个编码单元中的每个编码单元单独地划分为更小的 编码单元以独立于邻近的编码单元的方式被确定。
附加层编码单元可基于基本视点图像和附加视点图像之间的视差确定将 被附加视点图像的数据单元参考的基本视点图像的数据单元。
根据本发明的另一方面，提供一种多视点视频层间解码设备，所述设备 包括：解析器，从多个比特流解析基本层图像的编码信息以及基本层图像和 附加层图像之间的层间编码模式，其中，所述多个比特流分别包括作为单独 的层的以下图像：基本视点图像的基本视点纹理图像、基本视点图像的基本 视点深度图像、附加视点图像的附加视点纹理图像和附加视点图像的附加视 点深度图像；基本层解码器，通过使用解析的基本层图像的编码信息，基于 树结构的编码单元对基本层图像进行解码，其中，树结构的编码单元包括通 过分层划分最大编码单元而获得的编码单元之中的被完全划分的编码单元， 基本层图像是基本视点图像之中的基本视点纹理图像和基本视点深度图像中 的一个图像；附加层解码器，根据附加视点图像的层间编码模式，通过参考 解析的基本层图像的编码信息，基于树结构的编码单元，对作为单独的附加 层图像的以下图像分别执行预测解码：基本视点纹理图像和基本视点深度图 像之中的未作为基本层图像的另一个、附加视点图像之中的附加视点纹理图 像和附加视点深度图像。
附加层解码单元可通过使用附加视点图像的当前数据单元和基本视点图 像之间的视差信息来确定将由附加视点图像的当前数据单元参考的基本视点 图像的数据单元。
根据本发明的另一方面，提供一种记录有用于执行多视点视频层间编码 方法的程序的计算机可读记录介质。根据本发明的另一方面，提供一种记录 有用于执行多视点视频层间解码方法的程序的计算机可读记录介质。
具体实施方式
在下文中，将参照图1至图13描述根据本发明的实施例的基于树结构的 编码单元的视频编码技术和视频解码技术。此外，将参照图14至图23描述 根据本发明的实施例的基于树结构的编码单元的多视点视频层间编码技术和 多视点视频层间解码技术。此外，将参照图24至图30提供可应用多视点视 频编码方法、多视点视频解码方法、视频编码方法和视频解码方法的各种实 施例。在下文中，“图像”可指示静止图像或视频的运动图像(即，视频本身)。
首先，将参照图1至图13描述基于树结构的编码单元的视频编码技术和 视频解码技术。
图1是根据本发明的实施例的基于树结构的编码单元的视频编码设备 100的框图。
涉及基于树结构的编码单元的视频预测的视频编码设备100包括最大编 码单元划分器110、编码单元确定器120和输出单元130。在下文中，为了便 于描述，涉及基于树结构的编码单元的视频预测的视频编码设备100被称为 “视频编码设备100”。
最大编码单元划分器110可基于图像的当前画面的最大编码单元来划分 当前画面，其中，最大编码单元是具有最大尺寸的编码单元。如果当前画面 大于最大编码单元，则可将当前画面的图像数据划分为至少一个最大编码单 元。根据本发明的实施例的最大编码单元可以是尺寸为32×32、64×64、 128×128、256×256等的数据单元，其中，数据单元的形状是宽度和长度为2 的若干次方的正方形。图像数据可根据至少一个最大编码单元被输出到编码 单元确定器120。
根据本发明的实施例的编码单元可由最大尺寸和深度表征。深度表示编 码单元从最大编码单元在空间上被划分的次数，并且随着深度加深，根据深 度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单 元的深度为最高深度，最小编码单元的深度为最低深度。由于随着最大编码 单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此与更高深度 相应的编码单元可包括多个与更低深度相应的编码单元。
如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大 编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。 由于根据深度对根据本发明的实施例的最大编码单元进行划分，因此可根据 深度分层地对包括在最大编码单元中的空间域的图像数据进行分类。
可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最 大尺寸限制最大编码单元的高度和宽度被分层划分的总次数。
编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而 获得的至少一个划分区域进行编码，并且根据所述至少一个划分区域来确定 用于输出最终编码的图像数据的深度。换言之，编码单元确定器120通过根 据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行编 码，并选择具有最小编码误差的深度，来确定编码深度。将确定的编码深度 和根据确定的编码深度的编码的图像数据输出到输出单元130。
基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对 最大编码单元中的图像数据进行编码，并且基于每个较深层编码单元比较对 图像数据进行编码的结果。在对较深层编码单元的编码误差进行比较之后， 可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编 码深度。
随着编码单元根据深度而被分层地划分以及随着编码单元的数量增加， 最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中编码单元与 同一深度相应，仍通过分别测量每个编码单元的图像数据的编码误差来确定 是否将与同一深度相应的每个编码单元划分到更低深度。因此，即使图像数 据被包括在一个最大编码单元中，编码误差根据所述一个最大编码单元中的 区域而不同，因此编码深度可根据图像数据中的区域而不同。因此，可在一 个最大编码单元中确定一个或更多个编码深度，并且可根据至少一个编码深 度的编码单元来对最大编码单元的图像数据进行划分。
因此，编码单元确定器120可确定包括在最大编码单元中的具有树结构 的编码单元。根据本发明的实施例的“具有树结构的编码单元”包括在最大编 码单元中包括的所有较深层编码单元中的与确定为编码深度的深度相应的编 码单元。可根据最大编码单元的相同区域中的深度来分层地确定编码深度的 编码单元，并可在不同区域中独立地确定编码深度的编码单元。类似地，可 从另一区域的编码深度独立地确定当前区域中的编码深度。
根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元的 划分次数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编 码单元到最小编码单元的总划分次数。根据本发明的实施例的第二最大深度 可表示从最大编码单元到最小编码单元的深度等级的总数。例如，当最大编 码单元的深度是0时，对最大编码单元划分一次的编码单元的深度可被设置 为1，对最大编码单元划分两次的编码单元的深度可被设置为2。这里，如果 最小编码单元是最大编码单元被划分四次后的编码单元，则存在深度0、1、 2、3和4的5个深度等级，并因此第一最大深度可被设置为4，第二最大深 度可被设置为5。
可根据最大编码单元执行预测编码和变换。还根据最大编码单元，基于 根据等于或小于最大深度的深度的较深层编码单元来执行预测编码和变换。
由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量 增加，因此将对随着深度加深而产生的所有较深层编码单元执行包括预测编 码和变换的编码。为了便于解释，在最大编码单元中，现在将基于当前深度 的编码单元来描述预测编码和变换。
视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的 尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码 的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作 使用不同的数据单元。
例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单 元，还可选择不同于编码单元的数据单元，以便对编码单元中的图像数据执 行预测编码。
为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单 元(即，基于不再被划分为与更低深度相应的编码单元的编码单元)来执行 预测编码。以下，不再被划分且成为用于预测编码的基本单元的编码单元现 在将被称为“预测单元”。通过划分预测单元获得的分区可包括预测单元以及 通过对从预测单元的高度和宽度中选择的至少一个进行划分而获得的数据单 元。分区是编码单元的预测单元被划分的数据单元，并且预测单元可以是具 有与编码单元相同的尺寸的分区。
例如，当2N×2N(其中，N是正整数)的编码单元不再被划分时，2N×2N 的编码单元成为尺寸为2N×2N的预测单元，并且分区的尺寸可以是2N×2N、 2N×N、N×2N或N×N。分区类型的示例包括通过对预测单元的高度或宽度进 行对称地划分而获得的对称分区、通过对预测单元的高度或宽度进行非对称 地划分(诸如，1：n或n:1)而获得的分区、通过对预测单元进行几何地划 分而获得的分区、以及具有任意形状的分区。
预测单元的预测模式可以是从帧内模式、帧间模式和跳过模式中选择的 至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式 或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。可对编码单元中的 一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。
视频编码设备100不仅可基于用于对图像数据进行编码的编码单元还可 基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。为 了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单 元来执行变换。例如，用于变换的数据单元可包括帧内模式的数据单元和帧 间模式的数据单元。
以与根据树结构的编码单元类似的方式，编码单元中的变换单元可被递 归地划分为更小尺寸的区域，因此可基于根据变换深度的具有树结构的变换 单元，对编码单元中的残差数据进行划分。
还可在变换单元中设置变换深度，其中，变换深度指示通过对编码单元 的高度和宽度进行划分而达到变换单元的划分次数。例如，在2N×2N的当前 编码单元中，当变换单元的尺寸是2N×2N时，变换深度可以是0，当变换单 元的尺寸是N×N时，变换深度可以是1，当变换单元的尺寸是N/2×N/2时， 变换深度可以是2。换句话说，还可根据变换深度设置具有树结构的变换单 元。
根据与编码深度相应的编码单元的编码信息不仅要求关于编码深度的信 息，还要求与预测编码和变换相关的信息。因此，编码单元确定器120不仅 确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预 测单元的预测模式以及用于变换的变换单元的尺寸。
随后将参照图3至图13详细描述根据本发明的实施例的最大编码单元中 的根据树结构的编码单元以及确定预测单元/分区和变换单元的方法。
编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化，来测 量根据深度的较深层编码单元的编码误差。
输出单元130在比特流中输出最大编码单元的图像数据和关于根据编码 深度的编码模式的信息，其中，所述最大编码单元的图像数据基于由编码单 元确定器120确定的至少一个编码深度被编码。
可通过对图像的残差数据进行编码来获得编码图像数据。
关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于 在预测单元中的分区类型的信息、关于预测模式的信息和关于变换单元的尺 寸的信息。
可通过使用根据深度的划分信息来定义关于编码深度的信息，其中，根 据深度的划分信息指示是否对更低深度而不是当前深度的编码单元执行编 码。如果当前编码单元的当前深度是编码深度，则对当前编码单元中的图像 数据进行编码并输出，因此可将划分信息定义为不将当前编码单元划分到更 低深度。可选地，如果当前编码单元的当前深度不是编码深度，则对更低深 度的编码单元执行编码，并因此可将划分信息定义为对当前编码单元进行划 分来获得更低深度的编码单元。
如果当前深度不是编码深度，则对被划分到更低深度的编码单元的编码 单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编 码单元中，因此对更低深度的每个编码单元重复执行编码，并因此可对具有 相同深度的编码单元递归地执行编码。
由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码 深度的编码单元确定关于至少一个编码模式的信息，所以可针对一个最大编 码单元确定关于至少一个编码模式的信息。另外，由于根据深度对图像数据 进行分层划分，因此最大编码单元的图像数据的编码深度可根据位置而不同， 因此可针对图像数据设置关于编码深度和编码模式的信息。
因此，输出单元130可将关于相应的编码深度和编码模式的编码信息分 配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
根据本发明的实施例的最小单元是通过将构成最低深度的最小编码单元 划分为4份而获得的方形数据单元。可选择地，根据实施例的最小单元可以 是可包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和 变换单元中的最大方形数据单元。
例如，通过输出单元130输出的编码信息可被分类为根据较深层编码单 元的编码信息和根据预测单元的编码信息。根据较深层编码单元的编码信息 可包括关于预测模式的信息和关于分区尺寸的信息。根据预测单元的编码信 息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的 信息、关于运动矢量的信息、关于帧内模式的色度分量的信息、以及关于帧 内模式的插值方法的信息。
根据画面、条带或GOP定义的关于编码单元的最大尺寸的信息和关于最 大深度的信息可被插入到比特流的头、序列参数集或画面参数集中。
还可通过比特流的头、序列参数集或画面参数集来输出关于针对当前视 频允许的变换单元的最大尺寸的信息、以及关于变换单元的最小尺寸的信息。 输出单元130可对与预测相关的参考信息、预测信息和条带类型信息进行编 码并输出。
在视频编码设备100中，较深层编码单元可以是通过将更高深度的编码 单元(更高一层)的高度或宽度划分成两份而获得的编码单元。换言之，当 当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是 N×N。另外，尺寸为2N×2N的具有当前深度的编码单元可包括最多4个具有 所述更低深度的编码单元。
因此，视频编码设备100可基于考虑当前画面的特征而确定的最大编码 单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最 优尺寸的编码单元来形成具有树结构的编码单元。另外，由于可通过使用各 种预测模式和变换中的任意一个对每个最大编码单元执行编码，因此可考虑 各种图像尺寸的编码单元的特征来确定最优编码模式。
因此，如果以传统宏块对具有高的分辨率或大数据量的图像进行编码， 则每个画面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的 条数增加，因此难以发送压缩的信息，并且数据压缩效率降低。然而，通过 使用视频编码设备100，由于在考虑图像的尺寸的同时增加编码单元的最大 尺寸，并同时在考虑图像的特征的同时调整编码单元，因此可提高图像压缩 效率。
图2是根据本发明的实施例的基于树结构的编码单元的视频解码设备 200的框图。
涉及基于树结构的编码单元的视频预测的视频解码设备200包括接收器 210、图像数据和编码信息提取器220和图像数据解码器230。在下文中，为 了便于描述，涉及基于树结构的编码单元的视频预测的视频解码设备200被 称为“视频解码设备200”。
用于视频解码设备200的解码操作的各种术语(诸如编码单元、深度、 预测单元、变换单元和关于各种编码模式的信息)的定义与参照图1和视频 编码设备100解释的定义相同。
接收器210接收和解析编码视频的比特流。图像数据和编码信息提取器 220从解析的比特流，针对每个编码单元提取编码图像数据，并将提取的图 像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码 单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头、序 列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。
另外，图像数据和编码信息提取器220从解析的比特流，根据每个最大 编码单元，提取关于具有树结构的编码单元的编码深度和编码模式的信息。 提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换言 之，比特流中的图像数据被划分为最大编码单元，使得图像数据解码器230 针对每个最大编码单元对图像数据进行解码。
可针对关于与编码深度相应的至少一个编码单元的信息设置关于根据最 大编码单元的编码深度和编码模式的信息，关于编码模式的信息可包括关于 与编码深度相应的相应编码单元的分区类型的信息、关于预测模式的信息和 关于变换单元的尺寸的信息。另外，根据深度的划分信息可被提取为关于编 码深度的信息。
由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的 编码深度和编码模式的信息是这样的关于编码深度和编码模式的信息：该信 息被确定为在编码器(诸如，视频编码设备100)根据每个最大编码单元对 根据深度的每个较深层编码单元重复地执行编码时产生最小编码误差。因此， 视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图 像数据进行解码来恢复图像。
由于关于编码深度和编码模式的编码信息可被分配给相应的编码单元、 预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器220 可根据预定数据单元，提取关于编码深度和编码模式的信息。如果关于相应 最大编码单元的编码深度和编码模式的信息根据预定数据单元被记录，则可 将被分配相同的关于编码深度和编码模式的信息的预定数据单元推断为是包 括在同一最大编码单元中的数据单元。
图像数据解码器230基于关于根据最大编码单元的编码深度和编码模式 的信息，通过对每个最大编码单元中的图像数据进行解码，来恢复当前画面。 换言之，图像数据解码器230可基于提取出的关于包括在每个最大编码单元 中的具有树结构的编码单元之中的每个编码单元的分区类型、预测模式和变 换单元的信息，对编码的图像数据进行解码。解码处理可包括预测(包含帧 内预测和运动补偿)和逆变换。
图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的 分区类型和预测模式的信息，根据每个编码单元的分区和预测模式，执行帧 内预测或运动补偿。
此外，针对每个最大编码单元的逆变换，图像数据解码器230可针对每 个编码单元读取关于根据树结构的变换单元的信息，以基于每个编码单元的 变换单元来执行逆变换。经过逆变换，可恢复编码单元的空间域的像素值。
图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编 码单元的编码深度。如果划分信息指示图像数据在当前深度中不再被划分， 则当前深度是编码深度。因此，图像数据解码器230可通过使用关于用于与 编码深度相应的每个编码单元的预测单元的分区类型、预测模式和变换单元 的尺寸的信息，对当前最大编码单元中的编码数据进行解码。
换言之，可通过观察被分配给编码单元、预测单元和最小单元中的预定 数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单 元，并且收集的数据单元可被认为是将由图像数据解码器230以相同编码模 式进行解码的一个数据单元。因此，可通过获得关于每个编码单元的编码模 式的信息来对当前编码单元进行解码。
因此，视频解码设备200可获得关于当对每个最大编码单元递归地执行 编码时产生最小编码误差的至少一个编码单元的信息，并使用所述信息来对 当前画面进行解码。换言之，可对在每个最大编码单元中被确定为最佳编码 单元的具有树结构的编码单元进行解码。
因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元 的尺寸和编码模式，有效地对图像数据进行解码和恢复，其中，通过使用从 编码器接收到的关于最优编码模式的信息，根据图像的特征自适应地确定所 述编码单元的尺寸和编码模式。
图3是用于描述根据本发明的实施例的编码单元的构思的示图。
编码单元的尺寸可被表示为宽度×高度，并且可以是64×64、32×32、16×16 和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分 区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区， 16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编 码单元可被划分为8×8、8×4、4×8或4×4的分区。
在视频数据310中，分辨率为1920×1080，编码单元的最大尺寸为64， 最大深度为2。在视频数据320中，分辨率为1920×1080，编码单元的最大尺 寸为64，最大深度为3。在视频数据330中，分辨率为352×288，编码单元 的最大尺寸为16，最大深度为1。图3中示出的最大深度表示从最大编码单 元到最小编码单元的划分总次数。
如果分辨率高或数据量大，则编码单元的最大尺寸可能较大，从而不仅 提高编码效率，而且准确地反映图像的特征。因此，具有比视频数据330更 高分辨率的视频数据310和320的编码单元的最大尺寸可以是64。
由于视频数据310的最大深度是2，因此由于通过对最大编码单元划分 两次，深度加深至两层，因此视频数据310的编码单元315可包括长轴尺寸 为64的最大编码单元和长轴尺寸为32和16的编码单元。另一方面，由于视 频数据330的最大深度是1，因此由于通过对最大编码单元划分一次，深度 加深至一层，因此视频数据330的编码单元335可包括长轴尺寸为16的最大 编码单元和长轴尺寸为8的编码单元。
由于视频数据320的最大深度是3，因此由于通过对最大编码单元划分 三次，深度加深至3层，因此视频数据320的编码单元325可包括长轴尺寸 为64的最大编码单元和长轴尺寸为32、16和8的编码单元。随着深度加深， 详细信息可被精确地表示。
图4是根据本发明的实施例的基于编码单元的图像编码器400的框图。
图像编码器400执行视频编码设备100的编码单元确定器120的操作来 对图像数据进行编码。换言之，帧内预测器410对当前帧405中的帧内模式 下的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当 前帧405和参考帧495，对当前帧405中的帧间模式下的编码单元分别执行 帧间估计和运动补偿。
从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过 变换器430和量化器440被输出为量化后的变换系数。量化后的变换系数通 过反量化器460和逆变换器470被恢复为空间域中的数据，恢复的空间域中 的数据在通过去块单元480和偏移调整单元490后处理之后被输出为参考帧 495。量化后的变换系数可通过熵编码器450被输出为比特流455。
为了在视频编码设备100中应用图像编码器400，图像编码器400的所 有元件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、 量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和 偏移调整单元490)在考虑每个最大编码单元的最大深度的同时，基于具有 树结构的编码单元中的每个编码单元执行操作。
具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当 前最大编码单元的最大尺寸和最大深度的同时确定具有树结构的编码单元中 的每个编码单元的分区和预测模式，变换器430确定具有树结构的编码单元 中的每个编码单元中的变换单元的尺寸。
图5是根据本发明的实施例的基于编码单元的图像解码器500的框图。
解析器510从比特流505解析将被解码的编码图像数据和解码所需的关 于编码的信息。编码图像数据通过熵解码器520和反量化器530被输出为反 量化的数据，反量化的数据通过逆变换器540被恢复为空间域中的图像数据。
针对空间域中的图像数据，帧内预测器550对帧内模式下的编码单元执 行帧内预测，运动补偿器560通过使用参考帧585对帧间模式下的编码单元 执行运动补偿。
通过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过 去块单元570和偏移调整单元580后处理之后被输出为恢复帧595。另外， 通过去块单元570和偏移调整单元580后处理的图像数据可被输出为参考帧 585。
为了在视频解码设备200的图像数据解码器230中对图像数据进行解码， 图像解码器500可执行在解析器510之后执行的操作。
为了在视频解码设备200中应用图像解码器500，图像解码器500的所 有元件(即，解析器510、熵解码器520、反量化器530、逆变换器540、帧 内预测器550、运动补偿器560、去块单元570和偏移调整单元580)针对每 个最大编码单元基于具有树结构的编码单元执行操作。
具体地，帧内预测器550和运动补偿器560必须针对具有树结构的每个 编码单元确定分区和预测模式，逆变换器540必须针对每个编码单元确定变 换单元的尺寸。
图6是示出根据本发明的实施例的根据深度的较深层编码单元以及分区 的示图。
视频编码设备100和视频解码设备200使用分层编码单元以考虑图像的 特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最 大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。 可根据预定的编码单元的最大尺寸来确定根据深度的较深层编码单元的尺 寸。
根据本发明的实施例，在编码单元的分层结构600中，编码单元的最大 高度和最大宽度均是64，最大深度是3。在此情况下，最大深度是指编码单 元从最大编码单元到最小编码单元被划分的总次数。由于深度沿着分层结构 600的垂直轴加深，因此较深层编码单元的高度和宽度均被划分。另外，预 测单元和分区沿着分层结构600的水平轴被示出，其中，所述预测单元和分 区是对每个较深层编码单元进行预测编码的基础。
换言之，在分层结构600中，编码单元610是最大编码单元，其中，深 度为0，尺寸(即，高度乘宽度)为64×64。随着深度沿着垂直轴加深，存在 尺寸为32×32和深度为1的编码单元620、尺寸为16×16和深度为2的编码 单元630、尺寸为8×8和深度为3的编码单元640。尺寸为8×8和深度为3 的编码单元640是最小编码单元。
编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换言之， 如果尺寸为64×64和深度为0的编码单元610是预测单元，则可将预测单元 划分成包括在编码单元610中的分区，即，尺寸为64×64的分区610、尺寸 为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。
类似地，可将尺寸为32×32和深度为1的编码单元620的预测单元划分 成包括在编码单元620中的分区，即，尺寸为32×32的分区620、尺寸为32×16 的分区622、尺寸为16×32的分区624和尺寸为16×16的分区626。
类似地，可将尺寸为16×16和深度为2的编码单元630的预测单元划分 成包括在编码单元630中的分区，即，包括在编码度单元630中的尺寸为16×16 的分区、尺寸为16×8的分区632、尺寸为8×16的分区634和尺寸为8×8的 分区636。
类似地，可将尺寸为8×8和深度为3的编码单元640的预测单元划分成 包括在编码单元640中的分区，即，包括在编码单元640中的尺寸为8×8的 分区、尺寸为8×4的分区642、尺寸为4×8的分区644和尺寸为4×4的分区 646。
最后，尺寸为8×8和深度为3的编码单元640是具有最低深度的最小编 码单元。
为了确定构成最大编码单元610的编码单元的至少一个编码深度，视频 编码设备100的编码单元确定器120对包括在最大编码单元610中的与每个 深度相应的编码单元执行编码。
随着深度加深，包括具有相同范围和相同尺寸的数据的根据深度的较深 层编码单元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包 括在与深度1相应的一个编码单元中的数据。因此，为了根据深度比较对相 同数据进行编码的结果，与深度1相应的编码单元和四个与深度2相应的编 码单元均被编码。
为了针对多个深度之中的当前深度执行编码，可沿着分层结构600的水 平轴，通过对与当前深度相应的编码单元中的每个预测单元执行编码，来针 对当前深度，选择作为代表性编码误差的最小编码误差。可选地，随着深度 沿着分层结构600的垂直轴加深，可通过针对每个深度执行编码来比较根据 深度的代表性编码误差，以搜索最小编码误差。在编码单元610中的具有最 小编码误差的深度和分区可被选为编码单元610的编码深度和分区类型。
图7是用于描述根据本发明的实施例的编码单元710和变换单元720之 间的关系的示图。
视频编码设备100或视频解码设备200针对每个最大编码单元，根据具 有小于或等于最大编码单元的尺寸的编码单元，对图像进行编码或解码。可 基于不大于相应编码单元的数据单元，来选择用于在编码期间进行变换的变 换单元的尺寸。
例如，在视频编码设备100或视频解码设备200中，如果编码单元710 的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。
此外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的每个 变换单元执行变换，来对尺寸为64×64的编码单元710的数据进行编码，然 后可选择具有最小编码误差的变换单元。
图8示出根据本发明的实施例的根据深度的多条编码信息。
视频编码设备100的输出单元130可对与编码深度相应的每个编码单元 的关于分区类型的信息800、关于预测模式的信息810以及关于变换单元尺 寸的信息820进行编码，并将信息800、信息810和信息820作为关于编码 模式的信息来发送。
信息810指示每个分区的预测模式。例如，信息810可指示对由信息800 指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳 过模式816。
信息820指示当对当前编码单元执行变换时所基于的变换单元。例如， 变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变 换单元826或第二帧内变换单元828。
视频解码设备200的图像数据和编码信息提取器220可根据每个较深层 编码单元，提取并使用用于解码的信息800、810和820。
图9是根据本发明的实施例的根据深度的较深层编码单元的示图。
划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是 否被划分成更低深度的编码单元。
用于对深度为0和尺寸为2N_0×2N_0的编码单元900进行预测编码的预 测单元910可包括以下分区类型的分区：尺寸为2N_0×2N_0的分区类型912、 尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺 寸为N_0×N_0的分区类型918。图9仅示出了通过对称地划分预测单元910 而获得的分区类型912至918，但是分区类型不限于此，并且预测单元910 的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。
根据每种分区类型，对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0 的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区重 复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和 N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。仅对尺寸为 2N_0×2N_0的分区执行跳过模式下的预测编码。
如果在尺寸为2N_0×2N_0、2N_0×N_0和N_0×2N_0的分区类型912至 916中的一个分区类型中编码误差最小，则可不将预测单元910划分到更低 深度。
如果在尺寸为N_0×N_0的分区类型918中编码误差最小，则深度从0 改变到1以在操作920中划分分区类型918，并对深度为2和尺寸为N_0×N_0 的编码单元930重复地执行编码来搜索最小编码误差。
用于对深度为1和尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进 行预测编码的预测单元940可包括以下分区类型的分区：尺寸为2N_1×2N_1 的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分 区类型946以及尺寸为N_1×N_1的分区类型948。
如果在尺寸为N_1×N_1的分区类型948中编码误差最小，则深度从1 改变到2以在操作950中划分分区类型948，并对深度为2和尺寸为N_2×N_2 的编码单元960重复执行编码来搜索最小编码误差。
当最大深度是d时，根据每个深度的划分操作可被执行直到深度变成 d-1，并且划分信息可被设置直到深度是0到d-2之一。换句话说，当编码被 执行直到在与d-2的深度相应的编码单元在操作970中被划分之后深度是d-1 时，用于对深度为d-1和尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测 编码的预测单元990可包括以下分区类型的分区：尺寸为2N_(d-1)×2N(d-1) 的分区类型992、尺寸为2N_(d-1)×N(d-1)的分区类型994、尺寸为 N_(d-1)×2N(d-1)的分区类型996和尺寸为N_(d-1)×N(d-1)的分区类型998。
可对分区类型992至998中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺 寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺 寸为N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以搜索具有最小编码 误差的分区类型。
即使当尺寸为N_(d-1)×N_(d-1)的分区类型998具有最小编码误差时，由 于最大深度是d，因此深度为d-1的编码单元CU_(d-1)也不再被划分到更低 深度，用于构成当前最大编码单元900的编码单元的编码深度被确定为d-1， 并且当前最大编码单元900的分区类型可被确定为N_(d-1)×N(d-1)。此外， 由于最大深度是d，并且具有最低深度d-1的最小编码单元980不再被划分到 更低深度，因此不设置最小编码单元980的划分信息。
数据单元999可以是用于当前最大编码单元的“最小单元”。根据本发明 的实施例的最小单元可以是通过将具有最低编码深度的最小编码单元980划 分成4份而获得的方形数据单元。通过重复地执行编码，视频编码设备100 可通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的 深度以确定编码深度，并将相应分区类型和预测模式设置为编码深度的编码 模式。
这样，在所有深度0、1、…d-1、d中对根据深度的最小编码误差进行比 较，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单 元的分区类型和预测模式可作为关于编码模式的信息被编码并发送。另外， 由于编码单元从0的深度被划分到编码深度，因此仅将编码深度的划分信息 设置为0，并且将除了编码深度以外的深度的划分信息设置为1。
视频解码设备200的图像数据和编码信息提取器220可提取并使用关于 编码单元900的编码深度和预测单元的信息，来对分区912进行解码。视频 解码设备200可通过使用根据深度的划分信息，将划分信息为0的深度确定 为编码深度，并且使用关于相应深度的编码模式的信息来进行解码。
图10、图11和图12是用于描述根据本发明的实施例的在编码单元1010、 预测单元1060和变换单元1070之间的关系的示图。
编码单元1010是最大编码单元中的由视频编码设备100确定的根据深度 的较深层编码单元。预测单元1060是每个编码单元1010中的预测单元的分 区，变换单元1070是每个编码单元1010的变换单元。
当在编码单元1010中最大编码单元的深度是0时，编码单元1012和1054 的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2， 编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码 单元1040、1042、1044和1046的深度是4。
在预测单元1060中，通过划分编码单元1010中的编码单元来获得一些 分区1014、1016、1022、1032、1048、1050、1052和1054。换句话说，编 码单元1014、1022、1050和1054中的分区类型的尺寸是2N×N，编码单元 1016、1048和1052中的分区类型的尺寸是N×2N，编码单元1032的分区类 型的尺寸为N×N。编码单元1010的预测单元和分区小于或等于每个编码单 元。
在小于编码单元1052的数据单元中的变换单元1070中，对编码单元 1052的图像数据执行变换或逆变换。另外，在尺寸和形状方面，变换单元1070 中的编码单元1014、1016、1022、1032、1048、1050和1052不同于预测单 元1060中的编码单元1014、1016、1022、1032、1048、1050和1052。换句 话说，视频编码设备100和视频解码设备200可对同一编码单元中的数据单 元独立地执行帧内预测、运动估计、运动补偿、变换和逆变换。
因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递 归地执行编码来确定最优编码单元，从而可获得具有递归树结构的编码单元。 编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测 模式的信息和关于变换单元的尺寸的信息。表1示出可由视频编码设备100 和视频解码设备200设置的编码信息。
[表1]
视频编码设备100的输出单元130可输出关于具有树结构的编码单元的 编码信息，视频解码设备200的图像数据和编码信息提取器220可从接收到 的比特流提取关于具有树结构的编码单元的编码信息。
划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当 前深度d的划分信息是0，则当前编码单元不再被划分成更低深度的深度是 编码深度，从而可针对所述编码深度来定义关于分区类型、预测模式和变换 单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对更 低深度的四个划分编码单元独立地执行编码。
预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可针对所有 分区类型定义帧内模式和帧间模式，仅在尺寸为2N×2N的分区类型中定义跳 过模式。
关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获 得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型，以及通过非对 称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和 nR×2N的非对称分区类型。可通过按1:3和3:1来划分预测单元的高度来分 别获得尺寸为2N×nU和2N×nD的非对称分区类型，可通过按1:3和3:1来划 分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的非对称分区类型。
可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种 类型。换句话说，如果变换单元的划分信息是0，则变换单元的尺寸可以是 2N×2N，即当前编码单元的尺寸。如果变换单元的划分信息是1，则可通过 对当前编码单元进行划分来获得变换单元。另外，如果尺寸为2N×2N的当前 编码单元的分区类型是对称分区类型时，则变换单元的尺寸可以是N×N，如 果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是 N/2×N/2。
关于具有树结构的编码单元的编码信息可被分配给与编码深度相应的编 码单元、预测单元和最小单元中的至少一个。与编码深度相应的编码单元可 包括包含相同编码信息的预测单元和最小单元中的至少一个。
因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包 括在与编码深度相应的同一编码单元中。另外，通过使用数据单元的编码信 息来确定与编码深度相应的相应编码单元，并因此可确定最大编码单元中的 编码深度的分布。
因此，如果基于邻近数据单元的编码信息来对当前编码单元进行预测， 则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的 编码信息。
可选地，如果基于邻近数据单元的编码信息来对当前编码单元进行预测， 则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并可参 考搜索到的邻近编码单元以对当前编码单元进行预测。
图13是用于描述根据表1的编码模式信息的编码单元、预测单元和变换 单元之间的关系的示图。
最大编码单元1300包括多个编码深度的编码单元1302、1304、1306、 1312、1314、1316和1318。这里，由于编码单元1318是一个编码深度的编 码单元，因此划分信息可以被设置成0。可将关于尺寸为2N×2N的编码单元 1318的分区类型的信息设置成以下分区类型中的一种：尺寸为2N×2N的分 区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、 尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD 的分区类型1334、尺寸为nL×2N的分区类型1336以及尺寸为nR×2N的分区 类型1338。
变换单元的划分信息(TU尺寸标记)是一种类型的变换索引。与变换 索引相应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改 变。
例如，当分区类型被设置成对称(即，分区类型1322、1324、1326或 1328)时，如果变换单元的TU尺寸标记是0，则设置尺寸为2N×2N的变换 单元1342，如果TU尺寸标记是1，则设置尺寸为N×N的变换单元1344。
当分区类型被设置成非对称(即，尺寸为2N×nU的分区类型1332、尺 寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336或尺寸为 nR×2N的分区类型1338)时，如果TU尺寸标记是0，则设置尺寸为2N×2N 的变换单元1352，如果TU尺寸标记是1，则设置尺寸为N/2×N/2的变换单 元1354。
参照图13，TU尺寸标记是具有值0或1的标记，但是TU尺寸标记不 限于具有1比特的标记，并且变换单元可在TU尺寸标记从0开始增加时被 分层划分为具有树结构。变换单元的划分信息(TU尺寸标记)可以是变换索 引的示例。
在这种情况下，根据本发明的实施例，可通过使用变换单元的TU尺寸 标记以及变换单元的最大尺寸和最小尺寸来表示实际上已使用的变换单元的 尺寸。视频编码设备100能够对最大变换单元尺寸信息、最小变换单元尺寸 信息和最大TU尺寸标记进行编码。对最大变换单元尺寸信息、最小变换单 元尺寸信息和最大TU尺寸标记进行编码的结果可被插入SPS。视频解码设 备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU 尺寸标记来对视频进行解码。
例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是 32×32，则(a-1)当TU尺寸标记为0时，变换单元的尺寸可以是32×32，(a-2) 当TU尺寸标记为1时，变换单元的尺寸可以是16×16，(a-3)当TU尺寸标 记为2时，变换单元的尺寸可以是8×8。
作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单 元尺寸是32×32，则(b-1)当TU尺寸标记为0时，变换单元的尺寸可以是 32×32。这里，由于变换单元的尺寸不能够小于32×32，因此TU尺寸标记不 能够被设置为除了0以外的值。
作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺 寸标记为1，则TU尺寸标记可以是0或1。这里，TU尺寸标记不能够被设 置为除了0或1以外的值。
因此，当TU尺寸标记为0时，如果定义最大TU尺寸标记为 “MaxTransformSizeIndex”，最小变换单元尺寸为“MinTransformSize”，变换单 元尺寸为“RootTuSize”，则可通过等式(1)来定义可在当前编码单元中确定 的当前最小变换单元尺寸“CurrMinTuSize”：
CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))…(1)
与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize” 相比，当TU尺寸标记为0时，变换单元尺寸“RootTuSize”可指示可在系统中 选择的最大变换单元尺寸。在等式(1)中， “RootTuSize/(2∧MaxTransformSizeIndex)”指示当TU尺寸标记为0时，变换单元 尺寸“RootTuSize”被划分了与最大TU尺寸标记相应的次数时的变换单元尺 寸，“MinTransformSize”指示最小变换尺寸。因此， “RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中较小的值可以是 可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。
根据本发明的实施例，最大变换单元尺寸RootTuSize可根据预测模式的 类型而改变。
例如，如果当前预测模式是帧间模式，则可通过使用以下的等式(2)来 确定“RootTuSize”。在等式(2)中，“MaxTransformSize”指示最大变换单元 尺寸，“PUSize”指示当前预测单元尺寸：
RootTuSize＝min(MaxTransformSize,PUSize)……(2)
也就是说，如果当前预测模式是帧间模式，则当TU尺寸标记为0时的 变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸中 较小的值。
如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3) 来确定“RootTuSize”。在等式(3)中，“PartitionSize”指示当前分区单元的尺 寸：
RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)
也就是说，如果当前预测模式是帧内模式，则当TU尺寸标记为0时的 变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸 之中较小的值。
然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺 寸“RootTuSize”仅是示例，本发明不限于此。
包括以上参照图1至图13描述的树结构的编码单元的最大编码单元可被 不同地称为编码块树、块树、根块树、编码树、编码根或树干。
在下文中，现在将参照图14至图23来描述基于树结构的编码单元的多 视点视频层间编码技术和多视点视频层间解码技术。
图14是根据本发明的实施例的多视点视频层间编码设备1400的框图。
多视点视频层间编码设备1400包括基本层编码器1410、附加层编码器 1420和输出单元1430。
层间编码设备1400将多视点视频划分类多个层，然后对多视点视频进行 编码。
单视点图像可包括纹理图像和深度图像。纹理图像可包括根据YUV彩 色分量的像素值。深度图像可包括被二维表示的图像的深度分量。
也就是说，基本视点图像可包括基本视点纹理图像和基本视点深度图像。 第一附加视点图像可包括第一附加视点纹理图像和第一附加视点深度图像。 此外，第二附加视点图像可包括第二附加视点纹理图像和第二附加视点深度 图像。在下文中，为了便于描述，“基本视点图像”可指示“基本视点纹理图像” 和/或“基本视点深度图像”，或者“附加视点图像”可指示“附加视点纹理图像” 和/或“附加视点深度图像”。
在相同视点图像中，纹理图像和深度图像可被分类为不同的层，然后可 被编码。在本实施例中，基本层编码器1410对被分类为多个层的图像之中的 基本层图像进行编码。可将基本视点图像的纹理图像和深度图像分类为不同 的层。基本视点纹理图像和基本视点深度图像之一可作为基本层图像被编码。 另一图像可作为附加层图像被编码。
在本实施例中，多视点视频层间编码设备1400可基于以上参照图1至图 13描述的树结构的编码单元对基本层图像进行编码。也就是说，基本层编码 器1410可将基本层图像划分为最大编码单元，可基于在通过分层划分每个最 大编码单元而获得的编码单元之中划分被完成的编码单元来确定编码模式， 并可输出编码数据。
在本实施例中，附加层编码器1420可参考通过对基本视点纹理图像和基 本视点深度图像中的作为基本层图像的一个图像进行编码而产生的编码信 息，对基本视点纹理图像和基本视点深度图像中的另一图像进行编码。
可改变基本视点纹理图像和基本视点深度图像的编码顺序，并且可将基 本视点纹理图像和基本视点深度图像之中首先被编码的图像选为基本层图 像。可基于被选为基本层的图像的编码信息，对另一图像执行预测编码。
附加层编码器1420可根据预定层间编码模式来改变图像参考方法。将参 照图20描述根据层间编码模式的类型而被改变的图像参考方法。
如参照图1至图13所描述的，可在空间上对视频的图像进行划分，使得 产生最大编码单元，并且可将每个最大编码单元划分为多个编码单元。当确 定是否将每个编码单元划分为更小的编码单元时，可对每个编码单元以独立 于邻近编码单元的方式执行所述确定。
在本实施例中，附加层编码器1420对在被分类为多个层的图像之中的附 加层图像进行编码。
附加层的数量可以是多个。附加层图像可包括基本视点纹理图像和基本 视点深度图像之中的未作为基本层图像被编码的其余图像。附加层图像可包 括附加视点图像的YUV纹理图像和深度图图像。可存在一个或更多个附加视 点。可将多个附加视点图像分类为不同的层。在相同的附加视点图像中，可 将纹理图像和深度图像分类为不同的层。
附加层编码器1420可基于附加层图像的树结构的编码单元来输出编码 后的附加层图像的数据。另外，附加层编码器1420可确定层间编码模式以便 对附加层图像进行编码，其中，层间编码模式是指示是否参考基本视点图像 的信息。附加层编码器1420可基于确定的层间编码模式通过参考基本层图像 的编码信息对附加层图像执行预测编码。
在本实施例中，附加层编码器1420可通过参考基本层图像的编码信息对 附加视点纹理图像和附加视点深度图像中的至少一个进行编码。
在本实施例中，附加层编码器1420可通过参考基本视点深度图像的编码 信息对附加视点纹理图像和附加视点深度图像中的至少一个进行编码。
在本实施例中，附加层编码器1420可在具有相同附加视点的纹理图像和 深度图像之间执行预测编码。首先，附加层编码器1420可对附加视点纹理图 像和附加视点深度图像中的一个进行编码。附加层编码器1420可通过参考经 由首先对附加视点纹理图像和附加视点深度图像中的一个进行编码而产生的 编码信息，对附加视点纹理图像和附加视点深度图像中的另一个进行编码。 在此情况下，可改变附加视点纹理图像和附加视点深度图像的编码顺序，并 且可基于在附加视点纹理图像和附加视点深度图像之中的首先被编码的图像 的编码信息，对附加视点纹理图像和附加视点深度图像中的另一个执行预测 编码。
如上所述，附加层编码器1420可根据预定层间编码模式来改变图像参考 方法。
因此，在本实施例中，附加层编码器1420可基于预定层间编码模式通过 参考编码信息对附加视点纹理图像和附加视点深度图像中的另一执行预测编 码，其中，所述编码信息通过对基本视点纹理图像和基本视点深度图像、附 加视点纹理图像和附加视点深度图像中的至少一个进行编码来产生。
输出单元1430可根据由基本层编码器1410得到的编码结果来输出基本 层图像的编码模式和预测值。输出单元1430可输出通过由基本层编码器1410 基于树结构的编码单元对每个最大编码单元执行编码而获得的编码数据。
此外，输出单元1430可根据基于由附加层编码器1420确定的层间编码 模式的编码结果来输出附加层图像的层间编码模式。输出单元1430可基于树 结构的编码单元根据对每个最大编码单元执行编码的结果来选择性地输出编 码信息，其中，所述编码由附加层编码器1420执行。
输出单元1430可经由不同的层输出基本视点纹理图像的编码模式和预 测值、基本深度图像的编码模式和预测值。类似地，输出单元1430可经由不 同的层输出附加视点纹理图像的编码模式和预测值、基本视点深度图像的编 码模式和预测值。
可供附加层图像参考的基本层图像的编码信息可以是多条编码信息中的 至少一条，其中，所述多条编码信息包括根据编码结果确定的编码模式、预 测值、语法和恢复值等。在本实施例中，编码模式可包括编码单元的结构信 息以及预测模式的预测信息。编码单元的结构信息可包括以下项中的至少一 项：当前编码单元的深度、构成当前编码单元的编码单元的组合类型。预测 信息可包括以下项中的至少一项：用于帧内预测的分区类型、帧内索引、用 于帧间预测的分区类型、运动矢量、参考索引和非零系数位置信息(最后一 个系数的位置信息)。在本实施例中，预测值可包括以下项中的至少一项：被 量化的变换系数、根据帧间预测的系数之间的差值、残差数据。附加层编码 器1420可通过参考包括在基本层图像的编码模式中的以下结构信息中的至 少一个来对附加层图像进行编码：编码单元的结构信息、包括在编码单元中 的变换单元的结构信息。在本实施例中，变换单元的结构信息可包括当前编 码单元的变换深度、变换索引中的至少一个。
附加层编码器1420可通过参考包括在基本层图像的编码模式中的以下 项中的至少一项来确定附加层图像的编码模式：预测模式、分区类型、模式 信息和帧内信息。
附加层编码器1420可通过参考包括在基本层图像的编码模式中的以下 项中的至少一项来确定附加层图像的编码模式：与环路滤波相关的信息、非 零系数位置信息、恢复的预测值和恢复的纹理信息。
例如，在帧内模式下，恢复的当前数据单元的预测值可表示通过使用在 空间上与当前数据单元邻近的邻近数据单元的值而确定的预测值。此外，在 帧间预测的情况下，恢复的当前数据单元的预测值可表示通过使用先前恢复 的参考帧对当前数据单元执行运动补偿而产生的预测值。在本实施例中，可 通过使用恢复的基本层数据单元的预测值来确定附加视点数据单元的预测 值，其中，所述基本层数据单元在与恢复的基本层图像被缩放后的图像中的 所述附加视点数据单元相应时被定位。在另一实施例中，可通过使用恢复的 基本层数据单元的预测值被缩放后的值来确定附加视点数据单元的预测值， 其中，所述基本层数据单元在恢复的基本层图像中与附加层数据单元相应时 被定位。
附加层编码器1420可基于确定的附加层图像的编码模式对附加层图像 进行编码。
在本实施例中，附加层编码器1420可通过参考基本层图像的编码信息中 的残差信息和变换系数中的至少一个来确定附加层图像的残差信息和变换系 数中的至少一个。
在本实施例中，附加层编码器1420可参考通过帧内预测或帧间预测而产 生的恢复图像的恢复值，因此可确定包括在基本层图像的编码信息中的附加 层图像的恢复值。
此外，附加层编码器1420可通过使用根据针对基本层图像的编码结果而 确定的编码语法元素来确定用于附加层图像的编码语法元素。
如上所述，附加层编码器1420可基于附加层图像的编码信息对附加层图 像进行编码，其中，附加层图像的编码信息是通过根据层间编码模式使用基 本层图像的编码信息来确定的。
在本实施例中，附加层编码器1420可针对附加层图像的每个预定编码单 元确定层间编码模式。例如，针对每个画面序列确定层间编码模式。可选地， 可针对每个并行块(tile)确定层间编码模式。可选地，可针对每个最大编码 单元确定层间编码模式。可选地，可针对每个编码单元确定层间编码模式。 可选地，可针对编码单元的每个预定组合确定层间编码模式。
也就是说，基于相应的层间编码模式，附加层编码器1420可对每个数据 单元执行层间预测或者可不对每个数据单元执行层间预测。
在本实施例中，输出单元1430可输出基本层图像的预测值和编码模式。
在本实施例中，输出单元1430可根据层间编码模式的类型针对附加层图 像输出不同信息。
例如，根据第一层间编码模式，附加层编码器1420可根据附加层图像的 第一层间编码模式从基本层图像的编码信息推断或预测附加层图像的编码信 息。可选地，附加层编码器1420可从基本层图像的编码信息推断或预测附加 层图像的编码信息中的一部分。
在此情况下，根据第一层间编码模式，输出单元1430可输出附加层图像 的编码信息中的除了从基本层图像推断的信息之外的其余信息。然后，接收 端可按照直接接收附加层图像的编码信息的方式来使用接收到的附加层图像 的编码信息，并可通过参考基本层图像的编码信息来推断或预测未被发送的 附加层图像的编码模式。
在另一实施例中，附加层编码器1420可根据附加层图像的第二层间编码 模式从基本层图像的编码信息推断或预测附加层图像的编码信息。
在此情况下，根据第二层间编码模式，输出单元1430可仅输出附加层图 像的层间编码模式，而可不发送附加层图像的编码信息。然后，接收端可从 基本层图像的编码信息推断或预测附加层图像的编码信息，其中，基本层图 像的编码信息包括编码模式、预测值、语法和恢复值中的至少一个。
在本实施例中，附加层编码器1420可基于确定的层间编码模式确定将被 附加层的数据单元参考的基本层图像的数据单元。换句话说，可确定被映射 到与附加视点数据单元的位置相应的位置的基本层数据单元。附加层编码器 1420可通过参考包括以下项中的至少一项的编码信息对附加视点图像执行预 测编码：确定的基本层的数据单元的编码模式、预测值、语法和恢复值。
在本实施例中，附加层编码器1420可通过使用附加视点图像的当前数据 单元和基本视点图像之间的视差来确定基本视点图像之中的被映射到所述当 前数据单元的数据单元的位置。这里，可将与附加视点图像的当前数据单元 和基本视点图像之间的视差相关的信息编码为编码信息。
此外，附加层编码器1420可通过使用基本视点深度图像或先前由附加视 点图像的邻近数据单元使用的关于视差或深度的信息，确定附加视点图像的 当前数据单元和基本视点图像之间的视差。在此情况下，由于可通过使用关 于当前数据单元的视差或深度的信息来使用当前数据单元的视差以确定基本 视点图像之中的被映射到当前数据单元的数据单元的位置，因此可不单独地 对关于当前数据单元的视差的信息进行编码。
如以上参照图1至图13所描述的，基本层图像和附加层图像中的每个图 像的数据单元可包括以下单元中的至少一个：最大编码单元、编码单元和包 括在编码单元中的预测单元、变换单元和最小单元。
在本实施例中，附加层编码器1420可确定基本层图像之中的与附加层图 像的当前数据单元相应的相同类型的数据单元。例如，附加层图像的最大编 码单元可参考基本层图像的最大编码单元。附加层图像的编码单元可参考基 本层图像的编码单元。
此外，附加层编码器1420可确定基本层图像之中的与附加层图像的当前 数据单元组相应的相同组类型的数据单元组。例如，附加层图像的编码单元 组可参考基本层图像的编码单元组。附加层图像的变换单元组可参考基本层 图像的变换单元组。可通过使用可供参考的基本层图像的数据单元组的编码 信息对附加层图像的当前数据单元组进行编码。
附加层编码器1420可对作为图像的数据单元的条带或并行块执行层间 编码。例如，附加层编码器1420可通过参考包括与附加层图像的当前条带相 应的位置的基本层图像的条带的编码信息来对附加层图像的当前条带进行编 码。可选地，附加层编码器1420可通过参考关于基本层图像之中的包括与附 加层图像的当前并行块相应的位置的并行块的信息来对附加层图像的当前并 行块进行编码。
为了确定基本层图像之中的与附加数据图像的当前数据单元相应的数据 单元，附加层编码器1420可根据在亚像素级别的采样精度将上层图像/基本 层图像之间的采样点进行比较。例如，附加层编码器1420可按1/12像素级 别的采样位置的精度来搜索采样位置，其中，采样位置在与附加层图像相应 的基本层图像中。在下层图像/附加层图像之间的2x上采样的情况下，采样 精度要求1/4像素位置和3/4像素位置的亚像素级别的精度。在(下层图像/ 附加层图像之间的)3/2x上采样的情况下，采样精度要求1/3像素位置和2/3 像素位置的亚像素级别的精度。
将参照图21详细描述与在基本层图像和附加层图像之间对数据单元进 行映射相关的实施例。
附加层编码器1420可在基本层图像的数据单元组之中确定数据单元，其 中，所述数据单元与附加层图像的当前数据单元相应，但是在当前数据单元 组的类型方面不同。例如，附加层图像的数据单元可参考基本层图像的最大 编码单元。附加层图像的预测单元可参考基本层图像的编码单元。附加层编 码器1420可通过参考基本层图像的不同类型的数据单元组的编码信息来对 附加层图像的当前数据组进行编码。
当针对附加层图像的当前数据单元确定层间预测模式时，附加层编码器 1420可通过参考基本层图像执行预测编码来对包括在当前数据单元中的一些 下层数据单元执行层间预测，并可对与附加层图像相同的层中的其余下层数 据单元执行预测编码。
附加层编码器1420可调整从基本层图像推断的编码信息，并可通过参考 调整后的编码信息来确定附加层图像的编码信息。可通过使用确定的附加层 图像的编码信息来恢复附加层图像。也可对用于精细地调整从基本层图像推 断的编码信息的修正信息进行编码。
因此，层间编码设备1400可分别将基本视点纹理图像、基本视点深度图 像、附加视点纹理图像和附加视点深度图像编码在不同层中，并可发送编码 信息。
在本实施例中，多视点视频层间编码设备1400基于树结构的编码单元执 行编码，因此可与一个或更多个实施例中的视频编码设备100相关。
例如，多视点视频层间编码设备1400的基本层编码器1410可根据由视 频编码设备100的最大编码单元划分器110、编码单元确定器120和输出单 元130进行的操作，基于树结构的编码单元对基本层图像进行编码。编码单 元确定器120可确定数据单元(诸如基本层图像的编码单元、预测单元、变 换单元或分区)的编码模式。类似于由输出单元130进行的操作，输出单元 1430可输出编码信息，其中，所述编码信息针对基本层图像的每个数据单元 被确定并包括编码模式和编码的预测值。
例如，附加层编码器1420也可根据由最大编码单元划分器110、编码单 元确定器120和输出单元130进行的操作来执行编码。由附加层编码器1420 进行的编码操作可类似于由编码单元确定器120进行的操作，但可基于层间 编码模式参考基本层图像的编码信息以便确定用于附加层图像的编码信息。 此外，输出单元1430可执行与由输出单元130进行的操作类似的操作，但是 基于层间编码模式可不选择性地对附加层的编码信息进行编码。在本实施例 中，多视点视频层间编码设备1400可包括通常控制基本层编码器1410、附 加层编码器1420和输出单元1430的中央处理器(未示出)。可选地，基本层 编码器1410、附加层编码器1420和输出单元1430可分别使用它们各自的处 理器(未示出)来进行操作，并且由于处理器彼此交互操作，因此多视点视 频层间编码设备1400可相应地进行操作。可选地，根据由多视点视频层间编 码设备1400的外部控制器(未示出)进行的控制，可控制基本层编码器1410、 附加层编码器1420和输出单元1430。
在本实施例中，多视点视频层间编码设备1400可包括用于存储基本层编 码器1410、附加层编码器1420和输出单元1430的输入数据和输出数据的一 个或更多个数据存储单元(未示出)。视频编码设备100可包括存储器控制单 元(未示出)，其中，存储器控制单元控制所述一个或更多个数据存储单元的 数据输入和输出。
在本实施例中，多视点视频层间编码设备1400可与在内部嵌入的内部视 频编码处理器或外部视频编码设备交互操作以便输出视频编码结果，使得多 视点视频层间编码设备1400可执行包括变换的视频编码操作。多视点视频层 间编码设备1400的内部视频编码处理器不仅可与单独的处理器相应，还可与 以下情况相应：多视点视频层间编码设备1400的中央处理器或图形操作单元 包括视频编码处理模块并因此执行基本视频编码操作。
图15是根据本发明的实施例的多视点视频层间解码设备1500的框图。
在本实施例中，层间解码设备1500包括解析器1510、基本层解码器1520 和附加层解码器1530。
多视点视频层间解码设备1500可接收包括编码的视频数据的比特流。解 析器1510可从接收到的比特流解析基本层图像的编码信息和附加层图像的 层间编码模式。
在本实施例中，层间解码设备1500可接收分别作为单独的层的基本视点 图像的纹理图像和深度图像以及附加视点图像的纹理图像和深度图像的多个 比特流。不同的附加视点图像的纹理图像的多个比特流可作为不同的层被接 收，不同的附加视点图像的深度图像的多个比特流可作为不同的层被接收。 解析器1510可从用于每个层的比特流提取编码信息。
基本层解码器1520可通过使用解析出的基本层图像的编码信息来对基 本层图像进行解码。基本层图像可以是基本视点纹理图像和基本视点深度图 像之一。当多视点视频层间解码设备1500基于树结构的编码单元对视频进行 解码时，基本层解码器1520可基于树结构的编码单元对基本层图像的每个最 大编码单元执行解码。
在本实施例中，基本层解码器1520可从解析自基本层比特流的基本层图 像的编码信息对基本层图像进行解码。在本实施例中，基本层解码器1520可 从解析自基本层比特流的编码信息对基本视点纹理图像和基本视点深度图像 之一进行解码。
在本实施例中，基本层比特流可以是基本视点纹理图像和基本视点深度 图像中的一个的比特流。
例如，基本层解码器1520可仅接收包括基本视点纹理图像的编码信息的 比特流。基本层解码器1520可通过使用从接收到的比特流解析出的基本视点 纹理图像的编码信息来首先对基本视点纹理图像进行解码。在此情况下，可 从附加层比特流恢复基本视点深度图像。
相反地，当基本层解码器1520仅接收包括基本视点深度图像的编码信息 的比特流时，可仅恢复基本视点深度图像。在此情况下，可从附加层比特流 恢复基本视点纹理图像。
在本实施例中，附加层解码器1530可通过使用由基本层解码器1520解 码出的基本层图像的编码信息对附加层图像进行解码。
基本视点纹理图像和基本视点深度图像中的未作为基本层图像的另一图 像、附加视点纹理图像和附加视点深度图像可分别作为单独的多个附加层比 特流被接收。
附加层解码器1530可通过参考基本层图像或者首先被解码的基本层图 像的解析出的编码信息或解析出的编码模式，对基本视点图像的其余部分进 行解码。根据层间编码模式的类型，通过参考首先被解码的图像或解析出的 编码信息对另一图像进行解码的方法可不同。
通过参考基本层图像的编码模式(即，编码信息)，附加层解码器1530 可根据解析出的附加层图像的层间编码模式对附加层图像执行预测解码。类 似地，附加层解码器1530可基于树结构的编码单元对附加层图像的每个最大 编码单元执行解码。
在本实施例中，附加层解码器1530可通过参考基本视点纹理图像的编码 信息对附加视点纹理图像和附加视点深度图像中的至少一个图像进行解码。 此外，附加层解码器1530可通过参考基本视点深度图像的编码信息对附加视 点纹理图像和附加视点深度图像中的至少一个图像进行解码。
可选地，附加层解码器1530可通过参考首先被解码的附加视点纹理图 像、或者附加视点纹理图像的编码信息对附加视点深度图像进行解码。相反 地，附加层解码器1530可通过参考首先被解码的附加视点深度图像、或者附 加视点深度图像的编码信息对附加视点纹理图像进行解码。
也就是说，在本实施例中，附加层解码器1530可通过参考基本视点纹理 图像、基本视点深度图像、附加视点纹理图像和附加视点深度图像的多条编 码信息中的至少一条，根据预定层间编码模式对附加视点纹理图像和附加视 点深度图像中的另一图像进行解码。
例如，附加视点解码器1530可通过参考基本层图像的编码模式中的以下 结构信息中的至少一个结构信息来确定附加层图像的编码模式：编码单元的 结构信息和包括在编码单元中的变换单元的结构信息。
例如，附加层解码器1530可通过参考基本层图像的编码模式的以下信息 中的至少一个信息来确定附加层图像的编码模式：预测模式信息、分区类型 信息、运动信息和帧内信息。
例如，附加层解码器1530可通过参考基本层图像的编码模式中的以下信 息中的至少一个信息来确定附加层图像的编码模式：与环路滤波相关的信息、 非零系数位置信息、恢复的预测信息和恢复的纹理信息。
附加层解码器1530可基于通过参考基本层图像的编码模式而确定的附 加层图像的编码模式来对附加层图像进行解码。
例如，附加层解码器1530可通过参考基本层图像的编码模式中的以下信 息中的至少一个信息来确定附加层的预测值：残差信息、系数信息和恢复的 预测值。附加层解码器1530可基于确定的附加层图像的预测值对附加层图像 进行解码。
解析器1510基于第一层间编码模式解析作为附加层图像的编码模式的 信息之中除了从基本层图像的编码模式推断的信息之外的其余信息。在此情 况下，附加层解码器1530可从基本层图像的编码模式推断或预测未解析的关 于附加层图像的编码模式的信息。
可选地，解析器1510可根据第一层间编码模式对作为附加层图像的预测 值的信息之中除了从基本层图像的预测值推断的信息之外的其余信息进行解 析。在此情况下，附加层解码器1530可从基本层图像的预测值推断或预测未 解析的关于附加层图像的预测值的信息。
解析器1510可仅解析指示附加层图像基于第二层间编码模式的层间编 码模式信息。在此情况下，附加层解码器1530可从基本层图像的编码信息推 断或预测附加层图像的编码信息。
此外，附加层解码器1530可根据从比特流解析出的附加层图像的层间编 码模式来确定将被附加层图像的数据单元参考的基本层图像的数据单元。也 就是说，可确定被映射到与附加层图像的数据单元的位置相应的位置的基本 层图像的数据单元。附加层解码器1530可通过参考确定的基本层图像的数据 单元的编码信息对附加层图像执行预测解码。可基于树结构的编码单元对附 加层图像进行预测解码。
在本实施例中，附加层解码器1530可通过使用与附加视点图像的当前数 据单元和基本视点图像之间的视差相关的改变信息，确定将被附加视点图像 的当前数据单元参考的基本层图像的数据单元。当解析器1510首先解析附加 视点图像的当前数据单元和基本视点图像之间的视差信息时，可通过使用解 析出的改变信息来确定将被附加视点图像的当前数据单元参考的基本视点图 像的数据单元的位置。
在本实施例中，附加层解码器1530可通过使用在基本视点深度图像或附 加视点图像的邻近数据单元中被先前使用的改变信息或深度信息，确定附加 视点图像的当前数据单元和基本视点图像之间的视差信息。通过使用确定的 改变信息，可确定被映射到当前数据单元的基本视点图像的数据单元的位置。 当未首先解析附加视点图像的当前数据单元和基本视点图像之间的视差信息 时，可参考先前在对另一数据单元进行解码时使用的改变信息或深度信息来 确定基本视点图像的数据单元的位置。
附加层解码器1530可根据按亚像素级别的采样精度来搜索与附加层图 像的样点相应的基本层图像的样点的位置，以便确定与附加层图像的当前数 据单元相应的基本层图像的数据单元。
附加层解码器1530可确定基本层图像之中的与附加层图像的当前数据 单元相应的相同类型的数据单元。附加层解码器1530可通过参考确定的基本 层图像的数据单元的编码信息来确定附加层图像的当前数据单元的编码信 息，并可通过使用确定的当前数据单元的编码信息对当前数据单元进行解码。
附加层解码器1530可确定基本层图像之中的与附加层图像的当前数据 单元组相应的相同组类型的数据单元组。附加层解码器1530可通过参考确定 的基本层图像的数据单元组的编码信息来确定附加层图像的当前数据单元组 的编码信息，并可通过使用当前数据单元组的编码信息对当前数据单元组进 行解码。
附加层解码器1530可通过参考基本层图像的当前条带信息和并行块信 息中的至少一个来确定附加层图像的当前条带信息和并行块信息中的至少一 个。
此外，附加层解码器1530可确定基本层图像之中的与附加层图像的当前 数据单元相应的不同类型的数据单元，然后可通过参考基本层图像的数据单 元的编码信息来确定附加层图像的当前数据单元的编码信息。例如，附加层 解码器1530可通过全部使用基本层图像的预定编码单元的编码信息来确定 附加层图像的当前最大编码单元的编码信息。
此外，附加层解码器1530可确定基本层图像之中的与附加层图像的当前 数据单元组相应的不同类型的数据单元组，然后可通过参考基本层图像的数 据单元组的编码信息来确定附加层图像的当前数据单元组的编码信息。例如， 附加层解码器1530可通过全部使用基本层图像的预定编码单元组的编码信 息来确定附加层图像的当前最大编码单元组的编码信息。
当针对附加层图像的当前数据单元确定层间预测模式时，附加层解码器 1530可通过参考基本层图像对包括在当前数据单元中的一些下层数据单元进 行解码，并可对与附加层图像相同的层中的剩余的下层数据单元进行解码。
附加层解码器1530可修改从基本层图像推断的编码信息，然后可通过参 考修改后的编码信息来确定附加层图像的编码信息。附加层解码器1530可通 过使用确定的附加层图像的编码信息来恢复附加层图像。解析器1510可对修 正信息进行解析，附加层解码器1530可基于解析出的修正信息来修改从基本 层图像推断的编码信息。
因此，层间解码设备1500可经由不同的层分别单独地恢复基本视点纹理 图像、基本视点深度图像、附加视点纹理图像和附加视点深度图像。
在本实施例中，多视点视频层间解码设备1500基于树结构的编码单元执 行解码，并因此可与一个或更多个实施例中的视频解码设备200相关。
例如，多视点视频层间解码设备1500的解析器1510可根据视频解码设 备200的接收器210的操作来接收比特流，然后可根据视频解码设备200的 图像数据和编码信息提取器220的操作来解析关于基本层图像的编码信息和 关于附加层图像的编码信息。解析器1510可针对数据单元(诸如基本层图像 的编码单元、预测单元、变换单元或分区)解析编码信息。这里，解析器1510 基于层间预测模式，可不选择性地解析关于附加层图像的编码信息。
例如，与由视频解码设备200的图像数据解码器230进行的操作类似， 基本层解码器1520可通过使用解析出的编码信息基于树结构的编码单元对 基本层图像进行解码。
与由视频解码设备200的图像数据解码器230进行的操作类似，附加层 解码器1530可通过使用解析出的编码信息基于树结构的编码单元对附加层 图像进行解码。这里，附加层解码器1530可根据层间编码模式通过参考基本 层图像的编码信息来确定用于附加层图像的编码信息，然后可执行解码。
在本实施例中，多视点视频层间解码设备1500可包括通常控制解析器 1510、基本层解码器1520和附加层解码器1530的中央处理器(未示出)。可 选地，解析器1510、基本层解码器1520和附加层解码器1530可通过分别使 用它们各自的处理器(未示出)来进行操作，并且由于处理器彼此交互操作， 因此多视点视频层间解码设备1500可相应地进行操作。可选地，根据由多视 点视频层间解码设备1500的外部处理器(未示出)进行的控制，可控制解析 器1510、基本层解码器1520和附加层解码器1530。
在本实施例中，多视点视频层间解码设备1500可包括用于存储解析器 1510、基本层解码器1520和附加层解码器1530的输入数据和输出数据的一 个或更多个数据存储单元(未示出)。多视点视频层间解码设备1500可包括 存储器控制单元(未示出)，其中，存储器控制单元控制所述一个或更多个数 据存储单元的数据输入和输出。
在本实施例中，为了通过对视频进行解码来恢复视频，多视点视频层间 解码设备1500可与在内部嵌入的内部视频解码处理器或外部视频解码处理 器交互操作，使得多视点视频层间解码设备1500可执行包括逆变换的视频解 码操作。多视点视频层间解码设备1500的内部视频解码处理器不仅可与单独 的处理器相应，而且可与以下情况相应：多视点视频层间解码设备1500的中 央处理器或图形操作单元包括视频解码处理模块并因此执行基本视频解码操 作。
在本实施例中，多视点视频层间编码设备1400和多视点视频层间解码设 备1500可单独地确定用于每个序列、条带或画面的层间预测方法。例如，可 单独确定用于第一画面(或序列或条带)的层间预测方法和用于第二画面的 层间预测方法。
此外，在推断的层间预测下，可通过参照基本层数据单元的至少两条编 码信息来预测附加层数据单元的编码信息。也就是说，已确定将被参考的至 少两条编码信息。例如，针对基本层数据单元被确定的多条编码信息被全部 使用，使得用于附加层数据单元的多条编码信息可被确定。当多视点视频层 间编码设备1400对附加层数据单元执行推断的层间预测时，多视点视频层间 解码设备1500也可确定与附加视点图像相应的基本层数据单元，并可通过全 部使用基本层数据单元的多条编码信息来确定附加视点数据单元的多条编码 信息。
此外，对于层间预测，基本层数据单元的编码信息可被修改或可被减少， 然后被使用。例如，为了预测附加视点数据单元的运动矢量，可将基本层分 区的运动矢量向下修改到特定像素级别(诸如整像素级别或1/2像素级别的 亚像素级别)的精度，然后被使用。如另一示例，多个基本层分区的运动矢 量可被融合为一个矢量，然后可被用作附加视点分区的运动矢量。
在下文中，参照图16至图22详细描述由层间编码设备1400和层间解码 设备1500使用的层间预测方法。
图16是根据本发明的实施例的层间编码系统1600的框图。
层间编码系统1600包括基本层编码端1610、附加层编码端1660以及在 基本层编码端1610和附加层编码端1660之间的层间预测端1650。基本层编 码端1610和附加层编码端1660可分别具有基本层编码器1410和附加层编码 器1420的详细配置。
层间编码方法可将多视点视频分类为根据视点的多层图像、纹理图像和 深度图像。在下文中，为了便于描述，在层间编码系统1600区分地对作为基 本层图像的基本视点纹理图像进行编码，并对作为附加层图像的基本视点深 度图像、附加视点纹理图像或附加视点深度图像进行编码的同时，层间编码 系统1600对多视点视频进行编码。
基本层编码端1610接收基本层图像序列，并对每个图像进行编码。附加 层编码端1660接收附加层图像序列，并对每个图像进行编码。同时描述由基 本层编码端1610和附加层编码端1660进行的操作之中彼此重叠的操作。
经由块划分器1618或1668将输入图像(低分辨率图像或高分辨率图像) 划分为最大编码单元、编码单元、预测单元或变换单元。为了对从块划分器 1618或1668输出的编码单元进行编码，可对编码单元的每个预测单元执行 帧内预测或帧间预测。根据预测开关1648或1698将预测单元的预测模式指 示为帧内预测模式还是指示为帧间预测模式，可通过参考从运动补偿器1640 或1690输出的先前恢复的图像来执行帧间预测，或者可通过使用从帧内预测 器1645或1695输出的当前输入图像中的当前预测单元的邻近预测单元来执 行帧内预测。可经由帧间预测来产生用于每个预测单元的残差信息。
根据每个预测单元，关于每个预测单元和邻近图像的残差信息输入到变 换器和量化器1620或1670。变换器和量化器1620或1670可基于编码单元 的变换单元通过对每个变换单元执行变换和量化来输出量化后的变换系数。
缩放器和逆变换器1625或1675可根据编码单元的每个变换单元对量化 后的变换系数执行缩放和逆变换，并因此可产生关于空间域的残差信息。当 通过预测开关1648或1698的控制而指示帧间模式时，将残差信息和先前恢 复的图像或邻近预测单元进行合并，使得可产生包括当前预测单元的恢复图 像，并且可将当前恢复的图像存储在存储器1630或1680中。当前恢复的图 像可根据下次将被编码的预测单元的预测模式被传送到帧内预测器1645或 1695和运动补偿器1640或1690。
在帧间模式下，环路(in-loop)滤波单元1635或1685可根据每个编码单元 对存储在存储器1630或1680中的恢复图像执行以下滤波中的至少一个滤波： 去块滤波、样点自适应偏移(SAO)滤波和自适应环路滤波(ALF)滤波。 可对包括在编码单元中的预测单元和变换单元中的至少一个以及编码单元执 行去块滤波、SAO滤波和ALF滤波中的至少一个滤波。
去块滤波是用于减轻数据单元的块现象的滤波，SAO滤波是用于补偿由 于数据编码和解码而被改变的像素值的滤波，ALF滤波是用于使恢复图像和 原始图像之间的误差(即，均方误差(MSE))最小化的滤波。经环路滤波单 元1635或1685滤波的数据可根据每个预测单元被传送到运动补偿器1640或 1690。为了对从块划分器1618或1668输出的下一目标编码单元进行编码， 可产生关于从块划分器1618或1668输出的下一目标编码单元和从运动补偿 器1640或1690输出的当前恢复图像的残差信息。
可按这种方式，对输入图像的每个编码单元重复前述编码操作。
对于层间预测，附加层编码端1660可参考基本层编码端1610的存储器 1630中的恢复图像。基本层编码端1610的编码控制器1615可通过控制基本 层编码端1610的存储器1630来将基本层编码端1610的恢复图像传送到附加 层编码端1660。在层间预测端1650中，环路滤波单元1655可对从基本层编 码端1610的存储器1630输出的恢复的基本层图像执行去块滤波、SAO滤波 和ALF滤波中的至少一个滤波。当基本层和附加层具有不同的分辨率时，层 间预测端1650可对基本层的恢复图像执行上采样，并将上采样后的恢复图像 传递给附加层编码端1660。当通过附加层编码端1660的开关1698的控制来 执行层间预测时，可通过参考由层间预测端1650传递的恢复的基本层图像对 附加层图像执行层间预测。
对于图像编码，可设置用于编码单元、预测单元和变换单元的各种编码 模式。例如，可将深度或划分信息(例如，划分标记)设置为用于编码单元 的编码模式。可将预测模式、分区类型、帧内方向信息或参考列表信息设置 为用于预测单元的编码模式。可将变换深度或划分信息设置为变换单元的编 码模式。
基本层编码端1610可通过应用用于编码单元的各种深度中的每种深度、 用于预测单元的各种预测模式中的每种预测模式、各种分区类型中的每种分 区类型、各种帧内方向中的每种帧内方向、各种参考列表中的每种参考列表 以及用于变换单元的各种变换深度中的每种变换深度来执行编码，然后可根 据编码的结果来确定实现最高编码效率的编码深度、预测模式、分区类型、 帧内方向/参考列表、变换深度等。由基本层编码端1610确定的编码模式的 示例不限于上述编码模式。
基本层编码端1610的编码控制器1615可控制各种编码模式以适当地应 用于每个元件的操作。此外，对于由附加层编码端1660对多视点视频进行的 层间编码，编码控制器1615可控制附加层编码端1660通过参考基本层编码 端1610的编码结果来确定编码模式或残差信息的。
例如，附加层编码端1660可将基本层编码端1610的编码模式全部用作 用于附加层图像的编码模式，或者可通过参考基本层编码端1610的编码模式 来确定用于附加层图像的编码模式。
基本层编码端1610的编码控制器1615可控制附加层编码端1660的编码 控制器1665的控制信号，使得附加层编码端1660可从基本层编码端1610的 编码模式来使用当前编码模式，以便确定当前编码模式。
与根据图16中示出的层间预测方法的多视点视频层间编码系统1600类 似，可实现根据层间预测方法的多视点视频层间解码系统。也就是说，多视 点视频层间解码系统可接收基本层比特流和附加层比特流。多视点视频层间 解码系统的基本层解码端可对基本层比特流进行解码，因此可产生恢复的基 本层图像。多视点视频层间解码系统的附加层解码端可通过使用恢复的基本 层图像和解析出的编码信息对附加层比特流进行解码，因此可产生恢复的附 加层图像。
上述层间预测与基本层图像是基本视点纹理图像的情况相应，但是基本 层图像可以是基本视点深度图像。
当基本层图像是基本视点纹理图像或基本视点深度图像，并且附加层图 像是附加层纹理图像或附加层深度图像时，层间预测可与不同视点之间的视 点间预测相应。然而，当基本层图像是预定视点纹理(或深度)图像，并且 附加层图像是预定视点深度(或纹理)图像时，层间预测可与具有相同视点 的纹理图像和深度图像之间的预测相应。
图17示出根据本发明的实施例的用于多视点视频的层间编码系统1700。
在本实施例中，层间编码系统1700可根据视点包括HEVC视频编码器 1740、1750和1760以及深度图编码器1745、1755和1765。深度图指示图像 的深度分量被二维表示的图像类型。在本实施例中，HEVC视频编码器1740、 1750和1760中的每个HEVC视频编码器可根据YUV彩色格式对彩色图像的 纹理图像进行编码。
基本视点YUV纹理图像1710和基本视点深度图1715、第一附加视点 YUV纹理图像1720和第一附加视点深度图1725以及第二附加视点YUV纹 理图像1730和第二附加视点深度图1735作为单独的层图像被分别编码。
可由HEVC视频编码器1740根据HEVC标准对基本视点YUV纹理图 像1710进行编码，可由深度图编码器1745对基本视点深度图1715进行编码。 参照图17，根据HEVC标准对基本视点YUV纹理图像1710进行编码，然而， 可根据H.264标准对基本视点YUV纹理图像1710进行编码。
可由第一附加视点视频编码器1750对第一附加视点YUV纹理图像1720 进行编码，可由深度图编码器1755对第一附加视点深度图1725进行编码。 此外，可由第二附加视点HEVC视频编码器1760对第二附加视点YUV纹理 图像1730进行编码，可由深度图编码器1765对第二附加视点深度图1735进 行编码。
这里，为了对基本视点深度图1715进行编码，深度图编码器1745可参 考HEVC视频编码器1740通过对基本视点YUV纹理图像1710进行编码而 产生的编码信息或符号。
除了用于基本视点深度图1715的深度图编码器1745之外，用于第一附 加视点YUV纹理图像1720的第一附加视点视频编码器1750、以及用于第二 附加视点YUV纹理图像1730的第二附加视点视频编码器1760也可根据层间 预测模式，通过参考HEVC视频编码器1740通过对基本视点YUV纹理图像 1710进行编码而产生的编码信息或符号，分别对第一附加视点YUV纹理图 像和第二附加视点YUV纹理图像进行编码。
深度图编码器1755和1765可根据层间预测模式，通过参考用于基本视 点深度图的深度图编码器1745通过对基本视点深度图1715进行编码而产生 的编码信息或符号，分别对第一附加视点深度图1725和第二附加视点深度图 1735执行预测编码。
根据层间预测模式，第一附加视点视频编码器1750和第二附加视点视频 编码器1760可通过参考深度图编码器1745通过对基本视点深度图1715进行 编码而产生的编码信息或符号，分别对第一附加视点YUV纹理图像1720和 第二附加视点YUV纹理图像1730执行预测编码。
此外，为了对第一附加视点深度图1725进行编码，深度图编码器1755 可参考第一附加视点视频编码器1750通过对第一附加视点YUV纹理图像 1720进行编码而产生的编码信息或符号。用于第二附加视点YUV纹理图像 1730的第二附加视点视频编码器1760可参考由第一附加视点视频编码器 1750产生的第一附加视点YUV纹理图像1720的编码信息或符号。
根据层间预测模式，深度图编码器1765可通过参考用于第一附加视点深 度图的深度图编码器1755可通过对第一附加视点深度图1725进行编码而产 生的编码信息或符号，对第二附加视点深度图1735执行预测编码。根据特定 层间预测模式，为了对第二附加视点YUV纹理图像1730进行编码，第二附 加视点视频编码器1760可参考由深度图编码器1755产生的第一附加视点深 度图1725的编码信息或符号。
因此，当根据视点的纹理图像以及根据视点的深度图作为单独的层被编 码时，可参考从另一第一编码的层图像产生的编码信息或符号来对当前的层 图像进行预测编码。
由以下编码器得到的编码结果可由复用器1770复用并因此被输出为一 个比特流：用于基本视点图像的HEVC视频编码器1740和深度图编码器 1745、用于第一附加视点图像的第一附加视点视频编码器1750和深度图编码 器1755、用于第二附加视点图像的第二附加视点视频编码器1760和深度图 编码器1765。
在另一实施例中，层间编码系统1700可通过根据分别来自以下编码器的 多个层分别输出多条编码信息或符号来根据所述多个层输出多个比特流： HEVC视频编码器1740、深度图编码器1745、第一附加视点视频编码器1750、 深度图编码器1755、第二附加视点视频编码器1760和深度图编码器1765。
因此，可经由用于多视点视频的层间编码系统1700，同时对从多视点视 频划分的YUV纹理图像和深度图像进行编码。
图18示出根据本发明的实施例的用于多视点视频服务的发送和接收系 统1800。
用于多视点视频服务的发送和接收系统1800的发送端1810可对用于3D 视频服务的多视点视频进行编码并发送编码后的多视点视频。具体地，可将 多视点视频画面1812与深度图1814或相机参数1816编码为3D视频编码输 入格式。3D视频编码器1815可根据视点间预测模式对视频画面1812执行视 点间预测，或者可在视频画面1812和深度图1814之间执行预测。3D视频编 码器1815可发送包括关于3D视频的编码信息的比特流。
根据发送和接收系统1800中的接收端1820、1830和1840中的每个接收 端的再现能力，可从比特流选择可再现的图像格式，然后可对所选择的可再 现的图像格式进行解码。
也就是说，2D接收端1840可选择、接收并解码2D比特流，立体接收 端1830可选择、接收并解码立体比特流，3D接收端1820可选择、接收并解 码3D比特流。
当比特流提取器1850仅从由发送端1810发送的比特流提取2D图像比 特流时，2D接收端1840可接收2D图像比特流，并且2D视频解码器1845 可对2D图像比特流进行解码，并因此可恢复2D视频画面1842。可由2D显 示装置1890二维地再现2D视频画面1842。
当比特流提取器1850仅从由发送端1810发送的比特流提取立体图像比 特流时，立体接收端1830可接收立体图像比特流，立体视频解码器1835可 对立体图像比特流进行解码，并因此可恢复左视点画面和右视点画面1832。 可由立体显示装置1880根据立体方式三维地再现左视点画面和右视点画面 1832。
3D接收端1820可接收由发送端1810发送的比特流，3D视频解码器1825 可对比特流进行解码，并因此可恢复多视点画面1822、深度图1824和相机 参数1826。
可通过使用中间视点合成器1860将多视点画面1822与深度图1824或相 机参数1826合成来产生随机中间视点图像。因此，可产生多于实际发送的多 视点图像的数量的众多中间视点图像。因此，可由多视点显示装置1870显示 包括由中间视点合成器1860产生的合成视点图像的总共N个视点图像。
图19示出根据本发明的实施例的多视点视频的层间预测结构。
基于根据本实施例的层间预测方法，可将来自相同视点图像的YUV纹 理图像和深度图像编码到不同层中。此外，具有不同视点的图像编码可作为 单独的层被编码。因此，中央视点YUV纹理图像1910、中央视点深度图像 1920、左视点YUV纹理图像1930、左视点深度图像1940、右视点YUV纹 理图像1950和右视点深度图像1960可作单独的层被编码。
例如，在对中央视点YUV纹理图像1910进行编码之后，可通过参考中 央视点YUV纹理图像1910的编码信息或符号，对左视点YUV纹理图像1930 和右视点YUV纹理图像1950中的至少一个进行编码。
在中央视点深度图像1920进行编码之后，可通过参考中央视点深度图像 1920的编码信息或符号，对左视点深度图像1940和右视点深度图像1960中 的至少一个进行编码。
可不固定具有相同视点的YUV纹理图像和深度图像的编码顺序。
当中央视点YUV纹理图像1910被首先编码时，可通过参考中央视点 YUV纹理图像1910的编码信息或符号对中央视点深度图像1920进行编码。 在中央视点深度图像1920被首先编码的情况下，可通过参考中央视点深度图 像1920的编码信息或符号对中央视点YUV纹理图像1910进行编码。
在对左视点YUV纹理图像1930进行编码之后，可通过参考左视点YUV 纹理图像1930的编码信息或符号对左视点深度图像1940进行编码。在左视 点深度图像1940被首先编码的情况下，可通过参考左视点深度图像1940的 编码信息或符号对左视点YUV纹理图像1930进行编码。
在对右视点YUV纹理图像1950进行编码之后，可通过参考右视点YUV 纹理图像1950的编码信息或符号对右视点深度图像1960进行编码。在右视 点深度图像1960被首先编码的情况下，可通过参考右视点深度图像1960的 编码信息或符号对右视点YUV纹理图像1950进行编码。
虽然图19中未示出，但是可通过参考中央视点YUV纹理图像1910对 左视点深度图像1940进行编码，并且可通过参考中央视点深度图像1920对 右视点YUV纹理图像1950进行编码。也就是说，可通过参考不同视点YUV 纹理图像对当前视点深度图像进行编码，或者，可通过参考不同视点深度图 像对当前视点YUV纹理图像进行编码。
到目前为止已经描述了编码过程，并且在这点上，需根据与编码处理中 的参考关系等同的参考关系来执行解码。因此，可通过参考不同视点YUV纹 理图像对当前视点深度进行解码，或者，可通过参考不同视点深度图像对当 前视点YUV纹理图像进行解码。
图20示出根据本发明的实施例的层间预测模式的类型。
当对附加层图像的多视点视频执行层间编码时，可设置是否执行层间预 测2010，其中，层间预测2010涉及通过使用用于基本层图像的编码模式对 附加层图像进行编码。当执行层间预测2010时，可执行层间帧内预测2020 或第一层间运动预测2030。当不执行层间预测2010时，可执行第二层间运 动预测2040或一般运动预测(非层间运动预测)2050。
此外，当对附加层图像的多视点视频执行层间编码时，无论是否执行层 间预测2010，都可执行层间残差预测2060或一般残差预测2070。
例如，根据层间帧内预测2020，可通过参考与附加层图像相应的基本层 图像的采样值来预测所述附加层图像的采样值。根据第一层间运动预测2030， 可将通过对与附加层图像相应的基本层图像执行帧间预测而获得的预测单元 的分区类型、参考索引、运动矢量等全部用作附加层图像的帧间模式。参考 索引指示参考包括在参考列表中的参考图像的顺序。
例如，根据第二层间运动预测2040，根据帧间预测的基本层图像的编码 模式可被参考为附加层图像的编码模式。例如，虽然可通过全部采用基本层 图像的参考索引来确定附加层图像的参考索引，但是可通过参考基本层图像 的运动矢量来预测附加层图像的运动矢量。
例如，根据一般运动预测(非层间运动预测)2050，无论针对基本层图 像的编码结果如何，可都通过参考附加层图像序列的其它图像来执行用于附 加层图像的运动预测。
此外，当对附加层图像的多视点视频执行层间编码时，无论是否执行层 间预测2010，都可执行层间残差预测2060或一般残差预测2070。
根据层间残差预测2060，可通过参考基本层图像的残差信息来预测附加 层图像的残差信息。根据一般残差预测2070，可通过参考附加层图像序列的 其它图像来预测当前附加层图像的残差信息。
如以上参照图20所描述的，可执行层间预测，使得可对多视点视频的附 加层图像执行层间编码。根据层间预测，可选择性地执行“层间模式预测”、“层 间残差预测”以及“层间帧内预测”，其中，通过“层间模式预测”，附加层图 像的编码模式被确定，通过“层间残差预测”，附加层图像的残差信息经由使 用基本层图像的残差信息被确定，通过“层间帧内预测”，附加层图像仅在基 本层图像指示帧内模式时经由参考基本层图像被预测编码。
可选地，可针对每个编码单元或每个预测单元确定是否执行层间模式预 测、是否执行层间残差预测或是否执行层间帧内预测。
在另一示例中，可针对指示帧间模式的多个分区分别确定参考列表，并 且，可针对每个参考列表确定是否执行层间运动预测。
例如，当对附加层图像的当前编码单元(即，预测单元)执行层间模式 预测时，可将与附加层图像相应的基本层图像的编码单元(即，预测单元) 的预测模式确定为附加层图像的当前编码单元(预测单元)的编码模式。
在下文中，为了便于描述，“附加层图像/基本层图像的当前编码单元(预 测单元)”被称为“附加层数据单元/基本层数据单元”。
也就是说，当基本层数据单元在帧内模式下被编码时，可对附加层数据 单元执行层间帧内预测。当基本层数据单元在帧间模式下被编码时，可对附 加层数据单元执行层间运动预测。
然而，当在与附加层数据单元相应的位置处的基本层数据单元在帧间模 式下被编码时，还可确定是否对附加层数据单元执行层间残差预测。当基本 层数据单元在帧内模式下被编码，并且帧间残差预测被执行时，可通过使用 基本层数据单元的残差信息来预测附加层数据单元的残差信息。当基本层数 据单元在帧间模式下被编码，并且层间残差预测未被执行时，可在不参考基 本层数据单元的残差信息的情况下，通过对附加层数据单元执行运动预测来 确定附加层数据单元的残差信息。
此外，当未对附加层数据单元执行层间模式预测时，可根据附加层数据 单元的预测模式是跳过模式、是帧间模式、还是帧内模式来确定层间预测方 法。例如，当附加层数据单元的预测模式是帧间模式时，可确定是否对分区 的每个参考列表执行层间运动预测。当附加层数据单元的预测模式是帧内模 式时，可确定是否执行层间帧内预测。
可针对每个数据单元选择性地确定是否执行层间模式预测、是否执行层 间残差预测或是否执行层间帧内预测。例如，层间编码设备1400可预先设置 是否对每个条带的数据单元执行层间预测。此外，根据层间编码设备1400是 否执行层间预测，层间解码设备1500可确定是否对每个条带的数据单元执行 层间预测。
例如，层间编码设备1400可设置是否对每个条带的数据单元执行层间运 动预测。此外，根据层间编码设备1400是否执行层间运动预测，层间解码设 备1500可确定是否对每个条带的数据单元执行层间运动预测。
如另一示例，层间编码设备1400可设置是否对每个条带的数据单元执行 层间残差预测。此外，根据层间编码设备1400是否执行层间残差预测，层间 解码设备1500可确定是否对每个条带的数据单元执行层间残差预测。
在下文中，进一步描述对附加层数据单元进行层间预测的操作。
-多视点视频层间编码设备1400可设置是否对每个附加层数据单元执行 层间模式预测。当对每个附加层数据单元执行层间模式预测时，可仅发送附 加层数据单元的残差信息，并且可不发送关于编码模式的信息。
根据多视点视频层间编码设备1400是否对每个数据单元执行层间模式 预测，多视点视频层间解码设备1500可确定是否对每个附加层数据单元执行 层间模式预测。
根据多视点视频层间编码设备1400是否对每个数据单元执行层间模式 预测，多视点视频层间解码设备1500也可确定是否对每个附加层数据单元执 行层间模式预测。基于层间模式预测是否被执行，可确定是否将基本层数据 单元的编码模式全部应用为附加层数据单元的编码模式。当层间模式预测被 执行时，多视点层间解码设备1500不会单独接收并分析附加层数据单元的编 码模式，而是可通过使用基本层数据单元的编码模式来确定附加层数据单元 的编码单元。在此情况下，多视点视频层间解码设备1500接收并分析附加层 数据单元的残差信息就足够了。
-当层间模式预测被执行，并且与附加层数据单元相应的基本层数据单元 在帧内模式下被编码时，多视点视频层间解码设备1500可对附加层数据单元 执行“层间帧内预测”。
首先，可对具有帧内模式的基本层数据单元的恢复图像进行去块滤波。
对与附加层数据单元相应的基本层数据单元的去块滤波后的恢复图像的 一部分进行上采样。例如，可经由4抽头滤波对附加层数据单元的亮度分量 进行上采样，并可经由双线性滤波对色度分量进行上采样。
可跨过预测单元的分区边界来执行上采样滤波。这里，如果邻近数据单 元未被帧内编码，则在边界区域处的当前数据单元的分量可延伸到所述边界 区域之外的区域，然后用于上采样滤波的样点可被产生，使得基本层数据单 元可被上采样。
-当层间模式预测被执行，并且与附加层数据单元相应的基本层数据单元 在帧间模式下被编码时，多视点视频层间解码设备1500可对附加层数据单元 执行“层间运动预测”。
首先，可参考具有帧间模式的基本层数据单元的分区类型、参考索引、 运动矢量等。可对与附加层数据单元相应的基本层数据单元进行上采样，并 因此可确定附加层数据单元的分区类型。例如，当基本层分区的尺寸为M×N 时，可将通过对基本层分区进行上采样而获得的尺寸为2M×2N的分区确定为 附加层分区。
用于附加层分区的上采样分区的参考索引可被确定为等于基本层分区的 参考索引。可通过按照与上采样率相等的比率扩展基本层分区的运动矢量， 来获得用于附加层分区的上采样分区的运动矢量。
-当在不使用层间模式预测的情况下将附加层数据单元确定为帧间模式 时，多视点视频层间解码设备1500可确定是否对附加层数据单元执行层间运 动预测。
可确定是否对每个附加层分区的每个参考列表执行层间运动预测。当多 视点视频层间解码设备1500执行层间运动预测时，可通过参考与附加层分区 相应的基本层分区的参考索引和运动矢量来确定附加层分区的参考索引和运 动矢量。
-当在不使用层间模式预测的情况下将附加层数据单元确定为帧内模式 时，多视点视频层间解码设备1500可确定是否对附加层数据单元的每个分区 执行层间帧内预测。
当层间帧内预测被执行时，对通过对与附加层数据单元相应的基本层数 据单元进行解码而获得的恢复图像执行去块滤波，并对去块滤波后的恢复图 像执行上采样。例如，可在对亮度分量进行上采样时使用4抽头滤波器，可 在对色度分量进行上采样时使用双线性滤波器。
可通过参考基本层数据单元的上采样后的恢复图像来在帧内模式下预测 附加层数据单元，使得可产生附加层数据单元的预测图像。通过将附加层数 据单元的预测图像与附加层数据单元的残差图像合成，可产生附加层数据单 元的恢复图像。可对产生的恢复图像执行去块滤波。
在本实施例中，层间预测不限于在特定条件下被执行。例如，可能存在 受限的允许帧内预测的层间帧内预测，其中，所述层间帧内预测仅在满足基 本层数据单元在帧内模式下被编码的条件时使用基本层数据单元的上采样后 的恢复图像。然而，当所述条件未被满足或者多环路解码被执行时，多视点 视频层间解码设备1500也可根据多视点视频层间编码设备1400是否执行层 间帧内预测来执行完整的层间帧内预测。
-当在与附加层数据单元相应的位置处的基本层数据单元指示帧间模式 时，多视点视频层间解码设备1500可确定是否对附加层数据单元执行层间残 差预测。无论层间模式预测如何，都可确定是否执行层间残差预测。
当附加层数据单元指示跳过模式时，不能执行层间残差预测，使得可能 不能确定是否执行层间残差预测。如果多视点视频层间解码设备1500不执行 层间残差预测，则可通过使用附加层图像在一般帧间模式下对当前附加层预 测单元进行解码。
当层间残差预测被执行时，多视点视频层间解码设备1500可根据数据单 元对基本层数据单元的残差信息进行上采样，并可参考用于附加层数据单元 的残差信息。例如，可经由双线性滤波对变换单元的残差信息进行上采样。
可将基本层数据单元的上采样后的残差信息与附加层数据单元的运动补 偿的预测图像进行合并，使得可产生由于层间残差预测而得到的预测图像。 因此，可重新产生附加层数据单元的原始图像和由于层间残差预测而产生的 预测图像之间的残差图像。相反地，多视点视频层间解码设备1500可从比特 流读取用于附加层数据单元的层间残差预测的残差图像，可将读取的残差图 像、基本层数据单元的上采样后的残差信息、附加层数据单元的运动补偿后 的预测图像进行合并，并因此产生恢复图像。
以上，作为层间预测的示例，详细描述了附加层数据单元的层间模式预 测、层间残差预测和层间帧内预测的操作。这里，可将层间预测的示例应用 于多视点视频层间编码设备1400和多视点视频层间解码设备1500，因此， 根据一个或更多个实施例的层间预测不限于此。
<在层间预测中可参考的编码信息>
在下文中，详细描述多条编码信息的各种示例，具体地讲，详细描述在 层间预测期间在基本层图像和附加层图像之间可参考的关于基本层数据单元 的各种类型的编码信息，其中，基本层数据单元包括树结构的编码单元、编 码单元的预测单元、分区和变换单元。
-可通过参考关于基本层最大编码单元的编码信息来确定附加层最大编 码单元的编码信息。
-可通过根据树结构的编码单元参考关于基本层编码单元的编码信息来 确定附加层编码单元的编码信息。
-对于用于树结构的编码单元的包括划分信息或划分深度的“编码单元的 结构信息”，可通过参考关于基本层编码单元的结构信息来确定附加层编码单 元的结构信息。例如，可通过全部使用关于编码单元的结构信息来确定附加 层图像的当前编码单元的结构信息，其中，所述编码单元包括在基本层图像 的多个最大编码单元之中的与附加层最大编码单元相应的一个最大编码单元 中。因此，包括在附加层最大编码单元中的树结构的编码单元可具有与基本 层最大编码单元的树结构的编码单元相同的树结构。
作为一个示例，可将关于基本层编码单元的结构信息应用于附加层编码 单元的树结构中的一部分。例如，为了确定在最大编码单元的左下方区域中 的编码单元的结构，可参考关于基本层编码单元的结构信息，其中，所述最 大编码单元按4个正方形区域被划分并位于包括在附加层最大编码单元中的 树结构的编码单元之中。如另一示例，可从关于基本层编码单元的结构信息 推断以下编码单元的结构：所述编码单元包括最大编码单元并在包括在附加 层最大编码单元中的树结构的编码单元之中被更少次划分。
-对于包括用于具有树结构的变换单元的划分信息或变换深度的“变换单 元的结构信息”，可从关于基本层变换单元的结构信息推断附加层变换单元的 结构信息。此外，可将关于基本层变换单元的结构信息应用于附加层变换单 元的树结构中的一部分。其示例类似于与编码单元的结构信息相关的上述示 例。
-在指示预测单元或分区的帧间模式、帧内模式、跳过模式或融合信息的 预测模式下，可从基本层预测单元(即，分区)的预测模式推断附加层预测 单元(即，分区)的预测模式。
-在指示预测单元、分区的尺寸2N×2N、2N×N、N×2N或N×N、或者不 对称形状的分区类型下，可从基本层预测单元(即，分区)的分区类型推断 附加层预测单元(即，分区)的分区类型。
-对于变换单元的残差信息，可从基本层变换单元的残差信息推断附加层 变换单元的残差信息。此外，可从基本层变换单元的残差信息仅推断附加层 变换单元的残差信息中的一部分。
-对于变换单元的变换系数值，可通过参考基本层变换单元的变换系数值 推断附加层变换单元的变换系数值。此外，可从基本层变换单元的变换系数 值仅推断附加层变换单元的变换系数值中的一部分。例如，可从基本层变换 单元的变换系数值仅推断附加层变换单元的变换系数值的DC分量或预定数 量的低频分量。
-对于变换单元的变换系数的位置，可从基本层变换单元的变换系数之中 的非零变换系数的位置推断附加层变换单元的非零变换系数的位置。
-对于恢复的纹理信息，可通过参考基本层数据单元的恢复的纹理信息来 确定附加层数据单元的纹理信息。
-可将基本层数据单元的恢复的预测值(例如，在帧内模式下通过使用在 空间上与当前数据单元邻近的邻近数据单元的值而确定的预测值，或在帧间 模式下通过使用先前恢复的参考帧执行运动补偿而产生的预测值)全部用作 附加层数据单元的预测值。
-可通过参考指示帧间模式的基本层预测单元的帧间预测相关信息，来确 定附加层预测单元的帧间预测相关信息。例如，在层间预测时可参考的帧间 预测相关信息可包括运动矢量、运动矢量差值(MVD)、参考索引和帧间预 测方向(单向/双向)。此外，融合索引和运动补偿方案信息(诸如预测单元 的先进运动矢量预测索引(AMVP索引))可被称为帧间预测相关信息。
-可通过参考指示帧内模式的附加层预测单元的帧内预测相关信息，来确 定附加层预测单元的帧内预测相关信息。例如，在层间预测时可参考的帧内 预测相关信息可包括帧内预测方向、或者作为亮度分量和色度分量之间的预 测模式的线性模式和推导模式。线性模式是这样的预测模式：在该预测模式 下，从与当前数据单元邻近的邻近数据单元的像素以及当前数据单元的恢复 的亮度分量像素来确定色度分量像素的预测值，推导模式是这样的预测模式： 在该预测模式下，亮度分量的预测模式全部被用作色度分量的预测模式。
-可通过参考用于基本层数据单元的环路滤波器参数来确定附加层数据 单元的环路滤波器参数。例如，在层间预测时可参考的环路滤波器参数可包 括作为用于样点自适应偏移(SAO)方法的参数的SAO类型、具有非零带偏 移(BO)的带的位置、边缘偏移值和带偏移值。可选地，在层间预测时可参 考的环路滤波参数可包括用于自适应环路滤波(ALF)的滤波器分类信息、 滤波器系数或滤波开/关标记。
-可通过使用作为对基本层图像进行编码的结果而确定的编码语法来确 定用于附加层图像的编码语法。
以上，详细描述了在层间预测时可参考的编码信息的各种实施例。然而， 将由多视点视频层间编码设备1400和多视点视频层间解码设备1500参考以 便执行层间预测的编码信息不限于上述各种实施例。
多视点视频层间编码设备1400和多视点视频层间解码设备1500可针对 每个序列、每个条带或每个画面控制层间预测。例如，对于对第一画面(或 序列或条带)的层间预测，可通过参考基本层数据单元的第一编码信息来确 定附加层数据单元的第一编码信息，但是对于对第二画面的层间预测，可通 过参考基本层数据单元的第二编码信息来确定附加层数据单元的第二编码信 息。
然而，基本层数据单元的编码信息并不总以一对一的方式可参考，因此， 可通过参考基本层数据单元的至少两条编码信息来预测附加层数据单元的编 码信息。
<推断层间预测方法>
在下文中，推断层间预测方法指示这样的预测方法：通过所述预测方法， 通过参考基本层数据单元的至少两条编码信息的组合来确定附加层数据单元 的编码信息。
例如，当基本层数据单元的多条编码信息被确定时，可通过全部使用基 本层数据单元的所述多条编码信息来确定附加层数据单元的多条编码信息。 例如，附加层数据单元的第一编码信息、第三编码信息和第五编码信息可被 确定为等于基本层数据单元的N条编码信息之中的第一编码信息、第三编码 信息和第五编码信息。
此外，根据实施例的多视点视频层间编码设备1400和多视点视频层间解 码设备1500可针对序列、画面和条带中的每个单独地控制推断层间预测。此 外，可针对一个画面中的最大编码单元、编码单元、预测单元(分区)和变 换单元中的每个，单独地控制推断层间预测方法。
可确定是否对序列、画面、条带、最大编码单元、编码单元、预测单元 (分区)和变换单元之中的至少一个数据单元单独地执行推断层间预测。例 如，可不对第一画面(或序列或条带)执行推断层间预测，但可对第二画面 执行推断层间预测。此外，推断层间预测可被允许用于包括在画面的第一最 大编码单元中的数据单元，但是可不被允许用于包括在该画面的第二最大编 码单元中的数据单元。
此外，可对序列、画面、条带、最大编码单元、编码单元、预测单元(分 区)和变换单元之中的至少一个数据单元单独地确定推断层间预测方法。例 如，可通过对第一画面(或序列或条带)执行推断层间预测，仅使用基本层 数据单元的第一编码信息和第四编码信息，来确定附加层数据单元的第一编 码信息和第四编码信息，但是，可通过对第二画面执行推断层间预测，全部 使用基本层数据单元的第一编码信息、第二编码信息、第五编码信息和第八 编码信息，来确定附加层数据单元的第一编码信息、第二编码信息、第五编 码信息和第八编码信息。
更详细地讲，可根据推断层间预测的推断模式，从基本层数据单元预测 附加层数据单元的所有编码信息。因此，可不对用于附加层数据单元的编码 信息进行编码。根据推断模式，可将用于附加层数据单元的推断模式参数编 码为“真”值，然后可完全不对用于附加层数据单元的编码信息进行编码。
例如，根据推断层间预测的推断预测，可从基本层数据单元的编码模式 推断附加层数据单元的所有编码模式。因此，可不对可从基本层数据单元推 断的附加层数据单元的编码信息的编码模式进行编码。然而，根据推断预测， 虽然附加层数据单元的编码模式可全部用自基本层数据单元的编码模式，但 是可单独确定附加层数据单元的编码信息的变换系数或残差信息。当用于附 加层数据单元的推断预测参数被编码为“真”值时，可对附加层数据单元的变 换系数或残差信息进行编码，并且可不对可从基本层数据单元推断的编码模 式进行编码。
多视点视频层间解码设备1500可基于推断模式参数不解析关于编码模 式和变换系数(或残差信息)的信息。此外，多视点视频层间解码设备1500 可基于推断预测参数不解析附加层数据单元的编码模式。
然而，上述推断模式和推断预测是推断层间预测方法的实施例。如上所 述，推断层间预测与这样的层间预测方法相应：针对预定的多条编码信息， 通过所述层间预测方法，经由全部使用基本层数据单元的多条编码信息来确 定附加层数据单元的编码信息。
多视点视频层间编码设备1400可通过使用序列参数集(SPS)、画面参 数集(PPS)、自适应参数集(APS)或条带头单独地发送用于指示是否针对 每个序列、每个画面或每个条带执行推断层间预测的参数。此外，用于指示 是否执行推断层间预测的参数可作为用于最大编码单元、编码单元、变换单 元和预测单元(分区)之中的至少一个数据单元的编码模式被发送。
此外，多视点视频层间解码设备1500可从SPS、PPS、APS或条带头解 析用于每个序列、每个画面或每个条带的参数。类似地，指示是否根据推断 模式或推断预测来执行推断层间预测的信息可被解析为最大编码单元、编码 单元、变换单元和预测单元(分区)之中的至少一个数据单元的编码模式。
此外，虽然经由层间预测从关于基本层数据单元的编码模式的信息推断 关于附加层数据单元的编码模式的信息，但是可针对附加层数据单元对用于 精细地调整推断信息的修正信息进行编码。例如，多视点视频层间解码设备 1500可从基本层数据单元的非零系数位置信息推断附加层数据单元的非零系 数的位置，并因此可通过使用读取的修正信息来重新调整附加层数据单元的 系数值。
例如，用于变换系数的“abs_level_minus_1”参数被读取为变换系数的修 正信息。当“abs_level_minus_1”参数指示真值时，这可表示从非零系数的原始 值的绝对值减少1的值可作为非零系数信息被发送。因此，将被接收并被解 析的非零系数信息增加1，使得可精确地预测附加层数据单元的推断的系数 的大小。
修正信息不限于“abs_level_minus_1”参数，并因此可包括用于调整关于 各种类型的信息的预测值的参数。
<在层间预测中的上层数据单元/基本层数据单元的映射关系>
由于附加层数据单元和基本层数据单元根据针对多视点视频的层间编码 方法在空间分辨率、时间分辨率或图像质量方面彼此不同，因此根据实施例 的多视点视频层间编码设备1400和多视点视频层间解码设备1500可确定在 层间预测中与附加层数据单元相应的基本层数据单元，然后可参考基本层数 据单元。
例如，根据基于空间可伸缩性的可伸缩视频编码和解码方法，基本层图 像的空间分辨率不同于附加层图像的空间分辨率，通常，基本层图像的分辨 率更低。因此，为了确定与附加层数据单元相应的基本层数据单元的位置， 可考虑分辨率的伸缩率(resizing ratio)。可随机地确定更低的附加层数据单 元的伸缩率。例如，可按亚像素级别(诸如1/16像素的大小)来精确地确定 映射位置。
当附加层数据单元和基本层数据单元的位置被表示为坐标时，在确定与 附加层数据单元的坐标相映射的基本层数据单元的坐标的过程中使用以下的 映射等式1、2、3和4。在映射等式1、2、3和4中，Round()函数输出输入 值的舍入值。
映射等式1：
映射等式2：
映射等式3：
映射等式4：
在映射等式1和2中，Bx和By分别指示基本层数据单元的X轴坐标值和 Y轴坐标值，Ex和Ey分别指示附加层数据单元的X轴坐标值和Y轴坐标值。 Rx和Ry分别指示用于提高在X轴方向和Y轴方向的映射精确性的基准偏移。 S指示分辨率的伸缩率。在映射等式3和4中，“BaseWidth”和“BaseHeight” 分别指示下层数据单元的宽度和高度，“ScaledBaseWidth”和 “ScaledBaseHeight”分别指示上采样后的下层数据单元的宽度和高度。
因此，通过使用分辨率的伸缩率和用于映射精确性的基准偏移，可确定 与附加层数据单元的X轴坐标值和Y轴坐标值相应的基本层数据单元的X轴 坐标值和Y轴坐标值。
然而，映射等式1、2、3和4仅是本发明的示例性实施例。
在本实施例中，可考虑各种因素来确定用于基本/附加层数据单元的映射 位置。例如，可考虑基本/附加层视频的分辨率比率、宽高比率、平移距离和 偏移之中的至少一个因素，来确定基本/附加层数据单元的映射位置。
根据实施例的多视点视频层间编码设备1400和多视点视频层间解码设 备1500可基于树结构的编码单元执行层间预测。根据树结构的编码单元，编 码单元可根据深度被确定，因此，编码单元的大小不相等。因此，与附加层 编码单元相应的基本层编码单元的位置需被单独确定。
在下文中，将详细描述在附加层图像的多级数据单元和基本层图像的多 级数据单元之间可用的各种映射关系，其中，多级数据单元包括最大编码单 元、编码单元、预测单元、变换单元或分区。
图21示出根据本发明的实施例的基本层和附加层之间的映射关系。具体 地，图21示出用于基于树结构的编码单元的层间预测的基本层和附加层之间 的映射关系。可将被确定与附加层数据单元相应的基本层数据单元称为“参考 层数据单元”。
在本实施例中，针对层间预测，确定与附加层最大编码单元2120相应的 基本层最大编码单元2110的位置。例如，检查与附加层最大编码单元2120 的左上方样点2190相应的样点2180属于基本层数据单元之中的哪个数据单 元，使得可确定包括作为左上方样点的样点2180的基本层最大编码单元2110 是与附加层最大编码单元2120相应的数据单元。
如果可经由层间预测从基本层编码单元的结构来推断附加层编码单元的 结构，则可将包括在附加层最大编码单元2120中的编码单元的树结构确定为 等于包括在基本层最大编码单元2110中的编码单元的树结构。
类似于编码单元，包括在根据树结构的编码单元中的分区(预测单元) 或变换单元的尺寸可根据相应编码单元的尺寸而变化。此外，虽然分区或变 换单元包括在具有相同尺寸的编码单元中，但是分区或变换单元的尺寸可根 据分区类型或变换深度而改变。因此，针对基于树结构的编码单元的分区或 变换单元，可单独确定与附加层分区或附加层变换单元相应的基本层分区或 基本层变换单元的位置。
-在图21中，为了确定用于层间预测的参考层最大编码单元，检查与附 加层最大编码单元2120的左上方样点2190的位置相应的基本层最大编码单 元2110的预定数据单元(即，样点2180)的位置。类似地，可通过对附加 层数据单元的左上方样点相应的基本层数据单元的位置、中心位置或预定位 置进行比较来确定参考层数据单元。
-参照图21，另一层的最大编码单元被映射以用于层间预测，并且在这 点上，可针对包括最大编码单元、编码单元、预测单元、分区、变换单元、 最小单元等的各种编码单元映射所述另一层的数据单元。
-因此，为了确定与用于层间预测的附加层数据单元相应的基本层数据单 元，可按照分辨率的空间伸缩率或空间宽高比率来对基本层数据单元进行上 采样。此外，可按照基准偏移来移动上采样的位置，使得可精确地确定参考 层数据单元的位置。可在多视点视频层间编码设备1400和多视点视频层间解 码设备1500之间直接交换关于基准偏移的信息。即使不直接交换关于基准偏 移的信息，仍可根据附加层数据单元的邻近运动信息、视差信息或几何形状 来预测基准偏移。
例如，当基本视点数据单元和附加视点数据单元之间的视差信息被接收 时，按照视差信息的视差来移动与附加视点数据单元相映射的基本视点数据 单元，使得可确定精确的映射位置。
即使不接收视差信息，仍可通过参考附加层图像的当前数据单元的邻近 数据单元的视差信息或运动信息来估计当前数据单元的视差信息。通过使用 估计出的视差信息，可确定与附加层图像的当前数据单元相映射的基本层数 据单元。
即使不接收视差信息，仍可通过使用基本层图像的深度图来估计基本层 图像和附加层图像之间的视差。通过使用估计出的视差，可确定与附加层图 像的当前数据单元相映射的基本层数据单元。
-关于与附加层数据单元的位置相应的基本层数据单元的位置的编码信 息可用于针对附加层数据单元的层间预测。可参考的编码信息可包括以下信 息中的至少一个：语法、数据单元的结构信息、编码模式、预测值和恢复值。
例如，可从相应的基本层数据单元的结构(最大编码单元的结构、编码 单元的结构、预测单元的结构、分区的结构、变换单元的结构等)推断附加 层数据单元的结构。
-此外，不仅可对在多个层图像的数据单元之间进行比较的情况执行层间 预测，而且可在至少两个数据单元组之间执行层间预测。可确定包括与附加 层数据单元组相应的位置的基本层数据单元组。
例如，可将包括基本层数据单元之中的以下数据单元的基本层数据单元 组确定为参考层数据单元组：所述数据单元与在附加层数据单元组中的预定 位置处的数据单元相应。
-数据单元组信息可指示用于形成一组数据单元的结构条件。例如，可从 用于形成基本层图像的一组编码单元的编码单元组信息推断用于附加层编码 单元的编码单元组信息。例如，编码单元组信息可包括聚集具有等于或小于 预定深度的深度的编码单元以构成编码单元组的条件、聚集比预定总数的单 元更少的编码单元来构成编码单元组的条件等。
数据单元组信息可被编码，并可直接在多视点视频层间编码设备1400 和多视点视频层间解码设备1500之间交换。在另一示例中，虽然数据单元组 信息不被交换，但是可在多视点视频层间编码设备1400和多视点视频层间解 码设备1500之间，从基本层数据单元组信息预测附加层数据单元组信息。
-类似于编码单元组信息，可经由层间预测，基于关于基本层最大编码单 元(变换单元)的组信息来推断关于附加层最大编码单元(变换单元)的组 信息。
-此外，可在上层数据条带/基本层数据条带之间执行层间预测。可通过 参考关于包括在与附加层数据单元相应的位置处的基本层数据单元的基本层 条带的编码信息，来推断关于包括所述附加层数据单元的附加层条带的编码 信息。这里，关于条带的编码信息不仅可包括关于条带结构的信息(诸如条 带形状)，还可包括关于包括在条带中的数据单元的多条编码信息。
-此外，可在上层并行块/基本层并行块之间执行层间预测。可通过参考 关于包括在与附加层数据单元相应的位置处的基本层数据单元的基本层并行 块的编码信息，来推断关于包括附加层数据单元的附加层并行块的编码信息。 这里，关于并行块的编码信息不仅可包括关于并行块结构的信息(诸如并行 块形状)，还可包括关于包括在并行块中的数据单元的多条编码信息。
-如上所述，附加层数据单元可参考相同类型的基本层数据单元。可选地， 附加层数据单元可参考不同类型的基本层数据单元。
在以上的<在层间预测中可参考的编码信息>中，示出了可由附加层数据 单元参考的基本层数据单元的各种类型的编码信息。然而，根据一个或更多 个实施例，在层间预测中可参考的编码信息不限于所述各种类型的编码信息， 并且在层间预测中可参考的编码信息可被解释为作为对附加层图像和基本层 图像进行编码的结果而产生的各种类型的数据。
此外，针对层间预测，在上层数据单元/基本层数据单元之间可不仅仅参 考一条编码信息，但是可在上层数据单元/基本层数据单元之间参考一条或更 多条编码信息的组合。可不同地组合两条或更多条可参考的编码信息，使得 参考编码信息集可变化。
类似地，在以上的<在层间预测中的上层数据单元/基本层数据单元的映 射关系>中，彼此相应的附加层数据单元和基本层数据单元之间的映射关系被 不同地呈现。然而，根据一个或更多个实施例，在层间预测期间的上层数据 单元/基本层数据单元之间的映射关系不限于上述类型的映射关系，因此，映 射关系可被解释为可彼此相关的附加层数据单元(或附加层数据单元组)和 基本层数据单元(或基本层数据单元组)之间的各种映射关系。
另外，在层间预测中在上层数据单元/基本层数据单元之间可参考的参考 编码信息集以及上层数据单元/基本层数据单元之间的映射关系的组合可变 化。例如，用于层间预测的参考编码信息集可按α、β、γ、δ等方式变化，上 层数据单元/基本层数据单元之间的映射关系可按Ⅰ、Ⅱ、Ⅲ、Ⅴ等方式变化。 在这种情况下，参考编码信息集和映射关系的组合可被设置为以下组合中的 至少一个：“参考编码信息集α和映射关系Ⅰ”、“α和Ⅱ”、“α和Ⅲ”、“α和Ⅴ”、...、 “参考编码信息集β和映射关系Ⅰ”、“β和Ⅱ”、“β和Ⅲ”、“β和Ⅴ”、...、“参 考编码信息集γ和映射关系Ⅰ”、“γ和Ⅱ”、“γ和Ⅲ”、“γ和Ⅴ”、...、“参考编 码信息集δ和映射关系Ⅰ”、“δ和Ⅱ”、“δ和Ⅲ”、“δ和Ⅴ”。此外，一个映射 关系可与至少两个参考编码信息集组合，或者，一个参考编码信息集可与至 少两个映射关系组合。
在下文中，详细描述在不同级别的数据单元在上层数据单元/基本层数据 单元图像之间的层间预测期间被映射的实施例。
例如，附加层编码单元可参考关于包括与所述附加层编码单元相应的位 置的基本层最大编码单元组的编码信息。相反地，附加层最大编码单元可参 考关于包括与所述附加层最大编码单元相应的位置的基本层编码单元组的编 码信息。
例如，可通过参考关于包括相应位置的基本层最大编码单元组的编码信 息来确定附加层编码单元的编码信息。也就是说，分别与附加层编码单元的 位置相应的位置可全部被包括在被参考的基本层最大编码单元组中。
类似地，可通过参考包括相应位置的基本层编码单元组的编码信息来确 定附加层最大编码单元的编码信息。也就是说，分别与附加层最大编码单元 的位置相应的位置可全部被包括在被参考的基本层编码单元组中。
在本实施例中，如上所述，能够确定是否对每个序列、每个画面、每个 条带或每个最大编码单元单独地执行推断层间预测。
此外，虽然对预定数据单元执行层间预测，但是可在预定数据单元中部 分地控制推断层间预测。例如，如果确定是否在最大编码单元级执行层间预 测，则尽管对附加层图像的当前最大编码单元执行层间预测，但是通过使用 相应基本层数据单元仅对包括在当前最大编码单元中的更低级别数据单元 (例如，编码单元、预测单元、变换单元、分区等)之中的一些数据单元执 行推断层间预测，而不对所述更低级别数据单元中的不具有相应的基本层数 据单元的剩余部分执行推断层间预测。因此，可从基本层数据单元推断包括 在附加层最大编码单元中的一些数据单元(例如，编码单元、预测单元、变 换单元、分区等)，并且关于所述附加层最大编码单元中的剩余部分的编码信 息可被编码和交换。
例如，当对附加层最大编码单元执行层间预测时，可通过参考经由对基 本层编码单元执行帧内预测而产生的恢复图像来预测附加层最大编码单元的 编码单元之中的具有相应基本层编码单元的附加层编码单元。然而，针对不 具有帧内预测的基本层编码单元的附加层编码单元，可执行使用附加层图像 的单层预测，而不执行层间预测。此外，可仅在满足关于基本层数据单元的 预定条件时，针对附加层数据单元执行推断层间预测。当满足预定条件，并 因此推断层间预测可用时，多视点视频层间编码设备1400可发送指示实际上 是否执行了推断层间预测的信息。多视点视频层间解码设备1500解析指示推 断层间预测是否可用的信息，读取所述信息，并因此识别预定条件被满足从 而推断层间预测被执行。当预定条件被满足时，多视点视频层间解码设备1500 可通过全部参考基本层数据单元的编码模式的组合来确定附加层数据单元的 编码模式。
例如，可仅在附加层预测单元的尺寸等于或大于基本层预测单元的尺寸 时，执行不同层的预测单元之间的残差预测。例如，可仅在附加层最大编码 单元的尺寸等于或大于基本层最大编码单元的尺寸时，执行不同层的最大编 码单元之间的层间预测。这是因为基本层的最大编码单元或预测单元根据分 辨率的伸缩率或宽高比率被上采样。
在另一实施例中，可在附加层数据单元的预定条带类型(诸如I条带、B 条带或P条带)的条件下执行推断层间预测模式。
根据推断层间预测的示例，可在层间帧内跳过模式下执行预测。在层间 帧内跳过模式下，不存在用于附加层数据单元的帧内模式下的参考信息，使 得与附加层数据单元相应的基本层帧内恢复图像可全部用作附加层数据单元 的帧内恢复图像。
因此，更具体地，根据附加层数据单元的条带类型是帧间模式条带类型 (诸如B条带、P条带等)还是帧内模式条带类型(诸如I条带)，能够确定 是否对指示层间帧内跳过模式的信息进行编码(解码)。
此外，针对层间预测，基本层数据单元的编码信息可被修改并使用，或 者可被减少并使用。
作为示例，可将基本层分区的运动矢量向下修改到特定像素级别(诸如 整像素级别或1/2像素级别的亚像素级别)的精度，可将具有向下修改的精 度的基本层分区的运动矢量用作附加层分区的运动矢量。
如另一示例，多个基本层分区的运动矢量被融合成一个运动矢量，然后 可被附加层分区参考。
例如，可将运动矢量被融合的区域确定为固定区域。然后，可仅在包括 在具有固定尺寸的区域中的分区中或者在固定的邻近位置处的数据单元中融 合运动矢量。
在另一示例中，虽然至少两个基本层数据单元与具有预定尺寸的附加层 数据单元相应，但是可通过仅使用关于基本层数据单元之中的一个数据单元 的运动信息来确定附加层数据单元的运动矢量。例如，在与尺寸为16×16的 附加层数据单元相应的多个基本层数据单元之中，在预定位置处的基本层数 据单元的运动矢量可用作附加层数据单元的运动矢量。
在实施例中，用于确定运动矢量被融合的区域的控制信息可被插入到 SPS、PPS、APS或条带的头中，并可被发送。因此，可针对每个序列、每个 画面、每个自适应参数或每个条带解析用于确定运动矢量被融合的区域的控 制信息。此外，基本层分区的运动信息可被修改并存储。原则上，基本层分 区的运动信息被存储为参考索引和运动矢量的组合。然而，在本实施例中， 参考索引被假设为0，基本层分区的运动信息的大小可被调整或修改到与0 相应的运动矢量，然后可被存储。因此，基本层分区的运动信息的存储量可 被减小。针对对附加层分区的层间预测，可根据与附加层分区的参考索引相 应的参考图像再次修改存储的基本层分区的运动矢量。也就是说，可通过使 用根据附加层分区的参考图像被修改的基本层分区的运动矢量来确定附加层 分区的运动矢量。
图22是根据本发明的实施例的多视点视频层间编码方法的流程图。
在操作2210，基于树结构的编码单元对基本层图像进行编码。
在操作2220，确定层间编码模式，以便通过参考基本层图像，基于树结 构的编码单元对附加层图像执行层间预测。基于确定的层间编码模式，通过 参考基本层图像的编码信息对附加层图像执行预测编码。
在本实施例中，可通过参考基本层图像的编码模式中的以下编码信息中 的至少一个编码信息对附加层图像进行编码：编码单元的编码信息、包括在 所述编码单元中的变换单元的编码信息。
在本实施例中，可通过参考基本层图像的编码模式中的以下信息中的至 少一个信息来确定附加层图像的编码模式：结构信息、预测模式、分区类型、 运动信息、帧内信息、环路滤波相关信息、非零系数位置信息和恢复的纹理 信息。
在本实施例中，可通过参考基本层图像的编码模式中的残差信息、系数 信息和恢复的预测值中的至少一个来确定附加层图像的预测值。
基于层间编码模式来确定将被附加层图像的数据单元参考的基本层图像 的数据单元。基于树结构的编码单元的数据单元可包括以下单元中的至少一 个：最大编码单元、编码单元以及包括在编码单元中的预测单元、变换单元 和最小单元。通过参考确定的基本层图像的数据单元的编码信息来对附加层 图像执行预测编码。
在本实施例中，确定与附加层图像的当前数据单元相同类型的基本层图 像的数据单元，并通过参考基本层图像的数据单元的编码信息对附加层图像 的当前数据单元进行编码。
在本实施例中，可确定与附加层图像的当前数据单元组相同组类型的基 本层图像的数据单元组，并通过参考基本层图像的数据单元组的编码信息对 附加层图像的当前数据单元组进行编码。
在本实施例中，可参考与附加层图像的当前数据单元相应的不同类型的 基本层图像的数据单元。可参考与附加层图像的当前数据单元组相应的不同 类型的基本层图像的数据单元组。
当针对附加层图像的当前数据单元确定层间预测模式时，可通过参考基 本层图像对包括在当前数据单元中的下层数据单元中的一部分下层数据单元 进行编码，并在附加层图像中对下层数据单元中的剩余下层数据单元进行编 码。
可改变从基本层图像推断的编码信息，并可通过参考改变后的编码信息 来确定附加层图像的编码信息。
在操作2230，基于层间编码模式输出基本层图像的编码模式和预测值以 及附加层图像的层间编码模式。
根据第一层间编码模式，可输出编码信息之中的除了从基本层图像的编 码信息推断的信息之外的其余信息。根据第二层间编码模式，可仅输出附加 层图像的层间编码模式。
图23是根据本发明的实施例的多视点视频层间解码方法的流程图。
在操作2310，从接收到的比特流解析基本层图像的编码模式和预测值以 及附加层图像的层间编码模式。例如，根据第一层间编码模式，可从比特流 解析编码信息之中的除了从基本层图像的编码信息推断的信息之外的其余信 息。根据第二层间编码模式，可从比特流仅解析附加层图像的层间编码模式 信息。
在操作2320，通过使用解析出的基本层图像的编码模式和预测值，基于 树结构的编码单元对基本层图像进行解码。
在操作2330，基于树结构的编码单元对附加层图像进行解码，并且在这 点上，基于附加层图像的层间编码模式，通过参考基本层图像的编码信息对 附加层图像执行预测解码。
在本实施例中，可通过参考基本层图像的编码信息来确定附加层图像的 编码模式。在本实施例中，可通过参考基本层图像的编码模式中的以下信息 中的至少一个信息来确定附加层图像的编码模式：结构信息、预测模式信息、 分区类型信息、运动信息、帧内信息、环路滤波相关信息、非零系数位置信 息和恢复的纹理信息。在本实施例中，可通过参考基本层图像的编码模式中 的残差信息、系数信息和恢复的预测值中的至少一个来确定附加层图像的预 测值。可基于以上述方式推断和确定的附加层图像的编码信息对附加层图像 进行解码。
根据附加层图像的层间编码模式，确定将由附加层图像的数据单元参考 的基本层图像的数据单元。可通过参考基本层图像的数据单元的编码信息对 附加层图像的树结构的编码单元执行预测解码。
在本实施例中，可通过参考与附加层图像的当前数据单元相应的基本层 图像的数据单元的编码信息来确定附加层图像的当前数据单元的编码信息。
在本实施例中，可通过参考与附加层图像的当前数据单元组相应的基本 层图像的数据单元组的编码信息来确定附加层图像的当前数据单元组的编码 信息。
在本实施例中，可参考与附加层图像的当前数据单元相应的不同类型的 基本层图像的数据单元。在本实施例中，可参考与附加层图像的当前数据单 元组相应的不同类型的基本层图像的数据单元组。
在本实施例中，当针对附加层图像的当前数据单元确定层间预测模式时， 可通过参考基本层图像对包括在当前数据单元中的下层数据单元中的一部分 进行解码，并可在附加层图像中对下层数据单元中的剩余下层数据单元进行 解码。
在每个编码单元中，对最大编码单元执行解码，使得可恢复空间域中的 图像数据，并且可恢复由画面和画面序列形成的视频。恢复的视频可由再现 设备来再现，可被存储在存储介质中，或可经由网络发送。
参照图22描述的多视点视频层间编码方法与由多视点视频层间编码设 备1400进行的操作相应。多视点视频层间编码设备1400可包括记录有由计 算机使用的用于执行参照图19和图21描述的多视点视频层间编码方法的程 序的存储器，可从存储器获取和执行所述程序，并因此执行以上参照图14描 述的多视点视频层间编码设备1400的操作。可选地，多视点视频层间编码设 备1400可从记录有用于通过使用计算机执行多视点视频层间编码方法的程 序的记录介质读取所述程序并执行所述程序，使得多视点视频层间编码设备 1400可执行以上参照图14描述的多视点视频层间编码设备1400的操作。
参照图23描述的多视点视频层间解码方法与由多视点视频层间解码设 备1500进行的操作相应。多视点视频层间解码设备1500可包括记录有用于 通过使用计算机执行参照图20和图22描述的多视点视频层间解码方法的程 序的存储器，可从存储器获取和执行所述程序，并因此可执行以上参照图15 描述的多视点视频层间解码设备1500的操作。此外，多视点视频层间解码设 备1500可从记录有用于通过使用计算机执行多视点视频层间解码方法的记 录介质读取所述程序并执行所述程序，使得多视点视频层间解码设备1500可 执行以上参照图15描述的多视点视频层间解码设备1500的操作。
为了便于描述，参照图1至图23描述的多视点视频编码方法或根据多视 点视频编码方法的视频编码方法将被统称为“根据本发明的视频编码方法”。 此外，参照图1至图23描述的多视点视频解码方法或根据多视点视频解码方 法的视频解码方法将被统称为“根据本发明的视频解码方法”。
此外，包括参照图1至图23描述的多视点视频层间编码设备10、视频 编码设备100或图像编码器400的视频编码设备将被统称为“根据本发明的视 频编码设备”。此外，包括参照图1至图23描述的多视点视频解码设备20、 视频解码设备200或图像解码器500的视频解码设备将被称为“根据本发明的 视频解码设备”。
现在将详细描述根据本发明的实施例的存储程序的计算机可读记录介质 (例如，盘26000)。
图24是根据本发明的实施例的存储程序的盘26000的物理结构的示图。 作为存储介质的盘26000可以是硬盘驱动器、致密盘只读存储器(CD-ROM) 盘、蓝光盘或数字多功能盘(DVD)。盘26000包括多个同心磁道Tr，每个 同心磁道Tr沿盘26000的圆周方向被划分成特定数量的扇区Se。在盘26000 的特定区域中，可分配并存储执行以上所描述的量化参数确定方法、视频编 码方法和视频解码方法的程序。
现在将参照图22来描述使用存储用于执行如上所述的视频编码方法和 视频解码方法的程序的存储介质来实现的计算机系统。
图25是通过使用盘26000来记录并读取程序的盘驱动器26800的示图。 计算机系统26700可经由盘驱动器26800将执行根据本发明的实施例的视频 编码方法和视频解码方法中的至少一个的程序存储在盘26000中。为了在计 算机系统26700中运行存储在盘26000中的程序，可通过使用盘驱动器26800 从盘26000读取程序并将程序发送到计算机系统26700。
执行根据本发明的实施例的视频编码方法和视频解码方法中的至少一个 的程序不仅可被存储在图24和图25中示出的盘26000中，还可被存储在存 储卡、ROM卡带或固态驱动器(SSD)中。
以下将描述应用以上所描述的视频编码方法和视频解码方法的系统。
图26是用于提供内容分布服务的内容供应系统11000的整体结构的示 图。将通信系统的服务区域划分成预定尺寸的小区，并将无线基站11700、 11800、11900和12000分别安装在这些小区中。
内容供应系统11000包括多个独立装置。例如，诸如计算机12100、个 人数字助理(PDA)12200、视频相机12300和移动电话12500的多个独立装 置经由互联网服务提供商11200、通信网络11400和无线基站11700、11800、 11900和12000连接到互联网11100。
然而，内容供应系统11000不限于如图24中所示，并且装置可选择性地 被连接到内容供应系统11000。多个独立装置可不经由无线基站11700、11800、 11900和12000而直接连接到通信网络11400。
视频相机12300是能够捕捉视频图像的成像装置，例如，数字视频相机。 移动电话12500可利用各种协议(例如，个人数字通信(PDC)、码分多址 (CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM)和个人 手持电话系统(PHS))中的至少一种通信方法。
视频相机12300可经由无线基站11900和通信网络11400连接到流服务 器11300。流服务器11300允许经由视频相机12300从用户接收到的内容经由 实时广播被流传输。可使用视频相机12300或流服务器11300来对从视频相 机12300接收到的内容进行编码。通过视频相机12300捕捉到的视频数据可 经由计算机12100被发送到流服务器11300。
通过相机12600捕捉到的视频数据也可经由计算机12100被发送到流服 务器11300。与数码相机类似，相机12600是能够捕捉静止图像和视频图像 两者的成像装置。可使用相机12600或计算机12100对通过相机12600捕捉 到的视频数据进行编码。可将对视频执行编码和解码的软件存储在可由计算 机12100访问的计算机可读记录介质(例如，CD-ROM盘、软盘、硬盘驱动 器、SSD或存储卡)中。
如果视频数据通过内置在移动电话12500中的相机被捕捉到，则可从移 动电话12500接收视频数据。
还可通过安装在视频相机12300、移动电话12500或相机12600中的大 规模集成电路(LSI)系统来对视频数据进行编码。
内容供应系统1100可对由用户使用视频相机12300、相机12600、移动 电话12500或另一成像装置所记录的内容数据(例如，在音乐会期间记录的 内容)进行编码，并将编码后的内容数据发送到流服务器11300。流服务器 11300可将编码后的内容数据以流传输内容的类型发送到请求内容数据的其 它客户端。
客户端是能够对编码后的内容数据进行解码的装置，例如，计算机 12100、PDA 12200、视频相机12300或移动电话12500。因此，内容供应系 统11000允许客户端接收并再现编码后的内容数据。此外，内容供应系统 11000允许客户端实时接收编码后的内容数据并对编码后的内容数据进行解 码和再现，从而能够进行个人广播。
包括在内容供应系统11000中的多个独立装置的编码和解码操作可类似 于根据本发明的实施例的视频编码设备和视频解码设备的编码和解码操作。
现在将参照图27和图28更加详细地描述包括在根据本发明的实施例的 内容供应系统11000中的移动电话12500。
图27示出根据本发明的实施例的应用视频编码方法和视频解码方法的 移动电话12500的外部结构。移动电话12500可以是智能电话，所述智能电 话的功能不受限，并且所述智能电话的大多数功能可被改变或扩展。
移动电话12500包括可与无线基站12000交换射频(RF)信号的内部天 线12510，并包括用于显示由相机12530捕捉到的图像或经由天线12510接 收到的和解码的图像的显示屏12520(例如，液晶显示器(LCD)或有机发 光二极管(OLED)屏幕)。智能手机12500包括包含有控制按钮和触摸面板 的操作面板12540。如果显示屏12520是触摸屏，则操作面板12540还包括 显示屏12520的触摸感测面板。移动电话12500包括用于输出语音和声音的 扬声器12580或另一类型声音输出器、以及用于输入语音和声音的麦克风 12550或另一类型声音输入单元。移动电话12500还包括用于捕捉视频和静 止图像的相机12530，诸如电荷耦合器件(CCD)相机。移动电话12500还 可包括：存储介质12570，用于存储通过相机12530捕捉到的、经由电子邮 件接收到的、或根据各种方式获得的编码/解码数据(例如，视频或静止图像)； 插槽12560，存储介质12570经由插槽12560被装入移动电话12500中。存 储介质12570可以是闪存，例如，包括在塑料壳中的安全数字(SD)卡或电 可擦和可编程只读存储器(EEPROM)。
图28示出根据本发明的实施例的移动电话12500的内部结构。为了系统 地控制包括显示屏12520和操作面板12540的移动电话12500的部件，供电 电路12700、操作输入控制器12640、图像编码器12720、相机接口12630、 LCD控制器12620、图像解码器12690、复用器/解复用器12680、记录单元/ 读取单元12670、调制单元/解调单元12660以及声音处理器12650经由同步 总线12730被连接到中央控制器12710。
如果用户操作电源按钮，并从“电源关闭”状态设置为“电源开启”状态， 则供电电路12700从电池组向移动电话12500的所有部件供电，从而将移动 电话12500设置为操作模式。
中央控制器12710包括中央处理单元(CPU)、ROM和RAM。
在移动电话12500将通信数据发送到外部的同时，在中央控制器12710 的控制下，由移动电话12500产生数字信号。例如，声音处理器12650可产 生数字声音信号，图像编码器12720可产生数字图像信号，并且消息的文本 数据可经由操作面板12540和操作输入控制器12640被产生。当在中央控制 器12710的控制下数字信号被传送到调制器/解调器12660时，调制器/解调器 12660对数字信号的频带进行调制，并且通信电路12610对频带调制后的数 字声音信号执行数模转换(DAC)和频率转换。从通信电路12610输出的发 送信号可经由天线12510被发送到语音通信基站或无线基站12000。
例如，当移动电话12500处于通话模式时，在中央控制器12710的控制 下，经由麦克风12550获得的声音信号通过声音处理器12650被变换成数字 声音信号。数字声音信号可经由调制器/解调器12660和通信电路12610被变 换成变换信号，并可经由天线12510被发送。
当文本消息(例如，电子邮件)在数据通信模式下被发送时，文本消息 的文本数据经由操作面板12540被输入，并经由操作输入控制器12640被发 送到中央控制器12610。在中央控制器12610的控制下，文本数据经由调制 单元/解调单元12660和通信电路12610被变换成发送信号，并经由天线12510 被发送到无线基站12000。
为了在数据通信模式下发送图像数据，由相机12530捕捉到的图像数据 经由相机接口12630被提供给图像编码器12720。捕捉到的图像数据可经由 相机接口12630和LCD控制器12620被直接显示在显示屏12520上。
图像编码器12720的结构可与以上描述的视频编码设备100的结构相应。 图像编码器12720可根据上述根据本实施例的视频编码方法，将从相机12530 接收到的图像数据变换为压缩和编码后的图像数据，并然后将编码后的图像 数据输出到复用器/解复用器12680。在相机12530的记录操作期间，由移动 电话12500的麦克风12550获得的声音信号可经由声音处理器12650被变换 成数字声音数据，并且数字声音数据可被传送到复用器/解复用器12680。
复用器/解复用器12680对从图像编码器12720接收到的编码后的图像数 据与从声音处理器12650接收到的声音数据一起进行复用。对数据进行复用 的结果可经由调制单元/解调单元12660和通信电路12610被变换成发送信 号，然后可经由天线12510被发送。
当移动电话12500从外部接收通信数据时，可对经由天线12510接收到 的信号执行频率恢复和ADC以将信号变换成数字信号。调制单元/解调单元 12660对数字信号的频带进行调制。根据频带调制后的数字信号的类型将所 述数字信号发送到视频解码器12690、声音处理器12650或LCD控制器 12620。
在通话模式下，移动电话12500对经由天线12510接收到的信号进行放 大，并通过对放大后的信号执行频率转换和ADC来获得数字声音信号。在中 央控制器12710的控制下，接收到的数字声音信号经由调制单元/解调单元 12660和声音处理器12650被变换成模拟声音信号，并且模拟声音信号经由 扬声器12580被输出。
当在数据通信模式下时，接收在互联网网站上访问的视频文件的数据， 经由调制单元/解调单元12660将经由天线12510从无线基站12000接收到的 信号输出为复用数据，并将复用数据发送到复用器/解复用器12680。
为了对经由天线12510接收到的复用数据进行解码，复用器/解复用器 12680将复用数据解复用成编码后的视频数据流和编码后的音频数据流。经 由同步总线12730，编码后的视频数据流和编码后的音频数据流分别被提供 给视频解码单元12690和声音处理器12650。
图像解码器12690的结构可与以上描述的视频解码设备的结构相应。图 像解码器12690可通过使用上述根据本实施例的视频解码方法，对编码后的 视频数据进行解码来获得恢复的视频数据，并经由LCD控制器12620将恢复 的视频数据提供给显示屏12520。
因此，可将在互联网网站上访问的视频文件的数据显示在显示屏12520 上。同时，声音处理器12650可将音频数据变换成模拟声音信号，并将模拟 声音信号提供给扬声器12580。因此，也可经由扬声器12580再现在互联网 网站上访问的视频文件中包含的音频数据。
移动电话12500或另一类型的通信终端可以是包括根据本发明的实施例 的视频编码设备和视频解码设备两者的收发终端，可以是仅包括视频编码设 备的收发终端，或者可以是仅包括视频解码设备的收发终端。
根据本发明的通信系统不限于以上参照图27描述的通信系统。例如，图 29示出根据本发明的实施例的采用通信系统的数字广播系统。图29的数字 广播系统可通过使用根据本发明的实施例的视频编码设备和视频解码设备来 接收经由卫星或地面网络发送的数字广播。
更详细地，广播站12890通过使用无线电波将视频数据流发送到通信卫 星或广播卫星12900。广播卫星12900发送广播信号，广播信号经由家用天 线12860被发送到卫星广播接收器。在每个房屋中，可通过TV接收器12810、 机顶盒12870或另一装置对编码后的视频流进行解码并再现。
当根据本发明的实施例的视频解码设备被实现在再现设备12830中时， 再现设备12830可对记录在存储介质12820(诸如用于重建数字信号的盘或 存储卡)上的编码后的视频流进行解析和解码。因此，可在例如监视器12840 上再现恢复的视频信号。
在被连接到用于卫星/地面广播的天线12860或用于接收有线电视(TV) 广播的线缆天线12850的机顶盒12870中，可安装根据本发明的实施例的视 频解码设备。从机顶盒12870输出的数据也可被再现在TV监视器12880上。
如另一示例，可将根据本发明的实施例的视频解码设备安装在TV接收 器12810中，而不是机顶盒12870中。
具有适当天线12910的汽车12920可接收从图21的卫星12900或无线基 站11700发送的信号。可在安装在汽车12920中的汽车导航系统12930的显 示屏上再现解码后的视频。
视频信号可由根据本发明的实施例的视频编码设备来编码，然后可被存 储在存储介质中。具体地，可由DVD记录器将图像信号存储在DVD盘12960 中，或可由硬盘记录器12950将图像信号存储在硬盘中。如另一示例，可将 视频信号存储在SD卡12970中。如果硬盘记录器12950包括根据本发明的 实施例的视频解码设备，则记录在DVD盘12960、SD卡12970或另一存储 介质上的视频信号可在TV监视器12880上被再现。
汽车导航系统12930可不包括图26的相机12530、相机接口12630和图 像编码器12720。例如，计算机12100和TV接收器12810可不包括在图26 的相机12530、相机接口12630和图像编码器12720中。
图30是示出根据本发明的实施例的使用视频编码设备和视频解码设备 的云计算系统的网络结构的示图。
云计算系统可包括云计算服务器14000、用户数据库(DB)14100、多 个计算资源14200和用户终端。
响应于来自用户终端的请求，云计算系统经由数据通信网络(例如，互 联网)提供多个计算资源14200的点播外包服务。在云计算环境下，服务提 供商通过使用虚拟技术组合位于不同的物理位置的数据中心处的计算资源， 来为用户提供想要的服务。服务用户不必将计算资源(例如，应用、存储器、 操作系统(OS)和安全软件)安装在他/她拥有的终端中以使用它们，但可在 想要的时间点在通过虚拟技术产生的虚拟空间中从服务中选择和使用想要的 服务。
被指定的服务用户的用户终端经由包括互联网和移动通信网络的数据通 信网络被连接到云计算服务器14000。可从云计算服务器14100向用户终端 提供云计算服务，特别是视频再现服务。用户终端可以是能够被连接到互联 网的各种类型的电子装置，例如，桌上型PC 14300、智能TV 14400、智能电 话14500、笔记本计算机14600、便携式多媒体播放器(PMP)14700、平板 PC 14800等。
云计算服务器14000可组合分布在云网络中的多个计算资源14200，并 向用户终端提供组合的结果。所述多个计算资源14200可包括各种数据服务， 并可包括从用户终端上载的数据。如上所描述的，云计算服务器14000可通 过根据虚拟技术组合分布在不同区域中的视频数据库来向用户终端提供想要 的服务。
将关于已经订购云计算服务的用户的用户信息存储在用户DB 14100中。 用户信息可包括用户的注册信息、地址、姓名和个人信用信息。用户信息还 可包括视频的索引。这里，所述索引可包括已经被再现的视频的列表、正在 被再现的视频的列表，之前被再现的视频的暂停点等。
可在用户装置之间共享存储在用户DB 14100中的关于视频的信息。例 如，当响应于来自笔记本计算机14600的请求将视频服务提供给笔记本计算 机14600时，视频服务的再现历史被存储在用户DB 14100中。当从智能电话 14500接收到用于再现此视频服务的请求时，云计算服务器14000基于用户 DB 14100搜索并再现此视频服务。当智能电话14500从云计算服务器14000 接收到视频数据流时，通过对视频数据流进行解码来再现视频的处理与以上 参照图27和28描述的移动电话12500的操作类似。
云计算服务器14000可参考存储在用户DB 14100中的想要的视频服务 的再现历史。例如，云计算服务器14000从用户终端接收用于再现存储在用 户DB 14100中的视频的请求。如果此视频被再现过，则由云计算服务器14100 执行的对此视频进行流传输的方法可根据来自用户终端的请求(即，根据是 将从视频的起点还是视频的暂停点开始再现视频)而不同。例如，如果用户 终端请求从视频的起点开始再现视频，则云计算服务器14000将从视频的第 一帧开始的视频的流数据发送到用户终端。如果用户终端请求从视频的暂停 点开始再现视频，则云计算服务器14000将从与暂停点相应的帧开始的视频 的流数据发送到用户终端。
在此情况下，用户终端可包括如以上参照图1至图23描述的视频解码设 备。在另一示例，用户终端可包括如以上参照图1至图23描述的视频编码设 备。可选地，用户终端可包括如以上参照图1至图23描述的视频解码设备和 视频编码设备两者。
以上参照图24至图30描述了以上参照图1至图23描述的根据本发明的 实施例的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各 种应用。然而，根据本发明的各种实施例的以上参照图24至图30描述的将 视频编码方法和视频解码方法存储在存储介质中的方法或者将视频编码设备 和视频解码设备实现在装置中的方法不限于以上参照图24至图30描述的实 施例。
虽然已经参照本发明的示例性实施例具体示出并描述了本发明，但是本 领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范 围的情况下，可在示例性实施例中做出形式和细节上的各种改变。示例性实 施例应仅被考虑为描述意义，且不用于限制的目的。因此，本发明的范围不 由本发明的详细描述来限定，而由权利要求来限定，并且在该范围内的所有 差异都将被认为包括在本发明中。
本发明的实施例可被编写为计算机程序，并可被实现在使用计算机可读 记录介质执行所述程序的通用数字计算机中。计算机可读记录介质的示例包 括磁存储介质(例如，ROM、软盘、硬盘等)、光记录介质(例如，CD-ROM 或DVD)等。
机译： 使用基于树结构的编码单元的预测单元进行视频编码的方法和设备用于树结构的编码单元的预测单元进行视频解码的方法和设备
机译： 使用基于树结构的编码单元的预测单元进行视频编码的方法和设备用于树结构的编码单元的预测单元进行视频解码的方法和设备
机译： 使用基于树结构的编码单元的预测单元进行视频编码的方法和设备用于树结构的编码单元的预测单元进行视频解码的方法和设备
