使用高速边缘检测的视频编码方法和装置以及相关视频解码方法和装置

摘要

公开了一种使用用于确定画面的划分形状的快速边缘检测的视频编码方法和设备。具有树结构的编码单元的划分形状通过以下处理而被获得：基于通过对具有预定尺寸的采样单元进行的正交变换而获得的最大高频分量，用边缘像素和正常像素中的一种像素来替换所述采样单元并获得下采样的画面，并且重复执行将下采样的画面划分为编码单元并根据在编码单元中是否存在边缘像素来将编码单元划分为更低编码单元的处理。

说明书

技术领域

本发明涉及视频编码和解码，更具体地讲，涉及用于通过对视频预先进 行的预处理确定画面的划分形状并基于所确定的画面的划分形状来对视频进 行编码和解码的方法和设备。

背景技术

由于能够再现和存储高分辨率或高质量视频内容的硬件已被开发出并被 出售，因此对于能够对高分辨率或高质量视频内容进行有效编码或解码的视 频编解码器的需求已增加。现有的视频编解码器根据基于具有预定尺寸的宏 块的有限编码方法对视频进行编码。此外，现有的视频编解码器通过对宏块 进行光栅扫描来对视频数据进行编码/解码。

发明内容

技术问题

本发明提供了通过对画面执行的预处理使用具有树结构的编码单元预先 确定输入画面的划分形状，而不是通过率失真最优化来确定画面的具有可变 尺寸的编码单元。

技术方案

根据本发明的实施例，使用正交变换来产生包括正常像素和边缘像素的 下采样的画面，并且基于在下采样的画面中分布的边缘像素来将画面划分为 具有树结构的编码单元。

有益效果

根据本发明的实施例，输入画面的划分结构可在无需用于确定可变编码 单元的尺寸和结构的重复操作处理的情况下而被确定，从而根据本发明的实 施例，降低了执行确定画面的划分结构的处理所花费的运算量，并且提高了 图像的编码处理速度。

附图说明

图1是根据本发明的实施例的视频编码设备的框图；

图2A是根据本发明的实施例的对采样单元执行的正交变换处理的示例 的示图；

图2B是根据本发明的另一实施例的对当前画面和先前画面的用于下采 样的采样单元进行的正交变换处理的示例的示图；

图3A是根据本发明的实施例的用于解释从下采样的画面确定编码单元 的划分形状的处理的参考示图；

图3B是根据本发明的实施例的基于下采样的画面的最大编码单元的划 分形状来确定原始画面的最大编码单元的划分形状的示例的示图；

图4示出根据本发明的实施例的画面划分处理的示例；

图5是根据本发明的实施例的与图1的图像编码器相应的图像编码设备 的框图；

图6是示出根据本发明的实施例的根据深度的较深层编码单元和分区的 示图；

图7是用于描述根据本发明的实施例的编码单元和变换单元之间的关系 的示图；

图8是用于描述根据本发明的实施例的与编码深度相应的编码单元的编 码信息的示图；

图9是根据本发明的实施例的根据深度的较深层编码单元的示图；

图10至图12是用于描述根据本发明的实施例的编码单元、预测单元和 变换单元之间的关系的示图；

图13是示出根据本发明的实施例的视频编码方法的流程图；

图14是根据本发明的实施例的视频解码设备的框图；

图15是根据本发明的实施例的与图14的图像解码器相应的视频解码设 备的框图；

图16是示出根据本发明的实施例的视频解码方法的流程图。

最佳模式

根据本发明的一方面，提供了一种视频编码方法，包括：从画面获得具 有预定尺寸的采样单元；对每个采样单元执行正交变换并将每个采样单元变 换为正交分量和高频分量；通过基于高频分量用边缘像素和正常像素之一替 换每个采样单元来对画面执行下采样；将下采样的画面划分为具有预定尺寸 的编码单元；通过重复执行根据边缘像素是否被包括在编码单元中来将编码 单元划分为更低编码单元的处理，确定编码单元的划分形状；基于包括在下 采样的画面中的编码单元的划分形状来将画面划分为具有树结构的编码单 元，并基于所划分的具有树结构的编码单元来对画面进行编码。

根据本发明的另一方面，提供了一种视频编码设备，包括：正交变换器， 用于从画面获得具有预定尺寸的采样单元，对每个采样单元执行正交变换并 将每个采样单元变换为正交分量和高频分量；下采样器，用于通过基于高频 分量用边缘像素和正常像素之一替换每个采样单元来对画面执行下采样；划 分形状确定器，用于将下采样的画面划分为具有预定尺寸的编码单元，并通 过重复执行根据边缘像素是否被包括在编码单元中来将编码单元划分为更低 编码单元的处理，确定编码单元的划分形状；图像编码器，用于基于包括在 下采样的画面中的编码单元的划分形状来将画面划分为具有树结构的编码单 元，并基于所划分的具有树结构的编码单元来对画面进行编码。

根据本发明的另一方面，提供了一种视频解码方法，包括：接收并解析 关于编码的视频的比特流；从比特流提取编码单元的尺寸、关于编码单元的 划分形状的信息和预测模式信息，其中，编码单元是用于对视频的画面进行 解码的数据单元；基于编码单元的尺寸和划分形状，将编码单元划分为具有 树结构的编码单元，并根据具有树结构的编码单元的预测模式来对画面执行 预测解码，其中，具有树结构的编码单元的划分形状通过以下处理来获得： 基于通过对具有预定尺寸的采样单元进行正交变换而获得的最大高频分量， 用边缘像素和正常像素之一替换所述采样单元并获得下采样的画面，并且重 复执行将下采样的画面划分为编码单元并根据在编码单元中是否存在边缘像 素来将编码单元划分为更低编码单元的处理。

根据本发明的另一方面，提供了一种视频解码设备，包括：接收器，用 于接收并解析关于编码的视频的比特流；提取器，用于从比特流提取编码单 元的尺寸、关于编码单元的划分形状的信息和预测模式信息，其中，所述编 码单元是用于对视频的画面进行解码的数据单元；图像解码器，用于基于编 码单元的尺寸和划分形状，将编码单元划分为具有树结构的编码单元，并根 据具有树结构的编码单元的预测模式来对画面执行预测解码，其中，具有树 结构的编码单元的划分形状通过以下处理来获得：基于通过对具有预定尺寸 的采样单元进行正交变换而获得的最大高频分量，用边缘像素和正常像素之 一替换所述采样单元并获得下采样的画面，并且重复执行将下采样的画面划 分为编码单元并根据在编码单元中是否存在边缘像素来将编码单元划分为更 低编码单元的处理。

具体实施方式

现在将参照以下附图详细描述本发明的实施例。

大多数视频编码设备使用运动预测和补偿方法来去除时间方向的冗余。 使用运动矢量的图像压缩被用于通过发送运动矢量而非发送当前图像来实现 高压缩能力。实际图像可包括多个可具有各种运动的对象。因此，将图像划 分为块并且搜索并发送划分的块的运动矢量的基于块的运动预测和补偿方法 被广泛使用。基于块的运动预测和补偿方法将输入图像划分为块单元，并将 每个块的运动表现为2D运动矢量并对所述运动进行补偿。诸如H.264/AVC 的传统编解码器将图像划分为具有从16×16至4×4的可变尺寸的块，并执 行运动补偿。基于具有可变尺寸的块的运动补偿良好地反映出图像的特性， 从而提高编码效率，同时需要高复杂度。

H.264/AVC帧内预测将图像划分为具有16×16、8×8、4×4等的各种尺 寸的块，并通过使用周边的参考像素来执行预测。H.264/AVC帧间预测将图 像划分为具有16×16、16×8、8×16、8×8、8×4、4×8、4×4等的各种尺 寸的块，并通过使用先前编码的参考图像来执行预测和补偿。为了在帧间模 式和帧内模式之间选择具有最高编码效率的模式，H.264/AVC使用基于拉格 朗日函数的代价函数。作为示例，率失真函数被用作代价函数。

在H.264/AVC中，基本编码单元的尺寸是尺寸为16×16的宏块，所述 宏块对于用于高质量视频(诸如超高清晰度(UHD))而言过小，并且因而并 不合适。因此，由移动图像专家组(MPEG)和视频编码专家组(VCEG)共 同建立的关于视频编码的联合协作组(JCT-VC)正针对比传统视频编解码器 更有效的标准化技术开发，进行作为高效视频编码(HEVC)的视频编解码 器的标准化。

与传统的H.264/AVC类似，HEVC使用矩形形状的块作为基本编码单元。 HEVC不限于传统的16×16的宏块，并可通过使用尺寸为32×32、64×64 等的块来对图像进行编码。为了在不限制尺寸的情况下对编码单元的尺寸进 行可变调整。使用指示最大编码单元的划分次数的深度以及最大编码单元。 最大编码单元被称为编码树块。最大编码单元可通过彼此重叠而不被编码。 包括在单个最大编码单元中的编码单元被划分为树结构并被编码。HEVC还 基于率失真函数来确定最大编码单元的划分形状和预测模式。

如上所述，视频编解码器大多将图像划分为具有预定尺寸的块，并确定 率失真被最优化的块的划分形状和预测模式。尽管用于运动预测和补偿的块 的尺寸越小，更准确的预测越可能，但针对每个块而将被编码的运动矢量的 信息量增加，因此编码效率恶化。为了确定率失真被最优化的块的划分形状， 针对所有可用的可变块尺寸对图像进行编码并比较根据可变块尺寸的率失真 的处理是必要的，因此需要极大量的运算来确定图像的最优划分形状。具体 地讲，当具有非常大尺寸的编码单元(诸如HEVC)和诸如4×4的小编码单 元可用时，用于计算率失真的运算量极大地增加。

因此，本发明提供了一种通过图像编码的预处理来确定图像的划分形状， 而不是通过计算根据图像的划分形状的率失真以确定图像的划分形状的方 法。

图1A是根据本发明的实施例的图像编码设备10的框图。

参照图1A，视频编码设备10包括预处理器11、图像编码器12和输出 单元13。

预处理器11基于作为具有最大尺寸的编码单元的最大编码单元来划分 画面，并确定最大编码单元的划分形状。具体地讲，预处理器11不通过使用 率失真最优化方法来确定最大编码单元的划分形状，而是按预定采样单元对 画面执行正交变换，通过用正常像素或边缘像素替换采样单元来对画面执行 下采样，根据下采样的画面中的边缘像素的位置来将最大编码单元划分为更 小的更低编码单元，并确定下采样的画面的划分形状。稍后将更详细地描述 预处理器11的确定画面的划分形状的处理。

图像编码器12基于预处理器11确定的最大编码单元的划分形状，对包 括在最大编码单元中的编码单元执行预测编码。图像编码器12可按照预测单 元对预处理器11确定的编码单元执行编码，或者可通过再次将编码单元划分 为用于预测的较小分区，对预处理器11确定的编码单元执行预测编码。稍后 将参照图5描述图像编码器12的操作。

输出单元13将以下信息输出到比特流形状中：关于由预处理器11确定 的最大编码单元的划分形状和由图像编码器12确定的最大编码单元的编码 图像数据的信息、以及诸如编码模式的编码信息。关于最大编码单元的划分 形状的信息可以是根据深度的指示是否划分编码单元的划分标记信息。输出 单元13可将关于根据画面、条带或画面组(GOP)而定义的尺寸和可变深度 的编码单元结构信息添加到比特流。

根据实施例的可变深度可指示对于当前树结构的编码单元而可允许的最 大深度、以及具有最小尺寸的编码单元的最低深度、深度级别的数量或深度 的改变量。

根据实施例的深度级别的数量可指示可在当前树结构的编码单元中存在 的根据深度的编码单元的深度级别的数量。根据实施例的可在当前树结构的 编码单元中存在的深度的改变量可指示深度级别的可变频率次数。

可针对每个序列、画面、条带或GOP来设置根据实施例的关于可变长度 的信息。也就是说，对于每个序列、画面、条带或GOP，关于当前树结构的 编码单元中可允许的编码单元的最大尺寸和最小尺寸中的至少一个的信息和 关于可变深度的信息可被设置。

输出单元13输出的编码信息可被分类为根据深度的编码单元的编码信 息和预测单元的编码信息。根据深度的编码单元的编码信息可包括预测模式 信息和分区尺寸信息。针对每个预测单元而发送的编码信息可包括关于帧间 模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢 量的信息、关于帧内模式的颜色分量的信息、关于帧内模式的插值方法的信 息等。输出单元13输出的编码信息可包括变换索引。根据实施例的变换索引 信息可以是关于用于对当前编码单元进行变换的变换单元的结构的信息。根 据实施例的变换索引信息可指示当前变换单元是否划分为更低深度的变换单 元。

输出单元13可将关于最大编码单元的划分形状的信息和关于编码模式 的信息插入到编码的视频数据(包括视频参数集(VPS)、序列参数集(SPS)、 画面参数集(PPS)和自适应参数集(APS)以及条带头)并输出所述信息。

图1B是根据本发明的实施例的图1A的预处理器11的具体配置的框图。

参照图1B，预处理器11包括正交变换器14、下采样器15和划分形状 确定器16。

正交变换器14从画面获得具有预定尺寸的采样单元，对每个采样单元执 行正交变换，并将每个采样单元变换为正交分量和高频分量。根据实施例的 正交变换器14可使用哈达玛(Hadamard)变换作为正交变换。哈达玛变换作 为仅使用加法和减法的简单正交变换而能够进行快速处理。在下面现在将描 述在哈达玛变换被用作正交变换的情况，但不限于此。可使用其他正交变换。

下采样器15通过基于高频分量用边缘像素和正常像素之一替换每个采 样单元来对画面执行下采样。例如，当正交变换器14对尺寸为2×2的采样 单元执行正交变换时，下采样器15将包括在采样单元中的最大尺寸的高频分 量与预定阈值进行比较，用单个正常像素或边缘像素替换尺寸为2×2的采样 单元，从而获得下采样的画面。如果原始画面是N×M(N和M是整数)， 并且被正交变换的采样单元的尺寸是n×m(n和m是整数)，则下采样器15 用一个正常像素或边缘像素替换尺寸为n×m的采样单元，从而获得尺寸为 (N/m)×(M/m)的下采样的画面。

划分形状确定器16重复执行将下采样的画面划分为具有预定尺寸的编 码单元(例如，最大编码单元)，并根据在最大编码单元中是否存在边缘像素 来将最大编码单元划分为更低编码单元的处理，从而确定最大编码单元的划 分形状。

如上所述，图1A的图像编码器12通过使用由划分形状确定器16确定 的包括在下采样的画面中的最大编码单元的划分形状，确定包括在相应当前 画面的最大编码单元中的具有树结构的编码单元的结构(即，最大编码单元 的划分形状)。图像编码器12基于从最大编码单元划分的编码单元来执行预 测编码。

图2A是根据本发明的实施例的对采样单元执行的正交变换处理的示例 的示图。

参照图1B和图2A，正交变换器14从将被编码的当前画面20获得具有 预定尺寸的采样单元21。图2A示出采样单元21的尺寸为2×2的情况。采 样单元21的尺寸不限于此并可被修改。正交变换器14对尺寸为2×2的采样 单元21执行哈达玛变换。如果包括在采样单元21中的输入信号是h0、h1、 h2和h3，则正交变换器14通过诸如以下算法的哈达玛变换公式来从输入信 号h0、h1、h2和h3获得正交分量F(0,0)和高频分量F(0,1)、F(1,0)和F(1,1)：

{

F(0,0)＝(h0+h1+h2+h3)/2

F(0,1)＝(h0+h1-h2-h3)/2

F(1,0)＝(h0-h1-h2+h3)/2

F(1,1)＝(h0-h1+h2-h3)/2

}

下采样器15将经过哈达玛变换的分量22之中的高频分量F(0,1)、F(1,0) 和F(1,1)的最大值与预定阈值th进行比较。所述预定阈值th可使用基于量化 参数QP而确定的值。作为示例，所述预定阈值th可基于诸如QP*α(α是 实数)的量化参数QP来确定。

下采样器15将高频分量之中的最大值的绝对值与阈值th进行比较，如 果所述绝对值小于阈值th，则下采样器15用单个正常像素来替换采样单元 21。如果所述绝对值等于或大于所述阈值th，则下采样器15用单个边缘像素 来替换采样单元21。被替换为正常像素的采样单元21可能与很可能是平坦 区域的区域相应。被替换为边缘像素的采样单元21可包括边缘或多个运动， 并且可以是为了准确的运动预测和补偿而划分的区域。

图2B是根据本发明的另一实施例的分别对当前画面23和先前画面25 的用于进行下采样的采样单元24和26进行的正交变换处理的示例的示图。

预处理器11可将从当前画面23的采样单元24获得的高频分量与从先前 画面25的采样单元26获得的高频分量进行比较，并用正常像素或边缘像素 来替换当前画面23的采样单元24。

更详细地，正交变换器14对当前画面23的采样单元24执行哈达玛变换， 并获得高频分量。正交变换器14对先前画面25的采样单元26执行哈达玛变 换，并获得高频分量。当从当前画面的23的采样单元24获得的高频分量与 从当前画面25的采样单元26获得的高频分量之间的差的绝对值的最大值小 于预定阈值th时，下采样器15用单个正常像素来替换采样单元24，当所述 最大值大于所述预定阈值th时，下采样器15用单个边缘像素来替换采样单 元24。也就是说，如果通过对当前画面23的采样单元24执行哈达玛变换而 获得的高频分量是F(u,v)t((u,v)是(0,1),(1,0)和(1,1)之一)，并且通过对当前 画面25的采样单元26执行哈达玛变换而获得的高频分量是F(u,v)t-1，则当满 足了以下等式时，下采样器15用边缘像素替 换当前画面23的采样单元24，并且当满足以下等式 时，下采样器15用正常像素来替换当前画面 23的采样单元24。

预处理器11对包括在当前画面中的所有像素执行上述采样、正交变换和 下采样。因此，如上所述，如果原始画面是N×M(N和M是整数)并且被 正交变换的采样单元的尺寸是n×m(n和m是整数)，则获得(N/m)x(M/m) 的下采样的画面。在基于如上所述的尺寸为2×2的采样单元的情况下，获得 (N/2)×(M/2)的下采样的画面。下采样的画面是具有正常像素和边缘像素两 种类型的像素的二值编码的图像，并且被用于确定画面的划分形状。

划分形状确定器16通过重复执行将下采样的画面划分为具有预定尺寸 的编码单元(例如，最大编码单元)并根据在最大编码单元中是否存在边缘 像素来将最大编码单元划分为更低编码单元的处理，确定最大编码单元的划 分形状。

图3A是根据本发明的实施例的用于解释从下采样的画面确定编码单元 的划分形状的处理的参考示图。图3A示出当假设下采样的画面划分为具有 预定尺寸的编码单元(例如，最大编码单元)时将单个最大编码单元划分为 具有树结构的编码单元的处理。作为示例，假设在下采样的画面中可用的最 大编码单元的尺寸为32×32。

参照图3A，假设在最大编码单元31中存在两个边缘像素E1和E2。只 要在原始最大编码单元31中存在边缘像素，划分形状确定器16就根据先前 确定的划分形状划分最大编码单元31。如果在相应的编码单元中存在边缘像 素，则划分形状确定器16将划分的编码单元划分为更小的更低编码单元。例 如，由于在最大编码单元31中存在边缘像素E1和E2，因此划分形状确定器 16对最大编码单元31进行划分并确定第一划分形状32。划分形状确定器16 将包括在最大编码单元31中的更低的第一编码单元之中的包括边缘像素E1 的第一编码单元33和包括边缘像素E2的第一编码单元34划分为4个编码单 元，并确定第二划分形状35。划分形状确定器16将包括在最大编码单元31 中的更低的第二编码单元之中的包括边缘像素E1的第二编码单元36和包括 边缘像素E2的第二编码单元37划分为4个编码单元，并确定第三划分形状 38。这样的根据是否存在边缘像素来划分编码单元的处理可被重复执行，直 到包括边缘像素的更低编码单元是最小编码单元为止。在图3A中，如果最 小编码单元的尺寸是4×4，则最大编码单元31的划分形状可被最终确定为 第三划分形状38。

如果划分形状确定器16可基于边缘像素确定包括在下采样的画面中的 最大编码单元31的划分形状，则原始画面的最大编码单元的划分形状可基于 所述确定而被确定。

图3B是根据本发明的实施例的基于下采样的画面的最大编码单元310 的划分形状来确定原始画面的最大编码单元320的划分形状的示例的示图。

参照图3B，如果包括在下采样的画面中的最大编码单元310的划分形状 被确定，则划分形状确定器16可按如上所述的相同方式来确定相应原始画面 的最大编码单元320的划分形状。如果下采样的画面的最大编码单元310的 尺寸为n×m，并且相应原始画面的最大编码单元320的尺寸为N×M，则下 采样的画面的最大编码单元310的划分形状可沿水平方向扩展(N/n)，并沿 垂直方向扩展(M/m)。

图4示出根据本发明的实施例的画面划分处理的示例。

参照图4，正交变换器14对从原始画面41获得的采样单元执行正交变 换，并且下采样器15基于从采样单元获得的高频分量用正常像素或边缘像素 来替换采样单元，从而获得下采样的画面42。划分形状确定器16将下采样 的画面43划分为具有最大尺寸的最大编码单元，并根据预定扫描顺序(例如， 光栅扫描顺序)确定每个最大编码单元的划分形状。划分形状确定器16可通 过重复执行基于包括在每个最大编码单元中的边缘像素将最大编码单元划分 为更低编码单元并将更低编码单元划分为更小的更低编码单元的处理，确定 每个最大编码单元的划分形状。将最大编码单元划分为更低编码单元的操作 可被重复执行，直到边缘像素被置于先前确定的最小编码单元中。如果在原 始画面中可用的最小编码单元是a×b(a和b是整数)并且采样单元的尺寸 是n×m，则在下采样的画面中可用的最小编码单元是(a/n)×(b/m)。划分形 状确定器16可重复执行上述划分处理，直到包括在下采样的画面中的边缘像 素被包括在尺寸为(a/n)×(b/m)的最小编码单元中为止。例如，当在原始画 面中可用的最小编码单元为4×4并且采样单元的尺寸是2×2时，划分形状 确定器16可重复执行上述划分处理，直到包括在下采样的画面中的边缘像素 被包括在尺寸为2×2的编码单元中为止。

再次参照图1A，图像编码器12基于由预处理器11确定的最大编码单元 的划分形状来对包括在最大编码单元中的编码单元执行预测编码。图像编码 器12可通过使用由预处理器11确定的编码单元作为预测单元来执行编码， 并可通过将由预处理器11确定的编码单元划分为更小的用于进行预测的分 区来执行预测编码。

图5是根据本发明的实施例的与图1的编码器12相应的图像编码设备 500的框图。

参照图5，帧内预测器510对当前帧505之中的划分的编码单元执行帧 内预测，运动估计器520和运动补偿器525对编码单元执行运动预测和运动 补偿。

从帧内预测器510和运动补偿器525输出的每个编码单元的预测值通过 频率变换器530和量化器540被输出为量化的变换系数。量化的变换系数通 过反量化器560和频率逆变换器570被恢复为空间域中的数据，并且恢复的 空间域中的数据在通过去块单元570和环路滤波单元580后处理之后被输出 为参考帧595。量化的变换系数可通过熵编码器550被输出为比特流555。

帧内预测器510、运动估计器520和运动补偿器525可确定具有树结构 的编码单元之中的每个编码单元的分区和预测模式，频率变换器530可确定 每个编码单元中的变换单元的尺寸。

图6是示出根据本发明的实施例的根据深度的较深层编码单元和分区的 示图。

根据实施例的视频编码设备10使用分层编码单元以考虑图像的特征。可 根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度， 或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。如上所 述，根据实施例的视频编码设备10可基于根据包括在下采样的画面中的边缘 而确定的最大编码单元的划分形状，确定根据深度的编码单元的尺寸和划分 形状。

在根据实施例的编码单元的分层结构600中，编码单元的最大高度和最 大宽度均是64，最大深度是3。在这一点上，最大深度指示从最大编码单元 到最小编码单元的总划分次数。由于沿着根据实施例的编码单元的分层结构 600的垂直轴深度增加，因此较深层编码单元的高度和宽度均被划分。另外， 预测单元和分区沿着编码单元的分层结构600的水平轴被示出，其中，所述 预测单元和分区是对每个较深层编码单元进行预测编码的基础。

换言之，在编码单元的分层结构600中，编码单元610是最大编码单元， 其中，深度为0，尺寸(即，高度乘宽度)为64×64。深度沿着垂直轴增大， 存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的 编码单元630以及尺寸为8×8且深度为3的编码单元640。尺寸为8×8且深 度为3的编码单元640是最小编码单元。

编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换言之， 如果尺寸为64×64且深度为0的编码单元610是预测单元，则可将预测单元 划分成包括在编码单元610中的分区，即，尺寸为64×64的分区610、尺寸 为64×32的分区612或尺寸为32×64的分区614。由于尺寸为64×64的编码 单元610不是最小编码单元，因此尺寸为32×32的分区616未被设置。

类似地，可将尺寸为32×32且深度为1的编码单元620的预测单元划分 成包括在编码单元620中的分区，即，尺寸为32×32的分区620、尺寸为32×16 的分区622和尺寸为16×32的分区624。由于尺寸为32×32的编码单元620 不是最小编码单元，因此尺寸为16×16的分区626未被设置。

类似地，可将尺寸为16×16且深度为2的编码单元630的预测单元划分 成包括在编码单元630中的分区，即，包括在编码度单元630中的尺寸为16×16 的分区、尺寸为16×8的分区632和尺寸为8×16的分区634。由于尺寸为16 ×16的编码单元630不是最小编码单元，因此尺寸为8×8的分区636未被 设置。

最后，尺寸为8×48且深度为3的编码单元640是最小编码单元和最低深 度的编码单元。编码单元640的预测单元可被划分为包括在编码单元640中 的分区，即，包括在编码单元640中的尺寸为8×8的分区、尺寸为8×4的 分区642、尺寸为4×8的分区644以及尺寸为4×4的分区646。

图7是用于解释根据本发明的实施例的编码单元710和变换单元720之 间的关系的示图。

根据实施例的视频编码设备10针对每个最大编码单元，根据具有小于或 等于最大编码单元的尺寸的编码单元对图像进行编码。可基于不大于相应编 码单元的数据单元，选择用于在编码期间进行变换的变换单元的尺寸。

例如，在根据实施例的视频编码设备10中，如果当前编码单元710的尺 寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。

此外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的每个 变换单元执行变换，来对尺寸为64×64的编码单元710的数据进行编码，然 后可选择具有最小编码误差的变换单元。

图8是用于描述根据本发明的实施例的与编码深度相应的编码单元的编 码信息的示图。

根据实施例的视频编码设备10的输出单元13可对与编码深度相应的每 个编码单元的关于分区类型的信息800、关于预测模式的信息810以及关于 变换单元尺寸的信息820进行编码，并将信息800、信息810和信息820作 为关于编码模式的信息来发送。

关于分区类型的信息800指示关于通过划分当前编码单元的预测单元而 获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测 编码的数据单元。例如，可将尺寸为2N×2N的当前编码单元CU_0划分成以 下分区中的任意一个：尺寸为2N×2N的分区802、尺寸为2N×N的分区804、 尺寸为N×2N的分区806以及尺寸为N×N的分区808。在这一点上，关于当 前编码单元的分区类型的信息800被设置为指示尺寸为2N×N的分区804和 尺寸为N×2N的分区806之一。然而，在尺寸为2N×2N的当前编码单元CU_0 是最小编码单元时，关于当前编码单元的分区类型的信息800可包括尺寸为 N×N的分区808。

关于预测模式的信息810指示每个分区的预测模式。例如，关于预测模 式的信息810可指示对由信息800指示的分区执行的预测编码的模式，即， 帧内模式812、帧间模式814或跳过模式816。

此外，关于变换单元的尺寸的信息820指示当对当前编码单元执行变换 时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二 帧内变换单元824、第一帧间变换单元826或第二帧内变换单元828。

解码侧可根据每个较深层编码单元，提取并使用用于解码的关于分区类 型的信息800、关于预测模式的信息810和关于变换单元的尺寸的信息820。

图9是根据本发明的实施例的根据深度的较深层编码单元的示图。

划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是 否被划分成更低深度的编码单元。

用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预 测单元910可包括以下分区类型的分区：尺寸为2N_0×2N_0的分区类型912、 尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺 寸为N_0×N_0的分区类型918。图9仅示出了通过对称地划分预测单元910 而获得的分区类型912至918，但是分区类型不限于此，预测单元910的分 区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。

根据每种分区类型，需对尺寸为2N_0×2N_0的一个分区、尺寸为 2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的 四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、 2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。可仅 对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。

如果在尺寸为2N_0×2N_0、2N_0×N_0和N_0×2N_0的分区类型912至 916中的一个分区类型中编码误差最小，则可不再将预测单元910划分到更 低深度。

如果在尺寸为N_0×N_0的分区类型918中编码误差最小，则深度可从0 改变到1以在操作920中划分分区类型918，并可对深度为2且尺寸为 N_0×N_0的编码单元930重复地执行编码来搜索最小编码误差。

用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进 行预测编码的预测单元940可包括以下分区类型的分区：尺寸为2N_1×2N_1 的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分 区类型946以及尺寸为N_1×N_1的分区类型948。

如果在尺寸为N_1×N_1的分区类型948而非尺寸为2N_1×2N_1的分区 类型942、尺寸为2N_1×N_1的分区类型944和尺寸为N_1×2N_1的分区类 型946中编码误差最小，则深度可从1改变到2以在操作950中划分分区类 型948，并可对深度为2且尺寸为N_2×N_2的编码单元960重复执行编码来 搜索最小编码误差。

当最大深度是d-1时，根据每个深度的划分信息可被设置直到深度变成 d-1，并且划分信息可被设置直到深度变成d-2。换言之，当编码被执行直到 在与d-2的深度相应的编码单元在操作970中被划分之后深度是d-1时，用于 对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预 测单元990可包括以下分区类型的分区：尺寸为2N_(d-1)×2N(d-1)的分区类 型992、尺寸为2N_(d-1)×N(d-1)的分区类型994、尺寸为N_(d-1)×2N(d-1)的 分区类型996和尺寸为N_(d-1)×N(d-1)的分区类型998。可对分区类型992至 998中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的 两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的 四个分区重复地执行预测编码，以搜索具有最小编码误差的分区类型。

即使当尺寸为N_(d-1)×N_(d-1)的分区类型998具有最小编码误差时，由 于最大深度是d-1，因此深度为d-1的编码单元CU_(d-1)可不再被划分到更低 深度，当前最大编码单元900的编码深度可被确定为d-1，并且当前最大编码 单元900的分区类型可被确定为N_(d-1)×N(d-1)。此外，由于最大深度是d-1， 因此不设置深度为d-1的编码单元952的划分信息。

由于深度为0且尺寸为2N_0×2N_0的编码单元900以及深度为1且尺 寸为2N_1×2N_1的编码单元930不是最小编码单元，因此尺寸为2N_0× 2N_0的编码单元900的预测单元910可不包括尺寸为N_0×N_0的分区类型， 并且尺寸为2N_1×2N_1的编码单元930的预测单元940可不包括尺寸为N_1 ×N_1的分区类型。

然而，作为最小编码单元的深度为d-1的编码单元980的预测单元990 可包括尺寸为N_(d-1)×N_(d-1)的分区类型998。

数据单元999可被称为用于当前最大编码单元的“最小单元”。根据实施 例的最小单元可以是通过将具有最低编码深度的最小编码单元划分成4份而 获得的矩形数据单元。

编码深度、预测单元的分区类型和预测模式可作为关于编码模式的信息 被编码并被发送。另外，由于编码单元需从深度0被划分到编码深度，因此 仅必需将编码深度的划分信息设置为0，并且必需将除了编码深度以外的深 度的划分信息设置为1。

解码侧可提取并使用关于编码单元900的编码深度和预测单元的信息， 以对编码单元912进行解码。解码侧可通过使用根据深度的划分信息，将划 分信息为0的深度确定为编码深度，并且可使用关于相应深度的编码模式的 信息来进行解码。

图10至图12是用于解释根据本发明的实施例的在编码单元1010、预测 单元1060和频率变换单元1070之间的关系的示图。

编码单元1010是最大编码单元中的与由根据上述实施例的预处理器11 使用包括在下采样的画面中的边缘像素而确定的编码深度相应的编码单元。 预测单元1060是每个编码单元1010中的预测单元的分区。变换单元1070是 每个编码单元1010的变换单元。

当在编码单元1010中最大编码单元的深度是0时，编码单元1012和编 码单元1054的深度是1，编码单元1014、1016、1018、1028、1050和1052 的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深 度是3，编码单元1040、1042、1044和1046的深度是4。

在预测单元1060中，通过划分编码单元来获得一些分区1014、1016、 1022、1032、1048、1050、1052和1054。换言之，分区1014、1022、1050 和1054中的分区类型的尺寸是2N×N，分区1016、1048和1052中的分区类 型的尺寸是N×2N，分区1032的分区类型的尺寸是N×N。仅在编码单元1032 是最小编码单元时，尺寸为N×N的分区类型可被设置。编码单元1010的预 测单元和分区小于或等于每个编码单元。

在小于变换单元1052的数据单元中的变换单元1070中，对变换单元 1052的图像数据执行变换或逆变换。另外，在尺寸或形状方面，变换单元1070 中的变换单元1014、1016、1022、1032、1048、1050、1052和1054不同于 预测单元1060中的变换单元1014、1016、1022、1032、1048、1050、1052 和1054。换言之，根据实施例的视频编码/解码处理可对甚至在同一编码单元 中的数据单元独立地执行帧内预测/运动估计/运动补偿和变换/逆变换。

编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于 预测模式的信息和关于变换单元的尺寸的信息。表1示出根据实施例的编码 信息。

[表1]

视频编码设备10的输出单元13可输出关于具有树结构的编码单元的编 码信息。解码侧可从接收到的比特流提取关于具有树结构的编码单元的编码 信息。

划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当 前深度d的划分信息是0，则当前编码单元不再被划分成更低深度的深度是 编码深度，从而可针对所述编码深度来定义关于分区类型、预测模式和变换 单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则需对 更低深度的四个划分编码单元独立地执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可针对所有 分区类型定义帧内模式和帧间模式，可仅在尺寸为2N×2N的分区类型中定义 跳过模式。

关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获 得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型，以及通过非对 称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和 nR×2N的非对称分区类型。可通过按1:3和3:1来划分预测单元的高度来分 别获得尺寸为2N×nU和2N×nD的非对称分区类型，可通过按1:3和3:1来划 分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的非对称分区类型。 尺寸为N×N的对称分区类型可仅被设置在最小编码单元中。

可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种 类型。换句话说，如果变换单元的划分信息是0，则变换单元的尺寸被设置 为2N×2N，即当前编码单元的尺寸。如果变换单元的划分信息是1，则可通 过对当前编码单元进行划分来获得变换单元。另外，如果尺寸为2N×2N的当 前编码单元的分区类型是对称分区类型，则变换单元的尺寸可被设置为N×N， 如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可被设 置为N/2×N/2。

关于具有根据实施例的树结构的编码单元的编码信息可被分配给与编码 深度相应的编码单元、预测单元和最小单元中的至少一个。与编码深度相应 的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。

因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包 括在与编码深度相应的同一编码单元中。另外，可通过使用数据单元的编码 信息来确定与编码深度相应的相应编码单元，并因此可确定最大编码单元中 的编码深度的分布。

因此，如果通过参照邻近数据单元来对当前编码单元进行预测，则可直 接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信 息。

可选择地，如果通过参照邻近数据单元来对当前编码单元进行预测编码， 则可通过使用数据单元的编码信息来搜索与较深层编码单元中的当前编码单 元邻近的数据单元，并可参考搜索到的邻近编码单元以对当前编码单元进行 预测编码。

图13是示出根据本发明的实施例的视频编码方法的流程图。

参照图13，在操作S1310，正交变换器14从画面获得具有预定尺寸的采 样单元。在操作S1320，正交变换器14对每个采样单元执行正交变换，并将 每个采样单元变换为正交分量和高频分量。如上所述，正交变换器14执行哈 达玛变换并从具有预定尺寸的采样单元获得高频分量。

在操作S1330，下采样器15通过基于高频分量用边缘像素和正常像素中 的一个替换每个采样单元来对画面执行下采样。根据实施例的下采样器15将 高频分量之中的最大值的绝对值与阈值th进行比较，并在最大高频分量的绝 对值小于阈值th时用单个正常像素替换采样单元，在最大高频分量的绝对值 高于阈值th时用单个边缘像素替换采样单元。根据另一实施例的下采样器15 在从当前画面的采样单元获得的高频分量与从相应的先前画面的采样单元获 得的高频分量之间的差的绝对值的最大值小于阈值th时，用单个正常像素替 换采样单元，并且在所述最大值大于阈值th时用单个边缘像素来替换采样单 元。

在操作S1340，划分形状确定器16确定下采样的画面到具有预定尺寸的 最大编码单元。在操作S1350，划分形状确定器16通过重复执行根据边缘像 素是否包括在最大编码单元中而将最大编码单元划分为更低编码单元的处 理，确定最大编码单元的划分形状。在操作S1360，划分形状确定器16基于 包括在下采样的画面中的编码单元的划分形状来将原始画面划分为具有树结 构的编码单元，并基于具有树结构的划分编码单元来对画面进行编码。

图14是根据本发明的实施例的视频解码设备1400的框图。

参照图14，视频解码设备1400包括接收器1410、提取器1420和图像解 码器1430。

接收器1410对编码的视频的比特流进行接收和解析。提取器1420从解 析出的比特流提取每个编码单元的编码图像数据(其中，编码单元具有根据 每个最大编码单元的树结构)，并将提取的图像数据输出到图像解码器1430。 提取器1420可针对当前画面，从头、SPS和PPS中的至少一个提取关于当前 画面的编码单元的尺寸和可变深度的编码单元结构信息以及关于编码深度和 编码模式的信息。

根据实施例，提取器1420可从编码信息提取以下信息：可用于具有树结 构的编码单元的编码单元的最大尺寸和最小尺寸中的至少一个的信息以及关 于序列、画面、条带或GOP的每个数据单元的可变深度的信息。图像解码器 1430可通过使用包括在关于编码模式的信息中的关于可变深度的信息、关于 编码单元的最大尺寸的信息和关于编码单元的最小尺寸的信息之中的至少两 条信息，针对序列、画面、条带或GOP的每个数据单元，确定可用于具有树 结构的编码单元的编码单元的最大尺寸和最小尺寸。

根据实施例，针对每个画面、条带或GOP确定的关于可变深度的信息、 关于编码单元的最大尺寸的信息和关于编码单元的最小尺寸的信息之中的至 少两条信息可从编码信息被提取出。在当前数据单元中可用的编码单元的最 大尺寸和最小尺寸可基于读取的信息来确定。提取的关于编码深度和编码模 式的信息被输出到图像解码器1430。换言之，比特流中的图像数据被划分为 最大编码单元，使得图像解码器1430针对每个最大编码单元对图像数据进行 解码。

根据最大编码单元的关于编码深度和编码模式的信息可针对关于至少一 个编码深度的信息来设置，并且关于根据每个编码深度的编码模式的信息可 包括关于与编码深度、预测模式和变换单元的尺寸相应的相应编码单元的分 区类型的信息。此外，根据深度的划分信息可被提取为关于编码深度的信息。

图像解码器1430可从来自于自解析出的比特流提取的关于编码模式的 信息的编码信息读取关于变换索引的信息。图像解码器1430可基于由提取器 1420提取的关于变换索引的信息来配置当前编码单元的变换单元，基于变换 单元对当前编码单元执行逆变换，并对编码的数据进行解码。作为对编码单 元进行解码的结果，当前画面可被恢复。

由提取器1420提取出的关于根据每个最大编码单元的编码深度和编码 模式的信息是关于在以下情况下被确定为产生最小编码误差的编码深度和编 码模式的信息，即，在编码器(诸如，视频编码设备10)根据每个最大编码 单元对根据深度的每个较深层编码单元重复地执行编码的时候。因此，视频 解码设备20可通过根据产生最小编码误差的编码模式对图像数据进行解码 来恢复图像。

由于根据实施例的关于编码深度和编码模式的编码信息可被分配给相应 编码单元、预测单元和最小单元之中的预定数据单元，因此提取器1420可根 据预定数据单元，提取关于编码深度和编码模式的信息。当关于相应最大编 码单元的编码深度和编码模式的信息根据预定数据单元被记录时，可将具有 相同的关于编码深度和编码模式的信息的预定数据单元推断为是包括在同一 最大编码单元中的数据单元。

图像解码器1430基于关于根据最大编码单元的编码深度和编码模式的 信息，通过对每个最大编码单元中的图像数据进行解码，来恢复当前画面。 换言之，图像解码器230可基于提取出的关于包括在每个最大编码单元中的 具有树结构的编码单元之中的每个编码单元的分区类型、预测模式和变换单 元的信息，对编码的图像数据进行解码。解码处理可包括预测(包含帧内预 测和运动补偿)和逆变换。

图像解码器1430可基于关于根据编码深度的编码单元的预测单元的分 区类型和预测模式的信息，根据每个编码单元的分区和预测模式，执行帧内 预测或运动补偿。

此外，图像解码器1430可基于关于根据编码深度的编码单元的变换单元 的尺寸的信息，根据编码单元中的每个变换单元执行逆变换，以根据最大编 码单元执行逆变换。

图像解码器1430可通过使用根据深度的划分信息来确定当前最大编码 单元的编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则 当前深度是编码深度。因此，图像解码器1430可通过使用关于用于当前最大 编码单元的图像数据的预测单元的分区类型、预测模式和变换单元的尺寸的 信息，对当前深度的编码数据进行解码。

换言之，可通过观察被分配给编码单元、预测单元和最小单元之中的预 定数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单 元，并且收集的数据单元可被认为是将由图像解码器1430以相同编码模式进 行解码的一个数据单元。

视频解码设备1400可在上述编码处理期间获得关于基于包括在下采样 的画面中的边缘像素确定的最大编码单元的划分形状的信息，并确定最大编 码单元的划分形状以对将被解码的当前画面进行解码。

图15是根据本发明的实施例的与图14的图像解码器1430相应的视频解 码设备1500的框图。

解析器1510从比特流1505解析将被解码的编码图像数据和解码所需的 关于编码的信息。关于在上述编码处理期间基于包括在下采样的画面中的边 缘像素确定的最大编码单元的划分形状的信息可被用于确定最大编码单元的 划分形状以对将被解码的当前画面进行解码。

编码图像数据通过熵解码器1520和反量化器1530被输出为反量化的数 据，反量化的数据通过频率逆变换器1540被恢复为空间域中的图像数据。

针对空间域中的图像数据，帧内预测器1550在帧内模式下对编码单元执 行帧内预测，运动补偿器1560通过使用参考帧585在帧间模式下对编码单元 执行运动补偿。

帧内预测器1550针对空间域中的图像数据在帧内模式下对编码单元执 行帧内预测，运动补偿器1560通过使用参考帧585在帧间模式下对编码单元 执行运动补偿。

通过帧内预测器1550和运动补偿器1560的空间域中的数据可在通过去 块单元1570和环路滤波单元1580后处理之后被输出为恢复帧1595。另外， 通过去块单元1570和环路滤波单元1580后处理的数据可被输出为参考帧 1585。

为了将图像解码器400应用到根据实施例的视频解码设备1400中，图像 解码器400的所有元件(即，解析器1510、熵解码器1520、反量化器1530、 频率逆变换器1540、帧内预测器1550、运动补偿器1560、去块单元1570和 环路滤波单元1580)必需针对每个最大编码单元基于具有树结构的编码单元 执行操作。

具体地，帧内预测器1550和运动补偿器1560必需针对具有树结构的每 个编码单元确定分区和预测模式，频率逆变换器1540必需针对每个编码单元 确定变换单元的尺寸。

图16是示出根据本发明的实施例的视频解码方法的流程图。

参照图16，在操作S1610，接收器1410接收并解析关于编码的视频的比 特流。在操作S1620，提取器1420从比特流提取作为用于对视频的画面进行 解码的数据单元的编码单元的尺寸、关于编码单元的划分形状的信息以及预 测模式信息。如上所述，通过用边缘像素和正常像素之一替换采样单元，基 于通过对具有预定尺寸的采样单元进行的正交变换而获得的最大高频分量来 获得下采样的画面，并重复执行将下采样的画面划分为编码单元并根据边缘 像素是否包括在编码单元中来将编码单元划分为更低编码单元的处理，在编 码处理期间获得具有树结构的编码单元的划分形状。

在操作S1630，图像解码器1430基于编码单元的尺寸和划分形状将编码 单元划分为具有树结构的编码单元，并根据具有树结构的编码单元的预测模 式来对画面执行预测解码。

根据本发明的实施例可被编写为计算机程序，并可被实现在通过使用计 算机可读记录介质来运行程序的通用数字计算机中。计算机可读记录介质的 示例包括磁存储介质(例如，只读存储器(ROM)、软盘和硬盘)、光学可读 介质(例如，紧密盘只读存储器(CD-ROM)和数字通用盘(DVD))以及载 波(诸如通过互联网的数据传输)。

虽然已参照本发明的示例性实施例具体示出并描述了本发明，但是本领 域普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的 情况下，可在示例性实施例中做出形式和细节上的各种改变。示例性实施例 仅应考虑为描述意义，而不用于限制的目的。因此，本发明的范围不由本发 明的详细描述来限定，而由权利要求来限定，并且在本范围内的所有差异将 被认为是包括在本发明中。