使用从图模板导出的变换来对视频信号进行编码/解码的方法和装置

摘要

本发明提供一种用于使用基于图的变换来对视频信号进行解码的方法，该方法包括下述步骤：从视频信号接收用于目标单元的模板索引，其中，模板索引指示要被应用于目标单元的基于图的变换模板；导出用于与模板索引相对应的目标单元的基于图的变换矩阵；以及基于该基于图的变换矩阵对目标单元进行解码。

说明书

技术领域

本发明涉及使用基于图的变换来对视频信号进行编码/解码的方法和装置。更具体地，本发明涉及基于图模板的自适应变换。

背景技术

下一代视频内容将以场景表示的高空间分辨率、高帧速率和高维度为特征。对这些内容进行处理将导致存储器存储、存储器存取速率和处理能力方面的极大的增加。因此，需要设计用于更高效地处理下一代视频内容的编译工具。

具体地，图是可用于描述像素之间的关系的数据表示的形式。已经使用了基于图的信号处理方法，该基于图的信号处理方法将像素之间的关系表达为图并且基于该图对视频信号进行处理。在此基于图的信号处理中，每个信号样本表示顶点，并且信号之间的关系通过具有正权重的图边来表示。这种图可以被用于概括诸如采样、滤波和变换等的概念。

因此，不仅在视频压缩的领域中而且在许多应用中需要更高效的基于图的信号处理方法。

发明内容

[技术问题]

视频编译方法对视频数据使用一些形式的线性变换以改进压缩。以前，由于计算复杂度约束，视频编译方法仅使用诸如DCT、DWT或Hardmard变换的单一变换。然而，可以通过使用更多的一般线性变换来执行更好的视频压缩以在视频序列的不同部分中适应信号的特定统计特性。一般地，在使用正交变换来编译的情况下，存在用于表达正交变换的比特成本高并且用于发送变换系数的比特率开销大得多的问题。

因此，依照本发明，通过使用基于图的信号处理技术间接地定义正交变换来解决以上问题。

本发明将提供为基于图的变换定义并发信号通知模板的方法。

此外，本发明将提供通过针对每个帧对模板图集进行编码而不是发送变换系数来使用图的特性的高效编译方法。

此外，本发明将通过发送指示针对每个编译块的最优变换的模板索引来提供更高效的编译方法。

[技术方案]

本发明提供使用从图模板导出的变换来对视频信号进行编译的方法。

本发明提供定义并发信号通知图模板的方法。

本发明提供通过针对每个帧对模板图集进行编码来利用图的特性的编译方法。

本发明提供更高效的编译方法，其中指示针对每个编译块的最优变换的模板索引被发送。

[有益效果]

本发明通过使用基于图的变换模板来实现间预测的残差块的高效压缩。

此外，基于图的变换模板能实现自适应变换选择，从而实现更好的编译增益。

另外，通过定义基于图的变换模板或模板索引，本发明可以允许以低复杂度编译并且显著地减小要被发送到解码器的比特的数目。

附图说明

图1示出依照本发明的一个实施例的对视频信号进行编码的编码器的示意框图。

图2示出依照本发明的一个实施例的对视频信号进行解码的解码器的示意框图。

图3是图示依照本发明的一个实施例的编译单元的分段结构的图。

图4是图示根据本发明的一个实施例的基于一维图和二维图获得基于图的变换矩阵的过程的图。

图5图示依照本发明的一个实施例的对基于图的信号进行处理的编码器的示意框图。

图6图示依照本发明的一个实施例的对基于图的信号进行处理的解码器的示意框图。

图7和图8图示依照本发明的一个实施例的与样本方差有关的两种视频序列的统计特性。图7图示用于两种视频序列的4x4变换块的残差信号的样本方差。图8图示用于两种视频序列的8x8变换块的残差信号的样本方差。

图9图示依照本发明的一个实施例的用于4x4块的15个模板图集。

图10和图11图示依照本发明的一个实施例的用于8x8块的15个模板图集。

图12示出根据本发明的一个实施例的基于图的变换单元的内部框图。

图13是图示根据本发明的一个实施例的基于模板图集获取基于图的变换核的过程的流程图。

图14是图示根据本发明的实施例的使用模板索引来执行基于图的变换的过程的流程图。

具体实施方式

依照本发明的实施例，提供一种使用基于图的变换来对视频信号进行解码的方法，该方法包括：从视频信号接收用于目标单元的模板索引，其中，模板索引指示要被应用于目标单元的基于图的变换模板；导出用于与模板索引相对应的目标单元的基于图的变换矩阵；以及基于该基于图的变换矩阵对目标单元进行解码。

在本发明中，模板索引对应于预定模板图集中的一个模板图。

在本发明中，预定模板图集包括多个模板图，其中多个模板图具有图案，在该图案中目标单元中的拐角区域具有比目标单元中的其他区域小的边权重(edge weight)。

在本发明中，基于目标单元的样本图案来确定预定模板图集。

在本发明中，模板索引被设置给多个模板图中的每个。

依照本发明的另一实施例，提供使用基于图的变换来对视频信号进行编码的方法，该方法包括：提取图参数，其中图参数包括顶点参数集和边参数集中的至少一个；基于图参数生成基本模板图；基于基本模板图的边权重的调整来生成模板图集；从模板图集确定与目标单元相对应的模板图；以及通过模板图的谱分解来获取基于图的变换核(graph-based transform kernel)。

在本发明中，该方法还包括生成与模板图集中包括的多个模板图中的每个相对应的模板索引。

在本发明中，该方法还包括生成与模板图集相对应的模板索引。

依照本发明的另一实施例，提供一种使用基于图的变换来对视频信号进行解码的装置，该装置包括：熵解码单元，该熵解码单元被配置成从视频信号接收用于目标单元的模板索引；以及逆变换单元，该逆变换单元被配置成导出用于与模板索引相对应的目标单元的基于图的变换矩阵，以及基于该基于图的变换矩阵对目标单元执行逆变换，其中模板索引指示要被应用于目标单元的基于图的变换模板。

依照本发明的另一实施例，提供一种使用基于图的变换来对视频信号进行编码的装置，该装置包括：图信号生成单元，该图信号生成单元被配置成：基于图参数生成基本模板图，其中图参数包括顶点参数集和边参数集中的至少一个；以及基于基本模板图的边权重的调整来生成模板图集；基于图的变换模板确定单元，该基于图的变换模板确定单元被配置成从模板图集确定与目标单元相对应的模板图；以及基于图的变换获取单元，该基于图的变换获取单元被配置成通过模板图的谱分解来获取基于图的变换核。

在本发明中，该装置还包括被配置成生成与模板图集中包括的多个模板图中的每个相对应的模板索引的模板索引生成单元。

在本发明中，该装置还包括被配置成生成与模板图集相对应的模板索引的模板索引生成单元。

在下文中，参考附图描述依照本发明的实施例的示例性元件和操作，然而，应当注意的是，参考附图所描述的本发明的元件和操作仅作为实施例被提供，并且本发明的技术精神及核心配置和操作不限于此。

此外，本说明书中使用的术语是现在被广泛使用的常见术语，但是在特殊情况下，使用由本申请人随机选择的术语。在这种情况下，在相应部分的详细描述中对相应术语的意义进行清楚的描述。因此，应当注意的是，本发明不应该被解释为仅基于在本说明书的相应描述中使用的术语的名称，并且本发明应该通过检查甚至相应术语的意义来解释。

此外，本说明书中使用的术语是被选择来描述本发明的常见术语，但是如果存在具有类似意义的这些术语，则可以用其他术语替换，以便于进行更合适的分析。例如，可以在每个编译过程中适当地替换和解释信号、数据、样本、图片、帧和块。另外，分割、分解、分开和分段等也可以针对每个编译过程彼此适当地取代。

视频编译方法对视频数据使用一些形式的线性变换以改进压缩。以前，为了遵照计算复杂度约束，视频编译方法仅使用诸如DCT、DWT或Hardmard变换的单一变换。然而，可以通过使用更多的一般线性变换来执行更好的视频压缩以在视频序列的不同部分中适应信号的特定统计特性。在这种情况下，在使用正交变换来编译的情况下，存在用于表达正交变换的比特成本高并且用于发送变换系数的比特率开销大得多的问题。

因此，依照本发明，可以通过使用基于图的信号处理技术间接地定义正交变换来解决此问题。编码器可以使用为了针对每个帧对运动补偿的残差信号进行编译而不是发送变换系数而具体地设计的图的特性来对模板图集进行编码。然后，可以对指示针对每个编译块的最优变换的模板索引进行熵编码并发送。在下文中，将描述更多的特定实施例。

图1示出依照本发明的一个实施例的对视频信号进行编码的编码器的示意框图。

参考图1，编码器100可以包括图像分段单元110、变换单元120、量化单元130、逆量化单元140、逆变换单元150、滤波单元160、DPB(解码图片缓冲器)170、间预测单元(inter-prediction unit)180、内预测单元(intra-prediction unit)185和熵编码单元190。

图像分段单元110可以将输入到编码器100的输入图像(或图片、帧)划分成一个或多个处理单元。例如，处理单元可以是编译树单元(CTU)、编译单元(CU)、预测单元(PU)或变换单元(TU)。

然而，术语仅用于本公开的图示的方便。本发明不限于术语的定义。在本说明书中，为了图示的方便，术语“编译单元”被用作在对视频信号进行编码或者解码的过程中使用的单元。然而，本发明不限于此。可以基于本公开的内容适当地选择另一处理单元。

编码器100可以通过从输入图像信号减去从间预测单元180或内预测单元185输出的预测信号来生成残差信号。可以将所生成的残差信号发送到变换单元120。

变换单元120可以对残差信号应用变换技术以产生变换系数。可以对具有相同大小的正方形的像素块或者对除正方形以外的可变大小的块应用变换处理。变换单元120可以使用将像素之间的关系信息表达为图并且使用该图来对视频信号进行处理的基于图的信号处理方法。例如，变换单元120可以包括基于图的变换单元。基于图的变换单元可以提取包括顶点参数集和边参数集中的至少一个的图参数，可以基于所提取的图参数生成基本模板图，并且可以调整基本模板图的边权重以生成模板图集。然后，基于图的变换单元可以使用模板图集来确定与目标单元相对应的模板图。接下来，基于图的变换单元可以经由模板图的谱分解获得基于图的变换核。

另外，在本发明的一个实施例中，基于图的变换单元可以生成与模板图集中包括的多个模板图中的每个相对应的模板索引。

在另一实施例中，基于图的变换单元可以生成与模板图集相对应的模板索引。

可以将依照本发明的基于图的变换单元具体实现为单独的功能单元。在这种情况下，基于图的变换单元可以位于变换单元120前面。然而本发明不限于此。

量化单元130可以对变换系数进行量化并且将量化系数发送到熵编码单元190。熵编码单元190可以对量化信号进行熵编码，然后将经熵编码的信号作为比特流来输出。

从量化单元130输出的量化信号可以用于生成预测信号。例如，量化信号可以分别经由回路中的逆量化单元140和逆变换单元150经受逆量化和逆变换以重建残差信号。可以将经重建的残差信号添加到从间预测单元180或内预测单元185输出的预测信号以生成重建信号。

另一方面，在压缩过程中，可以通过不同的量化参数来对相邻块进行量化，使得可能发生块边界的劣化。这个现象被称作块效应。这是用于评估图像质量的重要因素之一。可以执行滤波处理以减小这种劣化。使用滤波处理，可以消除块劣化，并且同时，可以减小当前图片的误差，从而改进图像质量。

滤波单元160可以对重建信号应用滤波，然后将经滤波的重建信号输出到再现装置或解码图片缓冲器170。可以将发送到解码图片缓冲器170的经滤波的信号用作间预测单元180中的参考图片。以这种方式，在图片间预测模式下将经滤波的图片用作参考图片，不仅可以改进图片质量，而且可以提升编译效率。

解码图片缓冲器170可以存储经滤波的图片以用作间预测单元180中的参考图片。

间预测单元180可以参考重建图片来执行时间预测和/或空间预测以去除时间冗余和/或空间冗余。在这种情况下，用于预测的参考图片可以是在先前的编码/解码中在块基础上经由量化和逆量化而获得的变换的信号。因此，这可以导致块效应或振铃效应。

因此，为了解决由于信号的不连续或量化而导致的性能下降，间预测单元180可以使用低通滤波器在子像素基础上对像素之间的信号进行内插。在这种情况下，子像素可以意指通过应用内插滤波器生成的虚拟像素。整数像素意指存在于重建图片中的实际像素。内插方法可以包括线性内插、双线性内插和维纳(Wiener)滤波器等。

可以对重建图片应用内插滤波器以提升预测的准确性。例如，间预测单元180可以对整数像素应用内插滤波器以生成内插像素。间预测单元180可以使用由内插像素组成的内插块作为预测块来执行预测。

内预测单元185可以通过参考在当前要被编码的块附近的样本来预测当前块。内预测单元185可以执行以下过程以执行内预测。首先，内预测单元185可以准备生成预测信号所需的参考样本。然后，内预测单元185可以使用所准备的参考样本来生成预测信号。此后，内预测单元185可以对预测模式进行编码。这时，可以通过参考样本填充和/或参考样本滤波来准备参考样本。因为参考样本已经历预测和重建过程，所以可能存在量化误差。因此，为了减小这些误差，可以针对用于内预测的每个预测模式执行参考样本滤波处理。

经由间预测单元180或内预测单元185生成的预测信号可以用于生成重建信号或者用于生成残差信号。

图2示出依照本发明的一个实施例的用于对视频信号进行解码的解码器的示意框图。

参考图2，解码器200可以包括熵解码单元210、逆量化单元220、逆变换单元230、滤波单元240、解码图片缓冲器(DPB)250、间预测单元260和内预测单元265。

可以使用再现装置来再现从解码器200输出的重建视频信号。

解码器200可以接收从如图1中所示的编码器输出的信号。可以经由熵解码单元210对所接收到的信号进行熵解码。

在本发明的一个实施例中，解码器或熵解码单元210可以接收模板索引。在这种情况下，模板索引可以对应于被包含在模板图集中的模板图中的每个。作为替代方案，模板索引可以对应于模板图集。可以将经熵解码的模板索引发送到可以对索引进行逆量化的逆量化单元220。可以将经逆量化的索引发送到逆变换单元230以供将来使用。

逆量化单元220可以使用量化步长信息来从经熵解码的信号获得变换系数。在这种情况下，所获得的变换系数可以与如参考图1在上面所描述的变换单元120的操作相关联。

逆变换单元230可以对变换系数进行逆变换以获得残差信号。

在本发明的一个实施例中，逆变换单元230可以获得用于与模板索引相对应的目标单元的基于图的变换矩阵，并且可以使用从基于图的变换矩阵导出的逆变换矩阵来对目标单元执行逆变换。

可以通过将所获得的残差信号添加到从间预测单元260或内预测单元265输出的预测信号来生成重建信号。

滤波单元240可以对重建信号应用滤波并且可以将经滤波的重建信号输出到再现装置或解码图片缓冲器单元250。可以将发送到解码图片缓冲器单元250的经滤波的信号用作间预测单元260中的参考图片。

在本文中，针对编码器100的滤波单元160、间预测单元180和内预测单元185的详细描述可以被分别同等地应用于解码器200的滤波单元240、间预测单元260和内预测单元265。

图3是图示依照本发明的一个实施例的编译单元的分段结构的图。

编码器可以将一个图像或图片分段或者划分成矩形的CTU(编译树单元)。然后，编码器可以根据光栅扫描次序逐个地顺序地对CTU进行编码。

例如，可以将CTU的大小设置为64x64、32x32或16x16。然而，本发明不限于此。编码器可以基于输入图像的分辨率或输入图像的特性等选择CTU的大小。CTU可以包括针对亮度分量的CTB(编译树块)以及针对相应的两个色度分量的CTB(编译树块)。

可以将单个CTU分解成四叉树(在下文中，被称为“QT”)结构。例如，可以将一个CTU划分成四个单元，每个单元具有正方形形状，同时其每条边的长度减少了一半。可以递归地执行QT结构的这种分解或划分。

参考图3，QT的根节点可以与CTU有关。可以对QT进行分割直到达到叶节点为止。在这种情况下，叶节点可以被称为编译单元(CU)。

CU可以指代用于输入图像的编译过程的基本单元，例如，用于内/间预测的基本单元。CU可以包括针对亮度分量的CB以及针对与该亮度分量相对应的两个色度分量的CB。例如，可以将CU的大小设置为64x64、32x32、16x16或8x8。然而，本发明不限于此。在高分辨率图像的情况下，可以增加或者改变CU的大小。

参考图3，CTU可以对应于根节点，并且可以具有最小的深度(即，等级0)。根据输入图像的特性，可以不对CTU进行划分。在这种情况下，CTU对应于CU。

可以将CTU分解成QT形式。结果，可以生成各自具有等级1的深度的子节点。在各自具有等级1的深度的子节点当中，未被进一步划分的子节点(即，叶节点)对应于CU。例如，在图3(b)中，分别与节点a、b和j相对应的编译单元CU(a)、CU(b)和CU(j)中的每个在CTU中被分割一次并且因此具有等级1的深度。

在各自具有等级1的深度的子节点当中，可以将至少一个子节点进一步分段成QT形式。在各自具有等级2的深度的子节点当中，未被进一步划分的子节点(即，叶节点)对应于CU。例如，在图3(b)中，分别与节点c、h和i相对应的编译单元CU(c)、CU(h)和CU(i)中的每个在CTU中被分割两次并且因此具有等级2的深度。

另外，在各自具有等级2的深度的子节点当中，可以将至少一个子节点进一步分段成QT形式。在各自具有等级3的深度的子节点当中，未被进一步划分的子节点(即，叶节点)对应于CU。例如，在图3(b)中，分别与节点d、e、f和g相对应的编译单元CU(d)、CU(e)、CU(f)和CU(g)中的每个在CUT中被分割三次并且因此具有等级3的深度。

编码器可以基于视频图像的特性(例如，分辨率)或编译的效率确定CU的最大或最小尺寸。可以将关于最大或最小尺寸的信息和/或用于导出最大或最小尺寸的信息包括在比特流中。在下文中，具有最大尺寸的CU可以被称为LCU(最大编译单元)，然而具有最小尺寸的CU可以被称为SCU(最小编译单元)。

此外，具有树结构的CU可以具有预定最大深度信息(或最大等级信息)并且可以被分层次划分。另外，每个划分的CU可以具有深度信息。深度信息指示CU的划分的数目和/或程度。因此，深度信息可以包括关于CU的大小的信息。

LCU被划分成QT形式。因此，可以使用LCU大小和树的最大深度信息来获得SCU的大小。相反，SCU的大小和树的最大深度信息可以被用于确定LCU的大小。

针对单个CU，可以向解码器发送指示该CU是否被划分的信息。例如，该信息可以被定义为分段标志并且可以通过语法元素“split_cu_flag”来表示。可以将分段标志包括在除SCU之外的所有CU中。例如，当分段标志的值是“1”时，相应的CU被进一步划分成四个CU。当分段标志的值是“0”时，不进一步对相应的CU进行划分，然后，可以针对相应的CU执行编译处理。

尽管在如图3中所示的实施例中，上面所描述的QT结构通过示例被应用于CU划分，然而可以将上面所描述的QT结构同等地应用于TU(变换单元)划分，其中TU是用于执行变换的基本单元。

可以从要被编译到QT结构中的CU对TU进行分层次分割。例如，CU可以对应于用于变换单元TU的树的根节点。

TU被划分成QT结构。因此，可以将从CU划分出的TU中的每个进一步划分成更小的子TU。例如，可以将TU的大小设置为32x32、16x16、8x8或4x4。然而，本发明不限于此。针对高分辨率图像，TU的大小可以是更大的或者可以变化。

针对单个TU，可以向解码器发送指示TU是否被划分的信息。例如，该信息可以被定义为分段变换标志并且可以通过语法元素“split_transform_flag”来表示。

可以将分段变换标志包括在除STU(最小TU)之外的所有TU中。例如，当分段变换标志的值是“1”时，相应的TU被进一步划分成四个TU。当分段变换标志的值是“0”时，不进一步对相应的TU进行划分，然后，可以针对相应的TU执行编译处理。

如上所述，CU是用于执行内预测或间预测的编译处理的基本单元。为了更有效地对输入图像进行编译，可以将CU划分成PU(预测单元)。

PU是形成预测块的基本单元。能够甚至在单个CU内在PU基础上生成不同的预测块。可以根据是内预测模式还是间预测模式被用作PU所属于的CU的编译模式而不同地对PU进行划分。

图4是根据本发明的一个实施例的基于一维图和二维图获得基于图的变换矩阵的过程的图。

在本发明的一个实施例中，可以参考图4描述可以被用于对图像中的像素块进行处理的图类型。例如，图4(a)表示与像素块的每条线相对应的一维图，而图4(b)表示与该像素块相对应的二维图。

图顶点可以与像素块中的每个像素相关联，并且可以通过像素值来表示图顶点的值。另外，图边可以指代连接图顶点的线。图边可以用于指示信号中的统计相关具有什么形式。表示统计相关的强度的值可以被称作边权重。

例如，参考表示一维图的图4(a)，0、1、2和3分别表示顶点的位置，并且w₀、w₁和w₂分别表示顶点之间的边的权重。参考表示二维图的图4(b)，a_ij(i＝0,1,2,3，j＝0,1,2)和b_kl(k＝0,1,2，l＝0,1,2,3)分别表示顶点之间的边的权重。

每个顶点可以被连接到任何其他顶点。可以将零的边权重指派给连接非关联或弱关联顶点的边。然而，为了呈现的简单，可以完全消除具有零的边权重的边。

在本公开的一个实施例中，从图信号获得的变换可以被定义为基于图的变换(在下文中，“GBT”)。例如，如果构成TU的像素之间的关系信息通过图来表示，则从此图获得的变换可以被称为GBT。

可以以各种方式定义像素之间的关系信息。例如，可以基于像素的像素值之间的相似性、基于像素是否属于同一PU、基于像素是否属于同一对象等来定义像素之间的关系信息。当像素中的每个与图的顶点相匹配时，可以基于像素之间的边存在/不存在以及像素之间的边权重值来定义像素间关系信息。

在这种情况下，可以通过以下过程来获得GBT。例如，编码器或解码器可以从视频信号中的目标块获得图信息。根据所获得的图信息，可以使用以下等式1来获得拉普拉斯矩阵L：

[等式1]

L＝D–A

其中D表示对角矩阵，并且A表示相邻矩阵。

然后，拉普拉斯矩阵L可以进行被表达为以下等式2的特征分解以获取GBT核：

[等式2]

L＝UΛU^T

其中L表示拉普拉斯矩阵，U表示特征矩阵，并且U^T表示转置矩阵。在等式2中，特征矩阵U可以提供特定于和相应的图模型匹配的信号的基于图的傅里叶变换。例如，满足等式2的特征矩阵U可以意指GBT核。

图5图示依照本发明的一个实施例的对基于图的信号进行处理的编码器的示意框图。

取决于信号特性的众所周知的变换方法将使用KLT(Karhunen-Loveve变换)。然而，执行KLT的正交矩阵需要大量的比特，并且KLT是很好地适应于信号特性的方法。因此，使用KLT，除非KLT被暂时更新，否则压缩效率被大大降低。

因此，本发明试图经由图信号处理解决此问题。在这种情况下，可以将视频信号表示为示出样本间信号关系的图。

此外，为了解决以上问题，可以使用边自适应变换(在下文中被称为EAT)。然而，这个EAT也具有解码器中的边信号的信令太复杂的问题。因此，本发明通过定义使用残差信号的一些统计特性的模板图集来解决此问题。

在如在图1和图2中一样的视频编译配置中，可以使用固定变换，诸如DCT。这假定所有残差信号隐式地具有相同的各向同性统计特性。

然而，可以看到的是，实际上，在视频类型和像素块预测方面存在非常不同的分布。因此，依照本发明，可以做出以下假定以便针对复杂性和适应性实现优化。然而，本发明不限于此。

首先，依照本发明，可以选择特定线性变换以将其自适应地应用于和统计特性匹配的每个视频块；以及

第二，用于发送变换矩阵数据以及选择变换的开销与所有编译增益相比是相对较小的。

基于那些假定，本发明基于该基于图的变换模板提供低复杂度的自适应变换，从而针对复杂度和适应性实现优化。例如，可以通过考虑间预测的残差信号的统计特性来设计依照本发明的基于图的变换模板。

参考图5，依照本发明的编码器500可以包括基于图的变换单元510、量化单元520、逆量化单元530、逆变换单元540、缓冲器550、预测单元560和熵编码单元570。

编码器500可以接收视频信号并且从该视频信号减去从预测单元560输出的预测信号以生成残差信号。可以将所生成的残差信号发送到基于图的变换单元510。基于图的变换单元510可以通过对残差信号应用变换来生成变换系数。

在这种情况下，本发明提出使用具有自适应和低复杂度特性的GBT模板集以便利用残差信号的统计特性的方法。如本文中使用的术语(诸如，GBT模板、图模板、模板图、GBT模板集、图模板集或模板图集等)可以是被选择来图示本发明的通用术语并且因此可以在每个编译过程中被适当地取代和解释。

基于图的变换单元510可以在与残差信号中的目标单元相对应的图中提取图参数。例如，图参数可以包括顶点参数和边参数中的至少一个。顶点参数包括顶点位置和顶点数中的至少一个。边参数可以包括边权重值和边权重数中的至少一个。另外，可以将图参数定义为一定数目的参数的集合。例如，可以将边参数集定义为权重矩阵。

基于图的变换单元510可以基于所提取的图参数生成图信号。

依照本发明，可以将所生成的图信号设置给基本模板。在下文中，它将被称作基本模板图。例如，基本模板图可以是均匀加权图。在这种情况下，可以将均匀加权图表达为G_uni。图信号的节点对应于目标单元的像素。可以将目标单元的所有边权重设置为W_uni。

此外，依照本发明，可以通过调整基本模板图的边权重集来生成T个不同的图。在下文中，T个不同的图可以被称作模板图集，其可以使用以下等式3来表达：

[等式3]

另外，依照本发明，可以通过减小变换块中的拐角周围的边的权重来生成块自适应模板图。例如，可以将变换块中的拐角周围的边设置为W_weak，W_weak是比W_uni小的边权重。在这种情况下，W_weak可以指示弱边权重。

此外，依照本发明，可以通过允许变换块中的拐角周围的边具有相同的弱边权重值W_weak来降低复杂度。

此外，依照本发明，为了基于残差块的不同位置自适应地反映信号特性，提供了用于将T个不同的图选择为模板图集的方法。另外，依照本发明，可以通过对所选择的模板图集应用谱分解来获取GBT。

量化单元520可以对所生成的变换系数进行量化并且将经量化的系数发送到熵编码单元570。

熵编码单元570可以对量化信号执行熵编译并且输出熵编译的信号。

由量化单元520输出的量化信号可以用于生成预测信号。例如，编码器500的回路中的逆量化单元530和逆变换单元540可以对量化信号执行逆量化和逆变换，使得量化信号被重建为残差信号。可以通过将经重建的残差信号添加到从预测单元560输出的预测信号来生成重建信号。

缓冲器550可以在其中存储重建信号以供预测单元560进一步参考。

预测单元560可以使用存储在缓冲器550中的先前重建的信号来生成预测信号。在这种情况下，本发明涉及使用锚图像(anchor image)中的区域来高效地预测目标图像中的区域。在这种情况下，锚图像可以指代参考图像、参考图片或参考帧。可以通过计算对速率失真成本或残差信号中的失真进行量化的均方误差来确定效率。

本发明提出识别图中的顶点和边并且对残差值信号进行编码或者解码的方法。例如，本发明的实施例可以经由基于图的变换单元510实现各种实施例。可以将基于图的变换单元510包括在编码器500或解码器700中。

图6图示依照本发明的一个实施例的对基于图的信号进行处理的解码器的示意框图。

参考图6，解码器600可以接收从如图5中所示的编码器500输出的信号。解码器600可以包括熵解码单元610、逆量化单元620、逆变换单元630、缓冲器640和预测单元650。

熵解码单元610可以对所接收到的信号执行熵解码。逆量化单元620可以基于关于量化步长的信息从经熵解码的信号获得变换系数。

逆变换单元630可以通过对变换系数执行逆变换来获取残差信号。在这种情况下，逆变换可以指代针对从编码器500获得的基于图的变换的逆变换。

在本发明的一个实施例中，逆变换单元630可以接收表示基于图的变换模板的模板索引并且获得与该模板索引相对应的基于图的变换核。可以使用所获取的基于图的变换核来重建变换单元。

通过将残差信号添加到从预测单元650输出的预测信号，可以生成重建信号。

缓冲器640可以在其中存储重建信号以供预测单元650进一步参考。

预测单元650可以基于存储在缓冲器640中的先前重建的信号来生成预测信号。

图7和图8图示依照本发明的一个实施例的与样本方差有关的两种视频序列的统计特性。

图7图示用于两种视频序列的4x4变换块的残差信号的样本方差。图8图示用于两种视频序列的8x8变换块中的残差信号的样本方差。

参考图7和图8，可以确认，4x4变换块和8x8变换块的拐角部分与其的其他部分相比具有更大的样本方差。这是由于间预测中的预测块与参考块之间的失配而导致的。例如，当在整个块中存在失配时，倾向于选择内预测，而当存在限于块的拐角部分的失配时，倾向于选择间预测。

因此，本发明旨在基于变换块的拐角部分中的样本方差更大的事实来定义覆盖变换块的拐角部分的模板图集。在下文中，参考图9至图11，将描述模板图集的特定示例。

图9图示依照本发明的一个实施例的用于4x4块的15个模板图集。

在如图9中所示的一个实施例中，针对4x4块定义了15个模板图集。然而，本发明不限于此。可以针对4x4块定义更多的模板图集或更少的模板图集。换句话说，模板图集的数目可以根据什么定义模板图集而变化。例如，什么定义模板图集可以包括边权重图案、像素值图案和节点连接图案中的至少一个。作为特定示例，在边权重图案的情况下，可以针对在变换块中具有弱边权重的部分形成特定图案。

在如图9中所示的一个实施例中，示出针对在变换块中具有弱边权重的部分而形成的特定图案。例如，假定在变换块中存在四个拐角，则可以基于四个拐角部分的各种组合来定义模板图集。

作为特定示例，图9(a)表示与一个拐角部分具有相对弱边权重的情况相对应的模板图集。也就是说，模板1对应于在左上部拐角处存在弱边权重的情况；模板2对应于在左下部拐角处存在弱边权重的情况；模板3对应于在右下部拐角处存在弱边权重的情况；以及模板4对应于右上部拐角具有弱边权重的情况。

作为特定示例，图9(b)表示与两个拐角部分中的每个具有相对弱边权重的情况相对应的模板图集。按照与在图9(a)中相同的方式，两个拐角部分的所有可能的组合可以导致如图9(b)中所示的六个模板5至10。

作为特定示例，图9(c)表示与三个拐角部分中的每个具有相对弱边权重的情况相对应的模板图集。按照与在图9(a)和图9(b)中相同的方式，三个拐角部分的所有可能的组合可以导致如图9(c)中所示的四个模板11至14。

作为特定示例，图9(d)表示与四个拐角部分中的每个具有相对弱边权重的情况相对应的模板图集。在这种情况下，四个拐角部分的所有可能的组合可以导致如图9(d)中所示的仅一个模板15，因为在此示例中，变换块仅具有四个拐角。

尽管如图9(a)至图9(d)中所示，在上面基于具有弱边权重的拐角部分的许多可能的组合对本发明进行了描述，然而本公开不限于此。本公开可以包括如图9(a)至图9(d)中所示的图案之间的任何组合。

图10和图11图示依照本发明的一个实施例的用于8x8块的15个模板图集。

在如图10和图11中所示的一个实施例中，针对8x8块定义了15个模板图集。然而，本发明不限于此。按照与图9中的实施例相同的方式，可以应用各种图案化方法。然而，在图10和图11中块具有8x8大小的情况下，可以基于如何定义具有弱边权重的拐角来提供更大数目的实施例。

在图10和图11中，示出具有弱边权重的拐角具有如图10和图11中所示的图案。如果具有弱边权重的拐角与图10和图11中的那些拐角不同地被图案化，则可以定义不同类型的模板，并且可以定义更大数目的图案。

如图9中所示，图10(a)表示与一个拐角部分具有相对弱边权重的情况相对应的模板图集，并且图10(b)表示与两个拐角部分具有相对弱边权重的情况相对应的模板图集。

此外，图11(a)表示与三个拐角部分具有相对弱边权重的情况相对应的模板图集，并且图11(b)表示与四个拐角部分具有相对弱边权重的情况相对应的模板图集。

尽管如图10至图11中所示，在上面基于具有弱边权重的拐角部分的许多可能的组合描述了本公开，然而本公开不限于此，并且本发明可以包括如图9至图11中所说明的实施例之间的任何组合。

图12示出根据本发明的一个实施例的基于图的变换单元的内部框图。

参考图12，基于图的变换单元510可以包括图参数提取单元511、图信号生成单元512、基于图的变换获取单元513、变换执行单元514、基于图的变换模板确定单元515和模板索引生成单元516。

图参数提取单元511可以在与残差信号中的目标单元相对应的图中提取图参数。例如，图参数可以包括顶点参数和边参数中的至少一个。顶点参数可以包括顶点位置和顶点数中的至少一个。边参数可以包括边权重值和边权重数中的至少一个。此外，可以将图参数定义为一定数目的参数的集合。

图信号生成单元512可以基于从图参数提取单元511中提取的图参数生成图信号。

依照本发明，可以将所生成的图信号设置给基本模板，在下文中，所设置的模板将被称作基本模板图。例如，基本模板图可以是均匀加权图，其中可以将均匀加权图表达为G_uni。图信号的节点对应于目标单元的像素，可以将目标单元的所有边权重设置为W_uni。

图信号生成单元512可以通过调整基本模板图的边权重集来生成T个不同的图，即，模板图集。可以将模板图集表达为

图信号生成单元512可以通过减小变换块中的拐角周围的边的权重来生成块自适应模板图。例如，可以将变换块中的拐角周围的边设置为W_weak，W_weak表示比W_uni小的边权重。在这种情况下，W_weak可以指示弱边权重。在这种情况下，变换块中的拐角周围的边可以具有与弱边权重W_weak相同的值。

为了基于残差块的不同部分自适应地反映信号特性，基于图的变换模板确定单元515可以将T个不同的图确定为模板图集。

基于图的变换获取单元513可以通过模板图集的谱分解来获取基于图的变换核。

变换执行单元514可以使用所获得的基于图的变换核来执行变换。

此外，模板索引生成单元516可以将模板索引指派给由基于图的变换模板确定单元515确定的模板图集。可替选地，模板索引生成单元516可以单独地将模板索引设置给模板图集中包括的T个不同的图中的每个。在这种情况下，可以单独地将模板组索引设置给模板图集。

可以将模板索引发送到熵编码单元，并且模板索引可以被熵编码并且然后被发送到解码器。

图13是图示根据本发明的一个实施例的基于模板图集获取基于图的变换核的过程的流程图。

编码器可以从接收到的视频信号生成预测信号并且从视频信号减去预测信号以生成残差信号。然后，对残差信号执行变换。在这种情况下，可以应用基于图的信号处理技术以执行基于图的变换。

编码器可以在与残差信号中的目标单元(例如，变换单元(TU))相对应的图中提取图参数(S1310)。在这种情况下，图参数可以包括顶点参数集和边参数集中的至少一个。

编码器可以基于图参数生成基本模板图(S1320)。例如，基本模板图可以是均匀加权图，在这种情况下，可以将均匀加权图表示为G_uni。图信号的节点对应于目标单元的像素，可以将目标单元的所有边权重设置为W_uni。

编码器可以通过调整基本模板图的边权重集来生成模板图集(S1330)。在这种情况下，模板图集可以被称为块自适应模板图。例如，可以将变换块中的拐角周围的边设置为W_weak，W_weak表示比W_uni小的边权重。在这种情况下，W_weak可以指示弱边权重。在这种情况下，变换块中的拐角周围的边可以具有与弱边权重W_weak相同的值。

编码器可以从模板图集确定与目标单元相对应的模板图(S1340)。在这种情况下，可以将模板索引指派给所确定的模板图集。可替选地，可以单独地将模板索引指派给模板图集中包括的T个不同的图中的每个。在这种情况下，可以单独地将模板组索引设置给模板图集。

编码器可以通过模板图的谱分解来获取基于图的变换核(S1350)。可以基于所获取的基于图的变换核对目标单元执行变换。

图14是图示根据本发明的实施例的使用模板索引来执行基于图的变换的过程的流程图。

解码器可以从视频信号接收与目标单元相对应的模板索引(S1410)。在这种情况下，可以将模板索引指派给模板图集。可替选地，可以单独地将模板索引指派给模板图集中包括的T个不同的图中的每个。

解码器可以导出用于与模板索引相对应的目标单元的变换矩阵(S1420)。例如，变换矩阵可以包括与模板索引相对应的基于图的变换核。

可以基于变换矩阵对目标单元进行解码(S1430)。

以这种方式，能够通过使用基于图的变换模板来高效地压缩间预测的残差块。另外，自适应变换选择被实现，使得可以获得更好的编译增益。此外，定义模板索引可以允许低复杂度编译，以及要被发送到解码器的比特的数目的显著减小。

如上所述，可以在处理器、微处理器、控制器或芯片上实现并执行本发明中所说明的实施例。例如，可以在计算机、处理器、微处理器、控制器或芯片上实现并执行图1、图2、图5和图6中所说明的功能模块。

如上所述，应用本发明的解码器和编码器可以被包括在多媒体广播发送/接收设备、移动通信终端、家庭影院视频设备、数码影院视频设备、监视相机、视频聊天设备、实时通信设备(诸如视频通信)、移动流设备、存储介质、录像机、VoD服务提供设备、互联网流服务提供设备、三维3D视频设备、电话会议视频设备以及医疗视频设备中并且可以用于对视频信号和数据信号进行编译。

此外，可以以程序的形式产生应用本发明的解码/编码方法，该程序将由计算机执行并且可以被存储在计算机可读记录介质中。具有根据本发明的数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括可由计算机系统读取的数据被存储在其中的所有类型的存储装置。例如，计算机可读记录介质可以包括BD、USB、ROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波(例如，通过互联网的传输)的形式实现的介质。此外，通过编码方法所生成的比特流可以被存储在计算机可读记录介质中或者可以通过有线/无线通信网络来发送。

工业适应性

已经出于说明性目的公开了本发明的示例性实施例，并且本领域的技术人员可以在所附权利要求中公开的本发明的技术精神和范围内改进、改变、替换或者添加各种其他实施例。