提供用于多视图视频编码的提供降低分辨率的更新模式的方法和装置

摘要

提供了一种用于提供多视图视频编码的去块滤波的适配的视频编码器、视频解码器以及相对应的编码和解码方法。该视频编码器包括可基于用于编码多视图视频序列的预测信息来适配的去块滤波器(145)。

说明书

相关申请的交叉引用

本申请要求于2006年1月9日提交的、题为“System Providing Adaptationof Deblocking Filter for Multi-view Video Coding”的美国临时申请序列号第60/757,292号的权益，该申请在此通过引用合并其全部内容。此外，本申请要求于2006年1月9日提交的、题为“Multi-View Video Coding System”的美国临时申请序列号第60/757,289号的权益，该申请在此通过引用合并其全部内容。此外，本申请涉及已被共同转让的、题为“Methods and Apparatus forMulti-View Video Coding”、代理人案号(Attorney Docket)为No.PU060004的非临时申请，并通过引用合并其全部内容。

技术领域

本发明总地涉及视频编码和解码，更具体地涉及用于提供多视图视频编码的去块滤波的适配(adaptation)的方法和装置。

背景技术

基于块的视频编码算法可能在解码后的图像中创建可见的成块伪像(blocking artifacts)。为了编码单视图序列已经广泛研究了由基于块的运动补偿和残差变换编码(residual transform coding)引起的这些伪像。

去块滤波器是已被证实的用于抑制视觉上令人不舒服的成块伪像的工具。还已经证明：如在国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信部(ITU-T)H.264推荐(以下称为“MPEG-4 AVC标准”)中那样，如果在预测循环中使用去块滤波器，则可能提高编码效率。

去块滤波器在接近块边界的重建像素上进行平滑。高效的去块滤波器应当根据信号特性和某些编码参数的值来调整滤波强度。然而，滤波器的高级适应性将在实现中引入不期望的高复杂度。

一些之前提出的多视图视频编码(MVC)架构包括跨视图预测，以便与同时联播(独立地压缩每个视图)相比实现更高的编码效率。然而，还没有关于在多视图视频编码的框架下的去块滤波器设计的现有技术。

发明内容

现有技术的这些和其它缺陷和缺点通过本发明来解决，本发明致力于用于提供多视图视频编码的去块滤波的适配的方法和装置。

根据本发明的一方面，提供了一种视频编码器。该视频编码器包括：可基于用于编码多视图视频序列的预测信息来适配的去块滤波器。

根据本发明的另一方面，提供了一种视频编码方法。该方法包括：基于用于编码多视图视频序列的预测信息，来适配去块滤波。

根据本发明的另一方面，提供了一种视频解码器。该视频解码器包括：可基于用于解码多视图视频序列的预测信息来适配的去块滤波器。

根据本发明的另一方面，提供了一种视频解码方法。该方法包括：基于用于解码多视图视频序列的预测信息，来适配去块滤波。

根据本发明的另一方面，提供了一种用于视频编码的视频信号结构。该视频信号结构包括：用于编码多视图视频序列的、用于适配去块滤波器的预测信息。

根据本发明的另一方面，提供了一种其上编码有视频信号数据的存储介质。该视频信号数据包括：用于编码多视图视频序列的、用于适配去块滤波器的预测信息。

从下面对示例性实施例进行的详细描述，本发明的这些和其他方面、特征和优点将变得显而易见，该示例性实施例要结合附图阅读。

附图说明

根据下面的附图可以更好地理解本发明，附图中：

图1是根据本原理的实施例、可以应用本原理的示例性编码器的框图；

图2是根据本原理的实施例、可以应用本原理的示例性解码器的框图；

图3是根据本原理的实施例、多视图视频编码(MVC)的切片(slice)编码/解码的示例性方法的流程图；

图4是根据本原理的实施例、用于选择MPEG-4 AVC标准使用的边界强度的示例性方法的流程图；

图5是根据本原理的实施例、用于基于预测类型信息选择在基于预测类型信息的多视图视频编码中使用的边界强度的示例性方法的流程图；以及

图6是根据本原理的实施例、用于基于预测视图信息选择在基于参考视图信息的多视图视频编码中使用的边界强度的示例性方法的流程图。

具体实施方式

本发明致力于用于提供多视图视频编码的去块滤波的适配的方法和装置。

本说明书说明了本发明的原理。因此将认识到，本领域技术人员将能够设计各种布置，这些布置尽管没有在此明确地描述或示出，但是其体现本发明的原理并包括在本发明的精神和范围内。

这里所述的所有示例和条件语言意图出于教导的目的，以帮助读者理解发明人对推进本领域发展所贡献的本发明的原理和构思，因此要被解释为不是限制于这些具体陈述的示例和条件。

而且，这里所有叙述本发明的原理、方面和实施例、以及其具体示例的陈述意在包括其结构等效物和功能等效物两者。此外，意在这样的等效物既包括目前已知的等效物，也包括将来开发的等效物，即，所开发的执行相同功能的任何元件，而无论其结构如何。

因此，例如，本领域技术人员将认识到这里呈现的框图表示体现本发明原理的说明性电路的概念图。类似地，将认识到，任何流程图、流序图、状态转换图、伪代码等表示基本上可在计算机可读介质中表示并因此由计算机或处理器执行的各种处理，而无论是否明确地示出该计算机或处理器。

附图中示出的各种元件的功能可通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供。当由处理器提供功能时，可由单个专用处理器、单个共享处理器、或多个独立的处理器来提供功能，该多个独立的处理器中的一些可以是共享的。此外，术语“处理器”或“控制器”的明确使用不应被解释为排外性地仅指能够执行软件的硬件，而可以隐含包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储体。

还可以包括常规和/或定制的其他硬件。类似地，附图中示出的任何开关仅是概念性的。它们的功能可通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或甚至手动执行，如从上下文更具体理解的，特定技术可由实现者选择。

在其权利要求中，被表达为用于执行指定功能的部件的任何元件意在包括执行该功能的任何方式，包括例如：a)执行该功能的电路元件的组合；或b)与适当电路组合以执行该功能的任何形式的软件，因此包括固件、微代码等，该适当电路用于执行该软件。如由权利要求书限定的本发明在于这样的事实：由各种所述部件提供的功能以权利要求书所要求保护的方式组合并集合在一起。因此认为，能够提供这些功能的任何部件等效于这里所示出的部件。

说明书中对本原理的“一个实施例”或“一实施例”的引用意味着关于实施例描述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，在遍及说明书的各个地方出现的短语“在一个实施例中”或“在一实施例中”的出现不必全部指相同的实施例。

此外，关于循环(例如，在流程图中所执行的)，为了示例性目的在说明书中提供了对诸如宏块、画面、场、帧、块、像素等的“每个”实体循环的特定循环的引用，并且该引用还可以被认为指每个实体的“一个或多个”，因此在维持本原理的范围的情况下不必是“每个”。因此，例如，在维持本原理的范围的情况下，可根据本原理的教导执行部分编码/解码和/或部分去块。

转到图1，可以应用本原理的示例性编码器由参考标记100总地指示。

编码器100包括具有与整数变换器/缩放器/量化器115进行信号通信的输出的组合器105。整数变换器/缩放器/量化器115的第一输出与熵编码器155的第一输入和缩放器/逆变换器120的第一输入以信号通信方式连接。缩放器/逆变换器120的输出与组合器150的第一正向输入以信号通信方式连接。组合器150的输出与帧内预测器125的第一输入和去块滤波器145的第一输入以信号通信方式连接。去块滤波器145的输出与帧存储体140的输入和运动估计器135的第一输入以信号通信方式连接。运动估计器135的输出与运动补偿器130的第三输入和熵编码器155的第三输入以信号通信方式连接。组合器105的反向输入与开关177的输出以信号通信方式连接。开关177的输出还与组合器150的第二正向输入以信号通信方式连接。开关177的第一输入与运动补偿器130的输出以信号通信方式连接。开关177的第二输入与帧内预测器125的输出以信号通信方式连接。帧存储体140的输出与运动补偿器130的第一输入以信号通信方式连接。

编码器100的输入与组合器105的正向输入、编码器控制模块110的输入、和运动估计器135的第三输入以信号通信方式连接。编码器控制模块110的第一输出与运动补偿器130的第二输入以信号通信方式连接。编码器控制模块110的第二输出与运动估计器135的第二输入以信号通信方式连接。编码器控制模块110的第三输出与帧内预测器125的第二输入以信号通信方式连接。编码器控制模块110的第四输出与整数变换器/缩放器/量化器115的第二输入以信号通信方式连接。编码器控制模块110的第五输出与去块滤波器145的第二输入以信号通信方式连接。编码器控制模块110的第六输出与缩放器/逆变换器120的第二输入以信号通信方式连接。编码器控制模块110的第七输出与熵编码器155的第二输入以信号通信方式连接。熵编码器155的输出可用作编码器100的输出。

转到图2，可应用本原理的示例性解码器总地由参考标记200指示。解码器200包括熵解码器205。熵解码器205的输入可用作解码器200的输入。熵解码器205的第一输出与解码器控制模块210的输入以信号通信方式连接。解码器控制模块210的第一输出与运动补偿器225的第二输入以信号通信方式连接。解码器控制模块210的第二输出与帧内预测器220的第一输入以信号通信方式连接。解码器控制模块210的第三输出与缩放器/逆变换器215的第二输入以信号通信方式连接。解码器控制模块210的第四输出与去块滤波器235的第二输入以信号通信方式连接。

熵解码器205的第二输出与缩放器/逆变换器215的第一输入以信号通信方式连接。缩放器/逆变换器215的输出与组合器230的第一正向输入以信号通信方式连接。组合器230的输出与帧内预测器220的第二输入和去块滤波器235的第一输入以信号通信方式连接。去块滤波器235的输出与帧存储体240的输入以信号通信方式连接。帧存储体240的输出与运动补偿器225的第三输入以信号通信方式连接。组合器230的第二正向输入与开关277的输出以信号通信方式连接。开关277的第一输入与运动补偿器225的输出以信号通信方式连接。开关277的第二输入与帧内预测器220的输出以信号通信方式连接。

熵解码器205的第三输出与运动补偿器225的第一输入以信号通信方式连接。

转到图3，在符合MPEG-4 AVC标准的本原理的实施例中用于多视图视频编码(MVC)的切片编码/解码的示例性方法由参考标记300总地指示。

方法300包括将控制传递给循环限制块310的起始块305。循环限制块310开始对每个宏块的循环，包括使用变量mb＝0到MacroBlockslnPic-1来设置循环的范围，并且将控制传递给功能块315。功能块315编码/解码一个宏块，并且将控制传递给循环限制块320。循环限制块320结束对每个宏块的循环，并且将控制传递到循环限制块325。循环限制块325开始对每个宏块的循环，包括使用变量mb＝0到MacroBlockslnPic-1来设置循环的范围，并且将控制传递到循环限制块330。循环限制块330开始对要编码/解码的当前宏块的每个垂直边缘(vedge)的循环，包括使用变量vedge＝0到VerticalEdges-1来设置循环的范围，并且将控制传递到功能块335。功能块335选择要应用的边界强度，并且将控制传递到功能块340。功能块340执行采样滤波，并且将控制传递到循环限制块345。循环限制块345结束对当前宏块的每个垂直边缘(vedge)的循环，并且将控制传递到循环限制块350。循环限制块350开始对要编码/解码的当前宏块的每个水平边缘(hedge)的循环，包括使用变量hedge＝0到HorizontalEdges-1来设置循环的范围，并且将控制传递到功能块355。功能块355选择边界强度，并且将控制传递到功能块360。功能块360执行采样滤波，并且将控制传递到循环限制块365。循环限制块365结束对每个水平边缘(hedge)的循环，并且将控制传递到循环限制块370。循环限制块370结束的对每个宏块的循环，并且将控制传递到结束块375。

本原理的实施例致力于适配多视图视频编码(MVC)的去块滤波。多视图视频编码(MVC)是用于多视图序列的编码的压缩框架(framework)。多视图视频编码(MVC)序列是从不同视点捕获相同场景的一组两个或多个视频序列。作为可以应用本原理的特殊情况，立体视频(sterestopic video)序列包括两个视频序列，一个表示左通道，而另一个表示右通道。每个通道的各帧同时捕获并且具有不同视角。

实施例涉及抑制由使能跨视图预测引入的成块伪像，其中预测信号从另一视图的解码画面形成。当使能这样的跨视图预测时，典型地在从不同相机视图补偿的像素之间的边界处引入额外的成块性(blockiness)。有利地，本原理的该实施例通过减少由从不同视图预测而导致的块边界周围的伪像来提高解码后的画面质量。在实施例中，将预测视图信息(在此可互换地称作参考视图信息)引入MVC的去块滤波器的设计和/或使用中。参考视图信息指示在预测信号的形成中涉及的视图。例如，预测信号可以来自当前视图的之前已解码的画面或相邻视图的之前已解码的画面。在实施例中，这样的参考视图信息可用来例如改变(例如，增加)去块滤波器的强度和/或选择不同类型的滤波器。给出这里提供的本原理的教导，本领域普通技术人员将在维持本原理的范围的同时，预期在适配多视图视频编码的去块滤波中使用的参考视图信息的这些和各种其他使用。

另一实施例涉及抑制由使能跨视图预测和时间预测两者使用MVC来编码多视图视频序列而引入的成块伪像。在允许两类预测(跨视图预测和时间预测)的情形下，典型地在利用不同MVC预测类型解码的像素之间的边界处引入额外的成块性。有利地，本原理的该实施例通过减少由不同预测类型(时间和跨视图)导致的块边界周围的伪像来提高解码后的画面质量。由于提高了解码后的画面质量，因此压缩效率也可以提高。在实施例中，将预测类型信息引入MVC的去块滤波器的设计和/或使用中。在实施例中，这样的预测类型信息可以被用来例如改变(例如，增加)去块滤波器的强度和/或选择不同类型的滤波器。可替代地，可以使用参考视图信息来例如改变(例如，增加)去块滤波器的强度和/或选择不同类型的滤波器。给出这里提供的本原理的教导，本领域普通技术人员将在维持本原理的范围的同时，预期在适配多视图视频编码的去块滤波中使用的预测类型信息的这些和各种其他使用。

出于图示目的，在此关于MPEG-4 AVC标准描述本发明的各实施例。然而，应当认识到，本发明不限于MPEG-4 AVC标准，并且给出这里提供的本原理的教导，本领域普通技术人员将在维持本发明的范围的同时，预期能够进行可以应用本原理的多视图视频编码的这种和其他视频编码标准。

应认识到，本原理不限于被应用到预测画面的特定去块技术，并且因此根据本原理的实施例可以利用任何去块技术，同时维持本原理的范围。

出于图示目的，现在将描述关于如何扩展如在MPEG-4 AVC标准中指定的去块滤波器的实施例，该实施例基于某些编码判断来适配去块滤波器的强度。此后，出于简化原因我们将引用该选择。

MPEG-4 AVC标准中的去块滤波器应用到4×4块之间的所有边缘。此外，去块滤波器具有对于每个边缘来适配其强度的能力。控制滤波器强度的参数被称作边界强度(BS)。边界强度的值指示在每个边缘上具有视觉成块性的可能性以及因此对或多或少的去块滤波的需要。更高的Bs值指示将适配更强的去块滤波。

转到图4，用于选择MPEG-4 AVC标准使用的边界强度的示例性方法由参考标记400总地指示。该方法包括将控制传递到功能块410的起始块405。功能块410检查块p和q之间的块边界，并且将控制传递到判断块415。判断块415确定块p或q是否是帧内编码的。如果是，则将控制传递到判断块420。否则，将控制传递到判断块435。

判断块420确定块边界是否是宏块边界。如果是，则将控制传递到功能块425。否则，将控制传递到功能块430。

功能块425将边界强度设置为4，并且将控制传递到结束块465。

功能块430将边界强度设置为3，并且将控制传递到结束块465。

判断块435确定在块p或q内是否编码了系数。如果是，则将控制传递到功能块440。否则，将控制传递到判断块445。

功能块440将边界强度设置为2，并且将控制传递到结束块465。

判断块445确定块p和q是否具有不同参考帧或不同数量的参考帧。如果是，则将控制传递到功能块450。否则，将控制传递到判断块455。

功能块450将边界强度设置为1，并且将控制传递到结束块465。

判断块455确定|V₁(p，x)-V₁(q，x)|>＝1或|V₁(p，y)-V₁(q，y)|>＝1，或者，如果是双向预测，|V₂(p，x)-V₂(q，x)|>＝1或|V₂(p，y)-V₂(q，y)|>＝1是否成立。如果是，则将控制传递到功能块450。否则，将控制传递到功能块460。

功能块460将边界强度设置为0，并且将控制传递到结束块465。

根据本原理的实施例，在编码多视图序列的情况下，边界强度计算还应当考虑预测类型信息。

转到图5，基于在多视图视频编码中使用的预测类型信息来选择边界强度的示例性方法由参考标记500总地指示。根据方法500，根据下面的示例性编码参数来调整强度：MVC预测类型；边缘位置；块类型；编码系数的数量；参考帧索引；以及运动/视差向量差。注应意到，如果两个相邻块具有不同MVC预测类型，则将执行最高边界强度Bs＝4。通常，跨视图预测块和时间预测块使用来自不同视图的参考画面，因此具有不同MVC预测类型的两个块的块边缘将更有可能包括更高级别的成块性。因此，在这些边缘上分配更高的边界强度将给出更好的滤波结果。

方法500包括将控制传递到功能块510的起始块505。功能块510检查块p和q之间的块边界，并且将控制传递到判断块515。判断块515确定块p或q是否是帧内编码的。如果是，则将控制传递到判断块520。否则，将控制传递到判断块535。

判断块520确定块边界是否是宏块边界。如果是，则将控制传递到功能块525。否则，将控制传递到功能块530。

功能块525将边界强度设置为4，并且将控制传递到结束块570。

功能块530将边界强度设置为3，并且将控制传递到结束块570。

判断块535确定块p和q是否具有不同的多视图视频编码预测类型。如果是，则将控制传递到功能块525。否则，将控制传递到判断块540。判断块540确定在块p和q中是否编码了系数。如果是，则将控制传递到功能块545。否则，将控制传递到判断块550。

功能块545将边界强度设置为2，并且将控制传递到结束块570。

判断块550确定块p和q是否具有不同参考帧或不同数量的参考帧。如果是，则将控制传递到功能块545。否则，将控制传递到判断块560。

判断块560确定|V₁(p，x)-V₁(q，x)|>＝1或|V₁(p，y)-V₁(q，y)|>＝1，或者，如果是双向预测，|V₂(p，x)-V₂(q，x)|>＝1或|V₂(p，y)-V₂(q，y)|>＝1是否成立。如果是，则将控制传递到功能块555。否则，将控制传递到功能块565。

功能块565将边界强度设置为0，并且将控制传递到结束块570。

根据本原理的另一实施例，在编码多视图序列的情况下，边界强度计算还应当考虑参考视图信息。

转到图6，基于在多视图视频编码中使用的预测视图信息来选择边界强度的示例性方法由参考标记600总地指示。根据方法600，根据下面示例性编码参数来调整强度：参考视图；边缘位置；块类型；编码系数的数量；参考帧索引；以及运动/视差向量差。应注意到，如果两个相邻块具有不同MVC预测类型，则将执行最高边界强度Bs＝4。通常，跨视图预测块和时间预测块使用来自不同视图的参考画面，因此具有不同MVC预测类型的两个块的块边缘将更有可能包括更高级别的成块性。因此，在这些边缘上分配更高的边界强度将给出更好的滤波结果。

方法600包括将控制传递到功能块610的起始块605。功能块610检查块p和q之间的块边界，并且将控制传递到判断块615。判断块615确定块p或q是否是帧内编码的。如果是，则将控制传递到判断块620。否则，将控制传递到判断块635。

判断块620确定块边界是否是宏块边界。如果是，则将控制传递到功能块625。否则，将控制传递到功能块630。

功能块625将边界强度设置为4，并且将控制传递到结束块670。

功能块630将边界强度设置为3，并且将控制传递到结束块670。

判断块635确定块p和q是否具有不同参考视图。如果是，则将控制传递到功能块625。否则，将控制传递到判断块640。判断块640确定在块p和q中是否编码了系数。如果是，则将控制传递到功能块645。否则，将控制传递到判断块650。

功能块645将边界强度设置为2，并且将控制传递到结束块670。

判断块650确定块p和q是否具有不同参考帧或不同数量的参考帧。如果是，则将控制传递到功能块655。否则，将控制传递到判断块660。

判断块660确定|V₁(p，x)-V₁(q，x)|>＝1或|V₁(p，y)-V₁(q，y)|>＝1，或者，如果是双向预测，|V₂(p，x)-V₂(q，x)|>＝1或|V₂(p，y)-V₂(q，y)|>＝1是否成立。如果是，则将控制传递到功能块655。否则，将控制传递到功能块665。

功能块665将边界强度设置为0，并且将控制传递到结束块670。

现在将给出本发明的一些伴随优点/特征的描述，其中一些已经在上面提到。例如，一个优点/特征是包括去块滤波器的视频编码器，该去块滤波器可基于用于编码多视图视频序列的预测信息来适配。另一优点/特征是如上所述的视频编码器，其中预测信息包括预测类型信息和预测视图信息中的至少一个。另一优点/特征是具有可基于预测信息来适配的去块滤波器的视频编码器，该预测信息包括如上所述的预测类型信息和预测视图信息中的至少一个，其中预测类型信息包括时间预测信息和跨视图预测信息中的至少一个。此外，另一优点/特征是具有可基于预测信息来适配的去块滤波器的视频编码器，该预测信息包括如上所述的预测类型信息和预测视图信息中的至少一个，其中去块滤波器可基于关于要由所述去块滤波器滤波的给定块的两个相邻块的预测信息来适配。此外，另一优点/特征是具有可基于预测信息来适配的去块滤波器的视频编码器，该预测信息包括如上所述的预测类型信息和预测视图信息中的至少一个，其中去块滤波器遵循国际标准化组织/国际电工委员会运动图像专家组4-第10部分高级视频编码标准/国际电信联盟电信部H.264推荐，并且由去块滤波器应用的边界强度可基于用于编码多视图视频序列的预测信息来适配。而且，另一优点/特征是遵循如上所述MPEG-4 AVC标准的视频编码器，其中当关于要由去块滤波器滤波的给定块的两个相邻块的预测信息不同时，边界强度被设置为4。此外，另一优点/特征是如上所述的视频编码器，其中边界强度、要滤波的采样数量、以及去块滤波器的类型中的至少一个是可适配的。此外，另一优点/特征是具有如上所述可适配的边界强度、要滤波的采样数量、以及去块滤波器的类型中的至少一个的视频编码器，其中去块滤波器的边界强度可基于关于要由去块滤波器滤波的给定块的两个相邻块的预测信息来适配，并且当该两个相邻块的预测信息不同时，边界强度增加。此外，另一优点/特征是如上所述的视频编码器，其中多视图视频序列包括立体视频序列。

本发明的这些和其他特征和优点可由本领域普通技术人员基于这里的教导容易地确定。应理解，本发明的教导可以硬件、软件、固件、专用处理器或其组合的各种形式实现。

更优选地，本发明的教导实现为硬件和软件的组合。此外，软件可实现为在程序存储单元上有形体现的应用程序。应用程序可上载到包括任何适当架构的机器上并由其执行。优选的，机器在具有如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、和输入/输出(“I/O”)接口的硬件的计算机平台上实现。计算机平台还可包括操作系统和微指令代码。这里描述的各种处理和功能可以是可由CPU执行的微指令代码的一部分或应用程序的一部分或其任何组合。此外，如附加数据存储单元和打印单元的各种其他外围单元可连接到计算机平台。

还应理解，因为在附图中描绘的一些组成系统组件和方法优选地以软件实现，所以系统组件或处理功能块之间的实际连接可能依赖于本发明所编程的方式而不同。给出这里的教导，所属领域普通技术人员将能够预期本发明的这些和类似实现或配置。

尽管已经参照附图描述了说明性实施例，但是应理解，本发明不限于这些精确的实施例，并且所属领域普通技术人员可在其中进行各种改变和修改，而不背离本发明的范围或精神。所有这样的改变和修改都意在被包括在如由所附权利要求书中提出的本发明的范围内。