首页> 中国专利> 利用加权预测对视频交叉衰落进行编码

利用加权预测对视频交叉衰落进行编码

摘要

提出了一种针对设置在淡出起始画面和淡入结束画面之间的至少一个交叉衰落画面的视频信号数据进行编码的视频编码器(200,300)和方法(700),其中所述编码部分包括参考画面加权因子单元(272,372),用于分配分别与淡出起始画面和淡入结束画面中的每一个相对应的加权因子,并且用于对画面之间的交叉衰落进行编码的方法包括:识别其间需要交叉衰落的画面;确定(714,716)交叉衰落的适当端点;以及在对交叉衰落画面进行编码(722)之前对端点进行编(718,720)。

著录项

  • 公开/公告号CN1720730A

    专利类型发明专利

  • 公开/公告日2006-01-11

    原文格式PDF

  • 申请/专利权人 汤姆森许可贸易公司;

    申请/专利号CN200380104750.3

  • 发明设计人 吉尔·麦克唐纳·布瓦斯;

    申请日2003-11-13

  • 分类号H04N7/12(20060101);H04N11/02(20060101);H04N11/04(20060101);

  • 代理机构11021 中科专利商标代理有限责任公司;

  • 代理人罗松梅

  • 地址 法国布洛里

  • 入库时间 2023-12-17 16:55:11

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-06-18

    专利权的转移 IPC(主分类):H04N7/12 登记生效日:20190530 变更前: 变更后: 申请日:20031113

    专利申请权、专利权的转移

  • 2019-06-18

    专利权人的姓名或者名称、地址的变更 IPC(主分类):H04N7/12 变更前: 变更后: 申请日:20031113

    专利权人的姓名或者名称、地址的变更

  • 2008-07-16

    授权

    授权

  • 2006-03-01

    实质审查的生效

    实质审查的生效

  • 2006-01-11

    公开

    公开

说明书

相关申请的交叉引用

本申请要求2002年12月4日递交的题为“ENCODING OF VIDEOCROSS-FADES USNG WIGHTED PREDICTION”的美国临时申请序列号No.60/430,793(代理卷号No.PU020487)的权益,其全文包括在此作为参考。

技术领域

本发明涉及视频编码器,更具体地,涉及一种有效地产生画面间视频交叉衰落的设备和方法。

背景技术

通常按照比特流的形式对视频数据进行处理和传送。典型的视频压缩编码器和解码器(“编解码器”)通过形成要编码的画面的画面预测并对当前画面和该预测之间的差别进行编码,来获得其大部分的压缩效率。该预测与当前画面越接近,则需要越少的比特来压缩该画面,从而增加了处理的效率。因此,需要形成最可能的参考画面预测。

在许多视频压缩标准中,包括运动画面专家组(“MPEG”)-1、MPEG-2和MPEG-4中,将先前参考画面的运动补偿版本用作对当前画面的预测,并且仅对当前画面和该预测之间的差别进行编码。当使用单画面预测(“P”画面)时,当形成运动补偿预测时,不对参考画面进行缩放(scale)。当使用双向画面预测(“B”画面)时,根据两个不同的画面来形成中间预测,然后,利用针对每一个的相等加权因子(1/2,1/2),将两个中间预测一起进行平均,以形成单一的平均预测。

在一些视频序列中,特别是具有衰落的序列中,与参考画面自身相比,要编码的画面与通过加权因子进行了缩放的参考画面更强地相关。联合视频工作组(“JVT”)视频压缩标准允许针对每一个参考画面,发送加权因子和偏移。该标准指定了解码器将如何使用加权因子,但是其并未指定解码器如何能够确定适当的加权因子。对于包括交叉衰落的序列,确定要使用的适当加权因子和参考画面是非常困难的。

发明内容

通过利用JVT加权预测对视频交叉衰落进行有效压缩的设备和方法,解决了现有技术的这些和其他缺陷和缺点。确定交叉衰落的端点并将其用作对交叉衰落区中的画面进行编码的参考画面。

提出了一种针对设置在淡出或起始画面和淡入或结束画面之间的交叉衰落画面的视频信号数据进行编码的设备和方法,其中所述编码部分包括参考画面加权因子单元,用于分配分别与淡出起始画面和淡入结束画面中的每一个相对应的加权因子,并且用于对画面之间的交叉衰落进行编码的方法包括:识别其间需要交叉衰落的画面;确定交叉衰落的适当端点;以及在对交叉衰落画面进行编码之前对端点进行编码。

通过结合附图阅读以下典型实施例的描述,本发明的这些和其他方案、特征和优点将变得明显。

附图说明

参考以下附图,可以更好地理解本发明,其中:

图1示出了标准视频编码器的方框图;

图2示出了具有针对视频交叉衰落的隐性参考画面加权的视频编码器的方框图;

图3示出了具有针对视频交叉衰落的显性参考画面加权的视频编码器的方框图;

图4示出了具有针对视频交叉衰落的显性参考画面加权的视频解码器的方框图;

图5示出了画面对之间的视频交叉衰落的图示;以及

图6示出了典型编码处理的流程图。

具体实施方式

公开了一种利用加权预测对视频交叉衰落进行编码的方法和设备,包括运动矢量估计和自适应参考画面加权因子分配。在一些视频序列中,特别是那些具有衰落的序列中,与参考画面自身相比,将要编码的当前画面或图像块与通过加权因子进行了缩放的参考画面进行更强的相关。没有施加到参考画面上的加权因子的视频编码器非常低效地对衰落序列进行编码。当在编码中使用加权因子时,视频编码器需要确定加权因子和运动矢量,但是这些量的每一个的最佳选择取决于另一个。

因此,描述了一种利用JVT加权预测来有效地压缩视频交叉衰落的方法。首先确定交叉衰落的端点,并且将其用作参考画面,以便对交叉衰落区中的画面进行编码。

本描述示出了本发明的原理。因此,将会意识到,本领域的技术人员将能够设计各种结构,尽管这里并未清楚地描述或显示,但是具体实现了本发明的原理,并且包括在本发明的精神和范围内。

这里所引用的所有示例和条件性语言用于教学的目的以帮助读者理解本发明的原理和由本发明人进一步对现有技术作出贡献的概念,并且应解释为并非对这里所具体引用的示例和条件的限定。

而且,这里陈述原理、方案和本发明的实施例的所有语句、以及其具体示例用于涵盖其结构和功能等价物。此外,应该注意,这样的等价物同时包括当前已知的等价物以及未来开发出的等价物,即执行相同功能的已开发的任何元件,而与结构无关。

因此,例如,本领域的技术人员将会理解,这里的方框图表示具体实现了本发明的原理的说明性电路的概念图。类似地,将会意识到,任意流程图、流向图、状态转移图、伪代码等表示可以在计算机可读介质中表达并由计算机或处理器执行的各种处理,无论是否已明确地示出了这样的计算机或处理器。

可以通过使用专用硬件以及与适当软件相关的能够执行软件的硬件。当由处理器提供时,可以由单个的专用处理器、由单个共享处理器、或由多个单独的处理器来提供这些功能,可以对其中的一些进行共享。而且,对术语“处理器”或“控制器”的明确使用不应解释为专门是指能够执行软件的硬件,而可以隐含地、无局限地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储器。

还可以包括其他硬件、传统和/或定制的。类似地,图中所示的任何开关仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过使程序控制和专用逻辑交互作用、或者甚至是手动地执行其功能,可以由实现者根据对上下文的更为具体的理解来选择具体技术。

在其权利要求中,表达为执行特征功能的任意组件用于涵盖执行以下功能的任意方式,例如,包括:a)执行该功能的电路元件的组合;或者b)任意形式的软件,因而包括固件、微代码等,与执行该软件的适当电路进行组合以执行该功能。由这样的权利要求所定义的本发明表明了以下事实:按照权利要求所要求保护的方式,对由所陈述的各种装置所提供的功能进行组合并结合在一起。因此,申请人将能够提供这些功能的任意装置看作与这里所示的装置等价。

在一些视频序列中,特别是那些具有衰落的序列中,与参考画面自身相比,将要编码的当前画面或图像块与由加权因子缩放的参考画面进行更强的相关。没有将加权因子施加到参考画面上的视频编码器非常低效地对衰落序列进行编码。

在联合视频工作组(“JVT”)视频压缩标准中,每一个P画面能够使用多个参考画面来形成画面的预测,但是每一个单独的宏块或宏块分区(尺寸为16×8、8×16、或8×8)仅使用单一的参考画面进行预测。除了对运动矢量进行编码和传送之外,针对每一个宏块或宏块分区传送参考画面索引,表示使用哪一个参考画面。将可能参考画面的有限集合存储在编码器和解码器处,并且传送容许参考画面的数量。不同于先前的标准,例如MPEG-2,JVT编码器的相当大的灵活性在于:可以将先前编码的画面用作参考画面。

在针对双预测画面(也被称为“B”画面)的JVT标准中,针对每一个宏块或宏块分区形成两个预测体,每一个预测体可以由单独的参考画面形成,并且将两个预测体一起进行平均以形成单一的平均预测体。对于双预测编码的运动块,参考画面可以同时来自前向方向、或同时来自后向方向或每一个分别来自前向方向和后向方向。

维护可以用于预测的可用参考画面的两个列表。所述两个参考画面被称为列表0和列表1预测体。对每一个参考画面的索引进行编码和传送,针对列表0和列表1参考画面,分别为ref_idx_I0和ref_idx_I1。

JVT标准提供了两种模式的加权预测,当形成预测时,允许将加权因子和/或偏移施加到参考画面上。要施加的加权因子基于针对当前宏块或宏块分区的参考画面索引(或双向预测情况下的索引)。或者在比特流中对参考画面索引进行编码,或者可以推导该参考画面索引,例如针对跳跃或直接模式的宏块。针对当前画面的所有片断,将单一加权因子和单一偏移与每一个参考画面索引相关联。在显性模式下,在片断报头中对这些参数进行编码。在隐性模式下,推导这些参数。对加权因子和偏移参数值进行限制以便在预测间处理中允许16比特的算术运算。针对每一个编码画面,编码器可以选择隐性模式或显性模式。

JVT双预测或“B”画面允许在两个预测之间的自适应加权,即Pred=[(P0)*(Pred0)]+[(P1)*(Pred1)]+D,其中P0和P1是加权因子,Pred0和Pred1分别是列表0和列表1的参考画面预测,而D是偏移。

如图1所示,标准视频编码器通常由参考符号100表示。对编码器100的输入与求和连接点110的非反相输入进行信号通信连接。求和连接点110的输出与块变换功能120进行信号通信连接。变换120与量化器130进行信号通信连接。量化器130的输出与变长编码器(“VLC”)140进行信号通信连接,其中VLC 140的输出是编码器100的外部可用输出。

量化器130的输出还与反量化器150进行信号通信连接。反量化器150与反向块变换器160进行信号通信连接,反过来,反向块变换器160与参考画面存储器170进行信号通信连接。参考画面存储器170的第一输出与运动估计器180的第一输入进行信号通信连接。对编码器100的输入还与运动估计器180的第二输入进行信号通信连接。运动估计器180的输出与运动补偿器190的第一输入进行信号通信连接。参考画面存储器170的第二输出与运动补偿器190的第二输入进行信号通信连接。运动补偿器190的输出与求和连接点110的反相输入进行信号通信连接。

转到图2,具有隐性参考画面加权的视频编码器通常由参考符号200表示。对编码器200的输入与求和连接点210的非反相输入进行信号通信连接。求和连接点210的输出与块变换器220进行信号通信连接。变换器220与量化器230进行信号通信连接。量化器230的输出与VLC 240进行信号通信连接,其中VLC 240的输出是编码器200的外部可用输出。

量化器230的输出还与反量化器250进行信号通信连接。反量化器250与反向块变换器260进行信号通信连接,反过来,反向块变换器260与参考画面存储器270进行信号通信连接。参考画面存储器270的第一输出与参考画面加权因子分配器272的第一输入进行信号通信连接。对编码器200的输入还与参考画面加权因子分配器272的第二输入进行信号通信连接。参考画面存储器270的第二输出与运动估计器280的第二输入进行信号通信连接。

对编码器200的输入还与运动估计器280的第三输入进行信号通信连接。表示运动矢量的运动估计器280的输出与运动补偿器290的第一输入进行信号通信连接。参考画面存储器270的第三输出与运动补偿器290的第二输入进行信号通信连接。表示运动补偿参考画面的运动补偿器290的输出与乘法器或参考画面加权器292的第一输入进行信号通信连接。尽管示出了典型乘法器的实施例,但是能够以可选的方式来实现参考画面加权器292,例如通过移位寄存器。表示加权因子的参考画面加权因子分配器272的输出与参考画面加权器292的第二输入进行信号通信连接。参考画面加权器292的输出与求和连接点210的反相输入进行信号通信连接。

转到图3,具有显性参考画面加权的视频编码器通常由参考符号300表示。对编码器300的输入与求和连接点310的非反相输入进行信号通信连接。求和连接点310的输出与块变换器320进行信号通信连接。变换器320与量化器330进行信号通信连接。量化器330的输出与VLC 340进行信号通信连接,其中VLC 340的输出是编码器300的外部可用输出。

量化器330的输出还与反量化器350进行信号通信连接。反量化器350与反向块变换器360进行信号通信连接,反过来,反向块变换器360与参考画面存储器370进行信号通信连接。参考画面存储器370的第一输出与参考画面加权因子分配器372的第一输入进行信号通信连接。对编码器300的输入还与参考画面加权因子分配器372的第二输入进行信号通信连接。表示加权因子的参考画面加权因子分配器372的第一输出与运动估计器380的第一输入进行信号通信连接。参考画面存储器370的第二输出与运动估计器380的第二输入进行信号通信连接。

对编码器300的输入还与运动估计器380的第三输入进行信号通信连接。表示运动矢量的运动估计器380的输出与运动补偿器390的第一输入进行信号通信连接。参考画面存储器370的第三输出与运动补偿器390的第二输入进行信号通信连接。表示运动补偿参考画面的运动补偿器390的输出与乘法器或参考画面加权器392的第一输入进行信号通信连接。表示加权因子的参考画面加权因子分配器372的第二输出与参考画面加权器392的第二输入进行信号通信连接。参考画面加权器392的输出与求和连接点394的第一非反相输入进行信号通信连接。表示偏移的参考画面加权因子分配器372的第三输出与求和连接点394的第二非反相输入进行信号通信连接。求和连接点394的输出与求和连接点310的反相输入进行信号通信连接。

如图4所示,用于显性参考画面加权的视频解码器通常由参考符号500表示。视频编码器500包括变长解码器(“VLD”)510,与反量化器520进行信号通信连接。反量化器520与反向变换器530进行信号通信连接。反向变换器530与求和连接点540的第一输入端子进行信号通信连接,其中求和连接点540的输出提供视频解码器500的输出。求和连接点540的输出与参考画面存储器550进行信号通信连接。参考画面存储器550与运动补偿器560进行信号通信连接,所述运动补偿器560与乘法器或参考画面加权器570的第一输入进行信号通信连接。如本领域的技术人员将会意识到,还可以使用用于显性加权预测的解码器500进行隐性加权预测。

VLD 510还与参考画面加权因子查找表580进行信号通信连接,参考画面加权因子查找表580提供对查找表580的系数索引。查找表580的第一输出用于提供加权因子,并且与参考画面加权器570的第二输入进行信号通信连接。参考画面加权器570的输出与求和连接点590的第一输入进行信号通信连接。查找表580的第二输出用于提供偏移,并且与求和连接点590的第二输入进行信号通信连接。求和连接点590的输出与求和连接点540的第二输入端子进行信号通信连接。

如图5所示,画面交叉衰落通常由参考符号600表示。典型画面交叉衰落600包括淡出或起始画面610,表示为FP0;以及淡入或结束画面612,表示为FP1。

现在转到图6,对图像块的视频信号数据进行编码的典型过程通常由参考符号700表示。该过程700由编码器来实现,例如分别由图2和3所示的编码器200或300。该过程700包括起始块710,将控制传递到判决块712。所述判决块712确定是否存在交叉衰落,如果不存在,则将控制传递到功能块713。所述功能块713执行正常编码,并将控制传递到结束块724。

然而,如果判决块712找到交叉衰落,则将控制传递到功能块714。功能块714找到淡出起始点FP0,并将控制传递到功能块716,功能块716找到淡入端点FP1。所述块716将控制传递到功能块718,功能块718对淡出起始画面FP0进行编码,并将控制传递到功能块720。块720对淡入结束画面FP1进行编码,并将控制传递到功能块722。

结果,功能块722使用以画面FP0作为列表0参考和画面FP1作为列表1参考的加权预测,对在FP0和FP1之间按照显示次序设置的画面进行编码。功能块722将控制传递到结束块724。

用于画面对之间的视频交叉衰落的创作工具包括视频编码器,例如图2的编码器200,并且对预先存储的视频内容进行操作。除了未压缩的视频内容之外,可以使用一些附加信息,例如判决列表和编辑片断点。在创作工具中的视频编码器不必一定需要实时地操作。可以在创作工具中施加如衰落和交叉衰落等特殊效果。

用于检测衰落和交叉衰落的各种技术是公知的,还已知为视频序列中的分解。当对特定画面进行编码时,对于每一个宏块或宏块分区,JVT编码器必须选择编码判决模式、一个或两个参考画面、以及一个或多个运动矢量。当JVT编码器使用加权预测时,其还可以每一个画面或片断一次地选择要针对所使用的每一个参考索引施加的加权因子。一个或多个参考索引涉及每一个容许的参考画面,从而可以将多个加权用于每一个单独的参考画面。

创作工具检测何时发生交叉衰落。所述创作工具具有足够的信息来检测何时发生交叉衰落,或者由于其自身施加了交叉衰落,或者由于其从判决列表中读取了交叉衰落,或者由于其采用了衰落检测算法。对于交叉衰落,将表示为淡出起始点的画面识别为FP0,而将淡入结束点画面识别为FP1。当检测到交叉衰落时,编码器在对FP0和FP1之间的画面进行编码之前按照显示次序对画面FP0和FP1进行编码,这被称为交叉衰落画面。因此,本发明的特征在于:在中间的画面之前对淡入结束画面FP1进行编码。

通常,在视频编码器中使用固定图案的I、P和B画面编码类型,并且编码次序不同于显示次序。例如,这样的通用图案可以包括:

通用编码次序:I0 P3 B1 B2 P6 B4 B5 P9 B7 B8

通用显示次序:I0 B1 B2 P3 B4 B5 P6 B7 B8 P9

针对该通用图案,在中间B1和B2画面之前对画面P3进行编码。B1和B2画面使用I0和P3作为该预测过程中的参考画面。

JVT标准并不需要使用固定画面编码类型图案,并且并未提出通过其编码器能够调节图案以以使编码效率最大化的方法。根据当前的方法,可以通过调节画面编码类型和编码次序来提高交叉衰落序列的编码效率。例如,如果分别将画面0和画面9识别为淡入起始和淡出结束画面,则可以使用以下的编码和显示次序:

本发明的编码次序:I0 P9 B1 B2 B3 B4 B5 B6 B7 B8

本发明的显示次序:I0 B1 B2 P3 B4 B5 B6 B7 B8 P9

当对交叉衰落画面进行编码时,如果需要,编码器使用参考画面选择重新排序,对参考画面列表进行排序,从而FP0是列表0上的第一画面,而FP1是列表1上的第一画面。这提供了附加的编码效率,这是由于可以使用比其他参考索引更少数量的比特对涉及参考画面列表中的第一画面的参考索引0进行编码。然后,根据当前画面组合中的第一和第二画面的相对作用,针对与每一个FP0和FP1相对应的参考索引来选择加权因子。如果在创建交叉衰落画面时所使用的公式是已知的,或者由于创作工具创建了交叉衰落或形成了辅助信息,则可以使用来自合成公式的加权因子。如果并不知道确切的公式,则可以使用多种不同的算法来计算加权因子,例如基于来自FP0和FP1的当前画面的相对距离。

上述算法可以应用于交叉衰落区中的所有编码画面,或者仅可以应用于对其进行标记以存储为参考画面的那些画面。在可选实施例中,可以使用隐性模式或显性模式加权预测来对交叉衰落画面进行编码。当使用显性模式时,可以使用任意加权因子。当使用隐性模式时,所述加权因子取决于来自FP0和FP1的当前画面的相对距离。

该系统和技术可以应用于利用单个预测体进行编码的预测“P”画面或利用两个预测体进行编码的双预测“B”画面。以下将针对P和B画面的情况来描述在编码器和解码器中所存在的解码过程。可选地,该技术还可以应用于利用类似于I、B和P画面的概念的编码系统。

可以将相同的加权因子用于B画面中的单向预测和B画面中的双向预测。当将单预测体在P画面中用于宏块或者用于B画面中的单向预测时,针对该块传送单参考画面索引。在运动补偿的解码处理步骤产生了预测体时,将加权因子施加到预测体。然后,将加权预测体添加到编码残余上,并且对其和进行剪切以形成解码画面。为了用于仅使用列表0预测的P画面中的块或B画面中的块,按照以下方式来形成加权预测体:

Pred=W0*Pred0+D0                     (1)

其中W0是与列表0参考画面相关的加权因子,D0是与列表0参考画面相关的偏移,而Pred0是来自列表0参考画面的运动补偿预测块。

为了用于仅使用列表1预测的B画面中的块,按照以下方式来形成加权预测体:

Pred=W1*Pred1+D1(2)

其中W1是与列表1参考画面相关的加权因子,D1是与列表1参考画面相关的偏移,而Pred1是来自列表1参考画面的运动补偿预测块。

可以对加权预测体进行剪切以确保结果值处于容许的像素值范围内,典型为0到255。可以将加权公式中的乘法的精度限制为任意预定数量比特的解析度。

在双预测情况下,针对两个预测体中的每一个传送参考画面索引。执行运动补偿以形成两个预测体。每一个预测体使用与其参考画面索引相关的加权因子来形成两个加权预测体。然后,将两个加权预测体一起进行平均以形成平均预测体,然后将其添加到编码残余上。

为了用于使用列表0和列表1预测的B画面中的块,按照以下方式来形成加权预测体:

Pred=(P0*Pred0+D0+P1*Pred1+D1)/2             (3)

可以将剪切应用于加权预测体或在计算加权预测体中的任意中间值,以确保结果值将在像素值的容许范围内,典型地为0到255。

因此,将加权因子应用于使用多个参考画面的视频压缩编码器和解码器的参考画面预测。加权因子适合于画面内的各个运动块,基于用于该运动块的参考画面索引。由于参考画面索引已经在压缩视频比特流中传送,因此极大地减小了按运动块适配加权因子的附加开销。针对相同参考画面编码的所有运动块将相同加权因子应用于参考画面预测。

在JVT委员会的联合模型(“JM”)软件中,将使用速率失真优化的在后方法用于对运动矢量、宏块分区、预测模式和参考画面索引的选择。在该方法中,测试针对这些选择的每一个的可容许值的范围,并且针对每一个选择确定成本。选择会引起最小成本的选项。

已经广泛地研究了运动估计技术。为了正在编码的画面的每一个运动块,选择表示运动块与参考画面的位移的运动矢量。在搜索区内的穷尽搜索方法中,测试相对于运动块位置的预定范围的偏移内的每一个位移。该测试包括利用参考画面的位移运动块,计算当前画面中的运动块的每一个像素的绝对差值的和(“SAD”)或平均平方差(“MSE”)。选择具有最低SAD或MSE的偏移作为运动矢量。已经提出了该技术的大量变体,例如三步搜索和速率失真优化运动估计,其全部均包括利用参考画面中的位移运动块来计算当前运动块中的SAD或MSE的步骤。

在仍然选择能够实现高压缩效率的运动矢量和加权因子的同时,可以使用迭代过程来减小确定运动矢量和自适应参考画面加权因子的计算成本。假定将单加权因子应用于整个参考画面来描述典型实施例的运动矢量和加权因子确定过程,尽管本发明的原理不应理解为局限于此。还可以将该过程应用于更小的画面区,例如片断等。此外,尽管仅使用单个参考画面来描述一个典型实施例,但是这些原理还可以应用于多参考画面预测和双预测画面。

典型地,当要施加的加权因子已知时,可以最好地进行运动块的运动矢量的计算。在典型实施例中,使用参考画面和当前画面像素值,形成对加权因子的估计。加权因子可以不局限于多个比特的解析度。如果加权因子非常接近于1,则不需要考虑运动估计过程中的加权因子,并且利用假定等于1的加权因子来进行正常运动估计。否则,将该加权因子估计应用于参考画面。然后,利用计算SAD或MSE的任意方法来执行运动估计,但是在当前画面运动块和参考画面的加权版本中的位移运动块之间执行SAD或MSE计算,而非对未加权的参考画面。如果需要,在已经选择运动矢量之后,可以对运动矢量的估计进行细化。

将当前运动矢量应用于加权参考画面以形成已加权的、运动补偿参考画面。计算已加权运动补偿参考画面和参考画面之间的差值测量。如果该差值测量低于阈值或低于先前的最佳差值测量,则完成了该过程,并且接受当前候选运动矢量和加权因子。

如果差值测量高于一些阈值,则可以对加权因子进行细化。在这种情况下,根据当前候选运动矢量来形成运动补偿但未加权的参考画面。利用运动补偿参考画面和当前画面而非利用未补偿的参考画面来细化加权因子估计,如在形成加权因子的初始估计时所做的那样。

在一个实施例中,加权因子的初始估计w是当前画面的像素的平均值cur除以参考画面的像素的平均值ref之间的比值,其中:

w=avg(cur)/avg(ref)                (4)

细化估计是当前画面的像素平均值和运动补偿参考画面的像素的平均值mcref之间的比值,其中:

w=avg(cur)/avg(mcref)              (5)

差值测量diff是当前画面cur和加权运动补偿参考画面wmcref之间的像素差值的平均值的绝对值,其中:

diff=|∑cur-wmcref|                (6)

在另一实施例中,差值测量是当前画面和加权运动补偿参考画面中的绝对像素差值的和,其中:

diff=∑|cur-wmcref|                (7)

当执行基于块的运动估计时,将参考画面中的相同像素用于大量的SAD计算。在运动估计过程的典型实施例中,一旦已经将加权因子应用于参考画面中的像素上,则存储加权像素,除了正常像素之外。可以针对画面区或整个画面来进行存储。

可以对加权参考画面值进行剪切以便按与未加权参考相同的比特数来进行存储,例如8比特,或者可以利用更多的比特来进行存储。如果针对运动补偿过程执行剪切,其能够更有效地存储,则将加权因子再次应用于实际选择运动矢量的参考画面,利用附加比特来计算差值,并且在差值之后执行剪切以避免与解码器的不匹配,如果在应用加权因子之后,解码器并不执行剪切,则可能会发生不匹配。

当使用多个参考画面来编码画面时,可以针对每一个参考画面计算单独的加权因子。在运动估计器件,针对每一个运动块来选择运动矢量和参考画面索引。针对过程中的每一个迭代,针对每一个参考画面,找到运动矢量和加权因子。

在优选实施例中,在运动估计期间,确定给定运动块的最佳参考画面。针对每一个参考画面单独地进行不同测量的计算,其中在计算中仅使用那些使用该参考画面的运动块。针对给定参考画面对加权因子估计的细化也仅使用那些利用该参考画面来进行编码的运动块。对于双预测编码,可以针对每两个预测,单独地确定加权因子和运动矢量,将对其一起进行平均以形成平均预测。

本发明的原理可以应用于许多不同类型的运动估计算法。当与分级方法一起使用时,可以将加权因子选择和运动矢量选择的迭代与任何级别的运动估计分级结构一起使用。例如,可以将迭代方法与整数画面元素(“像素(pel)”)运动估计一起使用。在利用所提供的迭代算法找到加权因子和整数运动矢量之后,可以找到子像素运动矢量,而无需对加权因子选择的另一迭代。

根据这里的教导,本领域的技术人员可以容易地确定本发明的这些和其他特征和优点。应该理解,本发明可以按硬件、软件、固件、特定用途处理器或其组合等各种形式来实现。

优选地,可以将本发明的原理实现为硬件和软件的组合。而且,优选地,将软件实现为可在程序存储单元上具体实现的应用程序。所述应用程序可以上载到包括任意适当结构的机器并由其执行。优选地,在具有如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口等硬件的计算机平台上实现该机器。计算机平台还可以包括操作系统和微指令代码。这里所述的各种处理和功能可以是微指令代码的一部分或应用程序的一部分或其组合,其可以由CPU执行。此外,各种其他的外围单元可以与计算机平台相连,如附加数据存储单元和打印单元等。

还应该理解,由于在附图中所述的构成系统组件和方法的一部分最好以软件来实现,因此根据对本发明进行编程的方式,在系统组件或处理功能块之间的实际连接可能会不同。根据这里所给出的教导,本领域的技术人员将能够设想本发明的这些和类似实现或结构。

尽管这里已经参考附图对说明性实施例进行了描述,但是应该理解,本发明并不局限于这些确定实施例,在不脱离本发明的范围或精神的情况下,可以由本领域的技术人员进行各种改变和修改。所有这样的改变和修改应包括在由所附权利要求所限定的本发明的范围内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号