推导运动向量预测项或运动向量预测项候选项的方法及装置

摘要

本发明提供一种推导运动向量预测项或运动向量预测项候选项的方法及装置，用于图像中的当前预测单元的运动向量的编码或解码，其中，所述方法包括接收当前运动向量或当前运动向量差值；接收与当前预测单元的至少一个空间相邻区块和在共位预测单元中的至少一个共位区块T

说明书

交叉引用

本申请是2011年5月31日递交的，发明名称为“扩展的运动向量预测项的方法及装置”，申请号为201180057450.9的申请的分案申请。

技术领域

本发明有关于视频编码，更具体地，本发明有关于对应于运动向量预测(motionvector prediction)的编码技术。

背景技术

在视频编码系统中，通过使用空间和时间预测(spatial and temporalprediction)利用(exploit)空间和时间残差(spatial and temporal redundancy)以减少待传输的信息，其中，所述待传输的信息用于相关的视频数据。空间和时间预测分别使用来自同一帧/图像和参考图像的解码像素形成对编码的当前像素的预测。为了有效地在视频序列(video sequence)中利用时间残差，本领域广泛地使用了运动补偿预测(MotionCompensated Prediction，MCP)。MCP可用于前向预测方式(forward predictionfashion)，其中使用显示顺序先于当前图像的一或多个解码图像来预测当前图像区块。除前向预测以外，也可使用后向预测来改进MCP的性能。后向预测则使用显示顺序后于当前图像的一或多个解码图像来预测当前图像区块。运动向量的传输可能需要占据总带宽的相当一部分，尤其是在低比特流(low-bitrate)应用或运动向量对应于较小区块或更高向量精度的系统中。为减少对应于运动向量的比特流，近年来视频编码领域已开始使用运动向量预测技术。当使用运动向量预测时，将传输当前运动向量与运动向量预测项(predictor)之间的差值(difference)，而不传输当前运动向量。一种好的运动向量预测机制可通过产生更小的运动残差(motion residue)(即当前运动向量与运动向量预测项之间更小的差值)来大幅改进压缩效率。

在不断发展中的高效视频编码(High Efficiency Video Coding，HEVC)标准中，已揭示了一种先进型运动向量预测(Advanced Motion Vector Prediction AMVP)技术。AMVP技术使用直接预测项信令(explicit predictor signaling)来指示在运动向量预测项(motion vector predictor，MVP)候选项集(candidate set)中所选择的MVP。基于AMVP的空间MVP候选项是从对应于当前区块的左边及上边的相邻区块的运动向量中推导的。而时间MVP候选项是根据共位(co-located)区块的运动向量推导的。通过扩展MVP集以包括更多区块来近一步改进运动向量预测的效率是非常需要的。因此，希望能根据解码器端的解码信息推导运动向量预测项从而无需传输附加的端信息(side information)。或者，可在比特流(bitstream)中直接传输端信息以通知解码器所选择的MVP。

发明内容

有鉴于此，本发明提供一种推导运动向量预测项或运动向量预测项候选项的方法及装置。

本发明提供一种推导运动向量预测项或运动向量预测项候选项的方法，用于图像中的当前预测单元的运动向量的编码或解码，该方法包括：接收该当前预测单元的当前运动向量或当前运动向量差值；接收与该当前预测单元的至少一个空间相邻区块和在该当前预测单元的共位预测单元中的至少一个共位区块T_i,j相关的多个运动向量，其中，该至少一个共位区块T_i,j从由{T_0,0,…,T_m,n}组成的共位区块组中选择，以及m和n为整数，0≦i≦m,和0≦j≦n；基于运动向量预测项集，确定运动向量预测项或运动向量预测项候选项，其中该运动向量预测项集包括运动向量候选项，该运动向量候选项从与该至少一个空间相邻区块和该至少一个共位区块T_i,j相关的该多个运动向量而得到，其中该至少一个共位区块T_i,j不包括T_0,0；以及基于运动向量预测项或运动向量预测项候选项，对该当前预测单元应用预测编码或解码。

本发明另提供一种推导运动向量预测项或运动向量预测项候选项的装置，用于图像中的当前预测单元的运动向量的编码或解码，该装置包括：接收该当前预测单元的当前运动向量或当前运动向量差值的装置；接收与该当前预测单元的至少一个空间相邻区块和在该当前预测单元的共位预测单元中的至少一个共位区块T_i,j相关的多个运动向量的装置，其中，该至少一个共位区块T_i,j自由{T_0,0,…,T_m,n}组成的共位区块组中选择，以及m和n为整数，0≦i≦m,和0≦j≦n；基于运动向量预测项集，确定运动向量预测项或运动向量预测项候选项的装置，其中该运动向量预测项集包括运动向量候选项，该运动向量候选项从与该至少一个空间相邻区块和该至少一个共位区块T_i,j相关的该多个运动向量而得到，其中该至少一个共位区块T_i,j不包括T_0,0；以及基于运动向量预测项或运动向量预测项候选项，对该当前预测单元应用预测编码或解码的装置。

本发明提供的推导运动向量预测项或运动向量预测项候选项的方法可改进运动向量预测效率。

附图说明

图1为空间和时间运动向量预测的相邻和共位区块配置的示意图，该空间和时间运动向量预测基于用于HEVC标准的AMVP中的相邻区块和共位区块的运动向量。

图2为扩展的相邻和共位区块配置的示意图，该配置用于基于相邻区块、共位区块及共位区块的相邻区块来推导空间和时间运动向量预测项。

图3为扩展共位区块以包括共位区块的相邻区块用于推导运动向量预测的示意图。

图4为根据本发明的一个实施例扩展的运动向量预测项集的一个实例示意图，其中，该扩展的运动向量预测项集包括T_m,n作为时间MVP候选项。

图5为根据本发明的一个实施例扩展的运动向量预测项集的一个实例示意图，其中，该扩展的运动向量预测项集包括T_i,j作为时间MVP候选项，其中i≠0且j≠0。

图6为根据本发明的一个实施例扩展的运动向量预测项集的一个实例示意图，其中，该扩展的运动向量预测项集包括T’作为时间MVP候选项，其中T’为组{T_0,0,…,T_m,n}中的第一可用MVP候选项。

图7为根据本发明的一个实施例扩展的运动向量预测项集的一个实例示意图，其中，该扩展的运动向量预测项集包括时间MVP候选项(T_0,0,F₀,和G₀)。

图8为根据本发明的一个实施例扩展的运动向量预测项集的一个实例示意图，其中，该扩展的运动向量预测项集包括时间MVP候选项(T’,F’和G’)，(T’,F’和G’)分别对应于组{T_0,0,…,T_m,n},{F₀,…,F_m}及{G₀,…,G_n}的第一可用MV。

图9为根据本发明的一个实施例扩展的运动向量预测项集的一个实例示意图，其中，该扩展的运动向量预测项集包括时间MVP候选项(T’,F’,G’和H)，(T’,F’和G’)分别对应于组{T_0,0,…,T_m,n},{F₀,…,F_m}及{G₀,…,G_n}的第一可用MV。

图10为根据本发明的一个实施例扩展的运动向量预测项集的一个实例示意图，其中，该扩展的运动向量预测项集包括时间MVP候选项(T_0,0,T_m,n,F₀,G₀,和H)。

图11为根据本发明的一个实施例扩展的运动向量预测项集的一个实例示意图，其中，该扩展的运动向量预测项集包括时间MVP候选项(T_0,0,F₀,G₀和H)。

图12为根据本发明的一个实施例扩展的运动向量预测项集的一个实例示意图，其中，该扩展的运动向量预测项集包括与图11相同的时间MVP候选项以及空间MVP候选项c’以(c,d和e)代替。

图13为根据本发明的一个实施例扩展的运动向量预测项集的一个实例示意图，其中，该扩展的运动向量预测项集包括时间MVP候选项(T_m,n,F₀,G₀和H)。

图14为根据本发明的一个实施例扩展的运动向量预测项集的一个实例示意图，其中，该扩展的运动向量预测项集包括时间MVP候选项(T_0,0,T_0,n,T_m,0,T_m,n,F₀,G₀和H)。

具体实施方式

通过使用空间和时间预测利用空间和时间残差以减少待传输或存储的信息。空间预测使用同一图像中的解码像素以形成对预编码的当前像素的预测。空间预测通常逐块地进行，例如，在H.264/AVC内部编码中用于亮度(luminance)信号的16×16或4×4区块。在视频序列中，相邻图像通常具有很大的相似性，且简单地使用图像差值可有效地减少对应于静态背景区域的传输信息。然而，视频序列中的移动物体会产生大量的残差，因此将需要更高比特流以对残差进行编码。因此，通常使用MCP以利用视频序列中的时间相关性(correlation)。

MCP可用于前向预测方式，其中，使用显示顺序先于当前图像的一或多个解码图像来预测当前图像区块。除前向预测以外，也可使用后向预测以改进MCP的性能。后向预测使用显示顺序后于当前图像的一或多个解码图像来预测当前图像区块。从2003年H.264/AVC的初版完成开始，前向预测和后向预测已分别扩展至列表0预测(list 0 prediction)和列表1预测(list 1 prediction)，两者皆可包括在显示顺序上先于或后于当前图像的多个参考图像。对于列表0，先于当前图像的参考图像比后于当前图像的参考图像的参考图像指数(indice)更低。而对于列表1，后于当前图像的参考图像比先于当前图像的参考图像的参考图像指数更低。索引值等于0的参考图像称为共位图像(co-located picture)，当列表0或列表1共位图像中的区块具有和当前图像中当前区块相同的区块位置时，该区块称为列表0或列表1共位区块，或称为列表0或列表1中的共位区块。在早期视频标准(例如，MPEG-1、MPEG-2和MPEG-4)中，用于运动估计模式(motion estimation mode)的单元主要基于宏区块(macroblock)。在H.264/AVC中，16×16的宏区块可分割(segment)为16×16,16×8,8×16以及8×8区块以用于运动估计(motion estimation)。此外，8×8区块可分割为8×8,8×4,4×8及4×4区块以用于运动估计。对于发展中的HEVC标准，将用于运动估计/补偿的单元称为预测单元(Prediction Unit，PU)，其中从最大区块尺寸开始进行分层分区而得到PU。在H.264/AVC标准中将为每一片(slice)选择MCP类型。其中，MCP限制在列表0预测的片称为P片。而除列表0预测以外，还包括列表1预测和双向预测(bidirectional prediction)的片称为B片。

在视频编码系统中，将运动向量和已编码残差与其他相关信息一起传输至解码器以用于在解码器端重建(reconstruct)视频。此外，在具有弹性参考图片结构(flexiblereference picture structure)的系统中，可能也必须传输对应于所选择参考图片的信息。运动向量的传输可能需要总带宽中的相当一部分，尤其是在低比特流应用或运动向量对应于较小区块或更高向量精度的系统中。为了近一步减少对应于运动向量的比特流，近年来视频编码领域已开始使用运动向量预测技术。在对本发明的揭露中，MVP也可用于指代运动向量预测项(Motion Vector Predictor)，在不产生歧义的情况下使用此缩写。MVP技术在空间和时间上利用相邻运动向量之间的统计残差。当使用MVP时，选择用于当前运动向量的预测项，并传输运动向量残差(即运动向量与运动向量预测项之间的差值)。MVP机制可应用于闭环(closed-loop)架构中，其中，可根据解码器端的解码信息推导运动向量预测项从而无需传输附加的端信息。或者，可在比特流中直接传输端信息以通知解码器所选择的运动向量预测项。

在H.264/AVC标准中，对于P片中的宏区块，除传统的内部和外部模式(Intra andInter mode)以外，还存在一种跳过模式(SKIP mode)。由于SKIP模式不传输量化误差信号(quantized error signal)、运动向量和参考索引参数(reference index parameter)，因此跳过模式是一种实现更高压缩率(large compression)的有效方法。在跳过模式中，对于16×16宏区块，其仅需要一个信号以指示正在使用SKIP模式，从而实现大幅减少比特率。用于重建SKIP宏区块的运动向量类似于用于宏块的运动向量预测项。一种好的MVP机制可产生更多的零运动向量残差(zero motion vector residue)和零量化预测误差(zeroquantized prediction error)。因此，好的MVP机制可增加SKIP编码区块的数目并改进编码效率。

在H.264/AVC标准中，对于B片，其支持四种不同的外部预测模式—列表0、列表1、双向预测(bi-predictive)以及直接预测(DIRECT prediction)，其中，列表0和列表1代表分别使用参考图片组(reference picture group)0和参考图片组1的预测。对于双向预测模式，预测信号是由运动补偿列表0和列表1的多个预测信号的加权平均值形成的。而直接预测模式是从先前传输的语法元素(syntax element)进行推断(infer)，且直接预测模式可为列表0、列表1或双向预测模式的任意一种。因此，在直接预测模式中无需传输运动向量的信息。在不传输量化误差信号情况下，直接宏块模式(DIRECT macroblock mode)表示BSKIP模式(B SKIP mode)，且该区块可得到有效编码。同样地，一种好的MVP机制可产生更多的零运动向量残差和更小的量化预测误差。因此，好的MVP机制可增加Direct编码区块的数目并改进编码效率。

由相同发明人在2011年3月14日递交的序列号为13/047,600，标题为“Method andApparatus of Spatial Motion Vector Prediction”的美国专利申请案中，揭示了一种根据来自空间相邻模块的运动向量推导用于当前区块的运动向量预测候选项的方法。在美国专利申请案13/047,600中，由对应于列表0参考图像和列表1参考图像的空间相邻区块的运动向量预测用于当前区块的运动向量。此外，将运动向量看作用于当前区块的预测项的候选项，且以优先顺序设置这些候选项。而由相同发明人在2011年3月3日递交的序列号为13/039,555，标题为“Method and Apparatus of Temporal Motion Vector Prediction”的美国专利申请案中，揭示了一种根据对应于时间共位区块的运动向量来推导运动向量预测项的系统和方法。在美国专利申请案13/039,555中，由过去和/或将来参考图像中的时间区块的运动向量来有效地预测当前区块的运动向量。此外，将时间运动向量看作用于当前区块的预测项的候选项，且以优先顺序设置这些候选项。在当前揭露书中，将扩展空间和时间运动向量预测项集以包括对应于列表0参考图像和列表1参考图像的空间相邻区块、时间共位区块以及对应于列表0参考图像和列表1参考图像的相邻区块。

在HEVC的发展中，由McCann等人在“Samsung’s Response to the Call forProposals on Video Compression Technology”(Document JCTVC-A124,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG1,1st Meeting:Dresden,Germany,15-23April,2010)中提出一种名为先进运动向量预测(Advanced Motion Vector Prediction，AMVP)的技术。AMVP技术使用直接预测项信令以指示在MVP候选项集中选择的MVP候选项。MVP候选项包括空间MVP候选项和时间MVP候选项，其中，该空间MVP候选项包括三个候选项a’,b’和c’。如图1所示，候选项a’为来自区块组{a₀,a₁,…,a_na}的第一可用运动向量，区块组{a₀,a₁,…,a_na}位于当前区块的上方，其中na为此组中的区块数量。如图1所示，候选项b’为来自区块组{b₀,b₁,…,b_nb}的第一可用运动向量，区块组{b₀,b₁,…,b_nb}位于当前区块的左方，其中nb为此组中的区块数量。如图1所示，候选项c’为来自区块组{c，d，e}的第一可用运动向量，区块组{c，d，e}位于当前PU的相邻角落。McCann等人提出的MVP候选项集定义为{median(a’,b’,c’),a’,b’,c’,时间MVP候选项}。McCann等人提出的AMVP技术仅在运动向量对应于相同的参考列表且将相同的参考图像索引看作当前模块时，才将运动向量作为可用的空间MVP候选项。对于空间MVP候选项，如果在相邻区块中不能取得相同参考列表和相同参考图像索引，则AMVP技术需要从组中的相邻区块中寻找可用的运动向量。如图1所示，根据McCann等人提出的理论，时间MVP候选项为共位MV>

相应地，本发明揭示了一种扩展的MVP集，其中，如图2所述，MVP集包括空间MVP候选项和时间MVP候选项。通常，关于MVP或MVP候选项的信息包括在序列头部、图像头部或片头部中，或是从解码视频数据中推导的。图2为包括空间MVP候选项和时间MVP候选项的MVP集的实例示意图，其中，空间MVP候选项对应于图1的空间相邻区块，且时间MVP候选项对应于共位PU210的区块{T_0,0,…,T_m,n}，及PU210的相邻区块{F₀,…,F_m},{G₀,…,G_n}，以及H。为简洁，n和m在图2中分别用于表示na和nb。如图2所示，例如当区块的一列和一行从PU210扩展至右方和下方时，则也可使用PU210的右方区域和下方区域中的更多个区块。在传统方法中，仅将PU210的左上角的共位区块看做时间MVP候选项。在图2的实例中，时间MVP候选项是从至少一个共位区块和这些共位区块的相邻区块中推导的。而共位区块及其相邻区块的运动向量从先前编码的帧或图像中获取。可根据缩放因子从多个参考图像的其中一个和两个列表的其中一个中推导每个空间或时间候选项的运动向量。可将对运动向量预测项的选择直接发信至解码器，或者间接的从解码图像/帧中推导运动向量预测项。序列号为13/039,555和序列号为13/047,600的美国专利申请中揭示了一种使用缩放因子从多个参考图像的其中一个和两个列表的其中一个中推导每个空间或时间候选项的运动向量的方法。

尽管图2所示的时间候选项为相应于对应共位PU的区块及其周围区块，也可将共位PU周围的更多区块包括在内。图3为进一步将时间候选项扩展为包括共位PU的左方和上方的相邻区块以推导运动向量预测项的示意图。其中，该扩展的时间区块包括PU210的左方和上方的{T-1,-1,…,T-1,n},{T0,-1,…,Tm,-1},G-1和F-1。如图3所示，例如当区块的一列和一行从PU210扩展至左方和下方时，则也可使用PU210的上方区域和/或左方区域中的更多个区块。同样地，可使用缩放因子从多个参考图像的其中一个和两个列表的其中一个中推导每个时间候选项的运动向量。

图2和图3为扩展的MVP集的实例示意图。可从MVP集中选择元素或元素的组合以形成MVP候选项集。扩展的MVP集包括多个时间区块及/或空间相邻区块。因此，扩展的MVP集可形成更好的MVP候选项集从而产生更小的运动向量残差以实现更高效压缩。在下述段落中，根据本发明说明了MVP候选信息的各种实例。图4为MVP候选集{median(a’,b’,c’),a’,b’,c’,时间MVP候选项(T_m,n)}的一个实例的示意图。如图4所示，候选项a’为来自区块组{a₀,a₁,…,a_n}的第一可用运动向量，区块组{a₀,a₁,…,a_n}位于当前区块的上方，其中n为此组中的区块数量。如图4所示，候选项b’为来自区块组{b₀,b₁,…,b_m}的第一可用运动向量，区块组{b₀,b₁,…,b_m}位于当前区块的左方，其中m为此组中的区块数量。如图4所示，候选项c’为来自区块组{c，d，e}的第一可用运动向量，区块组{c，d，e}位于当前PU的相邻角落。仅将一个时间MV，PU>m,n用作时间MVP候选项。如前所述，可使用缩放因子从多个参考图像的其中一个和两个列表的其中一个中推导每个空间或时间候选项的运动向量。也可将所选择的运动向量预测项直接发信至解码器，或者间接的从解码图像/帧中推导运动向量预测项。在图4的实例中，PU210的右下角的MV，T_m,n用作时间MVP候选项。如图5所示，PU210内部的任何MV，T_m,n(其中，i≠0且j≠0)可用作时间MVP候选项。例如，MV,T_i,j，其中，i＝(m-1)/2且j＝(n-1)/2，即从相应于当前PU中点(central>

在另一个实例中，如图6所示，可将组{T_0,0,…,T_m,n}中的第一可用MVP候选项T’用作时间MVP候选项。组{T_0,0,…,T_m,n}可以锯齿(zig-zag)顺序排列。也可使用例如逐行或逐列(column-by-column)的其他顺序。

在使用单一共位区块作为时间MVP候选项之外，也可使用多个区块作为MVP候选项。例如，扩展的运动向量预测项集包括如图7所示的时间MVP候选项(T_0,0,F₀,和G₀)。在如图8所示的另一实例中，扩展的运动向量预测项集包括时间MVP候选项(T’,F’,和G’)，该时间MVP候选项(T’,F’,和G’)分别对应于组{T_0,0,…,T_m,n},{F₀,…,F_m},{G₀,…,G_n}的第一可用MV。同样地，可将组{T_0,0,…,T_m,n}从T_0,0至T_m,n以锯齿顺序、逐行顺序或逐列顺序进行排列。而在如图9所示的又一实例中，扩展的运动向量预测项集包括时间MVP候选项(T’,F’,G’和H)，其中，(T’,F’,和G’)分别对应于组{T_0,0,…,T_m,n},{F₀,…,F_m},{G₀,…,G_n}的第一可用MV。

时间MVP候选项可包括PU210内部的区块，也可包括PU210外部的区块。例如，扩展的运动向量预测项集可包括如图10所示的时间MVP候选项(T_0,0,T_m,n,F₀,G₀,和H)，或者如图11所示的时间MVP候选项(T_0,0,T_m,n,F₀,G₀和H)。上述的所有实例都使用了(median(a’,b’,c’),a’,b’,c’)作为空间MVP候选项。然而，也可使用其他相邻区块或相邻区块的组合。例如，如图12所示，图11的空间MVP候选项可由(median(a’,b’,c’),a’,b’,c,d和e)代替。在时间MVP候选项信息的另一实例中，如图13所示，扩展的运动向量预测项集包括时间MVP候选项(T_m,n,F₀,G₀和H)。当需要时，可包括更多的区块作为时间MVP候选项。例如，如图14中所示，扩展的运动向量预测项集包括时间MVP候选项(T_0,0,T_0,n,T_m,0,T_m,n,F₀,G₀和H)。

以上说明了选择运动向量预测项候选项以形成MVP候选项集的各种实例。可使用这些实例来说明从扩展的运动向量预测项集中选择空间/时间MVP候选项。尽管说明了多个扩展实例，但这些实例并不是运动向量预测项候选项的所有可能组合的完全说明。所属领域的技术人员可选择运动向量预测项候选项的不同区块来实现本发明。此外，当使用间接/直接MV预测项信令时，可根据预定义的优先级顺序确定候选项之间的运动向量预测顺序。然而，也可根据适应性机制来执行候选项的优先级顺序。适应性优先级排序(ordering)的机制可基于先前区块的重建运动向量的统计、当前区块的划分类型(partition type)、多个运动向量的相关性(correlation)、运动向量的方向以及运动向量的距离。此外，适应性机制也可基于上述因素的两者或更多者的组合。

请注意，本发明不仅可运用于内部(INTER)模式，也可运用于SKIP、DIRECT及合并模式(MERGE mode)。在INTER模式中，在给定当前列表的前提下，使用运动向量预测项以预测PU的运动向量，并传输运动向量残差。当不使用运动向量竞争(competition)机制时，本发明可用于推导运动向量预测项，或者当使用运动向量竞争机制时，本发明也可用于推导运动向量预测项候选项。对于SKIP、DIRECT及MERGE模式，可将这三种模式看作INTER模式的特殊情况，此时，不传输运动向量残差，并且运动向量残差总推断为零。在这些情况下，当不使用运动向量竞争机制时，本发明可用于推导运动向量，或者当使用运动向量竞争机制时，本发明可用于推导运动向量候选项。

上述的根据本发明的运动向量预测的实施例可在不同硬件、软件、软件或二者的组合中实施。例如，本发明的一个实施例可为集成在视频压缩芯片中的电路或集成在视频压缩软件中的程序代码以执行实施例中所述的处理。本发明的一个实施例也可为数字信号处理机(Digital Signal Processor，DSP)上执行的程序代码以执行实施例中所述的处理。本发明也关于由计算机处理器、DSP、微处理器或场可编码门阵列(field programmablegate array，FPGA)执行的多个功能。根据本发明，通过执行定义本发明所包括的特定方法的机器可读软件代码或固件代码，可配置这些处理器执行特定任务。可在不同程序语言和不同格式或风格中开发软件代码或固件代码。也可对不同目标平台编译软件代码。然而，根据本发明不同编码格式、风格和软件代码语言以及为执行任务的配置代码的其他方式都不得脱离本发明的精神与范围。

在不脱离本发明的精神或基本特征本发明的前提下，本发明可以实现为其他形式。所述的实例仅用于说明性质的从各方面考量而并非用于限制本发明。因此，本发明的范围由后续的权利要求表示，而并非由前面的描述限定。在与权利要求项等同的意义和范围内的任何改变都包含在本发明的范围内。