首页> 中国专利> 基于模式分析的运动矢量补偿装置和方法

基于模式分析的运动矢量补偿装置和方法

摘要

披露了一种通过确定在用于运动预测的目标块中是否存在模式图像补偿预测运动矢量的装置和方法。运动预测部分将当前帧/场的当前块与在先前帧/场建立的一搜索区域相比较,计算多个运动矢量预测误差值,并基于多个运动预测误差值预测当前块的暂时运动矢量。模式确定部分分析所计算的运动预测误差值,并确定该当前块是否是模式图像。如果该当前块被确定是模式图像,则运动补偿部分使用多个运动预测误差值生成该当前块的补偿运动矢量。运动矢量选择部分基于模式确定部分的结果选择最终运动矢量。

著录项

  • 公开/公告号CN1581982A

    专利类型发明专利

  • 公开/公告日2005-02-16

    原文格式PDF

  • 申请/专利权人 三星电子株式会社;

    申请/专利号CN200410062139.5

  • 发明设计人 李圣熙;权五宰;

    申请日2004-07-02

  • 分类号H04N7/32;

  • 代理机构11105 北京市柳沈律师事务所;

  • 代理人吕晓章;马莹

  • 地址 韩国京畿道

  • 入库时间 2023-12-17 15:55:48

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2016-08-17

    未缴年费专利权终止 IPC(主分类):H04N7/32 授权公告日:20080227 终止日期:20150702 申请日:20040702

    专利权的终止

  • 2008-02-27

    授权

    授权

  • 2005-04-20

    实质审查的生效

    实质审查的生效

  • 2005-02-16

    公开

    公开

说明书

技术领域

本发明涉及一种基于模式分析的运动矢量补偿装置和方法,并且更为具体地,涉及一种通过确定进行运动预测的块(block)是否是一个模式图(pattern image)而对预测的运动矢量进行补偿的装置和方法。

背景技术

在诸如帧速率上转换(FRC)和隔行-逐行转换(IPC)的图像处理中,必然要进行图像帧之间的运动预测。所述运动预测被用于预测运动矢量和补偿所述运动,并且,一般来说,块匹配算法(BMA)被用于所述预测。

所述BMA将与一个块大体匹配的两个连续帧/场进行比较,并且预测每个块的一个运动矢量。在此,通过利用已知的运动预测误差值,例如,绝对差分值的和,来预测所述运动矢量。此外,运动补偿处理使用所预测的运动矢量对运动进行补偿。

然而,基于块预测的常规运动预测有时会生成不准确的运动矢量。特别是,仅就周期模式的图像、即如图1A所示周期重复的同一图像而言,使用所述BMA很难预测精确的运动矢量。所述周期模式是一种以某一间隔重复某一图像的模式,例如阶梯,斑马,格子,等等。

因此,如图1B所示,当在使用BMA预测的运动矢量的基础上将运动补偿应用于周期模式的图像时,在帧/场的图像压缩过程中将出现块伪像(artifact)出现。所述块伪像指的是一个在相邻块之间的边界中断,并且导致伴随低图像质量的可视和另人讨厌的图像。这种块伪像是在没有考虑相邻块补偿的情况下使用预测的运动矢量实施基于块的运动补偿而引起的。

发明概述

为解决与常规装置相关的上述缺陷以及其它问题而研发了本发明。本发明的一个方面是提供一种基于模式分析的运动矢量补偿装置和方法,能够在考虑到多个块当中关联性的情况下,通过确定在多个块中是否存在某个模式图像,对运动矢量进行补偿,借此减少由于在某个块上不准确预测的运动矢量所导致的块伪像。

通过提供一种基于模式分析的运动矢量补偿装置,上述以及其它目的和优点被充分地实现。所述补偿装置包括:一个运动预测部分,用于将当前帧/场的当前块与在先前帧/场中所建立的某一搜索区域进行比较,计算多个运动预测误差值,并基于所述多个运动预测误差值预测当前块的一个暂时的运动矢量;一个模式确定部分,用于分析所计算的运动预测误差值,并确定当前块是否是一个模式图像;一个运动补偿部分,用于如果当前块被确定为是所述模式图像,则使用所述多个运动预测误差值生成当前块的一个补偿运动矢量;以及一个运动矢量选择部分,用于在所述模式确定部分结果的基础上从由运动预测部分预测的暂时运动矢量或由与动补偿部分预测的补偿运动矢量中选择一个最终的运动矢量。

详细地说,所述运动预测部分包括:一个运动预测误差计算单元,用于将一个块匹配方法应用当前块和以某一规模被分成多个块的当前帧/场的搜索区域,并计算多个运动预测误差值;以及一个运动矢量预测单元,用于在所生成的多个运动预测误差值的一个最小运动预测误差值的一个点的基础上,预测当前块的暂时运动矢量。

在一个实施例中,所述模式确定部分包括一个积分投影(integralprojection)单元,用于将积分投影应用于所述多个运动预测误差值,并生成多个投影值;一个投影值确认单元,用于确认在与小于多个投影值的第一和第二投影值的预定第一和第二投影值对应的两点之间至少一个最小局部投影值的数量;一个周期计算单元,用于计算包括至少一个连续出现在所述多个投影值中的最小局部投影值的重复周期的数量,并将搜索区域的长度除以重复周期的数量以计算一个周期;以及一个模式确定单元,用于分析所确认的最小局部投影值的数量和所计算的重复周期的数量,并确定当前块是否是所述模式图像。

另外,所述积分投影单元包括一个垂直投影器,用于在垂直方向上将所述积分投影应用于多个运动预测误差值,并生成多个垂直投影值;还包括一个水平投影器,用于在水平方向上,将所述积分投影应用于多个运动预测误差值,并生成多个水平投影值。

另外,所述投影值确认单元包括一个垂直投影值确认部分,用于确认在与小于所生成的多个垂直投影值的第一和第二垂直投影值的预定第一和第二垂直投影值对应的两点之间的最小垂直局部投影值的数量;以及一个水平投影值确认部分,用于确认在与小于所生成的多个水平投影值的第一和第二水平投影值的预定第一和第二水平投影值对应的两点之间的最小局部水平投影值的数量。

此外,所述周期计算单元包括:一个垂直周期计算器;用于计算包括连续出现在多个垂直投影值中的至少一个或者多个最小局部垂直投影值的重复垂直周期的数量;以及一个水平周期计算器,用于计算包括连续出现在多个水平投影值中的至少一个或者多个最小局部水平投影值的重复水平周期的数量。

在一个实施例中,所述垂直和水平周期计算器基于以下的等式计算重复的垂直和水平周期的数量:

>>>γ>v>>=>>>L>>v>,>a>>>>2>>L>>v>,>p>>>>>,>>γ>h>>=>>>L>>h>,>a>>>>>2>L>>>h>,>p>>>>,>>>

其中,γV表示重复垂直周期的数量,LV,a表示通过将多个垂直投影值的两相邻垂直投影值之间的所有绝对差相加所得到的垂直投影长度,LV,p表示多个垂直投影值的最大和最小垂直投影值之间的绝对差,γh表示重复水平周期的数量,Lh,a表示通过将多个水平投影值的两相邻水平投影值之间的所有绝对差相加所得到的水平投影长度;以及Lh,p表示多个水平投影值中的最大和最小水平投影值之间的绝对差。

另外,所述垂直周期计算器将搜索区域的水平长度除以重复垂直周期的数量并计算所述模式图像的垂直周期,以及所述水平周期计算器将搜索区域的垂直长度除以重复水平周期的数量并计算所述模式图像的水平周期。

详细地说,如果最小局部投影值的数量至少是2并且重复周期的数量大于预定的第一阈值,则所述模式确定部分确定当前块是一个模式图像。

在另一个范例性实施例中,基于模式分析的运动矢量补偿装置还包括一个模式分类部分,用于在当前块是模式图像的情况下,依据位于搜索区域中心最近处的最小局部误差值的一点,将模式图像分类为具有当前块的零个运动的静态模式图像或者由于当前块的运动而生成的动态模式图像。

另外,所述模式分类部分将位于搜索区域中心最近处的最小局部误差值与周期计算部分计算的周期相比较,并将模式图像分类,所述最小局部误差值是与在小于多个运动预测误差值中的第一和第二误差值的预定第一和第二误差值对应的两点之间的至少一个最小局部误差值中的一个。

另外,如果所述模式图像满足以下条件,则所述模式分类部分确定所述模式图像为静态模式图像:

                             |u|=α·p

其中,u表示位于最近处的第一最小局部误差值的点,α表示某一恒量,以及p表示由周期计算部分计算的周期。

详细地说,所述运动补偿部分包括:一个静态运动补偿单元,用于在所述模式图像被分类为静态模式图像的情况下,基于与第一最小局部误差值相应的点,预测和生成补偿运动矢量;一个平均矢量计算单元,用于在所述模式图像被分类为动态模式图像的情况下,计算与当前块相邻的块的运动矢量的平均矢量;以及一个动态运动补偿单元,用于在位于最靠近所计算的平均矢量的至少一个或多个最小局部误差值的第二最小局部误差值的一个点的基础上预测和生成补偿运动矢量。

另外,如果所述模式确定部分确定当前块是模式图像,则所述运动矢量选择部分选择运动补偿部分预测的补偿运动矢量作为最终运动矢量。

另外,如果所述模式分类部分将模式图像分类为静态模式图像,则所述运动矢量选择部分选择由静态运动补偿单元预测的补偿运动矢量,同时,如果所述模式分类部分将模式图像分类为动态模式图像,则所述运动矢量选择部分选择由动态运动补偿单元预测的补偿运动矢量。

在一个范例性实施例中,使用绝对差的和(SAD),平均绝对差(MAD),或者平均平方误差(MSE)计算第一和第二运动预测误差值。

同时,通过提供一种基于模式分析的运动矢量补偿方法,上述以及其它目的和优势被充分地实现,所述补偿方法包括:运动预测步骤,用于将当前帧/场的当前块与先前帧/场中所建立的一搜索区域进行比较,计算多个运动预测误差值,并基于所述多个运动预测误差值预测当前块的一个暂时的运动矢量;模式确定步骤,用于分析计算的运动预测误差值,并确定当前块是否是一个模式图像;如果当前块确定为所述模式图像,则一个运动补偿步骤通过利用所述多个运动预测误差值,生成当前块的一个补偿运动矢量;以及运动矢量选择步骤,用于选择由运动预测步骤预测的暂时运动矢量或者由基于模式确定步骤一个结果的运动补偿步骤所补偿的补偿运动矢量作为最终运动矢量。

详细地说,所述运动预测步骤包括:运动预测误差计算步骤,用于将一个块匹配方法应用于当前块和以某一规模将当前帧/场分成多个块的搜索区域,并计算多个运动预测误差值;以及运动矢量预测步骤,基于生成的多个运动预测误差值中一个最小运动预测误差值的一点,预测当前块的暂时运动矢量。

另外,所述模式确定步骤包括:积分投影(integral projection)步骤,用于将积分投影施加于所述多个运动预测误差值,并生成多个投影值;投影值确认步骤,用于确认在与预定第一和第二投影值对应的两个点之间小于多个投影值的第一和第二投影值的至少一个最小局部投影值的数量;周期计算步骤用于计算重复周期的数量,所述重复周期包括连续出现在多个投影值中的至少一个最小局部投影值,并将搜索区域的长度除以重复周期的数量以计算一个周期;以及模式确认步骤,用于分析所确认的最小局部投影值的数量和所计算的重复周期的数量,并确定当前块是否是所述模式图像。

另外,所述积分投影步骤包括一个垂直投影步骤,用于在垂直方向上将所述积分投影应用于多个运动预测误差值,并生成多个垂直投影值;以及一个水平投影步骤,用于在水平方向上将所述积分投影应用于多个运动预测误差值,并生成多个水平投影值。

另外,所述投影值确认步骤包括一个垂直投影值确认步骤,用于确认在与预定第一和第二投影值对应的两个点之间小于所生成的多个垂直投影值的第一和第二投影值的最小垂直局部投影值的数量;以及一个水平投影值确认步骤,用于确认在与预定第一和第二水平投影值对应的两点之间小于所生成的多个水平投影值的第一和第二水平投影值的最小水平局部投影值的数量。

另外,所述周期计算方法包括:垂直周期计算步骤,用于计算重复垂直周期的数量,所述重复垂直周期包括连续出现在多个垂直投影值中的至少一个或者多个最小局部垂直投影值;以及水平周期计算步骤,用于计算重复水平周期的数量,所述重复水平周期包括连续出现在多个水平投影值中的至少一个或者多个最小局部水平投影值。

在一个范例性实施例中,所述垂直和水平周期计算步骤基于以下等式计算重复的垂直和水平周期的数量:

>>>γ>v>>=>>>L>>v>,>a>>>>>2>L>>>v>,>p>>>>,>>γ>h>>=>>>L>>h>,>a>>>>>2>L>>>h>,>p>>>>,>>>

其中,γV表示重复垂直周期的数量,LV,a表示通过将多个垂直投影值中两相邻垂直投影值之间的所有绝对差相加所得到的一个垂直投影长度,LV,p表示多个垂直投影值中的最大和最小垂直投影值之间的绝对差,γh表示重复水平周期的数量,Lh,a表示通过将多个水平投影值中两相邻水平投影值之间的所有绝对差相加所得到的一个水平投影长度;以及Lh,p表示多个水平投影值中的最大和最小水平投影值之间的绝对差。

另外,所述垂直周期计算步骤将搜索区域的水平长度除以重复垂直周期的数量,并计算所述模式图像的垂直周期,以及所述水平周期计算步骤将搜索区域的垂直长度除以重复水平周期的数量,并计算所述模式图像的一个水平周期。

如果最小局部投影值的数量至少是2并且重复周期的数量大于一个预定的第一阈值,则所述模式确定步骤确定当前块是一个模式图像。

详细地说,基于模式分析的运动矢量补偿方法还包括一个模式分类步骤,用于在当前块是模式图像的情况下,以位于搜索区域中心最近处的最小局部误差值的一点伪基础,将模式图像分类为具有零运动当前块的静态模式图像或者由于当前块的运动而生成的动态模式图像。

另外,所述模式分类步骤将位于搜索区域中心最近处的第一最小局部误差值与周期计算步骤计算的周期相比较,并将模式图像分类,所述第一最小局部误差值是在与预定第一和第二误差值对应的两点之间小于多个运动预测误差值的第一和第二误差值的至少一个最小局部误差值的一个。

如果所述模式图像满足以下条件,则所述模式分类步骤确定所述模式图像为静态模式图像:

                       |u|=α·p

其中,u表示位于最近处的第一最小局部误差值的点,α表示某一恒量,以及p表示由周期计算部分计算出的周期。

详细地说,所述运动补偿步骤包括:一个静态运动补偿步骤,用于在所述模式图像被分类为静态模式图像的情况下,在与第一最小局部误差值对应的一个点的基础上预测和生成补偿运动矢量;一个平均矢量计算步骤,用于在所述模式图像被分类为动态模式图像的情况下,计算当前块的相邻块运动矢量的平均矢量;以及一个动态运动补偿步骤,用于在最接近所计算平均矢量的至少一个最小局部误差值的第二最小局部误差值的基础上预测和生成补偿运动矢量。

另外,如果所述模式确定步骤确定当前块是模式图像,则所述运动矢量选择步骤选择由运动补偿步骤预测的补偿运动矢量作为最终运动矢量。

如果所述模式分类步骤将模式图像分类为静态模式图像,则所述运动矢量选择步骤选择由静态运动补偿单元预测的补偿运动矢量,同时,如果所述模式分类步骤将模式图像分类为动态模式图像,则所述运动矢量选择步骤选择由动态运动补偿步骤预测的补偿运动矢量。

附图说明

通过参照附图描述本发明的一些实施例,本发明的上述方面和特点将更为明显,其中:

图1A示出了常规周期模式图像的视图。

图1B示出了利用常规运动预测方法具有块伪像的周期模式的模拟图像。

图2的框图简要示出了根据本发明优选实施例的基于模式的运动矢量补偿装置。

图3的框图详细示出了图2所示的模式确定部分。

图4以三维形式示出了由图2所示的运动预测误差计算单元所计算的部分SAD图。

图5示出了从图4所示SAD图中得到的多个垂直投影值。

图6A和图6B是分别显示一个由静态模式图像得到的二维SAD图和一个由动态模式图像得到的二维SAD图的视图。

图7示出了利用图2所示模式确定部分减少了块伪像的图像模拟视图。

图8是一个简要地解释图2中基于模式的运动矢量补偿过程的流程图。

具体实施方式

在下文中,将参照附图详细描述本发明。

图2的框图简要示出了根据本发明范例性实施例的一个基于模式分析的运动矢量补偿装置,以及图3的框图详细示出了图2所示模式确定部分的结构。

参照图2,基于模式分析的运动矢量补偿装置200具有运动预测部分210、模式确定部分、模式分类部分230、运动补偿部分240以及运动矢量选择部分250。

运动预测部分210包括运动预测误差计算单元212和运动矢量预测单元214。

运动预测误差计算单元212将当前输入帧/场fn(在下文中,称为‘当前帧’)分为每一个具有某一规模的多个块,并预测每个块的运动矢量γ。详细地说,运动预测误差计算单元212将是划分后多个块当中一个块的与预测的运动矢量相关的当前块与在先前帧/场fn-1(在下文中,称为‘先前帧’)中建立的搜索区域相比较,以计算多个运动预测误差值。

这里,所述多个运动预测误差值能够通过双向BMA,单向BMA,或者所有已知的能预测运动矢量的方法预测。另外,所述运动预测误差值能够通过诸如绝对差和(SAD),平均绝对差(MAD),平均平方误差(MSE)等等多种方法计算,但是本发明应用所述SAD值,所以该数值被称为“SAD值”。

运动矢量预测单元214根据所计算的多个运动预测误差值的最小误差值预测当前块的暂时运动矢量(暂时MV)。

在这个方法中,运动预测部分210预测划分后多个块的SAD值和暂时运动矢量。

根据SAD图所计算的SAD值以及SAD图的规模和搜索区域K×K的规模相同。图4以三维形式示出了部分所计算的SAD图。参照图4,x表示搜索区域的水平方向轴,以及y表示搜索区域的垂直方向轴。例如,该图示出在(x,y)=(0,5)处的SAD值为1500。这里,形成所述SAD图的多个SAD值是利用上述BMA所得到的。

被施加运动补偿的多个块中当前块的SAD图被传送给运动矢量预测单元214、模式确定部分220、模式分类部分230和以下将描述的运动补偿部分240。此外,当前块的暂时运动矢量被传送给下面将要描述的运动矢量选择部分250。

模式确定部分220分析所计算的SAD图,即形成一个搜索区域的多个SAD值,并确定在当前块中是否存在模式图像。所述模式图像是一个以特定间隔周期性重复的图像,称之为‘周期模式图像’。参照图3,模式确定部分220包括积分投影单元222、投影值确认单元224、周期计算单元226和模式确定单元228。另外,模式确定部分220通过分别考虑SAD图的垂直和水平方向特性确定一个周期模式图像。下面将详细描述为确定水平方向的周期模式而对每个块的处理,且由于垂直方向的周期模式的确定与水平方向的周期模式的确定几乎相同,所以,为解释方便起见,只简要描述垂直方向周期模式的确定。

积分投影单元222将所述积分投影应用于当前块的SAD图以生成多个积分矢量(在下文中称为‘投影值’)。因此,能够最小化由于噪音而引起的图像质量下降。

在本发明中,投影单元222应用水平和垂直投影,因此,集成投影单元222具有垂直投影器222a和水平投影器222b。

垂直投影器222a在垂直方向上将垂直积分投影应用于当前块的SAD图,以生成多个垂直投影值。即,所述垂直投影器222a施加垂直积分投影以在垂直方向上确定一个周期模式,例如使用该周期模式,一个K×K矩阵的所述SAD图被转换成一个K×1矩阵的垂直投影值。

图5示出了在图4所示SAD图的基础上生成的多个垂直投影值。

由垂直积分投影所生成的第X点垂直投影值可由下述等式1表示:

      等式1:

>>>S>v>>>(>x>)>>->>Σ>>y>=>0>>>K>->1>>>E>>(>x>,>y>)>>>>

参照图5和等式1,x表示一个搜索区域的一个垂直方向轴,SV(X)表示在第X点的垂直投影值,E(x,y)表示对应于运动矢量(x,y)的一个SAD值,以及K表示位于搜索区域y轴上的SAD值的总数。

水平投影器222b在水平方向上将积分投影应用于当前块的SAD图,以生成多个水平投影值。即,所述水平投影器222b应用水平积分投影来确定垂直方向的周期模式,通过上述水平积分投影,一个(K×K)矩阵的SAD图转换成一个(K×1)矩阵的水平投影值。所述水平积分投影生成的y点(yth)水平投影值能够用以下等式2表示:等式2:

>>>S>h>>>(>y>)>>->>Σ>>x>=>0>>>K>->1>>>E>>(>x>,>y>)>>>>

参照等式2,y表示一个搜索区域的垂直方向轴,Sh(y)表示在y点的水平投影值,E(x,y)表示一个对应于运动矢量(x,y)的SAD值,以及K表示在搜索区域x轴上的SAD值的总数。

所生成的多个垂直和水平投影值被传送给投影值确认单元224。

投影值确认单元224确认由积分投影单元222生成的多个投影值中最小局部投影值n的数量。这里,最小局部投影值位于多个投影值的第一和第二投影值之间,但小于第一和第二投影值。所确认的最小局部投影值在模式确定部分228确定是否存在一个模式图像的时候使用,其中所述模式确定部分228将在之后描述。

在本发明中,投影值确认单元224具有垂直投影值确认部分224a和水平投影值确认部分224b。

所述垂直投影值确认部分224a确认生成的多个确认投影值中最小局部垂直投影值nV的数量。最小局部垂直投影值处于多个垂直投影值的第一和第二垂直投影值之间,但是小于第一和第二垂直投影值。参照图5,当某一垂直投影值SV(X)小于相邻的两个垂直投影值SV(X-1)和SV(X+1)时,SV(X)对应于最小局部垂直投影值。

水平投影值确认部分224b确认生成的多个水平投影值的最小局部水平投影值nh的数量。这里,最小局部水平投影值位于多个水平投影值的第一和第二水平投影值之间,但是小于第一和第二水平投影值。

此外,垂直和水平投影确认部分224a和224b将各经过确认的最小局部值的位置信息传送给模式分类部分230、静态运动补偿单元242以及以下将描述的动态运动补偿单元246。

周期计算单元226计算包括在由集成投影单元222生成的多个投影值中连续出现的多个最小局部投影值中的至少一个最小局部投影值的重复周期γ的数量。另外,周期计算单元226将搜索区域的长度或规模除以重复周期的数量,并计算周期T。

在本发明中,周期计算单元226具有垂直周期计算器226a和水平周期计算器226b。

垂直周期计算器226a利用等式3计算重复垂直周期的数量。在这里,所述垂直周期指的是一些包括连续出现在由垂直投影器222a所生成的多个垂直投影值中的至少一个最小局部垂直投影值的周期。

等式3:

>>>γ>v>>=>>>L>>v>,>a>>>>>2>L>>>v>,>p>>>>=>>>>Σ>>x>=>0>>K>>|>>S>v>>>(>x>->1>)>>->>S>v>>>(>x>)>>|>>>2>>(>>S>>v>,>max>>>->>S>>v>,>min>>>)>>>>,>>>

其中,γV表示重复垂直周期的数量,LV,a表示通过将多个垂直投影值的两相邻垂直投影值之间的所有绝对差相加所得到的垂直投影长度,以及LV,p表示多个垂直投影值中最大和最小垂直投影值(SV,max,SV,min)之间的绝对差。在等式3中,多个垂直投影值的最大和最小垂直投影值(SV,max,SV,min)之间的绝对差指的是对应于半个周期的垂直投影值之间的差,所以,能够使用等式3来计算重复垂直周期的数量。因此,2LV,p指的是对应于一个周期的差。

另外,所述垂直周期计算器226a基于以下的等式4计算一个垂直周期:

等式4:

>>>T>v>>=>>K>>γ>v>>>,>>>

其中,Tv表示垂直周期,K表示搜索区域的水平方向长度,以及γV表示重复垂直周期的数量。参照等式4,所述垂直周期计算器226a将搜索区域的水平方向长度除以重复垂直周期数量,然后计算垂直周期。

另一方面,水平周期计算器226b基于等式5计算重复水平周期的数量。这里,所述水平周期指的是一些包括连续出现在由水平投影器222b所生成的多个水平投影值中至少一个最小局部水平投影值的周期。

等式5:

>>>γ>h>>=>>>L>>h>,>a>>>>>2>L>>>h>,>p>>>>->>>>Σ>>y>=>0>>K>>|>>S>h>>>(>y>->1>)>>->>S>h>>>(>y>)>>|>>>2>>(>>S>>h>,>max>>>->>S>>h>,>min>>>)>>>>,>>>

其中,γh表示重复水平周期的数量,Lh,a表示通过将多个水平投影值的两相邻水平投影值之间的所有绝对差相加所得到的水平投影长度,以及Lh,p表示多个水平投影值中最大和最小水平投影值(Sh,max,Sh,min)之间的绝对差。参照等式5,水平投影值的最大和最小水平投影值之间的差指的是对应于半个周期的水平投影值之间的差,所以,能够使用等式5计算重复水平周期的数量。因此,2Lh,p指的是对应于一个周期的差。

另外,水平周期计算器226b利用以下的等式6计算水平周期:

等式6:

>>>T>h>>=>>K>>γ>h>>>,>>>

其中,Th表示一个水平周期,K表示一个搜索区域的垂直方向长度,以及γh表示重复水平周期的数量。参照等式6,所述水平周期计算器226b将一个搜索区域的垂直方向长度除以重复水平周期的数量,然后计算水平周期。

模式确定单元228分析由投影值确认单元224确认的最小局部投影值n的数量和由周期计算单元226计算的重复周期γ的数量,并确定在当前块中是否存在模式图像。详细地说,如果存在至少两个最小局部投影值并且重复周期的数量大于预定的第一阈值,则所述模式确定单元228将当前块确定为周期模式图像。

例如,当在垂直方向确定一个周期模式时,如果存在至少两个由垂直投影值确认部分224a所确认的最小局部垂直投影值,并且垂直周期计算器226a所计算的垂直周期大于第一阈值1.75,则所述模式确定单元228确定当前块为一个垂直方向的周期模式图像。另外,至于对水平方向的周期模式的确定,所建立的第一阈值可以与1.75相同或不同。

另外,所述模式确定单元228将确定结果传送给模式分类部分230、运动补偿部分240以及之后将描述的运动矢量选择部分250。

如果模式确定单元228确定当前块是一个模式图像,则模式分类部分230在最接近搜索区域中心(即零矢量)、没有运动的最小局部误差值存在的位置的基础上,将所述模式图像分类成静态模式图像和动态模式图像中的任何一个。这里,所述静态模式图像是指基本不具有当前块运动(即,零矢量)的周期模式图像,以及所述动态模式图像是指具有当前块基本运动的周期模式图像。

详细地说,模式分类部分230将位于搜索区域中心最近距离处的至少一个最小局部误差值与由周期计算单元226所计算的周期模式图像的周期相比较,并将模式图像分类成一个垂直方向的模式图像或一个水平方向的模式图像。所述最小局部误差值是指位于预定的第一和第二误差值之间但小于第一和第二误差值的SAD图的一个数值。

例如,模式分类部分230使用下述等式7分类水平方向的周期模式图像:

等式7:

         periodic pattern image in horizontal direction=

                                   static pattern image,if|x′|<αTv,or,

                                   dynamic pattern image,otherwise

其中,x’表示最接近搜索区域中心处的所述最小局部误差值的位置,T表示一个垂直周期,以及α表示本发明中的某一常数1/8,但不局限于此。

图6A用于解释静态模式图像的SAD图,以及图6B用于解释动态模式图像的SAD图,图6A和6B都是图4所示SAD图的搜索区域中心区的二维图表。

首先,参照等式7和图6A,点P和R总的每一个表示最小局部误差值,点C表示搜索区域的中心,用于指出其中不存在当前块运动的位置,以及L表示从搜索区域C的中心左移α和右移Tv的范围,该范围被预先建立以用于模式图像分类。在这种情况下,如果点R、即最接近搜索区域中心C的最小局部误差值包括在范围L内,则模式分类部分230将模式确定部分220已确定的垂直方向的周期模式图像分类为静态模式图像。这里,所述最小全局误差值是指形成SAD图的多个运动预测误差值的最小运动预测误差值。

另一方面,参照等式7和图6B,如果点R、即最接近搜索区域中心C的最小局部误差值没有包括在所建立的范围L内,则模式分类部分230将模式确定部分220已确定的水平方向的周期模式图像分类为动态模式图像。

另外,模式分类部分230基于等式8分类垂直方向的周期模式图像:

等式8:

    pertodic pattern image in vertical direction=

                              static pattern image,if|y′|<αTh,or,

                              dynamic pattern image,otherwise

参照等式8,y’表示最接近搜索区域中心的最小局部误差值的点,Th表示水平周期,以及α表示一个特定系数,本发明中所述系数为1/8,但该系数并不局限于此。实现水平方向的模式图像的分类与实现垂直方向的模式图像的分类相同,因此,将省略对水平方向模式图像的分类的解释。

如果当前块被确定为是一个模式图像,则运动补偿部分240使用SAD图生成当前块的补偿运动矢量。具体地说,运动补偿部分240依据模式确定部分220所确定的垂直和水平方向的模式图像而生成被适当补偿的运动矢量。周期模式的最小局部误差值的点伴随着周期模式的运动而移动,因此,运动补偿部分240在考虑周期模式运动的同时实施补偿。即,运动补偿部分240根据模式分类部分230作出的分类结果适当地执行运动补偿。为此,运动补偿部分240具有静态运动补偿单元242、平均矢量计算单元244和动态运动补偿单元246。

静态运动补偿单元242生成被模式分类部分230确定为是静态模式图像的当前块的补偿运动矢量。详细地说,静态运动补偿单元242根据最小局部误差值的点、例如是最接近搜索区域中心的图6A中的点R生成补偿运动矢量。由此,避免了将与其它最小局部误差值、例如是图6A中的点P和Q对应的矢量确定为当前块的最终运动矢量。静态运动补偿单元242中的补偿处理根据形成周期模式的多个块确定相容的运动矢量。由此,预测的矢量被用在对图像的补偿中,所以,块间模式的误匹配、即在周期模式图像中发生的块伪像现象能够被大大地减少。

另外,如果模式分类部分230确定当前块的模式图像是动态模式图像,则平均矢量计算单元244在生成补偿运动矢量之前计算与当前块相邻的块的运动矢量的平均矢量。这里,各相邻块的运动矢量是由之后将要描述的运动矢量选择部分250提供的最终运动矢量。

下面将参照图6B详细描述在上述相邻块运动矢量的平均矢量的基础上动态运动补偿单元246近似地预测当前块的运动矢量。即,在位于最接近至少一个最小局部误差值的所计算的平均矢量的最小局部误差值的点R的基础上,动态运动补偿单元246生成一个补偿运动矢量。但是,由于在当前块的模式图像是动态模式图像情况下不能确定多个最小局部误差值中的任何一个都指出了基本运动,所以,相邻块的运动矢量当中的关联性被用于生成当前块的补偿的运动矢量(MV)。

运动矢量选择部分250选择由运动预测部分210预测的暂时运动矢量作为最终运动矢量(最终MV),并且基于模式确定单元228的确定结果,运动补偿部分240生成补偿运动矢量。详细地说,如果模式确定单元228确定当前块不是模式图像,运动矢量选择部分250选择运动预测部分210预测的暂时运动矢量作为最终的运动矢量。

相反,如果模式确定单元228确定当前块是模式图像,则运动矢量选择部分250选择由静态运动补偿242和动态运动补偿单元246中任何一个所生成的补偿运动矢量作为最终运动矢量。即,如果所述模式确定单元228确定当前块是模式图像,且模式分类部分230将模式图像分类为静态模式图像,则所述运动矢量选择部分250选择由所述静态运动补偿单元242生成的补偿运动矢量作为最终的运动矢量。另外,如果所述模式确定单元228确定当前块是模式图像并且所述模式分类部分230将模式图像分类为动态模式图像,则所述运动矢量选择部分250选择由所述动态运动补偿单元246生成的补偿运动矢量作为最终的运动矢量。

如上所述,通过确定当前块是否是一个模式图像并接着确定一个最终运动矢量,在图像输出终端(未示出)能够得到,如图7所示的,与图1A相比图像中的块伪像已经明显减少的图像。

图8的流程用于简要解释基于图2所示模式的运动矢量补偿处理。

参照图2至图8,首先,运动预测误差计算单元212将当前块与在先前帧建立的搜索区域相比较,并计算多个运动预测误差值(S805)。SAD、MAD和MSE值中的任何一个都能够被应用于所述多个运动预测误差值,和在本发明中应用SAD值。因此,在下文中,所计算的多个运动预测误差值被称之为SAD图。运动矢量预测单元214基于具有SAD图中最小SAD值的一点预测当前块的一个暂时运动矢量(S810)。

如果计算出了SAD图,则积分投影单元222将一个积分投影施加于SAD图,并生成多个投影值(S815)。投影值确认单元224确认在步骤S815中生成的多个投影值的最小局部投影值的数量(S820)。另外,周期计算单元226计算包括在多个投影值中连续出现的最小局部投影值的至少一个投影值的重复周期的数量,并将该搜索区域的长度除以重复周期数,以计算实际的周期(S825)。

如果执行了步骤S825,则模式确定单元228分析在步骤S820确认的最小局部投影值的数量和步骤S825中计算的重复周期的数量,并确定当前块是否是一个模式图像(S830)。如果步骤S830确定当前块不是模式图像,则运动矢量选择部分250选择步骤S810中预测的暂时运动矢量作为当前块的最终运动矢量(S835)。

相反,如果步骤S830确定当前块是模式图像,则模式分类部分230将模式图像分类成一个静态模式图像或者一个动态模式图像(S840)。

如果步骤S840将模式图像分类为静态模式图像,则静态运动补偿单元242基于最接近搜索区域中的最小局部误差值的点预测补偿运动矢量(S845)。另外,运动矢量选择部分250选择在步骤S845中预测的补偿运动矢量作为当前块的最终运动矢量。

相反,如果步骤S840将模式图像确定为动态模式图像,则平均矢量计算单元244计算与当前块相邻的块的运动矢量的平均矢量(S855)。如果执行了步骤S855,则动态运动补偿单元246基于在步骤S855计算的最接近平均矢量的SAD图中最小局部误差值的点预测补偿运动矢量(S860)。另外,运动矢量选择部分250选择步骤S860中预测的补偿运动矢量作为当前块的最终运动矢量(S850)。

同时,在上述的本发明中,如果模式确定单元228确定当前块是模式图像,则模式分类部分230、静态运动补偿部分242以及动态运动补偿部分246读出由垂直投影值确认部分224a和水平投影值确认部分224b分别确认的最小局部误差值的点的信息,并且执行它们各自的操作。

如果模式确定单元228确定当前块是该模式图像,模式分类部分230、静态运动补偿部分242以及动态运动补偿部分246提取由垂直投影值确认部分224a和水平投影值确认部分224b分别确认的最小局部投影值的点的信息,并且执行它们各自的操作。

以下将描述对最小局部投影值的点的信息的提取和参照图2描述各个操作。

运动预测部分210预测上述被平均划分的块的SAD值和暂时运动矢量。此外,运动预测部分210将包含SAD值的SAD图传送给模式确定部分220和模式分类部分230。

模式确定部分220分析所传送的SAD图,并确定当前块是否是一个模式图像。为此,模式确定部分220的积分投影单元222将积分投影应用于当前块的SAD图,并生成多个积分矢量。所述积分投影单元222最好应用垂直积分投影和水平积分投影分别生成多个垂直积分矢量和水平积分矢量。在下文中,所述垂直积分矢量被称之为‘垂直投影值’,所述水平积分矢量被称之为‘水平投影值’。

另外,投影值确认单元224确认所生成的多个垂直投影值的最小局部垂直投影值的数量nv,和所生成的水平投影值的最小局部水平投影值的数量nh。另外,投影值确认单元224确认多个最小局部垂直和水平投影值的点的信息,并将该信息传送给模式分类部分230、静态运动补偿单元242以及动态运动补偿单元246。

如果模式确定单元228确定当前块是所述模式图像,则模式分类部分230在最接近该搜索区域中心且指出不存在运动的最小局部投影值的点的基础上将模式图像分类为静态模式图像或动态模式图像。

详细地说,模式分类部分230将位于最接近该搜索区域中心的点处的至少一个或多个最小局部投影值的最小局部投影值与由周期计算单元226所计算的周期模式图像的周期相比较,并将该模式图像分类为一个垂直方向的模式图像或者分类为一个水平方向的模式图像。所述最小局部投影值是指小于与SAD投影值中预定第一和第二投影值对应的SAD投影值的值。

由于能够类似地应用结合图6A和图6B的所做的上述描述,因此,关于由模式分类部分230对模式图像进行分类的描述将省略。但是,图6A和图6B示出了当前块的模式图像的分类,从而将最小全局误差值设置为最小全局投影值并将最小局部误差值设置为最小局部投影值。

在模式分类部分230处理结果的基础上,运动补偿部分240执行运动补偿。具体地说,如果当前块是一个模式图像,则运动补偿部分240使用多个积分矢量的点的信息、即由投影值确认单元224确认的积分投影值,并生成当前块的补偿运动矢量。

详细地说,静态运动补偿单元242使用多个积分投影值的点的信息,并生成被确定为是静态模式图像的当前块的补偿运动矢量,而动态运动补偿单元246使用多个积分投影值的点的信息和由平均矢量计算单元244所计算的平均矢量,并生成被确定为是动态模式图像的当前块的补偿运动矢量。

运动矢量选择部分250选择由运动预测部分210预测的暂时运动矢量或由运动补偿部分240在模式确定单元228确定结果的基础上补偿的补偿运动矢量作为最终运动矢量(最终MV)。

即,如果模式确定单元228确定当前块不是一个模式图像,则运动矢量选择部分250选择由运动预测部分210预测的暂时运动矢量作为最终运动矢量。

相反,如果模式确定单元228确定当前块是所述模式图像,那么,运动矢量选择部分250选择由静态运动补偿单元242或动态运动补偿单元246所生成的补偿运动矢量作为最终运动矢量。

此外,本发明的垂直和水平周期计算器226a和226b可以在不考虑模式确定单元228确定结果的情况下计算垂直和水平周期,但是,也可以仅在模式确定单元228确定当前块是模式图像的情况下采用该垂直和水平周期计算器226a和226b计算垂直和水平周期。

如截至目前所描述的,根据本发明基于模式分析的运动矢量补偿装置和方法能够在运动预测误差值的基础上分析其中很难精确预测运动矢量的模式区域的模式并使用相邻块当中的关联性精确预测运动矢量。因此,当应用于FRC、IPC、...、等等时,本发明能够有效地减少诸如由于运动矢量预测误差而在补偿图像中发生的块伪像的图像质量降低现象。

上述的实施例和优点只是范例且不能解释为对本发明的限制。本教导能够容易地应用于其它类型的设备。另外,本发明实施例的描述也仅试图用来说明,而不是用来限制权利要求的范围,并且许多替换、修改以及变化对本领域的普通技术人员来说都将是显而易见的。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号