首页> 中国专利> 确定重复图案的方法、帧内插方法和帧内插装置

确定重复图案的方法、帧内插方法和帧内插装置

摘要

提供一种确定块是否包含在重复图案中的方法,对具有重复图案的帧进行有效帧内插,及帧内插方法和帧内插装置。根据确定当具有重复图案的图像移动时,M×N的基准块是否包含在重复图案中的该方法,使用完全搜索,获得标准块和基准块的误差。每一基准块包含在(M+2P)×(N+2P)的搜索区域中,该搜索区域属于运动向量搜索过程中所参照的帧。根据基准块的顺序,以(M+P)×(N+P)图的形式排列(M+P)×(N+P)个误差。在该图的左和右对角线中获得当前块和相邻块之间的每一偏差,分别累积左和右对角线中获得的偏差。比较左和右对角线中累积的偏差,并选取较大的偏差。将选择的偏差与阀值1进行比较。如果选择的偏差大于阀值1,确定基准块包含在重复图案中。

著录项

  • 公开/公告号CN1507274A

    专利类型发明专利

  • 公开/公告日2004-06-23

    原文格式PDF

  • 申请/专利权人 三星电子株式会社;

    申请/专利号CN200310120587.1

  • 发明设计人 闵钟述;姜政佑;

    申请日2003-12-15

  • 分类号H04N7/01;H04N5/91;

  • 代理机构北京市柳沈律师事务所;

  • 代理人马莹

  • 地址 韩国京畿道

  • 入库时间 2023-12-17 15:22:13

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-12-06

    未缴年费专利权终止 IPC(主分类):H04N7/01 授权公告日:20060405 终止日期:20181215 申请日:20031215

    专利权的终止

  • 2006-04-05

    授权

    授权

  • 2004-09-01

    实质审查的生效

    实质审查的生效

  • 2004-06-23

    公开

    公开

说明书

技术领域

本发明涉及一种帧速率变换器,尤其涉及一种方法,该方法确定块是否被包括在重复图案中,用于具有重复图案的图像的有效帧内插,及其帧内插方法和帧内插装置。

背景技术

图像的分辨率取决于一帧中所包含的像素数。在1,920×1,080的最大分辨率,一帧由每一水平线上的1,920个像素和每一垂直线上的1,080个像素组成。帧速率表示每秒所发送的帧的数目。当发送如电视信号的图像信号时,基于人的视觉特点确定帧速率。

一般地,根据当地的要求,用各种频率广播从图像输出设备输出的图像信号。例如,在欧洲与中国,应该输出垂直频率为50Hz的图像信号,而在韩国与北美,应该输出垂直频率为60Hz的图像信号。

在输出各种频率的图像信号时,图像输出设备需要频率变换。这种频率变换被称为帧速率变换。具体地,当将低频变换到高频时,必须增加帧的数目。

在过去,通过使用基于相邻帧之间的差而估计的运动向量,通过重复相邻帧或创建新帧来增加帧的数目。

高分辨率的系统根据图像的运动趋势来检验当前帧的运动,以使用运动向量校正技术来构造看起来自然的图像。该运动向量校正技术包括:提取具有多个运动向量(包括校正目标的运动向量)的块,并校正与该块中的那些相邻运动向量方向不同的运动向量,于是校正后的运动向量与相邻运动向量方向相同。

如上所述,传统帧内插方法使用帧间的相关性来提供用于正常运动图像或静止图像的良好性能。然而,当具有重复图案的图像在帧间移动时,传统帧内插方法无法保证足够的帧内插性能,因为难于准确估计运动向量。

例如,当周期性重复的图案移动时,例如条纹衬衫、条纹桌布或有一串窗户的建筑,则与正常运动图像或静止图像相比,难于准确估计帧间的运动向量。这是因为帧间的相关性显著地改变。

因此,需要一种方法,用于确定重复图案在帧间移动的情况,以及其有效的帧内插方法。

发明内容

本发明提供了一种方法,用于当具有重复图案的图像移动时,确定重复的图案。

本发明还提供了一种帧内插方法,当具有重复图案的图像移动时使用。

本发明还提供了一种帧内插装置,使用该帧内插方法。

根据本发明的一方面,提供了一种方法,用于确定当具有重复图案的图像移动时,M×N的基准块是否包括在所述重复图案中,该方法包括以下步骤:使用完全搜索,获得标准块和基准块的误差,每一基准块被包含在(M+2P)×(N+2P)的搜索区域中,该搜索区域属于在运动向量搜索过程中所参照的帧;根据基准块的顺序,以(M+P)×(N+P)图的形式排列(M+P)×(N+P)个误差;在该图的左对角线和右对角线中,获得当前块和相邻块之间的每一偏差,并分别累积在左对角线中获得的偏差和在右对角线中获得的偏差;比较左对角线中累积的偏差和右对角线中累积的偏差,并选取较大的偏差;将所选择的偏差和阀值1进行比较;并且如果所选择的偏差大于阀值1,则确定该基准块包含在重复图案中。

该方法还包括:将该图分为相同大小的子块;计算每一子块的最大误差和最小误差的比值;计数具有大于阀值2的比值的子块的总数;以及如果该总数大于阀值3,则确定这些子块包含在重复图案中。

该方法还包括:检查具有大于阀值2的比值的子块的分布,并确定该子块是否包含在伪重复图案中。

在该方法中,通过比较在该图的水平、垂直和对角线方向上集中分布的子块的伪重复图案,确定该子块是否包含在该伪重复图案中。

该方法还包括:检查基准块和相邻块中被确定为包含在重复图案中的块的重复程度;以及基于重复的程度,确定基准块包含在该重复图案中。

根据本发明的另一方面,提供了一种帧内插方法,包括以下步骤:(a)使用完全搜索,获得标准块和基准块的误差,每一基准块被包含在(M+2P)×(N+2P)的搜索区域中,该搜索区域属于在运动向量搜索过程中被参照的帧;(b)估计运动向量为具有最小误差的基准块的位置信息;(c)根据所获得的误差,确定所述标准块和基准块是否包含在重复图案中;(d)计算将被内插的当前块和围绕该当前块的相邻块之间的相关性;以及(e)根据所计算的相关性,通过混合通过线性内插形成的块和通过运动估计及运动补偿(ME/MC)形成的块,获得内插后的图像。

步骤(d)进一步包括:计数所有围绕基准块并且包含在重复图案中的所有相邻块的数目;以及计算围绕基准块的相邻块的总数和计数的数目的比值。

通过内插将被形成的当前块被表示为

>><>PSTYLELSPACE>=>130>>>f>>(>i>,>j>)>>=>>>(>α>×>linear>>(>i>,>j>)>>+>>(>total>->α>)>>×>MC>>(>i>,>j>)>>)>>total>>,>

其中,f(i,j)表示当前块的像素位置,α表示包含在重复图案中的相邻块的数目,total表示相邻块的总数。

根据本发明的另一方面,提供了一种帧内插装置,包括:平均绝对误差(MAE)计算单元,其使用完全搜索,计算标准块和基准块间的MAE,每一基准块被包含在(M+2P)×(N+2P)的搜索区域中,该搜索区域属于运动向量搜索过程中所参照的帧;MAE图存储单元,其根据基准块的顺序,以(M+P)×(N+P)图的形式存储(M+P)×(N+P)个误差;运动向量提取单元,其识别当前块的运动方向为具有存储在该MAE图中的各MAE中的最小MAE的基准块的位置(x,y);重复图案确定单元,其参照存储在MAE图存储单元中的MAE图,确定块是否包含在重复图案中;以及帧内插单元,使用提取的运动向量和线性内插来内插帧。

附图说明

本发明的以上及其他方面与优点将在参照附图描述示范性实施例时变得显而易见,其中:

图1为对称块匹配方法的示意图;

图2为使用传统运动估计和运动补偿(ME/MC)的帧内插装置的方框图;

图3为根据本发明的确定重复图案的方法的流程图;

图4示出对包含在重复图案中的块,由呈现在MAE图的左右对角线中的MAE形成的图;

图5示出一般图像的MAE图;

图6示出包含在重复图案中的块的MAE图,其中,每个MAE图被分为16个子块,并且用黑点标出具有大于3.0的MAE比的区域;

图7示出具有伪重复图案的图像;

图8示出一MAE图,其中标出具有大于3.0的MAE比的区域;

图9示出对于具有大于3.0的MAE比的子块进行窄带分类,所述子块集中在某方向上;

图10为描述根据本发明的帧内插的流程图;

图11是解释当前块和相邻块之间的相关性的图;

图12为根据本发明的帧内插装置的方框图;

图13示出用于相关性检查的相邻块;

图14A至14D示出具有重复图案的测试图像;

图15示出通过传统MC处理的图像,其中具有重复图案的图像被分散;

图16示出通过根据本发明的内插帧的方法处理的图像,其中假像被可见地抑制。

具体实施方式

现在将参考附图详细描述本发明,其中附图示出了本发明的优选实施例。

用于运动估计的块匹配方法可分类为前向块匹配方法、后向块匹配方法以及对称块匹配方法。因为运动的轨迹对帧速率变换很重要,所以一般使用对称块匹配方法用于帧速率变换,如图1所示。

图1为对称块匹配方法的示意图。在图1中,即对称匹配方法中,获得当前帧的标准块和位于基准帧的运动向量搜索区域(M+2P)×(N+2P)内的基准块的各个误差。在对称块匹配方法中,该基准帧指前一帧或后一帧。

参看图1,帧k-1表示前一帧,帧k+1表示后一帧,而帧K表示将被内插的当前帧。当前帧的标准块由标号102表示。前一帧的运动向量搜索区域由标号110表示,而后一帧的运动向量搜索区域由标号120表示。假设标准块102的面积等于M×N,则标准块102的运动向量搜索区域将等于(M+2P)×(N+2P),其中P表示从标准块向+/-x和+/-y方向延伸出去的像素数目。

一般地,标准块102的面积等于8×8像素(总共包括64个像素),而标准块102的运动向量搜索区域在+/-x方向占4个像素,在+/-y方向占4个像素,即等于16×16像素(总共包括256个像素)。

这里,将搜索分类为完全搜索或菱形搜索。常用完全搜索。

在完全搜索中,以一个像素为单位移动具有与标准块相同面积的基准块,并与标准块进行比较。由此,共有256个基准块。

对称块匹配方法使用绝对差之和(SAD)来获得前一帧的运动向量搜索区域中的基准块和后一帧的运动向量搜索区域中的基准块的各个误差。

根据对称块匹配方法,相互比较基准块112和基准块122,基准块112在帧k-1中的运动向量搜索区域120的左上侧,而基准块122在帧k+1中的运动向量搜索区域120的右下侧。同样,相互比较基准块114和基准块124,基准块114比基准块112向右一个像素,基准块124比基准块122向左一个像素。

通过相互比较对称基准块而获得各SAD,并将结果存储在(M+P)×(N+P)的SAD图中。

图2为使用传统运动估计和运动补偿(ME/MC)的帧内插装置的方框图。

SAD计算单元202使用对称运动向量估计方法,计算帧k-1的运动向量搜索区域110和帧k+1的运动向量搜索区域120中的对称基准块之间的SAD。

>>SAD>=>>Σ>>i>=>0>>>M>->1> >>Σ>>j>=>0>>>N>->1> >>(>|>>f>2>>>(>i>,>j>)>>->>f>1>>>(>i>,>j>)>>|>)>>->->->>(>1>)>>,>

其中,M和N表示标准块的宽和高,以及f1(i,j)和f2(i,j)表示前一帧中的像素位置和后一帧中的像素位置。

因为每一运动向量搜索区域中的基准块的个数等于256,所以获得的SAD的个数等于256。

SAD图存储单元204存储该SAD图。该SAD图存储由SAD计算单元202所求得的576个SAD。

运动向量提取单元206确定具有SAD图存储单元204中存储的各SAD中,即运动侯选者中的最小SAD的基准块的位置(x,y),并识别该位置(x,y)作为当前块中图像运动的方向。

运动过滤器208被用于考虑当前块和相邻块之间的相关性,并用来防止发生运动向量错误。一般地,使用中值过滤器或平均过滤器作为运动过滤器208。帧内插单元210使用由运动过滤器208处理的最终运动向量内插当前帧,其中,该最终运动向量为前一帧和后一帧的运动向量的平均值。

如上所述,参看图1和图2,在帧速率变换中所使用的传统运动估计将运动向量搜索区域中具有最小SAD的运动向量识别为最佳运动向量。

然而,即使该最佳运动向量可以包括有关运动总量或方向的误差。所以,运动过滤器208验证当前块和相邻块之间的相关性。

可使用中值过滤器或平均过滤器作为运动过滤器208。中值过滤器按从最小到最大的顺序排列当前块和相邻块的运动向量,并提取排列的运动向量中的中间值。平均值过滤器计算所有运动向量的平均值。

由运动过滤器208处理的最终运动向量被认为具有当前块的最佳信息,并且包含了前一帧和后一帧的运动向量的平均值(dx,dy)。

下面的等式2表示该帧内插方法。

>>>f>k>>=>>>>f>>(>k>->1>)>>>>(>i>->dx>,>i>->dy>)>>+>>f>>(>k>+>1>)>>>>(>i>+>dx>,>i>+>dy>)>>>2>>->->->>(>2>)>>,>

其中,fk(i,j)表示内插的帧的像素位置。

使用通过传统运动估计而获得的运动向量,传统帧内插方法在支持一般移动或静止图像时显示了足够的性能。但是,当具有重复图案的图像在帧间移动时,难于使用传统运动估计算法获得准确的运动向量。

例如,当具有周期性重复图案的图像移动时,例如条纹衬衫、条纹桌布、或有一串窗户的建筑,难于准确估计运动向量。这是因为帧间的相关性显著地变化。

简单而言,使用传统运动估计难于准确估计具有周期性重复图案的图像的运动信息,这就造成了如图像散开的运动假像(artifact)。

因此,本发明提出了一种算法,其允许确定重复的图案。本发明还提出了一种帧内插方法,通过该方法,通过线性内插处理包含在重复图案中的块,而通过传统的ME/MC使用运动向量来处理其他块。另外,本发明还提出了一种使用该帧内插方法的帧内插装置。

图3为根据本发明确定重复图案的方法的流程图。

该根据本发明的确定重复图案的算法以三步进行。

基于当前块和相邻块之间的相关性变化较大程度这一事实,可以作出以下两个假设。

第一,在重复图案中,MAE图中的平均绝对误差(MAE)间的相关性显著变化。与正常移动或静止图像的情况相比,包括在重复图案中的块的左和右对角线中的MAE之间的偏差要更大。

第二,MAE间的相关性的显著变化在该块的整个运动向量搜索区域上均匀分布。

在这些假设之下,确定重复图案的算法以三步进行。在下面的描述中,MAE图距离表示MAE之间的偏差,而各个块误差表示MAE或SAD。

表示像素之间的差值之和的平均值的MAE可以用下面公式3获得

>>MAE>=>>1>MN>>>Σ>>i>=>0>>>M>->1> >>Σ>>j>=>0>>>N>->1> >>(>|>>f>2>>>(>i>,>j>)>>->>f>1>>>(>i>,>j>)>>|>)>>->->->>(>3>)>>,>

其中,M和N表示块的宽和高,而f1和f2表示前一帧中的像素位置和后一帧中的像素位置。

在确定MAE图距离的步骤中,根据第一个假设,从前一帧和后一帧的运动向量搜索区域获得MAE图(步骤S302)。然后,将每一运动向量搜索区域分为子块(步骤S304)。从每一子块获得最大MAE和最小MAE,并计算最大MAE和最小MAE的比值,即MAE比(Max/Min)(步骤S306)。

与正常运动或静止图像相比,具有重复图案的图像在MAE图中的各MAE间的相关性变化至更大的程度。通过搜索运动向量搜索区域的左和右对角线中的运动,可以识别重复图案的运动。

可以使用以下方法测量MAE图中各MAE间的相关性变化的程度。

根据基准块的顺序,以大小为(M+P)×(N+P)的MAE图的形式排列(M+P)×(N+P)个MAE。在该MAE图中,求得并累积左对角线和右对角线中相邻MAE之间的偏差。相互比较左对角线的累积值和右对角线的累积值,取得较大值,并将该较大值与阀值1进行比较。

然后将MAE图分为子块。从每个子块获得MAE比。合计具有大于阀值2的MAE比的子块数目。将该计数值与阀值3进行比较。

在本发明的该实施例中,运动向量搜索区域在+/-x和+/-y方向上范围从-8~+7。MAE图中的MAE的个数等于256,包括每一水平线上的16个MAE和每一垂直线上的16个MAE。子块的数目等于16,包括每一水平线上的4个子块和每一垂直线上的4个子块。

获得并累积左对角线和右对角线中的相邻MAE之间的差值(步S308)。该累积值表示总的MAE图距离(步骤S310)。

获得总的MAE图距离之后,将最大总MAE图距离设置为当前块的MAE图距离。如果该最大总MAE图距离大于阀值1,则此处理根据第二假设进行(步骤S312)。

图4示出对于包含在重复图案中的块,由MAE图的左和右对角线中呈现的MAE形成的图。如图4所示,MAE间的相关性显著变化。

图5示出对一般图像的MAE图。如图5所示,在左右对角线中的MAE间的相关性没有显著变化。

在确定重复图案的算法的第二步中,即在MAE图分类中,丢弃伪重复图案。该伪重复图案不是真正的重复图案,但包含与重复图案类似的特性。如果具有大于3.0的MAE比的区域的分布被扭曲,即在任意方向集中呈现这些区域,则确定子块被包含在伪重复图案中。

如果子块具有大于阀值2,即在本发明是3.0的MAE比,并且占据了全部子块的50%以上,则确定子块被包含在重复图案中,并且该过程进行到步骤314的分布检查。

如等式4所示,由“1”表示的区域被称为多数区域,而其他区域被称为少数区域。合计多数区域和少数区域的各个数目。

>>majority>_>count>=>>>Σf>>(>i>)>>>>i>∈>majority>_>count> >->->->>(>4>)>>,>

>>min>ority>_>count>=>>>Σf>>(>i>)>>>>i>∈>min>ority>_>count> >

其中f(i)表示阀值2。

在步骤314中,计数值被用于等式5以确定伪重复图案。

(minority_count≥α×region_count)∧(minority_count≤β×(16-region_count)...(5),其中,region_count表示多数区域中的子块的数目,在本发明中被设置为“8”。系数α被设置为0.5,以及系数β被设置为0.25。

图6示出对于包含在重复图案中的块的MAE图,其中,每个MAE图被分为16个子块,并且用黑点标出具有大于3.0的MAE比的区域。参看图6,具有大于阈值3(即7.0)的MAE比的子块被均匀分布在MAE图上。根据实验,由于一般图像的MAE比小于2.0,所以阀值2允许清楚地区分一般图像和具有重复图案的图像。

在步骤316中,检查MAE比的分布,并在步骤318中,确定具有窄带的块包含在伪重复图案中。

图7示出具有伪重复图案的图像。在图7中,由圆圈标出的部分是伪重复图案。如图8所示,具有大于3.0的MAE比的区域集中在对角线方向。这一结果与有关具有重复图案的图像的特点的假设不相符。因此,必须去除伪重复图案。

图9示出对于具有大于3.0的MAE比的子块进行窄带分类,这些子块集中在某方向上。具有大于3.0的MAE比的区域由“1”表示,并用黑点标出,而其他区域由“0”表示。

重复图案的确定以改进的中值过滤结束。在改进的中值过滤中,基于重复图案不是从属的(dependent)而是集中的这一事实,检查相邻块的重复,从而仅当相邻块在大于预定水平显示重复时才认可当前块的重复。换言之,合计在24个相邻块中并包括在每一水平线上的5个块和每一垂直线上的5个块中,包括在重复图案中的块的数目。如果包括在重复图案中的块的数目合计大于阀值4,即在本发明中为6,则确定当前块包含在重复图案中。

在本发明中,可以使用相邻块的MAE比,而不是子块的MAE比。换言之,获得对角线中相邻块的MAE比,合计大于阀值4的MAE比的数目,并将该计数值与阀值2进行比较。

在本发明中使用了对称块匹配,但也可能使用其他方法,如前向块匹配方法或后向块匹配。

另外,本发明的确定重复图案的方法可被用在运动向量估计以及帧内插中。

图10为描述根据本发明的帧内插方法的流程图。

在第一步S1002,获得MAE图。

在下一步S1004,基于该MAE图估计运动向量。

然后,在步骤S1006,确定MAE图的子块是否包含在重复图案中。图3的流程图已经描述了重复图案的确定。

在步骤S1008中,检查当前块和相邻块之间的相关性,以获得包含在重复图案中的块和没有重复图案的其他块的比值,即当前块和相邻块之间的相关性。

图11解释了当前块和相邻块之间的相关性。如图11所示,置于重复图案区域和非重复图案区域之间的块1102受到重复图案和非重复图案二者的影响。因此,必须将通过线性内插生成的块和通过ME/MC生成的块混合,以正确内插块1102。

在步骤S1110中,通过基于获得的比值混合通过线性内插生成的块和通过ME/MC生成的块,而获得内插后的图像。换言之,通过软切换来执行帧内插。

图12为根据本发明的帧内插装置的方框图。

MAE计算单元1202使用对称运动向量估计,计算前一帧k-1和后一帧k+1的搜索区域中的基准块之间的MAE。

由于每一运动向量搜索区域中的基准块的数目为256,所以获得的MAE的数目为256。

MAE图存储单元1204存储一MAE图。该MAE图包括由MAE计算单元1202获得的256个MAE。

在存储在MAE图存储单元1204的MAE中,即运动侯选者中,运动向量提取单元1206识别当前块的移动方向为具有最小MAE的基准块的位置(x,y)。

运动过滤器1208被用于考虑当前块和相邻块之间的相关性,并用来防止运动向量错误。一般使用中值过滤器或平均值过滤器作为运动过滤器1208。

参照存储在MAE图存储单元1204中的MAE图,重复图案确定单元1210确定块是否包含在重复图案中。重复图案确定单元1210包括MAE图距离计算单元1210a、MAE图分类单元1210b以及改进的中值过滤器1210c。

MAE图距离计算单元1210a计算在左和右对角线上围绕当前块的相邻块的各MAE之间的差值,并将结果累积,以计算在左和右对角线中的各MAE之间的距离。

在所计算的距离中的最大距离被设置为MAE图距离,并与阀值1进行比较。如果MAE图距离大于阀值1,则MAE图距离计算单元1210a确定满足第一假设。

然后MAE图距离计算单元1210a将MAE图分为子块,并计算每一子块中的最小MAE和最大MAE,以获得MAE比(Max/Min)。

在本发明中,运动向量搜索区域在+/-x和+/-y方向从-8-+7扩展。在MAE图中的MAE的总数等于256,包括在每一水平线上的16个MAE和每一垂直线上的16个MAE。MAE图被分为16个子块,包括在每一水平线上的4个块和每一垂直线上的4个块。

MAE图分类单元1210b去除伪重复图案。如果子块具有大于阀值2,即本发明的3.0的MAE比,并且占了所有子块的50%以上,则MAE图分类单元1210b确定这些子块包含在伪重复图案中,其中阀值3被设置为7。

然后MAE图分类单元1210b检查具有大于阀值2的MAE比的子块的分布。如果子块具有窄带,则确定其包含在伪重复图案中。

中值过滤器1210c检查相邻块的重复,仅当相邻块显示大于预定水平的重复时才认可当前块的重复。换言之,在24个相邻块并包括在每一水平线上的5个块和每一垂直线上的5个块中,合计具有重复图案的块的数目。如果包括在重复图案中的块的数目合计大于阀值4,即在本发明中为6,则确定当前块包含在重复图案中。

在本发明中,可以使用相邻块的MAE比,而不是子块的MAE比。换言之,获得左和右对角线中相邻块的MAE比,合计大于阀值4的MAE比的数目,并将该计数值与阀值2进行比较。

帧内插单元1212使用由运动过滤器1209处理的最终运动向量并使用线性内插对帧进行内插。

帧内插单元1212检查围绕当前块的相邻块,以获得包含在重复图案中的块和没有重复图案的其他块的比值,即当前块和相邻块之间的相关性。然后帧内插单元1212通过混合通过线性内插生成的块和通过ME/MC生成的块,获得内插后的图像。

例如,通过合计围绕当前块的相邻块的重复,检查当前块和相邻块之间的相关性。

图13示出用于相关性检查的相邻块。在图13中,25个相邻块围绕当前块。合计包括在重复图案中的相邻块的数目。

基于获得的相关性的帧内插由等式6表示。

>>f>>(>i>,>j>)>>=>>>(>α>×>linear>>(>i>,>j>)>>+>>(>total>->α>)>>×>MC>>(>i>,>j>)>>)>>total>>->->->>(>6>)>>,>

其中,f(i,j)表示当前块的像素位置,α表示包括在重复图案中的相邻块的数目,在本发明中范围为0≤α≤25。

根据本发明,具有重复图案的图像通过线性内插进行处理,而没有重复图案的另一图像通过ME/MC进行处理。

然而,简单的硬件切换无法在包括在重复图案区域和非重复图案区域中的块之间的边界处显示优越的性能。这样,基于当前块和相邻块之间的相关性,使用软切换。

在等式6中,α表示包括在重复图案中的相邻块的数目。如果α很大,即,如果图像具有许多重复图案,则使用线性内插。否则,则利用来自前一帧和后一帧的运动向量的平均值,使用基于MC的内插。

图14A至14D示出具有重复图案的测试图像。图14A示出在中心具有重复梳条的栅格图像。图14B示出具有径向重复图案的Snell Wilcox。图14C示出一Melco图像,呈现具有重复的窗户的建筑。图14D示出一餐馆图像,呈现具有重复条纹的桌布。

为了比较本发明和传统MC,使用了等式7和8所定义的均方差(MSE,mean square error)或峰值信噪比(PSNR,peak signal to noise)。

>>MSE>=>>Σ>>i>=>0>>>M>->1> >>Σ>>j>=>0>>>N>->1> >>(>|>>f>2>>>(>i>,>j>)>>->>f>1>>>(>i>,>j>)> >|>2>>)>>->->->>(>7>)>>,>

>>PSNR>=>20>>log>10>>>(>>255>>MSE>>>)>>->->->>(>8>)>>,>

其中,M与N表示块的宽和高,而f1(i,j)和f2(i,j)表示前一帧的像素位置和后一帧的像素位置。

表1显示使用等式7和8获得的PSNR。获得的PSNR是来自帧的PSNR的平均值。

[表1]

图像 传统MC提出的算法改进栅格 23.6db 26.2db 2.6dbSnell Wilcox 15.8db 24.9db 9.1dbMelco 26.1db 26.5db 0.4db餐馆 28.9db 30.1db 1.2db

如上面表1所示,PSNR随重复图案的形式、帧之间的运动总量以及重复图案占据图像的程度而发生变化。

下面,将参照图15和16描述当使用根据本发明的帧内插方法和使用传统MC时所获得的视觉差异。

图15示出通过传统MC处理的图像,其中具有重复图案的图像被分散。

图16示出通过根据本发明的内插帧的方法处理的图像,其中运动假像被可见地抑制。

作为比较的结果,根据本发明的帧内插方法消除了传统MC所显示的严重的假像。

如上所述,当具有重复图案的图像移动时,根据本发明的确定重复图案的方法允许有效的帧内插。

当具有重复图案的图像移动时,根据本发明的帧内插方法允许使用线性内插和传统MC,从而提供没有运动假像的内插后的图像。

另外,当具有重复图案的图像移动时,根据本发明的帧内插装置混合通过线性内插处理的帧和通过传统MC使用运动补偿处理的帧,由此提供没有运动假像的内插后的图像。

虽然本发明的具体显示与描述参照了其示范性的实施例,但本领域的技术人员应该理解在不脱离权利要求的范围与精神的前提下,可以作出形式与细节上的各种修改。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号