公开/公告号CN1529499A
专利类型发明专利
公开/公告日2004-09-15
原文格式PDF
申请/专利权人 上海交通大学;上海高清数字技术创新中心;
申请/专利号CN03151409.X
申请日2003-09-29
分类号H04N7/01;
代理机构上海交达专利事务所;
代理人王锡麟
地址 200240 上海市闵行区东川路800号
入库时间 2023-12-17 15:30:37
法律状态公告日
法律状态信息
法律状态
2012-11-28
未缴年费专利权终止 IPC(主分类):H04N7/01 授权公告日:20051221 终止日期:20110929 申请日:20030929
专利权的终止
2005-12-21
授权
授权
2004-11-17
实质审查的生效
实质审查的生效
2004-09-15
公开
公开
技术领域
本发明涉及的是一种运动自适应模块实现方法,特别是一种用于视频图像格式转换的运动自适应模块实现方法。属于电子信息领域。
背景技术
视频图像格式转换器可以完成各种视频格式的相互转换。视频图像格式是依据电视信号的扫描参数、幅型比及分辨率确定的。由于许多广播格式的确定性和显示器件的多样性,它们都有各自特有的最佳显示格式。为了使一种广播图像格式能在各种显示设备上正常显示,必须要用视频图像格式转换器。随着数字电视,特别是数字高清晰度电视的出现,视频图像格式转换处理器的使用需求迅速加大,因而也出现许多实用的视频图像格式转换处理方法。运动自适应模块是视频图像格式转换芯片的一个重要组成部分,它可以应用于输入视频图像信号的降噪以及视频图像格式转换中的去隔行、扫描率变换以及尺寸变换等多个部分。相比于简单的一维和二维降噪以及其他视频图像格式转换算法而言,运动自适应算法有着明显的优势。由于考虑了输入视频图像中的运动和静止信息,所以运动自适应降噪和运动自适应插值可以很大的提高视频图像格式变换的效果和质量,并能够避免视频图像格式转换中锯齿、运动部分跳跃等错误现象的产生。同时运动自适应模块相比于运动补偿插值模块而言,前者在视频图像处理质量相差不大的情况下可以极大的降低视频图像格式转换芯片对存储器的需求,适合于各种高端和低端视频图像格式转换芯片的设计要求。
经文献检索发现,中国专利号:95103953.9,名称:采用定向边缘插入的对运动自适应的扫描速率转换,该专利提出了将运动自适应算法应用于扫描速率转换和降噪部分的方法。但是如果只是将它们简单的级连应用于视频图像格式转换芯片的话,会明显的增加芯片片内和片外存储需求,极大的提高了芯片设计的成本和难度。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种用于视频图像格式转换的运动自适应模块实现方法,使其在硬件资源和存储需求没有明显增加的条件下将运动自适应算法同时应用于视频图像格式转换中的降噪、去隔行、扫描速率转换以及尺寸变换等多个方面,具有高效率和低成本的优点。
本发明是通过以下技术方案实现的,本发明将运动自适应降噪和运动自适应插值的系数生成部分结合起来,由一个统一的运动自适应系数生成模块通过不同的阈值控制器来实现;然后在进行逐点运动自适应降噪的同时将已经生成的运动自适应插值系数通过寄存器寄存;当完成运动自适应降噪之后再利用寄存器中存储的运动自适应插值系数完成插值过程,从而最终实现去隔行、扫描输率转换以及输入输出图像尺寸变换。
以下对本发明方法作进一步的说明,方法步骤如下:
(1)使用低通滤波器对解码得到的输入图像实现简单的中值降噪处理,去除混杂在图像序列中的一些突发噪声;
(2)再对中值降噪后的图像进行逐点的运动自适应模块中的系数计算,选用3×3或4×4大小的块,通过计算块大小范围中各点和上一场相应位置点亮度差的和,再通过对不同系数曲线的拟合分别逐点得到各自的运动自适应降噪系数和运动自适应插值系数;
(3)接着再逐点进行运动自适应降噪处理,同时使用寄存器对前面得到的每点运动自适应插值系数进行存储以便下面的过程使用,对于图像中的每点,通过下面的公式可以求得该点经过运动自适应降噪后的亮度值:
LumNR=MANR×LumN+(1-MANR)×LumN-1
其中MANR表示该点的运动自适应降噪系数,LumNR表示该点经过运动自适应降噪后的亮度值,LumN和LumN-1分别表示该点位置在当前场和前一场中的亮度值;
(4)最后使用寄存的运动自适应插值系数对降噪后的图像实现自适应插值以完成去隔行以及尺寸变换等功能,其中运动自适应插值系数反映了该点的运动可能性。
上述步骤(2)中,运动自适应系数生成模块具体流程如下:
①在两场信号进行比较的时候采用一个相位控制器根据当前点的位置信息以及块大小来控制片内缓存和片外SDRAM存储器中的信号读取;
②然后计算出块大小范围内每点亮度差的和,并用一个寄存器存储该值;
③最后使用两组不同的阈值比较器分别求出该点的运动自适应降噪系数和运动自适应插值系数。
运动自适应模块需要使用一定的片内和片外存储资源。由于运动自适应模块在计算自适应降噪系数和自适应插值系数的过程中需要使用到上一场的图像序列,所以它还需要一片片外的SDRAM存储器来存储上一场的图像信息。下面对存储器的控制方面的几个主要问题做一个简要的说明。
●首先存入SDRAM存储器的并不是直接输入的图像序列,而是经过中值降噪和运动自适应降噪处理后的图像序列,所以这个存储的过程会在自适应降噪后进行。
●SDRAM中存储图像的读取过程是随着逐点运动自适应系数计算而进行的,由于每点都需要使用它前一场图像的对应块进行参照,所以每次只需要从SDRAM中读出相应的块数据就可以了,片外SDRAM中图像数据的存储和读写都由片内的SDRAM控制器来实现。
●通常的输入图像都是逐行输入的,而逐点运动自适应系数计算是取一定大小的块数据来进行的,所以同时需要在片内安排一定的行缓存(Line Buffer)来对当前输入的图像进行必要的存储。
本发明具有实质性特点和显著进步,本发明在格式转换过程中使用运动自适应降噪和运动自适应插值,可以达到很好的视频图像处理效果。将运动自适应降噪和运动自适应插值模块结合在一起,并行处理运动自适应降噪和运动自适应插值系数的生成,可以极大的减少片内和片外所需要的存储资源,同时还能简化芯片设计复杂度,从而降低芯片设计成本。
附图说明
图1是应用于视频图像格式转换芯片的运动自适应模块流程图
图2是运动自适应系数生成模块的流程图
具体实施方式
如图所示,图1是应用于视频图像格式转换芯片的运动自适应模块流程图。其中低通滤波器是用来完成对输入图像的中值降噪功能;Line Buffer是片内用来存储当前场少量信息的片内缓存;运动自适应系数生成模块负责逐点计算自适应插值系数和降噪系数;运动自适应插值系数寄存器负责存储正在进行自适应降噪处理的图像点的插值系数;运动自适应降噪和运动自适应插值用来完成相应的功能;SDRAM控制器用来控制片外SDRAM存储器的读取和输入工作。
图2是运动自适应模块中的系数生成部分的流程图。其中Yn表示当前场第n场的输入图像,Yn-1表示从片外SDRAM中读取的前一场第n-1场的图像信号;Line Buffer是片内用来存储当前场图像待处理图像信号的缓存;Phase Controller是负责控制图像信号读取的相位控制器;Register是用来寄存亮度差的寄存器;NR CoefficientGenerator和DI Coefficient Generator分别是运动自适应降噪系数和运动自适应插值系数生成器,用分级阈值比较器根据Register中存储的亮度差逐点分别生成运动自适应降噪系数和插值系数。
以下结合具体实施例对本发明进行说明,在这里以用运动自适应降噪和插值来实现标清图像输入到高清图像输出转换为例,具体实施内容如下:
首先如图1所示,输入的标清图像通过低通滤波器完成中值滤波,去除突发噪声;然后将处理完的图像送入缓存(Line Buffer),同时从片外的SDRAM中读入前一场相应位置的亮度信息;通过系数生成模块将前一场和当前场的相同位置的亮度进行比较,求出差值并根据不同的阈值比较器逐点生成运动自适应降噪系数和插值系数;根据求得的运动自适应降噪系数对图像信号逐点进行自适应降噪,同时将处理点的自适应插值系数送至寄存器中存储;然后再将完成自适应降噪后的图像点亮度送至片外SDRAM中存储,以便下一场系数计算的时候使用;最后读出寄存器中存储的运动自适应插值系数,根据输入图像和输出图像的尺寸完成二维插值得到高清图像输出。
运动自适应系数生成模块的具体流程如下:(1)在两场信号进行比较的时候采用一个相位控制器根据当前点的位置信息以及块大小来控制片内缓存(Line Buffer)和片外SDRAM存储器中的信号读取;(2)然后计算出块大小范围内每点亮度差的和,并用一个寄存器(Register)存储该值;(3)最后使用两组不同的阈值比较器分别求出该点的运动自适应降噪系数和运动自适应插值系数。
在如上所述的整个处理过程中,输入以PAL制4∶2∶2的标清图像计算,只需要在片外使用1.5M Byte的存储资源,在保证转换质量的前提下大大降低了片外存储资源的需求和数据交换的速率。
机译: 在视频图像编码方法中确定自适应仿射运动补偿单元,视频图像解码方法,编码设备和解码设备
机译: 在视频图像编码方法,视频图像解码方法,编码设备和解码设备中确定的自适应仿射运动补偿单元
机译: 视频图像编码方法,视频图像解码方法,编码设备和解码设备中的自适应仿射运动补偿单元确定