首页> 中国专利> 基于整像素搜索结果的n级亚像素搜索方法及其装置

基于整像素搜索结果的n级亚像素搜索方法及其装置

摘要

本发明属于数字视频编码技术领域,特别是涉及一种基于整像素搜索结果的n级亚像素搜索方法及其装置;其特征在于选择整像素搜索最匹配块左上角像素在参考图像中的坐标位置为中心,然后进行复杂度可变的n级的亚象素搜索,获得相应的亚像素位置点和整像素位置点的块匹配误差函数值后,再将亚像素位置点和整像素位置点的块匹配误差函数值进行比较,得到最优的块匹配误差函数值对应的块的左上角在参考图像中的坐标位置,所述n级的亚象素搜索中n取值范围是n≥2;在本发明方法中,高级别的亚像素搜索不依赖于低级别的亚像素搜索结果,从而增大了计算并行度,节省了编码时间,该方法在硬件实现的时候,有效提高了不同亚像素级之间的计算并行度;而基于该方法实现的装置,能充分利用不同级别亚像素之间的可并行性特征,提高硬件处理速度。

著录项

  • 公开/公告号CN101299818A

    专利类型发明专利

  • 公开/公告日2008-11-05

    原文格式PDF

  • 申请/专利权人 浙江大学;

    申请/专利号CN200810062406.7

  • 发明设计人 虞露;姚烁;

    申请日2008-06-04

  • 分类号H04N7/26(20060101);H04N7/50(20060101);

  • 代理机构33223 杭州君易知识产权代理事务所;

  • 代理人陈向群

  • 地址 310027 浙江省杭州市西湖区浙大路38号

  • 入库时间 2023-12-17 20:53:53

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-05-22

    未缴年费专利权终止 IPC(主分类):H04N7/26 授权公告日:20101117 终止日期:20190604 申请日:20080604

    专利权的终止

  • 2010-11-17

    授权

    授权

  • 2009-05-06

    实质审查的生效

    实质审查的生效

  • 2008-11-05

    公开

    公开

说明书

技术领域

本发明属于数字视频编码技术领域,特别是涉及一种基于整像素搜索结果的n级亚像素搜索方法及其装置。

背景技术

数字图像、视频信号处理和编码技术的研究开始于20世纪50年代,最初采用的编码方法是空间域上差分脉冲编码调制(简称DPCM)。到20世纪70年代,变换编码技术和运动补偿预测技术开始出现。在1974年,Ahmed等引入基于块的二维离散余弦变换(简称DCT),成为现代先进视频编码框架中的一项核心技术。这些技术逐渐成熟,在20世纪80年代发展为实用的编码技术,确立了基于块的混合编码框架,集预测编码、变换编码和熵编码于一体的传统混合编码框架,即Hybrid Coding框架。基于这个框架,在后面20多年中,出现了一系列的国际视频编码标准,如ITU制定的H.261,H.263,H.26L标准和ISO的MPEG组织制定的MPEG-1,MPEG-2,MPEG-4等。到了21世纪,随着技术的发展,人们对多媒体通信的进一步需求要求视频编码能够提供更高效的压缩技术和异质网络的适应技术,新一代视频编码标准H.264/MPEG-AVC(简称H.264)就是在这样的背景下开始制定,并在2003年颁布的。与此同时,中国的视频编码标准AVS第二部分也于2003年底制定完成,并于2006年2月获颁为正式的国家标准(GB/T 20090.2)。AVS、H.264的压缩效率大约是MPEG-2的两倍,同时复杂度也提高不少。同样,AVS和H.264都是基于传统混合编码框架的视频编码标准。

传统视频混合编码框架中的预测编码包括帧内预测编码和帧间预测编码,见H.264/AVC标准和AVS标准。其中帧内预测编码又称空域预测,帧间预测编码又称时域预测;其中空域预测包括像素域预测和变换域预测。

预测编码的编码方法如下:首先,将编码帧分成编码单元;对编码单元进行预测编码(可以是空域预测或时域预测或时空域结合的预测),预测值和待编码值的差为残差数据,然后对残差数据进行二维变换编码;然后在变换域中对变换系数进行量化;然后经过扫描将二维信号转换成一维信号;最后进行熵编码。

帧间预测(时域预测)编码技术压缩的视频帧,称为帧间编码帧,帧间编码包括前向、后向和双向的预测(P帧、B帧),支持不同块大小。帧间编码帧的编码方法如下:首先,将编码帧分成编码单元;对编码单元采用运动搜索和运动预测的运动估计技术得到运动矢量和参考单元;然后采用运动补偿技术,得到帧间预测(时域预测)后的残差数据。模式信息对于帧间预测单元,包括当前单元的预测分块大小、参考方向(前向、后向或双向的预测)及使用的参考个数、参考索引、运动矢量等。

一般的运动估计是指基于块的运动表示法;对于包含多个物体的景物,实际中普遍采用的方法是把一个图像帧分成多个块,使得在每个区域中的运动可以很好的用一个参数化模型来表征,这种方法称为块匹配法,即将图像分为若干n×n(典型值:16×16宏块),为每一个宏块在前一个帧图像中寻找一个运动适量MV,并进行运动补偿预测编码。

已知块匹配的相似度评价函数主要包括均方差MSE(Mean Square Error)、绝对平均差MAD(Mean Absolute Difference)和绝对差和SAD(Sum of AbsoluteDifference)等。各种准则的定义如下:

>MSE(i,j)=1MNΣm=1MΣn=1N(Sk(m,n)-Sk-1(m+i,n+j))2>

>MAD(i,j)=1MNΣm=1MΣn=1N|Sk(m,n)-Sk-1(m+i,n+j)|>

>SAD(i,j)=Σm=1MΣn=1N|Sk(m,n)-Sk-1(m+i,n+j)|>

式中Sk(m,n)为第K帧位于(m,n)的像素值,i,j分别为水平和垂直方向的偏移量。虽然各准则之间会存在一些计算量的差异,但通过实验证明不同准则的选择对运动估计匹配块的搜索速度的影响并不是很大。其中SAD的运算量最小,因此以SAD作为度量准则被广泛应用。

在国际流行的视频压缩标准中,如H.264/MPEG-AVC和MPEG-4,和我国自主制定的国家标准AVS中,都采用了分像素精度的运动矢量来提高运动搜索的精度,从而提高编码的性能。实验表明,精度较高亚像素的运动搜索可以有效地提高编码的性能。其中H.264和AVS在亮度部分都支持到四分之一精度的运动矢量,在色度部分支持到八分之一精度的运动矢量。

传统的亚像素搜索如图1所示:

先在最好的整像素周围8个1/2像素点进行半像素搜索(包括插值),再在最好的1/2像素点周围进行1/4精度像素的搜索,最后得到最佳运动矢量。传统的算法具有搜索点数少、复杂度低的优点,对于硬件实现也十分有意义。

这种传统算法对应的装置如图2所示,由于1/2精度像素和1/4精度像素的搜索在时间上是串行的,1/4精度像素必需等待1/2精度像素的最终搜索结果出来才能进行。这样由于插值滤波的数据量非常大,滤波函数比较复杂,对于高清晰度视频的应用,每个宏块编码的时间很短,例如实时编码每秒30帧,1920×1088的格式,以1/2像素为例就需要每秒插出501350400个像素值来,这对于硬件实现已经是很大的挑战。若采用传统算法描述的更高精度(如四分之一精度)的搜索串行实现,最终导致硬件的实现将是增加几个流水级,这就意味着存储单元、计算单元的翻倍,这个代价将是巨大的。

如果按照传统的亚像素搜索策略进行硬件设计,另外一个问题就是在1/4精度搜索的时候,需要先对1/4精度像素进行插值,这就需要用到大量的1/2精度像素的插值结果或者中间结果,这些插值结果或者中间结果在前面做1/2精度像素搜索的时候大部分已经得到,这样我们面临两种选择:(a)在1/2精度像素搜索的时候将插值结果或者中间结果存在缓存当中,一般是存在SRAM之中;(b)不存储在1/2精度像素的插值结果或者中间结果,在做1/4精度搜索的时候重新计算这部分值;对于第一种方案,将增加大量的存储面积;对于第二种方案,由于进行大量的重复性计算,将直接增加处理时间;如何克服现有技术中亚像素搜索方法的不足、解决高级别的亚像素搜索依赖于低级别的亚像素搜索结果问题、增大计算并行度、提高编码效率,这是亚像素搜索方法所需解决的问题之一。

发明内容

本发明的目的在于提供一种高级别的亚像素搜索不依赖于低级别的亚像素搜索结果、计算并行度高、能节省编码时间的一种基于整像素搜索结果的n级亚像素搜索方法及其装置。

本发明所述的一种基于整像素搜索结果的n级亚像素搜索方法是采用这样的技术解决方案实现的:其特征在于选择整像素搜索最匹配块左上角像素在参考图像中的坐标位置为中心,然后进行复杂度可变的n级的亚象素搜索,获得相应的亚像素位置点和整像素位置点的块匹配误差函数值后,再将亚像素位置点和整像素位置点的块匹配误差函数值进行比较,得到最优的块匹配误差函数值对应的块的左上角在参考图像中的坐标位置,所述n级的亚象素搜索中n取值范围是n≥2。

本发明所述的一种基于整像素搜索结果的n级亚像素搜索装置是采用这样的技术解决方案实现的:它包括n级亚像素搜索单元组、整像素块匹配误差函数计算单元、比较单元,其特征在于所述的n级亚像素搜索单元组由第一级至第n级亚像素搜索单元组成,各级亚像素搜索单元分别与参考帧存储器、当前帧存储器、整像素搜索单元和比较单元相连接,所述n级的亚象素搜索中n取值范围是n≥2。

由于本发明采用基于整像素搜索结果的n级亚像素的运动搜索方法,其中高级别的亚像素搜索不依赖于低级别的亚像素搜索结果,从而增大了计算并行度,节省了编码时间。该搜索方法在硬件实现的时候,在保证与传统算法相比计算复杂度不增加、编码性能没有明显下降的前提下,有效提高了不同亚像素级之间的计算并行度;基于该方法实现的装置,充分利用了不同级别亚像素之间的可并行性特征,使得n级亚像素的搜索并行实现,从而提高了硬件处理速度。

附图说明

图1是传统亚像素搜索方法中像素关系示意图

图2是应用于传统亚像素搜索方法的装置结构原理示意图

图3是n=3时搜索的亚像素位置点像素关系示意图

图4是针对H.264标准n=2时搜索的亚像素位置点像素关系示意图

图5是针对AVS标准n=2时搜索的亚像素位置点像素关系示意图

图6是本发明的结构原理示意图之一

图7是本发明的结构原理示意图之二

附图标号说明:1-参考帧存储器,2-当前帧存储器,3-整像素搜索单元,4-第一级亚像素搜索单元,5-第二级亚像素搜索单元,6-第n级亚像素搜索单元,7-第一级亚像素插值单元,8-第二级亚像素插值单元,9-第n级亚像素插值单元,10-整像素块匹配误差函数计算单元,11-第一级亚像素块匹配误差函数计算单元,12-第二级亚像素块匹配误差函数计算单元,13-第n级亚像素块匹配误差函数计算单元,14-比较单元,15-第一级亚像素比较单元,16-第二级亚像素比较单元,17-第n级亚像素比较单元,18-n级亚像素搜索单元组,19-参考窗数据存储器,20-当前块数据存储器,21-第一级亚像素搜索单元,22-第二级亚像素搜索单元,23-第三级亚像素搜索单元,24-第n级亚像素搜索单元,25-1/2像素插值滤波单元,26-1/4像素插值滤波单元,27-1/8像素插值滤波单元,28-1/2n像素插值滤波单元,29-第一级B类延时处理单元,30-第二级B类延时处理单元,31-第3级B类延时处理单元,32-第n级B类延时处理单元,33-整像素块匹配误差函数计算单元,34-第一级亚像素块匹配误差函数计算单元,35-第二级亚像素块匹配误差函数计算单元,36-第三级亚像素块匹配误差函数计算单元,37-第n级亚像素块匹配误差函数计算单元,38-第一级A类延时处理单元,39-第二级A类延时处理单元,40-第n-1级A类延时处理单元,41-块匹配误差函数比较单元。

具体实施方式

本发明所述的基于整像素搜索结果的n级亚像素搜索方法是选择整像素搜索最匹配块左上角像素在参考图像中的坐标位置为中心,然后进行复杂度可变的n级的亚象素搜索,获得相应的亚像素位置点和整像素位置点的块匹配误差函数值后,再将亚像素位置点和整像素位置点的块匹配误差函数值进行比较,得到最优的块匹配误差函数值对应的块的左上角在参考图像中的坐标位置,所述n级的亚象素搜索中n取值范围是n≥2。

所述的复杂度可变的n级的亚象素搜索是以(x,y)为中心,分n级进行精度从1/2像素到像素的搜索,n≥2且n为整数;获得相应的8n个亚像素坐标位置点的搜索块;所述的8n个亚像素坐标位置点能够与整像素位置点(x,y)的块匹配误差函数值进行比较,得到最优的块匹配误差函数值对应的最匹配块的左上角在参考图像中的坐标(x’,y’),其中x’,y’至少是整数、非整数的一种;

所述的复杂度可变的n级的亚象素搜索是以(x,y)为中心,分n级进行精度从1/2像素到像素的搜索,n≥2且n为整数;获得相应的16n个亚像素坐标位置点的搜索块;所述的16n个亚像素坐标位置点能够与整像素位置点(x,y)的块匹配误差函数值进行比较,得到最优的块匹配误差函数值对应的最匹配块的左上角在参考图像中的坐标(x’,y’),其中x’,y’至少是整数、非整数的一种。

在图6中:本发明所述的基于整像素搜索结果的n级亚像素搜索装置,包括n级亚像素搜索单元组、整像素块匹配误差函数计算单元10、比较单元14,所述的n级亚像素搜索单元组由第一级亚像素搜索单元4、第二级亚像素搜索单元5、......至第n级亚像素搜索单元6组成,各级亚像素搜索单元分别与参考帧存储器1、当前帧存储器2、整像素搜索单元3和比较单元14相连接,所述n级的亚象素搜索中n取值范围是n≥2,各级亚像素搜索单元之间为并联;

所述的第一级亚像素搜索单元4由相对应的第一级亚像素插值单元7、第一级亚像素块匹配误差函数计算单元11和第一级亚像素比较单元15串联而成;第二级亚像素搜索单元5由相对应的第二级亚像素插值单元8、第二级亚像素块匹配误差函数计算单元12和第二级亚像素比较单元16串联而成;第n级亚像素搜索单元6由相对应的第n级亚像素插值单元9、第n级亚像素块匹配误差函数计算单元13和第n级亚像素比较单元17串联而成;第一级与第n级之间的各级亚像素搜索单元由相对应的亚像素插值单元、亚像素块匹配误差函数计算单元和亚像素比较单元串联而成,所述亚像素插值单元输入端与整像素搜索单元3、参考帧存储器1相接,所述亚像素块匹配误差函数计算单元与当前帧存储器2相连接,所述亚像素比较单元的输出端与比较单元14相连接;

在图7中:另一种实现本发明所述的基于整像素搜索结果的n级亚像素搜索装置,包括n级亚像素搜索单元组、参考窗数据存储器19,当前块数据存储器20、块匹配误差函数比较单元41和整像素块匹配误差函数计算单元33,所述的n级亚像素搜索单元组输入端分别与参考窗数据存储器19、当前块数据存储器20相连接,所述当前块数据存储器20经整像素块匹配误差函数计算单元33与块匹配误差函数比较单元41相连接。

所述的n级亚像素搜索单元组由第一级至第n级亚像素搜索单元组成,其中,第一级亚像素搜索单元21由1/2像素插值滤波单元25、第一级B类延时处理单元29、第一级亚像素块匹配误差函数计算单元34组成,所述1/2像素插值滤波单元25分别与参考窗数据存储器19、整像素块匹配误差函数计算单元33和第一级亚像素块匹配误差函数计算单元34相连接,第一级B类延时处理单元29的输入、输出分别与当前块数据存储器20和块匹配误差函数比较单元41相接;

所述第二级亚像素搜索单元22由1/4像素插值滤波单元26、第二级B类延时处理单元30、第二级亚像素块匹配误差函数计算单元35组成;所述1/4像素插值滤波单元26与第一级亚像素搜索单元21中1/2像素插值滤波单元25的输出之间连接有第一级A类延时处理单元38,1/4像素插值滤波单元26与块匹配误差函数比较单元41之间连接有第二级亚像素块匹配误差函数计算单元35,第二级亚像素块匹配误差函数计算单元35与第二级B类延时处理单元30相接;

所述第三级亚像素搜索单元23由1/8像素插值滤波单元27、第三级B类延时处理单元31、第三级亚像素块匹配误差函数计算单元36组成;所述1/8像素插值滤波单元27与第二级亚像素搜索单元中1/4像素插值滤波单元26的输出之间连接有第二级A类延时处理单元39,1/8像素插值滤波单元27与块匹配误差函数比较单元41之间连接有第三级亚像素块匹配误差函数计算单元36,第三级亚像素块匹配误差函数计算单元36与第三级B类延时处理单元31相接;

......;

第n级亚像素搜索单元由1/2n像素插值滤波单元28、第n级B类延时处理单元32、第n级亚像素块匹配误差函数计算单元37组成;所述1/2n像素插值滤波单元28与上一级亚像素搜索单元中1/2n-1像素插值滤波单元的输出之间连接有上一级A类延时处理单元,1/2n像素插值滤波单元28与块匹配误差函数比较单元41之间连接有第n级亚像素块匹配误差函数计算单元37,第n级亚像素块匹配误差函数计算单元37与上一级B类延时处理单元相接;

上述各级亚像素搜索单元由相应的亚像素插值滤波单元、B类延时处理单元、块匹配误差函数计算单元组成,各级中的亚像素插值滤波单元和B类延时处理单元分别与块匹配误差函数计算单元相接,块匹配误差函数计算单元与块匹配误差函数比较单元相连接,设各级亚像素搜索单元所在级数为m,其中n≥m≥1,在m=1时,该级亚像素插值滤波单元与参考窗数据存储器相接;在m≥2时,相应各级亚像素插值滤波单元的输入端经第(m-1级)A类延时处理单元与上一级亚像素插值滤波单元的输出端相接。

实施例1:

一种基于整像素搜索结果的n级亚像素搜索方法,在本例中,规定最高级别的亚像素为1/8精度,即n=3的情况,这样总共需要搜索的亚像素包括3级。已知整像素搜索最匹配块左上角在参考图像中的坐标为(x,y),中x,y都是整数。以(x,y)为中心,进行复杂度可变的2级的亚象素搜索,如图3所示。

第一级的搜索位置包括左上角像素为以下坐标位置点的搜索块:

(x-0.5,y-0.5)、(x,y-0.5)、(x+0.5,y-0.5)、(x-0.5,y)、(x+0.5,y)、(x-0.5,y+0.5)、(x,y+0.5)、(x+0.5,y+0.5)

第二级的搜索位置包括左上角像素为以下坐标位置点的搜索块:

(x-0.25,y-0.25)、(x,y-0.25)、(x+0.25,y-0.25)、(x-0.25,y)、(x+0.25,y)、(x-0.25,y+0.25)、(x,y+0.25)、(x+0.25,y+0.25)

第3级的搜索位置包括左上角像素为以下坐标位置点的搜索块:

(x-0.125,y-0.125)、(x,y-0.125)、(x+0.125,y-0.125)、(x-0.125,y)、(x+0.125,y)、(x-0.125,y+0.125)、(x,y+0.125)、(x+0.125,y+0.125)

获得这24个的亚像素位置点和整像素位置点的MSE值后,对于24个亚像素位置点和整像素位置点(x,y)的MSE值进行比较,得到最小MSE值对应的块的左上角在参考图像中的坐标(x’,y’),其中x’,y’至少是整数、非整数的一种。

实施例2:

一种基于整像素搜索结果的n级亚像素搜索方法,在本例中,针对H.264视频编码标准,搜索精度到1/4像素,这样总共需要搜索的亚像素包括2级即n=2。H.264视频编码标准的最小块划分是4×4,因此n级亚像素搜索也是基于4×4块大小的。已知整像素搜索最匹配块左上角在参考图像中的坐标为(x,y),中x,y都是整数。以(x,y)为中心,进行复杂度可变的2级的亚象素搜索,如图4所示。

第一级的搜索位置包括左上角像素为以下坐标位置点的4×4搜索块:

(x-0.5,y-0.5)、(x,y-0.5)、(x+0.5,y-0.5)、(x-0.5,y)、(x+0.5,y)、(x-0.5,y+0.5)、(x,y+0.5)、(x+0.5,y+0.5)

第二级的搜索位置包括左上角像素为以下坐标位置点的4×4搜索块:

(x-0.25,y-0.25)、(x,y-0.25)、(x+0.25,y-0.25)、(x-0.25,y)、(x+0.25,y)、(x-0.25,y+0.25)、(x,y+0.25)、(x+0.25,y+0.25)

获得这16个的亚像素位置点和整像素位置点的SAD值后,对于8个1/2像素位置点,比较对应的SAD值,得到最小SAD值对应的1/2像素块的左上角在参考图像中的坐标(x1,y1);对于8个1/4像素位置点,比较对应的SAD值,得到最小SAD值对应块的左上角在参考图像中的坐标(x2,y2)。再将位置点(x1,y1)、(x1,y1)、(x1,y1)对应的SAD值比较,得到最小SAD值对应的块的左上角在参考图像中的坐标(x’,y’),其中x’,y’至少是整数、非整数的一种。

实施例3:

一种基于整像素搜索结果的n级亚像素搜索方法,在本例中,针对AVS视频编码标准,搜索精度到1/4像素,这样总共需要搜索的亚像素包括2级即n=2。AVS视频编码标准的最小块划分是8×8,因此n级亚像素搜索也是基于8×8块大小的。已知整像素搜索最匹配块左上角在参考图像中的坐标为(x,y),中x,y都是整数。以(x,y)为中心,进行复杂度可变的2级的亚象素搜索,如图5所示。

第一级的搜索位置包括左上角像素为以下坐标位置点的8×8搜索块:

(x-0.5,y-0.5)、(x,y-0.5)、(x+0.5,y-0.5)、(x-0.5,y)、(x+0.5,y)、(x-0.5,y+0.5)、(x,y+0.5)、(x+0.5,y+0.5)(x-1.5,y-1.5)、(x,y-1.5)、(x+1.5,y-1.5)、(x-1.5,y)、(x+1.5,y)、(x-1.5,y+1.5)、(x,y+1.5)、(x+1.5,y+1.5)

第二级的搜索位置包括左上角像素为以下坐标位置点的8×8搜索块:

(x-0.25,y-0.25)、(x,y-0.25)、(x+0.25,y-0.25)、(x-0.25,y)、(x+0.25,y)、(x-0.25,y+0.25)、(x,y+0.25)、(x+0.25,y+0.25)(x-0.75,y-0.75)、(x,y-0.75)、(x+0.75,y-0.75)、(x-0.75,y)、(x+0.75,y)、(x-0.75,y+0.75)、(x,y+0.75)、(x+0.75,y+0.75)

获得这32个的亚像素位置点和整像素位置点的MAD值后,对于32个亚像素位置点和整像素位置点(x,y)的MAD值进行比较,得到最小MAD值对应的块的左上角在参考图像中的坐标(x’,y’),其中x’,y’至少是整数、非整数的一种。

实施例4:

一种基于整像素搜索结果的n级亚像素搜索方法的装置,如图6所示,本例中n=2,针对AVS标准,块匹配误差函数采用MAD。

该装置包括2级亚像素搜索单元组、整像素MAD计算单元10、比较单元14,所述的2级亚像素搜索单元组由第一级亚像素搜索单元4、第二级亚像素搜索单元5组成,第一级亚像素搜索单元4和第二级亚像素搜索单元5分别与参考帧存储器1、当前帧存储器2、整像素搜索单元3和比较单元14相连接,第一级亚像素搜索单元4和第二级亚像素搜索单元5之间为并联。

所述的第一级亚像素搜索单元4由相对应的第一级亚像素插值单元7、第一级亚像素MAD计算单元11和第一级亚像素比较单元15串联而成;第二级亚像素搜索单元5由相对应的第二级亚像素插值单元8、第二级亚像素MAD计算单元12和第二级亚像素比较单元16串联而成。所述的第一级亚像素插值单元7的输入端与整像素搜索单元3、参考帧存储器1相接,所述的第一级亚像素MAD计算单元11与当前帧存储器2相连接,所述的第一级亚像素比较单元15的输出端与比较单元14相连接;所述的第二级亚像素插值单元8的输入端与整像素搜索单元3、参考帧存储器1相接,所述的第二级亚像素MAD计算单元12与当前帧存储器2相连接,所述的第二级亚像素比较单元16的输出端与比较单元14相连接。

所述的第一级亚像素插值单元7采用4抽头的1/2像素插值滤波器得到1/2像素值,输出1/2插值结果;所述的第一级亚像素MAD计算单元11计算1/2像素位置点的MAD值;所述的第一级亚像素比较单元15,选择最小的MAD值及对应的坐标位置(x1,y1)作为输出。

所述的第二级亚像素插值单元8先采用4抽头的1/2像素插值滤波器得到1/2像素中间结果,再采用4抽头的1/4像素插值滤波器得到1/4像素值,输出1/4插值结果;所述的第二级亚像素MAD计算单元12计算1/4像素位置点的MAD值;所述的第二级亚像素比较单元16,选择最小的MAD值及对应的坐标位置(x2,y2)作为输出。

整像素MAD计算单元10输入分别来自参考帧存储器1和当前帧存储器2,输出整像素点(x,y)的MAD值至比较单元14。

参考帧存储器1:存放参考帧的像素值。输入整像素搜索最匹配块左上角在参考图像中的坐标(x,y);根据(x,y)值输出参考窗数据到2级亚像素搜索单元。

当前帧存储器2:存放当前帧的像素值。

比较单元14:完成不同级别亚像素搜索结果功能。输入为(x,y)、(x1,y1)、(x2,y2)以及对应位置的MAD值,输出最终搜索结果(x’,y’)。

实施例5:

一种基于整像素搜索结果的n级(n≥2)亚像素搜索方法的装置,如图6所示,本例中n=2,针对H.264标准,块匹配误差函数采用SAD。

该装置包括2级亚像素搜索单元组、整像素SAD计算单元10、比较单元14,所述的2级亚像素搜索单元组由第一级亚像素搜索单元4、第二级亚像素搜索单元5组成,第一级亚像素搜索单元4和第二级亚像素搜索单元5分别与参考帧存储器1、当前帧存储器2、整像素搜索单元3和比较单元14相连接,第一级亚像素搜索单元4和第二级亚像素搜索单元5之间为并联。

所述的第一级亚像素搜索单元4由相对应的第一级亚像素插值单元7、第一级亚像素SAD计算单元11和第一级亚像素比较单元15串联而成;第二级亚像素搜索单元5由相对应的第二级亚像素插值单元8、第二级亚像素SAD计算单元12和第二级亚像素比较单元16串联而成。所述的第一级亚像素插值单元7的输入端与整像素搜索单元3、参考帧存储器1相接,所述的第一级亚像素SAD计算单元11与当前帧存储器2相连接,所述的第一级亚像素比较单元15的输出端与比较单元14相连接;所述的第二级亚像素插值单元8的输入端与整像素搜索单元3、参考帧存储器1相接,所述的第二级亚像素SAD计算单元12与当前帧存储器2相连接,所述的第二级亚像素比较单元16的输出端与比较单元14相连接。

所述的第一级亚像素插值单元7采用6抽头的1/2像素插值滤波器得到1/2像素值,输出1/2插值结果;所述的第一级亚像素SAD计算单元11计算1/2像素位置点的SAD值;所述的第一级亚像素比较单元15,选择最小的SAD值及对应的坐标位置(x1,y1)作为输出。

所述的第二级亚像素插值单元8先采用6抽头的1/2像素插值滤波器得到1/2像素值,再采用双线性的1/4像素插值滤波器得到1/4像素值,输出1/4插值结果;所述的第二级亚像素SAD计算单元12计算1/4像素位置点的SAD值;所述的第二级亚像素比较单元16,选择最小的SAD值及对应的坐标位置(x2,y2)作为输出。

整像素SAD计算单元10输入分别来自参考帧存储器1和当前帧存储器2,输出整像素点(x,y)的SAD值至比较单元14。

参考帧存储器1:存放参考帧的像素值。输入整像素搜索最匹配块左上角在参考图像中的坐标(x,y);根据(x,y)值输出参考窗数据到2级亚像素搜索单元。

当前帧存储器2:存放当前帧的像素值。

比较单元14:完成不同级别亚像素搜索结果功能。输入为(x,y)、(x1,y1)、(x2,y2)以及对应位置的SAD值,输出最终搜索结果(x’,y’)。

实施例6:

一种基于整像素搜索结果的n级亚像素搜索装置,如

图7所示。在本例中,针对AVS视频编码标准。对于AVS标准,其亮度最高支持到1/4像素精度(n=2)。1/2像素插值滤波函数采用4抽头的滤波器,1/4精度差值滤波器部分采用4抽头滤波,部分采用双线性滤波。同时,本例采用SAD作为块匹配误差函数。

该装置包括2级亚像素搜索单元组、参考窗数据存储器19,当前块数据存储器20、SAD比较单元41和整像素SAD计算单元33,所述的n级亚像素搜索单元组输入端分别与参考窗数据存储器19、当前块数据存储器20相连接,所述当前块数据存储器20经整像素SAD计算单元33与SAD比较单元41相连接。

所述的2级亚像素搜索单元组由第一级至第二级亚像素搜索单元组成,其中,第一级亚像素搜索单元21由1/2像素插值滤波单元25、第一级B类延时处理单元29、第一级亚像素SAD计算单元34组成,所述1/2像素插值滤波单元25分别与参考窗数据存储器19、整像素SAD计算单元33和第一级亚像素SAD计算单元34相连接,第一级B类延时处理单元29的输入、输出分别与当前块数据存储器20和SAD比较单元41相接;

所述第二级亚像素搜索单元22由1/4像素插值滤波单元26、第二级B类延时处理单元30、第二级亚像素SAD计算单元35组成;所述1/4像素插值滤波单元26与第一级亚像素搜索单元21中1/2像素插值滤波单元25的输出之间连接有第一级A类延时处理单元38,1/4像素插值滤波单元26与SAD比较单元41之间连接有第二级亚像素SAD计算单元35,第二级亚像素SAD计算单元35与第二级B类延时处理单元30相接;

所述的1/2像素插值滤波单元25采用4抽头的1/2像素插值滤波器得到1/2像素值,输出1/2插值结果;所述的第一级亚像素SAD计算单元34计算不同1/2像素位置的SAD值;

所述的1/4像素插值滤波单元26采用4抽头的1/4像素插值滤波器得到1/4像素值,输出1/4插值结果;所述的第二级亚像素SAD计算单元35计算不同1/4像素位置的SAD值;

所述的第一级B类延时处理单元29、第二级B类延时处理单元30使用寄存器组完成对当前块数据存储器输出的当前块数据进行缓存,来配合不同级别相应的插值滤波结果;所述的第一级A类延时处理单元38使用寄存器组完成对不同级别的插值滤波结果送入下一级插值滤波之前进行路径切割,从而获得较高的硬件综合频率。

实施例7:

一种基于整像素搜索结果的n级(n≥2)亚像素搜索方法的装置,如

图7所示。在本例中,针对H.264视频编码标准,其亮度最高支持到1/4像素精度(n=2)。1/2像素插值滤波函数采用6抽头的滤波器,1/4精度差值滤波器采用双线性滤波。同时,本例采用MAD作为块匹配误差函数。

该装置包括2级亚像素搜索单元组、参考窗数据存储器19,当前块数据存储器20、MAD比较单元41和整像素MAD计算单元33,所述的n级亚像素搜索单元组输入端分别与参考窗数据存储器19、当前块数据存储器20相连接,所述当前块数据存储器20经整像素MAD计算单元33与MAD比较单元41相连接。

所述的2级亚像素搜索单元组由第一级至第二级亚像素搜索单元组成,其中,第一级亚像素搜索单元21由1/2像素插值滤波单元25、第一级B类延时处理单元29、第一级亚像素MAD计算单元34组成,所述1/2像素插值滤波单元25分别与参考窗数据存储器19、整像素MAD计算单元33和第一级亚像素MAD计算单元34相连接,第一级B类延时处理单元29的输入、输出分别与当前块数据存储器20和MAD比较单元41相接;

所述第二级亚像素搜索单元22由1/4像素插值滤波单元26、第二级B类延时处理单元30、第二级亚像素MAD计算单元35组成;所述1/4像素插值滤波单元26与第一级亚像素搜索单元21中1/2像素插值滤波单元25的输出之间连接有第一级A类延时处理单元38,1/4像素插值滤波单元26与MAD比较单元41之间连接有第二级亚像素MAD计算单元35,第二级亚像素MAD计算单元35与第二级B类延时处理单元30相接;

所述的1/2像素插值滤波单元25采用6抽头的1/2像素插值滤波器得到1/2像素值,输出1/2插值结果;所述的第一级亚像素MAD计算单元34计算不同1/2像素位置的MAD值;

所述的1/4像素插值滤波单元26采用双线性的1/4像素插值滤波器得到1/4像素值,输出1/4插值结果;所述的第二级亚像素MAD计算单元35计算不同1/4像素位置的MAD值;

所述的第一级B类延时处理单元29、第二级B类延时处理单元30使用寄存器组完成对当前块数据存储器输出的当前块数据进行缓存,来配合不同级别相应的插值滤波结果;所述的第一级A类延时处理单元38使用寄存器组完成对不同级别的插值滤波结果送入下一级插值滤波之前进行路径切割,从而获得较高的硬件综合频率。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号