通用图像缩放装置及通用图像缩放方法

摘要

一种通用图像缩放装置和通用图像缩放方法，其中的装置包括：图像缩放单元，用以对图像进行垂直缩放和水平缩放；控制单元，用以接受外部输入的图像缩放参数，并对图像缩放单元的图像缩放操作进行控制；计数单元，用以记录每次图像缩放参数的预定使用量，并在该图像缩放参数的预定使用量完成时提示控制单元更新图像缩放参数。本发明利用计数单元对每组缩放参数的使用次数进行独立计数，因此能够独立控制目标屏幕上任意像素点的所有缩放参数，从而可以在一个统一的通用缩放结构下支持多窗口的图像缩放，并可支持一维或多维图像缩放算法或者算法组合。由于对缩放参数采用计数方式，相同的缩放参数不必重复进行存放，因而可以节约大量存储空间。

说明书

技术领域

本发明涉及图像缩放处理，尤其涉及一种通用图像缩放装置和通用图像缩放方法。

背景技术

为了使图像获得更好的显示效果或者有特殊的显示要求，常常需要对图像进行缩放处理。这里所指的图像不仅包括静态图像，也包括动态图像，如视频图像。在视频图像中，根据扫描格式的不同，还可能包括帧格式图像和场格式图像。特别对于视频图像，在至少以下几种情况下一般需要进行缩放处理。一是片源格式的转换。由于输入片源可能有多种幅型比(aspectratio)，另一方面，视频后处理系统的输出可能需要同时支持多种幅型比，例如4∶3和16∶9的标清电视(SDTV)，这需要视频后处理系统能够根据要求将输入片源调整到合适的分辨率上。二是画中画以及小画面的显示。画中画应用中，除了正常的全屏幕画面，还需要将输入视频缩小到小窗口显示。三是窗口大小的调整。在某些应用中，甚至有可能需要支持对窗口作任意比例缩放。

对图像进行缩放处理，是把原始图像对应地放大或缩小到与原始图像幅型比不相同的目标图像。图像缩放处理常常采用滤波器，通过滤波器而达到缩小或放大的目的。滤波器通常针对图像中的像素来进行滤波，一般地，滤波器从源图像中取多个像素样点插值滤波后形成一个目标图像的像素样点，由此类推，得到所有目标图像的像素样点。每个样点的滤波常常会涉及多个缩放参数，例如滤波函数、量化阶数、放缩比例、滤波器阶数等。采用不同的缩放参数进行插值所获得的目标图像是不相同的。现有技术中，通常对图像缩放装置一次性配置滤波所用的缩放参数，并以固定的参数处理相关的缩放操作。如果图像特征发生变化，或者显示需求发生变化，例如显示屏幕的幅宽比从4∶3变化为16∶9，则图像缩放装置的软硬件结构都需要进行较大的改动。

有一些改进的技术方案中，还可能在对每幅图像进行处理前，进行一次图像缩放装置的参数的配置，以满足对不同幅有不同参数的缩放处理。但在多窗口的图像缩放时，每个窗口可能有不同的缩放要求，需要配置不同的缩放参数，甚至同一个窗口也有不同参数的缩放要求，例如在非线性拉伸操作等情况下。通常缩放操作的参数是由外部中断后，以软件配置的。而每次配置不同的缩放参数都需要等待中断，造成大量延迟。这样势必导致缩放处理速度大幅降低，特别在实时视频播放时，会给后面的播放带来比较大的影响。

目前提出的另一种改进方案是把图像分成多个块。对于每块图像，预先配置好该块图像缩放操作所需的参数，在预先设置的固定区域内缩放参数都是固定的。例如，图1所示的图像分成7个块，由于每块图像的进行缩放操作所需的参数都要预先设置并存放在缓冲设备中，这给图像缩放装置整体的存储带来了负担。并且，由于图像是按照固定的区域分块，因此，无法按照需求灵活地配置图像的非线性缩放范围。

本质上归纳起来，目标图像上的每一个像素，都是利用原始图像上某一些有一定关联的像素，根据事先确定的一些参数，通过一定的计算步骤而得到的，因此如果能够处理以上所有的变化因素，确切的说，需要能够精确的独立控制目标屏幕上每一个像素相关的所有的以上计算参数，就有可能在一个统一的构架下面进行任意的图像缩放。当然这个代价无疑是非常巨大的，标清模式下就存在720*576，共计414720个像素，高清模式下更是存在1920*1080，共计2073600个像素。采用硬件存储的话面积开销无法接受，而采用软件处理方式的话，由于逐个像素都需要独立配置，延迟和计算开销CPU也无法承受。

因此，业界正在努力寻求一种在图像特征或显示需求等发生变化时，能灵活配置图像的非线性缩放范围，甚至能对多个窗口的图像分别进行非线性缩放又能消耗较少存储面积的图像缩放装置。

发明内容

为克服现有技术中存在的缺陷，本发明提出了一种通用的图像缩放装置，可按需求任意给不同窗口配置不同的缩放参数，也可给窗口内的不同位置配置不同的缩放参数，并能降低存储需求。

本发明并提供了一种相应的图像缩放方法，该方法可按需求任意给不同窗口配置不同的缩放参数，也可给窗口内的不同位置配置不同的缩放参数，并能降低存储需求。

根据本发明的一个方面，提供一种通用图像缩放装置，包括：

图像缩放单元，用以对图像进行垂直缩放和水平缩放；

控制单元，用以接受外部输入的图像缩放参数，并对图像缩放单元的图像缩放操作进行控制；

计数单元，用以记录每次图像缩放参数的预定使用量，并在该图像缩放参数的预定使用量完成时提示控制单元更新图像缩放参数。

上述通用图像缩放装置中，所述控制单元包括存放图像缩放参数的至少一个图像缩放参数寄存器。

上述通用图像缩放装置中，所述计数单元包括对所述图像缩放参数的预定使用量进行计数的至少一个计数器。

上述通用图像缩放装置中，所述控制单元包括多组图像缩放参数寄存器，所述计数单元包括与该多组图像缩放参数寄存器相对应的多个计数器。

上述通用图像缩放装置中，所述计数单元包括垂直方向计数器，用以记录根据使用相同图像缩放参数的水平行的数量所确定的图像缩放垂直方向预定使用量并进行计数，在所述垂直方向预定使用量到达时由计数单元提示控制单元更新图像缩放参数和对应的垂直方向预定使用量。

上述通用图像缩放装置中，所述计数器为全局性计数器。

上述通用图像缩放装置进一步包括预测配置单元，该预测配置单元用以检测一幅图像的全部图像缩放参数，并根据检测到的数据预测下一幅图像的图像缩放参数。

上述通用图像缩放装置中，所述图像缩放参数包括滤波函数、量化阶数、放缩比例、滤波器阶数中的至少一个。

上述通用图像缩放装置中，所述图像缩放参数的预定使用量为图像缩放参数的使用次数、使用比例、使用时间或使用长度。

根据本发明的另一方面，提供一种通用图像缩放方法，包括以下步骤：

a.配置至少一组图像缩放参数和与该组图像缩放参数相对应的预定使用量；

b.对图像上的样点进行图像缩放处理，并对其中图像缩放参数已经完成的使用量进行计数；

c.当图像缩放参数已经完成的使用量达到配置的预定使用量时，重新配置下一组图像缩放参数和与该组图像缩放参数相对应的预定使用量。

上述通用图像缩放方法还包括步骤：

d.在当前的一幅图像缩放操作完成后，根据该幅图像的图像缩放参数预测下一幅图像的图像缩放参数。

上述通用图像缩放方法中，所述图像缩放参数包括滤波器的滤波函数、量化阶数、放缩比例、滤波器阶数中的至少一个。

上述通用图像缩放方法中，所述图像缩放参数包括多维图像的滤波函数、量化阶数、放缩比例、滤波器阶数中的至少一个。

上述通用图像缩放方法中，所述图像缩放参数的预定使用量为图像缩放参数的使用次数、使用比例、使用时间或使用长度。

上述通用图像缩放方法中，所述图像缩放参数是以目标图像为对象的参数。

上述通用图像缩放方法中，所述步骤a还包括配置根据使用相同图像缩放参数的水平行的数量所确定的图像缩放参数垂直方向预定使用量。

上述通用图像缩放方法中，所述步骤a还包括预先配置一幅图像的所有图像缩放参数的步骤。

上述通用图像缩放方法中，所述步骤b中对图像缩放参数已经完成的使用量进行计数的步骤包括用自减或自加的方式进行计数的步骤。

本发明利用计数单元对每组缩放参数的使用次数进行独立计数，因此能够独立控制目标屏幕上任意像素点的所有缩放参数，从而可以在一个统一的通用缩放结构下支持多窗口的图像缩放，并可支持一维或多维图像缩放算法或者算法组合。由于对缩放参数采用计数方式，相同的缩放参数不必重复进行存放，因而可以节约大量存储空间。

附图说明

以下附图为对本发明示例性实施例的辅助说明，结合以下附图对本发明实施例的阐述，是为进一步揭示本发明的特征所在，但并不限制本发明，图中相同符号代表实施例中相应元件或步骤，其中：

图1为现有技术中一种图像缩放装置的非线性缩放的缩放参数分配原理示意图。

图2A为根据本发明的一种通用图像缩放装置的结构示意图。

图2B为根据本发明的另一种通用图像缩放装置的结构示意图。

图3为根据本发明的一个实施例的滤波器的结构示意图。

图4为根据本发明的一个实施例的滤波器的插值原理示意图。

图5为根据本发明一个实施例的通用图像缩放装置中，计数单元与缩放参数寄存器的对应关系示意图。

图6为本发明的通用图像缩放方法的流程图。

图7为根据本发明另一个实施例的通用图像缩放装置中，计数单元与缩放参数寄存器的对应关系示意图。

图8为根据本发明另一个实施例的通用图像缩放装置中，计数单元与缩放参数寄存器的对应关系示意图。

图9为根据本发明一个实施例的缩放参数和缩放参数的预定使用量的分布原理示意图。

具体实施方式

图2A为根据本发明的一种通用图像缩放装置的结构示意图。参见图2A，本发明的图像缩放装置包括图像缩放单元21和对图像缩放单元的处理过程进行控制的控制单元22。图像缩放单元可对图像进行垂直缩放和水平缩放。控制单元接受并存储外部输入的缩放参数，对图像缩放单元的缩放操作进行控制。本发明在图像缩放装置中并设置了计数单元23，计数单元能够记录缩放参数的预定使用量，如使用次数等，并在该缩放参数已经完成的使用量到达预定使用量时，提示控制单元更新缩放参数。

图像缩放单元中通常利用滤波器对原始图像进行插值来获得目标图像。图像缩放的主要方法是根据放缩比例，即目标图像长度与原始图像长度的比值，确定出目标图像中需要插值的点的位置，然后确定插值点位置所对应的原始图像的多个原始点，这些原始点经过插值滤波器，根据系数加权计算得到所需要插值的目标样点。不同的插值滤波器可以得到不同的插值图像效果。

图3为根据本发明的一个实施例的滤波器的结构示意图。滤波器所抽取的数据样点也称为抽头(tap)。抽头的数量可以根据显示精度的要求来设置。图3中滤波器示例性地具有4抽头。理论上，对于每个图像样点的缩放处理，可以取不同的显示精度值，即抽头数。滤波器从源数据中抽取多个原始点数据，每个样点都乘上一个与之对应的系数，得到一个乘积，再把这些乘积累加起来，输出所得的结果，则可获得目标点数据。每个目标点可以在图像的源数据中选取一个参考点，一般参考点选在目标点在图像中的位置的附近。根据放缩比例可以确定相邻目标点对应的参考点之间的距离(以点数为单位)，即步进值(step)。运算中对于每一个目标点，只需要知道其前一点的参考点和前一点的步进值，就可以根据该点的步进值得到该点的参考点，以此类推，从而得到滤波所需的全部原始点。图像的放缩比例既可能是固定的绝对放缩比例，也可能是非线性缩放中一个随位置变化的放缩比例。因此，放缩比例可以根据实际的缩放需求来变化，理论上甚至可以逐点变化。

图4为根据本发明一实施例的滤波器的插值原理示意图。图中，标号41表示目标图像，标号411表示目标样点411，标号42表示原图像，标号421、422、423和424分别表示原样点1至原样点4，标号43表示滤波器窗口，横向轴表示目标点到X的距离，纵向轴表示目标点的权重，标号45表示滤波函数f(x)，标号S表示步进值。根据需要的图像放缩比例，可以确定目标图像中每两个插值点相对于原图像中的步进值。根据插值点的位置，可以得到原图像中参与插值的N个点，原图像中的N个点与插值滤波器所计算出来的加权值作加权和就得到了目标图像中插值点的像素值。从以上过程可以看出，对于每一个插值点，首先需要确定插值距离x，然后根据所使用的滤波函数逐点计算出目标点的加权值，即插值系数，然后才能进行加权，而得到插值点。不同的滤波函数的表现是不相同的，它们引入的误差也是不同的。对于每个图像样点的缩放处理，可以选取不同的滤波函数。通常需要根据具体应用来选择适当的滤波函数。

在实际硬件实现中，采用逐点计算插值系数的方法代价太大，通常所采取的做法是：设定一定的精度，也称为量化阶数。根据量化阶数对插值距离x做量化，例如，量化阶数为8，则对插值距离x作8段量化，将x值量化成：0，1/8，2/8，3/8，4/8，5/8，6/8，7/8。根据这些量化后的x值预先计算出滤波函数所对应的插值系数，可以获得8组插值系数。然后，将该8组插值系数以表格的形式存放于存储器中。在插值过程中，根据每个样点得到的插值距离x，选取最接近的插值系数做加权计算。为了得到更高的精度，也可以把量化阶数设为16段，32段或更高的精度。插值系数也称为滤波系数，一般地，在设定了滤波函数和量化阶数后，则可以得到确定的滤波系数的索引表。

对于图像中的每个样点来说，确定了缩放参数，即可得到确定的缩放结果。例如，根据前文所述，一维图像的缩放操作中，缩放参数包括滤波函数、量化阶数、放缩比例、滤波器阶数。确定了上述缩放参数，原始图像缩放后可得到唯一确定的目标图像。

图5为根据本发明一个实施例的通用图像缩放装置中，计数单元与控制单元的缩放参数寄存器的对应关系示意图。参见图5，控制单元22中设有至少一组缩放参数寄存器225，用来存放从外部输入的缩放参数。可以预先确定该图像缩放装置在进行缩放操作时可能用到的缩放参数个数，并根据缩放参数个数来设定一组缩放参数寄存器的个数。每次从外部输入缩放参数时，同时输入该缩放参数所需进行使用的预定使用量。计数单元23设置了计数器235，能够记录缩放参数的预定使用量，并对缩放参数已经完成的使用量进行计数，在该缩放参数的预定使用量完成时提示控制单元更新缩放参数。例如，把该缩放参数的预定使用量设定为计数器的计数初始值，缩放参数每使用一次后，计数器进行自减，当计数器自减至零值时，提示控制单元更新缩放参数寄存器中的缩放参数。因此，可以根据实际需求预先配置好准备进行图像缩放处理的缩放参数，在进行到适当的时机时，再更新缩放参数，并使用更新后的缩放参数继续进行图像缩放处理，不必同时存放大量相同的缩放参数，因此节约了存储空间。

根据本发明的一些实施例，计数单元为全局性计数器。该全局性计数器记录的多个计数值可以将目标图像中的一个水平行，或者一幅目标图像，划分成任意宽度的小块，甚至可以以比较小的代价获得对图像缩放的逐点控制。

缩放参数的预定使用量是根据目标图像上的像素来计算，而非原始图像上的像素。在一般情况下，由于我们的效果评估都是针对目标图像而言的，所有缩放参数变化，例如影响滤波效果与放缩比例的滤波函数、量化阶数、放缩比例、滤波器阶数等缩放参数，也都是针对目标图像而确定的，这样做同时也可以减少计算上的开销。预定使用量可以自由设置为使用次数、使用比例、使用时间或使用长度等，最终采用软件或硬件计算统一折换成使用次数后，作为计数器的计数初始值。

根据本发明的一些实施例，把这些具体的缩放参数插值计算交给硬件处理，而由软件进行目标图像逐个样点的参数配置，则可以用一种通用的硬件结构处理各类图像缩放算法，由此可以达到理论上的“逐点控制”的要求。

在本发明的另一实施例中，图像缩放装置并设有预测配置单元24(参见图2B)，可以检测一幅图像的全部缩放参数，并根据检测到的数据预测下一幅图像的缩放参数。预测配置单元可以进一步减少装载缩放参数所需的时间，因而提高图像缩放装置的处理速度。

图6为本发明的通用图像缩放方法的流程图。参见图6，该方法包含以下步骤：

S1，配置至少一组图像缩放参数和与该组缩放参数相对应的预定使用量；

S2，对图像上的样点进行图像缩放处理，并对缩放参数已经完成的使用量进行计数；

S3，判断缩放参数已经完成的使用量是否达到配置的预定使用量；如否，程序返回步骤S2；如是，进入步骤S4，重新配置下一组缩放参数和与该组缩放参数相对应的预定使用量。

上述图像缩放方法可以进一步包括如下步骤，在一幅图像缩放操作完成后，根据该幅图像的缩放参数，预测下一幅图像的缩放参数。

缩放参数寄存器225和计数器235的数量可以根据需求来设置，以下以几个实施例来说明几种不同的配置。

根据本发明的一个实施例，计数单元包括至少一个计数器，计数器中记录一组缩放参数的预定使用量。如图5所示，缩放参数寄存器225设置了一组缩放参数的值，例如包括滤波函数、量化阶数、放缩比例、滤波器阶数，计数器235中记录该组缩放参数预定使用量的值。例如，该组缩放参数需要使用在目标图像100个像素样点的缩放处理上，可以把计数器的初始值设为100。在每次完成一个像素样点的缩放处理后，就把计数器的值减1，这样，直到完成100个像素样点的缩放处理，计数器的值变为零，计数单元将提示缩放参数寄存器装载一组新的缩放参数，并把一同输入的该组缩放参数的预定使用量记录在计数器中。

根据本发明的另一个实施例，计数单元23中也可以设置一组计数器。计数器的数量与缩放参数寄存器组225中的缩放参数寄存器的数量相对应，对于每一个缩放参数寄存器分别配置一个相对应的计数器，可以存放该缩放参数寄存器中缩放参数的预定使用量。如图7所示，第一计数器231(方框内的文字表示该计数器所进行计数的对象，下同)与缩放参数寄存器组中的滤波函数寄存器2251对应，第二计数器232与缩放参数寄存器组中的插值量化阶数寄存器2252对应，第三计数器233与缩放参数寄存器组中的步进值寄存器2253对应，第四计数器234与缩放参数寄存器组中的滤波器阶数寄存器2254对应。

根据本发明的另一个实施例，如图8所示，控制单元中设置了两组缩放参数寄存器，两组缩放参数寄存器可以轮流存取。对应每组缩放参数寄存器，并各设置一个计数器，在每次刷新一组缩放参数寄存器的缩放参数值时，同时把该组缩放参数值的预定使用量输入与其对应的计数器。具体而言，可以在第一缩放参数寄存器组225-1中存放当前进行缩放处理需要使用的缩放参数，并在第一计数器单元23-1中存放第一组缩放参数的预定使用量。在使用第一组缩放参数进行操作期间，在第二缩放参数寄存器组225-2中存放紧随其后的缩放操作需要使用的缩放参数，并把第二组缩放参数预定使用量输入对应的第二计数单元23-2。在计数单元指示第一组缩放参数寄存器中存放的当前的缩放参数的预定使用量已经到达，需要变换缩放参数时，直接开始使用第二缩放参数寄存器组中存放的缩放参数。之后，在使用第二组缩放参数进行操作时，从外部输入将要使用的缩放参数刷新第一缩放参数寄存器组，并把其对应的缩放参数预定使用量输入第一计数单元。在计数单元指示第二缩放参数寄存器组中存放的缩放参数的预定使用量已经到达，需要变换缩放参数时，直接开始重新取用第一缩放参数寄存器组的值。按此方式将两组缩放参数寄存器和对应的两组计数器轮换使用，可以在利用一组缩放参数进行操作时，同时进行另一组缩放参数的装载工作，加快了处理速度。

根据本发明的另一个实施例，可以设置多组缩放参数寄存器和多个与其分别对应的计数器。在对目标图像的某一行进行缩放处理的时候，可以把所有缩放参数及其对应的预定使用量全部记录下来，同一幅图像的其他行可以按照该行的设置进行缩放处理。图9为根据本发明该实施例的缩放参数和缩放参数的预定使用量的分布原理示意图。参见图9，假设图像中的第1行需要进行非线性缩放，共分成5个部分，每个部分有其对应的缩放参数和缩放参数预定使用量。例如图9中的第一组缩放参数和第一组缩放参数的预定使用量，第二组缩放参数和第二组缩放参数的预定使用量，第三组缩放参数和第三组缩放参数的预定使用量，第四组缩放参数和第四组缩放参数的预定使用量，第五组缩放参数和第五组缩放参数的预定使用量。由于计数单元中记录了缩放参数的预定使用量，并可根据预定使用量来提示更换缩放参数，因此5个部分之间的界限是可以灵活设置的，每个部分不再被限定成固定的大小和始末地址，可以对应5个部分分别配置相应的缩放参数寄存器和计数器。对于其后的行，如果仍然分成相同的5个部分并分别采用相同的缩放参数时，例如图9中的第2至6行，仍可以直接沿用已经配置好的缩放参数和缩放参数预定使用量，而不必重新装载5个部分各自的缩放参数，因此也提高了处理速度。每一行的缩放参数的划分也完全可以按照实际需求来确定，例如图9中的第7到10行还可以分成4个部分。可以对应这4个部分分别配置相应的缩放参数寄存器和计数器。

对于一幅图像，计数单元还可以在图像的垂直方向设置垂直方向计数器，用于记录一个水平行上的多组缩放参数在垂直方向的预定使用量，并在垂直方向的预定使用量到达时，提示更新缩放参数。垂直方向的预定使用量可以以行数为单位。例如，图9中第1至6行的多组缩放参数是相同的，在垂直方向计数器中记录与其相应的垂直方向预定使用量，在图像的垂直方向每完成一行缩放操作，就把垂直方向计数寄存器的值减1。直到垂直方向计数寄存器的值减为零，计数单元指示垂直方向缩放参数的预定使用量已经达到了，再开始装载第7行的缩放参数。这样，在当前行与上一行使用相同的缩放参数的情况下，在切换行进行图像缩放时可省略重新装载缩放参数和缩放参数的预定使用量的动作，因而可以减少中断次数，并节约装载缩放参数的功耗和时间，同时也达到了灵活地对一幅图像分成多个不同部分分别按照不同的缩放参数进行缩放处理的目的。

在本发明的一个实施例中，图像缩放装置可以预先配置一幅图像的所有缩放参数。先针对水平行设定多组缩放参数，并在相应的计数器中配置每组缩放参数对应的预定使用量；再配置多个垂直方向计数器，每个垂直方向计数寄存器中设置根据同组缩放参数所应用的水平行的数量所确定的缩放参数垂直方向预定使用量。

在进行多窗口的图像缩放处理中，对于每个窗口可以各自设置缩放参数寄存器和相应的计数器。缩放参数寄存器中可以预先存放各窗口的缩放参数，计数单元分别对每个窗口缩放参数的预定使用量进行记录和计数，避免了为反复重新配置缩放参数而引起的中断和延迟，大大提高了图像缩放处理速度。

本发明的上述任何实施例中，对于图像缩放操作的算法并不做限定。当采用不同的算法处理图像缩放时，只需要相应地改变图像缩放所需要的缩放参数的类型，而对于硬件本身并不需要进行变更，诸如缩放参数寄存器和计数寄存器等可以预先设置，再在实际应用中采用相应数量的寄存器，也可以直接复用电路中现有的寄存器。因此，本发明可以作为通用的图像缩放处理的硬件架构。例如，即使在多维的图像缩放处理中，只需改变缩放参数寄存器中缩放参数的定义，而不必改变硬件结构，即可进行多维的图像缩放处理。本发明并不限于实施例所做的阐述，任何基于本发明的修改和本发明的等同物都应涵盖在本发明的权利要求的精神和范围之内。