表达通用的二维空间变换的系统和方法

摘要

本发明涉及表达二维空间变换的系统和方法，所述二维变换根据所选择的几何参数(110，120)通过逆映射的网格数据描述空间变换。在定义在输出空间的矩形面片阵列上使用数学技术(130，140)对每个坐标的网格数据进行曲面拟合。误差分析确定曲面拟合(150)是否需要更高的网格分辨率。接着，通过矩形曲面面片阵列以及曲面系数集定义空间变换，以通过曲面多项式的评估值执行所述空间变换，这允许变换容易地为比例缩放变化、视图缩放以及视图移动效果(160，170，180，190)进行调整。

说明书

技术领域

本发明涉及数字图像变换，更具体地说，涉及数字图像数据的二维空间变换的表达。

背景技术

大多数图像处理系统都可被部分认为是空间变换系统。在二维(2D)图像处理中，根据2D输出空间中每个像素与一些输入数据(很可能是3D)的相互关系，通过向每个所述像素分配“颜色”值来产生图像。通过在输入和输出数据空间中引入坐标系统，这种相互关系可方便地表示为空间映射。这种空间映射可以隐含在图像处理系统(透镜阵列等)的设计中，或者是明确指定的以获得某些效果。图像变形(warping)，是关于2D输入和输出图像或空间之间的映射的术语，通常用于校正在图像捕捉和图像显示设备中常见的光学失真和各种伪影，例如畸变。图像变形的其他用途包括特效、动画、图像拼接以及通用的几何变换。一般而言，图像变形不必是空间变换，但是，图像变形的重点是空间映射。

很多电子图像失真或变换算法的主要设计目标是简化硬件实现。这种目标通常导致对空间变换的复杂度或者非现实的变换描述的约束。例如，常用于图像变形的一种方法是双程法(two-pass method)。基于双程法的专用变形系统包括Bennett等人的美国专利4,472,732中详细描述的Ampex设备。所公开的方法适用于实时图像处理系统的硬件实现，所述方法将2D映射图(map)分解成一系列1D映射图，1D映射图只需要1D的滤波或重采样。在1D中进行重采样比在2D中简单，允许优化使用各种架构的硬件。但是，双程法具有瓶颈效应，即，中间图像的巨大压缩，导致数据的丢失。在极端的情况下，可能丢失全部数据，例如，当区域被压缩成线的区域。这种效应限制了可适用的几何变换的类型。双程法的其他问题包括产生中间过程的数据。

目前已经尝试对双程法进行各种改进，以解决这些问题，如发明人为Sayre的美国专利5,175,808和发明人为Wolberg等的美国专利5,204,944中所述，这些方法是基于逐个像素描述(即，查找表)。逐个像素描述要求较大的存储空间，更重要的是，不允许用于附加数据处理的简单手段。一旦图像被变形，可能需要第二变换，也就是所谓的视图缩放(zoom)操作。在逐个像素描述中，必须为视图缩放变形重新生成整个网格，这是低效的，尤其是在视图缩放是常用的特征时。

其他不需要基于双程法的空间变换的算法，局限在某些映射类型如旋转、线性比例缩放(scale)、仿射以及透视变换，如发明人为Fant的美国专利4,835,532、发明人为Kimata等的美国专利4,975,976、发明人为Hamburg的美国专利5,808,623以及发明人为Levien的美国专利6,097,855所述。一些现有技术尝试使用物理存储空间来识别数学坐标空间，这意味着，在硬件实现中，变换受存储结构的组织的限制。此外，更多的变形算法不提供在不同的图像部分应用独立变换的简单格式。复杂的映射如拓扑的改变(例如，从圆形图像到矩形图像)要求对不同的区域进行独立的映射。

可通过使用2D表达，也就是使用2D滤波的单程法来消除这些缺陷。基于2D表达的系统示例包括Orginc等的美国专利5,384,912中的视频处理器和显示单元，以及包括由Fairchild半导体公司制造的TMC2302A集成电路。但是，这些现有的方法是基于2D变换的受限子集的，因此它们不能表达一般的2D映射。尤其是这些系统都没有提供对单个图像的不同部分应用独立的变换的方法。

发明内容

本发明一方面提供一种单程实现二维图像变换的电子系统，所述变换将具有输入像素坐标的输入图像转换成具有输出像素坐标的输出图像，所述系统包括：

(a)用于获取定义所述变换的几何参数的几何输入接口，所述几何参数包括描述平面屏幕和弧形屏幕的显示光学、投影角、显示板几何学的透镜参数以及用户指定的参数；

(b)连接到所述几何输入接口的网格变换生成器，用于产生将输出像素坐标映射到输入像素坐标的网格数据变换；

(c)连接到所述网格变换生成器的面片几何图形生成器，其根据原始(underlying)几何图形将输出像素坐标空间分割成多个对应的面片，每个面片具有关联的网格数据集，所述面片几何图形生成器确定输出空间的面片的边界；

(d)连接到所述面片几何图形生成器的曲面函数评估器，其将每个面片的网格数据集的参数确定为由曲面系数表达的曲面函数；以及

(e)连接到所述曲面函数评估器的用于存储所述曲面系数的输出接口。

另一方面，本发明提供一种表达单程执行二维图像变换的方法，所述变换将具有输入像素坐标的输入图像转换成具有输出像素坐标的输出图像，所述方法包括：

(a)获取定义所述变换的几何输入参数，所述几何参数包括描述平面屏幕和弧形屏幕的显示光学、投影角、显示板几何图形的透镜参数以及用户指定的参数；

(b)基于所述几何输入参数产生将输出像素坐标映射到输入像素坐标的网格数据变换；

(c)根据原始几何图形将输出像素坐标空间分割成多个对应的面片，每个面片具有关联的网格数据集，并确定输出空间的面片的边界；

(d)将每个面片的网格数据变换的参数确定为由曲面系数表达的曲面函数，以及存储所述曲面系数。

下面结合附图的描述中，揭露了不同方面的更多细节以及本发明的实施例的优点。

附图说明

附图中：

图1是根据本发明的优选实施例构建的变形系统的方框图；

图2是通用2D变换的图形表示，其中对输出图像(P)的像素应用逆映射，以确定输入图像(P’)中对应像素的位置；

图3是示出了如何在图1的系统中通过将面片边界延伸成多行面片、多列面片或者面片阵列，以进行不规则面片和规则面片的分离；

图4A和图4B是图1的系统中使用的不连续的(图4A)和连续的(图4B)2D曲面的图形表示；

图5示出了当输入图像和输出图像都比例缩放时，图1所示的系统如何用于实现分辨率的变化；

图6是图1所示的系统如何进行视图缩放的示意图；以及

图7是本发明的变换方法的通用流程图。

具体实施方式

首先参考图1，图1示出了根据本发明的优选实施例构建的变形系统100的例子。变形系统100包括几何输入接口110、网格变换生成器120、面片(patch)几何图形生成器130、曲面函数评估器140、误差分析级150、边界框生成器160、分辨率/视图缩放生成器170、数据重排级180以及输出接口190。

变形系统100将网格数据(逐个像素)表达转变成曲面函数表达，导致了有效的实时硬件实现。需要应用2D空间变换的任何系统都能够使用变形系统100。变形系统100的使用范围从纠正放映机、照相机和显示设备中的小失真到纠正透视如梯形畸变或者空间广角透镜纠正，以及到图像几何的完全改变如从圆形360度的图像形成矩形全景图，或者从其他的矩形图形成极坐标型映射。

几何输入接口110根据少量的几何参数来获得或者包括变换描述。这些参数从最高层次来描述(也就是说定义)变换。一些例子包括根据投影角度以及透镜投影比例来描述梯形变换，或者根据径向三次多项函数(在这种情况下，参数是是个四次多项式系数)描述透镜纠正，或者根据显示曲面的曲率半径来描述显示曲面。在极端的情况下，根据小几何参数的封闭描述(closed description)不可用，可能需要使用数学描述来给出点的小子集的映射。

网格变换生成器120连接到几何输入接口110。网格变换生成器120使用从几何输入接口110获得的输入几何参数来产生空间变换的网格数据描述，网格数据描述定义了对应的几何映射，并提供变换后的新像素位置。网格变换生成器120使用逆映射变换，也就是规定输出图像中每个像素从何处映射到输入图像的空间变换。这种方法确保了按照输出图像的水平/垂直扫描线中每个输出像素的处理顺序，给每个输出像素分配一个值。另一方面，正如所知道的，正向映射会在具有未分配像素的输出图像中留下“孔”。

参考图2，图2示出了将通用2D变换用图像表达为，对输出图像坐标空间中的像素P应用逆映射以获取输入坐标空间中的输入图像的像素P’。通用变形会将点映射到输入坐标空间中非整数位置。像素通常被模拟成具有有限区域的点，而不是精确的点，如每个格点周围的打点空间所示。因此，输出图像中像素P作为区块ABCD处理，区块ABCD变形为输入坐标空间中P’周围的任意形状ABCD。在输入空间中，像素P，可看成重叠的像素1、2、3和4。

如图2所示，输入空间的原点以及输出空间的原点定义为位于每个对应图像的左上角，x正向朝右，y正向朝下。输入和输出图像通常存储到或写入到存储器形态的部件中，因此，本发明有时候将输入图像空间和输出图像空间分别称为输入存储空间和输出存储空间。一般上，可通过下面形式的等式来总结来概述网格数据描述：

U＝F_u(X，Y)

                        (1) 

V＝F_v(X，Y)

这些等式规定，通过空间变换F＝(F_u，F_v)，将输出图像中的坐标为(X，Y)的像素映射到输入图像中坐标为(U，V)的像素。因此，网格数据集关系{(U_i，V_i)，(X_i，Y_i)}或者单个网格数据集，是输出空间中的一组像素{(X_i，Y_i)}，该组像素{(X_i，Y_i)}被反映射到输入空间的像素{(U_i，V_i)}。如上所述，坐标{X，Y，U，V}是物理存储器地址空间的坐标。这种关系如下表示：