使二维影像呈现出三维效果的影像处理方法及相关影像处理装置

摘要

本发明揭示一种影像处理装置，用以自第一四边形影像转换成第二四边形影像而呈现出三维效果，该影像处理装置包含有一目标影像决定单元、一区块决定单元及一绘图单元。目标影像决定单元用以根据该第一四边形影像及该三维效果产生对应于该第二四边形影像的一形状轮廓。区块决定单元用以根据该形状轮廓区分多个第二区块，并对应地自该第一四边形影像中决定多个第一区块。绘图单元用以对这些第一区块的影像数据进行缩放处理，以分别产生这些第二区块的影像数据，进而得到该第二四边形影像。

说明书

技术领域

本发明有关于一种产生三维效果的机制，尤指一种使二维影像呈现出三维效果的影像处理方法及相关的影像处理装置。

背景技术

对于使用者介面系统(例如手机等可携式装置上的使用者介面)，图像或影像的绘制方式可分为二维平面影像绘制与三维立体影像绘制。以目前的二维平面影像绘制能力来说，影像绘制的方式较简单且成本也较低，但缺点是缺乏景深信息，而只能以显示时间的先后顺序来绘制影像才能表达出影像的空间概念。而以三维立体影像绘制能力来说，其优点是具备景深信息，所以可带给观赏者或使用者更多的视觉享受，然而其缺点是影像绘制的方式较复杂，而成本也相对较高。举例来说，若三维立体影像绘制以硬件实现，则硬件成本会比二维平面影像绘制以硬件实现时的成本来得高，而若立体影像绘制以软件实现，则对处理器来说，处理器也将耗费较多资源与时间于立体影像绘制上，换言之，立体影像绘制时处理器的效能将可能大幅滑落。

发明内容

因此，本发明的目的之一在于提供一种使二维影像呈现出三维效果的影像处理方法及其影像处理装置，以克服立体影像绘制于实现时所遭遇的问题，尽可能地降低软/硬件成本并提高系统效能。

根据本发明的一实施例，其揭示了一种影像处理方法，用以自第一四边形影像转换成第二四边形影像而呈现出三维效果，该影像处理方法包含有：提供该第一四边形影像；根据该第一四边形影像及该三维效果产生对应于该第二四边形影像的一形状轮廓；根据该形状轮廓区分多个第二区块，并对应地自该第一四边形影像中决定多个第一区块；以及对这些第一区块的影像数据进行缩放处理，以分别产生这些第二区块的影像数据，进而得到该第二四边形影像。

根据本发明的实施例，其另揭示了一种影像处理装置，用以自第一四边形影像转换成第二四边形影像而呈现出三维效果，该影像处理装置包含有一目标影像决定单元、一区块决定单元、及一绘图单元。目标影像决定单元用以根据该第一四边形影像及该三维效果产生对应于该第二四边形影像的一形状轮廓。区块决定单元用以根据该形状轮廓区分多个第二区块，并对应地自该第一四边形影像中决定多个第一区块。绘图单元用以对这些第一区块的影像数据进行缩放处理，以分别产生这些第二区块的影像数据，进而得到该第二四边形影像。

附图说明

图1为本发明的实施例中所产生的立体影像效果的示意图。

图2为本发明实施例的影像处理装置的示意图。

图3为图2所示的运算单元针对一区块进行影像缩放的范例示意图。

图4为本发明的实施例中四边形Q1、Q2的范例示意图。

图5A与图5B分别绘示于四边形影像Q1中选取相对应扫描线的示意图。

图6A与图6B分别绘示将四边形影像Q1中一扫描线区域SL1的影像进行影像缩放产生四边形影像Q2中一相对应扫描线区域SL2的影像的范例示意图。

图7A与图7B分别是区块决定单元决定四边形影像Q1与Q2中的一区块对应关系的示意图。

图8A与图8B分别是区块决定单元决定四边形影像Q1与Q2中的另一区块对应关系的示意图。

图9为本发明第三实施例中景深信息的倒数值与四边形影像Q1中各区块影像的面积大小的关系示意图。

主要元件符号说明

200 影像处理装置

201 目标影像决定单元

202 区块决定单元

203 绘图单元

205 存储单元

具体实施方式

针对使用者介面系统的操作图像或影像，由于立体影像绘制需要较高成本的硬件设备及占用较高的系统资源，因此，为兼顾软硬件成本考量以及系统处理效能，本发明的实施例基于二维平面影像绘制方式，提供一种创新的影像绘制方式来绘制使用者介面系统的操作图像及影像，以达到使二维影像呈现出三维效果以及避免降低系统效能的目的，让使用者于操控该使用者介面系统时有较佳的视觉享受。本发明的实施例中的创新影像绘制方法与装置所产生的影像画面中至少可呈现出一项三维影像效果，例如形状改变、画面扭曲或扩张或是光源明暗等三维影像效果。由于本发明的实施例中的创新影像绘制方法与装置以二维影像为基础而发展出，所以不需参考三维空间的Z轴信息(亦即影像画面的景深信息)即可呈现出三维影像效果，对系统运算效能来说，可大幅减轻处理器的负担。即便本发明的实施例中的创新影像绘制方法以硬件实现，对硬件需求来说，并不会大幅增加原先二维影像绘制时的硬件成本，而对三维影像效果呈现所需的硬件成本来说，本发明的硬件成本也相对较低，因此，本发明的方法与装置若以硬件实现仍保有相当大的成本优势。

本发明的理论根源在于使用者介面系统所呈现的图像大部分为四边形的图像，尤其是矩形形状的图像，例如正方形图像，而当四边形图像往一特定角度进行翻转或旋转时，其一连串的影像改变可被模拟为多个个连续不同的影像，且这些影像的影像形状为梯形形状或矩形形状。所以，本发明的实施例的方法与装置依据不同三维效果的旋转角度，对应地计算所分别产生的四边形影像的形状，并据此分别产生四边形影像，实施方式上，可依据前后相邻两时间点的旋转角度的差，对应地计算后一时间点的四边形图像的形状，又或者，可依据目前时间点与初始未改变图像形状时的翻转或旋转角度差，对应地计算目前时间点的四边形图像的形状；凡此皆符合本发明的精神。

请参照图1，图1是本发明的较佳实施例中使二维影像呈现三维效果的示意图。如图1所示，使用者介面系统中的图像呈现出在三维空间中进行翻转或旋转的视觉效果，例如上下翻转(例如图像‘0’与图像‘1’)或左右翻转(例如图像‘2’与图像‘3’)。以图像‘0’来说，为呈现三维效果，原先是矩形形状的图像‘0’在上下翻转时的一连串影像会是数个不同形状的梯形影像，随着翻转的角度变大，图像‘0’的一连串梯形影像的高将愈来愈小(时间t 1至t5)，人眼可感知到图像‘0’的形状随着梯形影像的高愈来愈小而逐渐变扁，因而有图像‘0’在三维空间中进行上下翻转的视觉效果，而以图像‘1’来说，原先是较扁梯形影像的图像‘1’在上下翻转时的一连串影像会是数个不同形状的梯形影像与一正方形影像，随着翻转的角度变大，图像‘1’的一连串梯形影像的高将愈来愈大(时间t1至t5)，人眼可感知到图像‘1’的形状随着梯形影像的高愈来愈大而由较扁的形状逐渐恢复至正常形状(亦即正方形影像)，因而有图像‘1’在三维空间中进行上下翻转的视觉效果；相似地，以图像‘2’来说，原先是正方形影像的图像‘2’在左右翻转时的一连串影像也会是数个不同形状的梯形影像，随着翻转的角度变大，图像‘2’的一连串梯形影像的高由时间t1至t5将愈来愈小(图像‘2’的梯形影像的高即是该影像的左右宽度)，人眼可感知到图像‘2’的形状随着梯形影像的高愈来愈小而逐渐变扁，因而有图像‘2’在三维空间中左右翻转的视觉效果。同样地，图像‘3’的一连串梯形影像的高由时间t1至t5将愈来愈大，因而有图像‘3’在三维空间中进行左右翻转的视觉效果。为了更加突显出图像的三维效果，可适当调整一连串梯形影像的亮度。以亮度的明暗来看，在此假设光源在正前方(并非本发明的限制)，当图像‘0’由正面往下逐渐翻转至下侧以及图像‘2’由正面往右逐渐翻转至侧面时，其一连串影像的亮度将愈来愈暗，反之，图像‘1’由侧面往前逐渐翻转至正面以及图像‘3’由侧面往右逐渐翻转至正面时，则其一连串影像的亮度将愈来愈亮，为表示出亮度明暗的差别，在图1中是以网点的数量多寡来表示明暗的程度，其中网点数量较多的影像的亮度较暗，而网点数量较少的影像的亮度则较亮，正方形影像中则并未绘示任何网点来表示该影像具有最亮亮度。前述说明中图像‘0’~图像‘3’所呈现的三维影像效果仅用于说明本发明的装置与方法所产生到的效果，然并非本发明的限制。以下具体描述本发明的较佳实施例中的硬件实现方式。

请参照图2，图2是本发明较佳实施例的影像处理装置200的示意图。影像处理装置200包含有一目标影像决定单元201、一区块决定单元202及一绘图单元203。而影像处理装置连接至一存储单元205，存储单元205用以储存一特定影像所对应的一四边形影像Q1的影像(包括多个个像素值)。目标影像决定单元201用以根据四边形影像Q1的四个顶点平面座标及所欲呈现的三维效果，产生四边形影像Q2的四个顶点的座标。一旦决定了四边形影像Q2的四个顶点后，四边形影像Q2的形状轮廓即可被确定。区块决定单元202用以将四边形影像Q2分成多个区块，并自四边形影像Q1中决定与四边形影像Q2的这些区块相对应的区块。绘图单元203接着根据四边形影像Q2这些区块与四边形影像Q1这些对应区块的关系，以区块为单位，依序对四边形影像Q1的每一对应区块进行影像内容的缩放处理，而产生四边形影像Q2这些区块的影像内容(即区块中多个像素的像素值)。图3是图2所示的绘图单元针对一对应区块进行影像缩放的范例示意图，绘图单元203所执行的影像缩放进行一区块搬移的影像内容缩放处理(Stretch bit-block transfer)的功能，举例来说，若四边形影像Q1的一对应区块Bn为具有宽度为W1而高度为H1的一长方形区块(以实线框表示)，内含的影像内容‘A’，绘图单元203可自存储单元205中读取对应区块Bn的影像数据，并将所读取的影像数据进行影像缩放，产生符合虚线框所表示的长方形区块(宽度为W2而高度为H2)的缩放后影像内容‘A’，其中，虚线框所表示的长方形区块代表四边形影像Q2中对应该对应区块Bn的区块Bn’。经由如此运作，影像处理装置200逐一产生前述可呈现出三维效果的一连串四边形影像(该三维视觉效果亦可视为使四边形影像Q1在三维空间中呈现翻转的效果)，这些四边形影像输出至一显示屏幕上，即可让使用者观赏到该二维影像的三维影像效果变化。

在本实施例中，该二维影像为使用者介面系统中的一图像(并非本发明的限制)，四边形影像Q1、Q2为相邻两时间点的影像，其中四边形影像Q1为该二维影像(亦即该图像)于翻转或旋转时前一时间点的影像，而四边形影像Q2为该图像于翻转或旋转时的后一时间点的影像，例如，该二维影像可为图1所示的图像‘0’，则四边形影像Q1可以是图像‘0’在时间t1的正方形影像，而四边形影像Q2则是图像‘0’在时间t2的梯形影像，此外，四边形影像Q1也可以是图像‘0’在时间t3的梯形影像，而四边形影像Q2则是图像‘0’在时间t4的梯形影像；另外，若该二维影像为图1所示的图像‘1’，则四边形影像Q1可以是图像‘1’在时间t2的梯形影像，而四边形影像Q2则是图像‘1’在时间t3的梯形影像，此外，四边形影像Q1也可以是图像‘1’在时间t4的梯形影像，而四边形影像Q2则是图像‘0’在时间t5的正方形影像。换言之，影像处理装置200可以依据该图像所欲呈现三维空间的不同翻转角度来产生翻转后的图像的影像。

具体而言，请再度参考图2，目标影像决定单201用以根据四边形影像Q1的四个顶点座标及所欲呈现翻转或旋转的角度与方向，产生四边形影像Q2的四个顶点的座标，在此实施例中，四边形影像Q1即是来源影像，其影像数据储存于存储单元205。实施上，目标影像决定单元201可藉由硬件形式来达成，亦可由软件形式来达成。

请参考图4，区块决定单元202依据四边形影像Q2四个顶点的座标P21~P24来计算四边形影像Q2左右两侧的座标变化率(亦即四边形影像Q2的左方两顶点的平面座标P21、P23的座标变化率以及右方两顶点的平面座标P22、P24的座标变化率)，分别算出第一、第二座标变化率，以便得知在四边形影像Q2中每增/减移动一行时，下一行扫描线所处的行数的座标起始点(start point)与结束点(end point)的信息(即得知梯形影像每一扫描线的两端点座标)。区块决定单元202将四边形影像Q2分割成多个区块的分割方式、以及自四边形影像Q1中选择出对应于四边形影像Q1的这些区块的多个对应区块的选择方式则有相当多的变型设计，例如，在第一实施例中，四边形影像Q2以单一条扫描线区域为单位，分成多个矩形区块，而区块决定单元202再自四边形影像Q1中对应地决定多个个矩形区块，四边形影像Q1、Q2中的每一矩形区块尺寸大小皆为单一条扫描线区域的影像大小，请参考图5A与5B，图5A与图5B分别绘示于四边形影像Q1中选取相对应扫描线的示意图。如图5A所示，四边形影像Q2为一上下边平行的梯形，区块决定单元202根据四边形影像Q2的高度信息H2与四边形影像Q1(长方形)的高度信息H1，计算于四边形影像Q2中每移动一行水平扫描线距离时第一四边形Q1中的平均移动距离ΔH，并藉由所算出的平均移动距离ΔH，从第一四边形Q1中选取相对应水平扫描线。另外，如图5B所示，四边形影像Q2为一左右边平行的梯形，区块决定单元202则参考四边形影像Q2的高度信息H2’与四边形影像Q1(长方形)的宽度信息W1，计算于四边形影像Q2中每移动一列垂直扫描线距离时四边形影像Q1中的平均移动距离ΔW，并藉由所算出的平均移动距离ΔW，从四边形影像Q1中选取出相对应垂直扫描线。

在此实施例中，绘图单元203将区块决定单元202自四边形影像Q1中所选取出来的每一扫描线区域的影像进行影像缩放，以产生四边形影像Q2中一相对应扫描线区域的影像，亦即，在本实施例中绘图单元203每次将一扫描线区域的影像进行水平方向的缩放或是进行垂直方向的缩放。请参照图6A与6B，其分别绘示了将四边形影像Q1中一扫描线区域SL1的影像进行影像缩放产生四边形影像Q2中一相对应扫描线区域SL2的影像的范例示意图。如图6A所示，绘图单元203每次选取四边形影像Q1(上下边平行梯形)中一相对应扫描线(例如SL1)，并将该相对应扫描线上的影像进行缩放来产生四边形影像Q2中一扫描线(例如SL2)的影像，而如图6B所示，绘图单元203每次选取四边形影像Q1(左右边平行的梯形)中一相对应扫描线(例如SL1’)，并将该相对应扫描线上的影像进行缩放来产生四边形影像Q2中一扫描线(例如SL2’)的影像。

另外，在第二实施例中，区块决定单元202所决定的四边形影像Q2中每一矩形区块尺寸大小为单一条扫描线的区域大小，而四边形影像Q1中对应的矩形区块尺寸大小可设计为多条扫描线的区域大小，而绘图单元203将四边形影像Q1中多个条扫描线区域的影像进行影像缩放，产生四边形影像Q2中一相对应扫描线区域的影像。请参照图7A与图7B，图7A与图7B分别是区块决定单元202决定四边形影像Q1与Q2中之区块对应关系的示意图。如图7A所示，四边形影像Q1中每一矩形区块的尺寸大小皆相同，并如图7A上的虚线箭头所示，每一大小相同的矩形区块对应至四边形影像Q2的一水平扫描线，而四边形影像Q1的每一矩形区块中的影像数据经由绘图单元203的缩放处理后，而产生四边形影像Q2中相对应水平扫描线位置上的影像数据；举例来说，经过区块决定单元202分割后，四边形影像Q1中包含一矩形区块BLK3，用以对应四边形影像Q2中的一矩形区块BLK4，其中矩形区块BLK3包括多个条扫描线区域，而矩形区块BLK4包括单一条扫描线区域。另外，如图6B所示，四边形影像Q1中每一矩形区块的尺寸大小皆亦相等，且每一矩形区块的影像数据经由绘图单元203的缩放处理后，而产生四边形影像Q2中相对应垂直扫描线位置上的影像数据；其范例类似于图6A所示的范例，在此不另赘述。

再者，为了更进一步地增进影像品质，在第三实施例中，四边形影像Q1中的矩形区块尺寸大小除了可设计为具有至少一条至多条扫描线区域的影像大小外，每一不同矩形区块的区块大小也不相同。请参照图8A与图8B，图8A与图8B分别是区块决定单元202将四边形影像Q1分割成多个大小不相等的矩形区块来分别对应四边形影像Q2中相同大小的区块的范例示意图。区块决定单元202将四边形影像Q1分割成多个大小不相等的矩形区块，而将四边形影像Q2相对应地分割成多个大小相等的区块。此外，在图8A与图8B中，四边形影像Q2中较窄部分或面积较小的区块对应于四边形影像Q1中面积较大的矩形区块，四边形影像Q1与四边形影像Q2中相对应区块之间的面积大小关系呈现反向的非线性关系。

在第三实施例中，区块决定单元202参考四边形影像Q2所对应的特定影像的翻转角度来计算四边形影像Q1中各个矩形区块的面积及其平面座标值，换言之，区块决定单元202参考Z轴信息(亦即翻转后影像的景深信息)来产生前述的反向非线性关系。首先，图像于立体翻转后，影像中具有较深景深信息者，其所对应到的翻转前影像区块面积较多，此时翻转前的影像区块面积大小与景深信息的深浅具有正向关系且为非线性。为了使翻转前的影像区块面积大小与景深信息的深浅具有非线性关系，区块决定单元202参考景深信息的倒数，使景深信息的倒数与翻转前的影像区块面积大小具有线性关系，以得出翻转前的影像区块面积大小与景深信息的非线性关系，并用以产生四边形影像Q1中各矩形区块的分割方式。请参照图9，图9是本发明第三实施例中景深信息的倒数值与四边形影像Q1中各区块影像的面积大小的关系示意图。景深信息的倒数值的最小值是V₀，而最大值则是V₁，不同的倒数值对应至四边形影像Q2中不同的高度值，区块决定单元202将景深信息的倒数值由最小值V₀至最大值V₁进行均匀划分，由图9所示的关系比例可知，区块决定单元202对景深信息的倒数值的均匀划分，将不等分地划分四边形影像Q2中各矩形区块的面积大小，而其所划分出的各矩形区块之间的面积大小关系为非线性。因此，区块决定单元202可先计算出在四边形影像Q2中每移动一条扫描线距离所造成的景深信息倒数值的平均变化量Δσ，以及计算出在四边形影像Q2中每移动一条扫描线距离时景深信息倒数值所影响到之四边形影像Q1的平均移动距离ΔA，平均变化量Δσ与平均移动距离ΔA可以利用下列等式表示：

$>\mathrm{\Delta A}=\frac{(\frac{A_1}{z_1}-\frac{A_0}{z_0})}{L}$>等式(1)

$>\mathrm{\Delta \sigma }=\frac{(\frac{1}{z_1}-\frac{1}{z_0})}{L}$>等式(2)

其中参数z₀为四边形影像Q2的起始点的高度值A₀所对应到的景深信息，而参数z₁为四边形影像Q2的结束点的高度值A₁所对应到的景深信息，以及参数L为梯形的高度。依据等式(1)与等式(2)，区块决定单元202则可计算出在第二四边形Q2中由第i-1条扫描线移动至第i条扫描线后，相对应于四边形影像Q1中所移动的位置变化ΔP(i)：

$>\mathrm{\Delta P}\left(i\right)=\frac{(\frac{A_0}{z_0}+\mathrm{\Delta A}\times i)}{(\frac{1}{z_0}+\mathrm{\Delta \sigma }\times i)}$>等式(3)

因此，依据等式(3)所得的计算结果，区块决定单元202可轻易得知四边形影像Q2中由第i-1条扫描线移动至第i条扫描线时四边形影像Q1中相对应矩形区块的面积大小及其四个顶点座标，如此，区块决定单元202即能完成不等分切割四边形影像Q1的影像来进行影像缩放，以增进影像于立体翻转或旋转时的模拟效果。

此外，当绘图单元203产生四边形影像Q2的影像像素时，更可根据该图像的翻转角度(亦即从四边形影像Q1翻转至四边形影像Q2的角度)，对应地调整四边形影像Q2的影像亮度，可使该图像于人眼视觉中更具立体感。再者，虽然前述实施例中只说明处理使用者介面系统中的图像，然而在经过些许设计变化，本发明的概念亦可应用在模拟使用者介面系统中任一影像的立体效果，当然，亦可应用在其他非使用者介面系统的显示介面上，此皆属于本发明的范畴。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。