用于形成三维景象的装置及方法

摘要

本发明提供一种形成一三维景象的装置及方法。该装置根据一影像的多个深度数据而产生一高度图。该装置查找出该高度图的一第一区域，其中该第一区域内的深度数据较该第一区域外的深度数据变化更大。该装置根据该第一区域而在一平面上形成多个网格，并藉由以该高度图使该平面的网格变形而产生一三维景象。该平面与该高度图具有相同的尺寸，该平面内的一第二区域对应于该高度图的第一区域，且该第二区域内的网格较该第二区域外的网格具有一更精细的分辨率。该装置藉由将该影像映射至该三维网格上而产生该三维景象。

说明书

技术领域

本发明系关于一种形成一三维景象的装置及方法。更具体而言，本发明系 关于一种用于根据一影像及其深度数据而产生一三维景象的装置及方法。

背景技术

尽管我们的日常生活中充满了显示各种内容的影像，但人们不因此而满 足。主要原因在于，这些影像为二维(two-dimensional；2D)的，因此人眼看 去为平的。

藉由将深度信息(depth information)纳入传统二维影像之中，便能开发 出三维(three-dimensional；3D)影像/景象。传统上，一三维影像/景象系藉由 以下程序产生：自二个观察点(perspectives)捕获一景象，并藉由一专用投影 设备(例如：3D眼镜)来提供深度感。由于这些形成三维影像/景象的传统程 序繁琐，因此仍亟需一种形成三维影像/景象的便捷方式。

发明内容

本发明提供一种形成一三维(3D)景象的装置。该装置包含一深度分析 器、一网格产生器及一三维空间产生器，其中该深度分析器包含一高度图 (height map)产生器及一细部探测器。该高度图产生器用以根据一影像的多 个深度数据而产生一高度图，其中该高度图与该影像具有相同的长宽比。该细 部探测器用以查找出该高度图的一第一区域，其中该第一区域内的该等深度数 据较该第一区域外的该等深度数据变化更大。该网格产生器用以根据该第一区 域而在一平面上形成多个网格，其中该平面的一尺寸等于该高度图的一尺寸， 该平面内的一第二区域对应于该高度图的该第一区域，且该第二区域内的该等 网格较该第二区域外的该等网格具有一更精细的分辨率。该网格产生器亦被配 置成以该高度图使该平面的该等网格变形而产生一三维网格。请注意，各该网 格可由二个三角形形成。该三维空间产生器用以藉由将该第一影像映射至该三 维网格上而产生该三维景象。

本发明提供一种由一电子装置执行的形成一三维景象的方法。该方法包含 以下步骤：(a)根据一第一影像的多个深度数据而产生一高度图，其中该高 度图与该第一影像具有相同的长宽比，(b)查找出该高度图的一第一区域， 其中该第一区域内的该等深度数据较该第一区域外的该等深度数据变化更大， (c)根据该第一区域而在一平面上形成多个网格，其中该平面的一尺寸等于 该高度图的一尺寸，该平面内的一第二区域对应于该高度图的该第一区域，且 该第二区域内的该等网格较该第二区域外的该等网格具有一更精细的分辨率， 其中各该网格可由二个三角形形成，(d)藉由以该高度图使该平面的该等网 格变形而产生一三维网格，以及(e)藉由将该第一影像映射至该三维网格上 而产生该三维景象。

一般而言，本发明根据至少一个影像的多个深度数据而产生一高度图，找 出该高度图的至少一个细部区域，根据该至少一个细部区域及该高度图而产生 一三维网格，并且根据该三维网格及该至少一个影像而产生一三维景象。

在本发明中，为产生具有多个分辨率的一三维网格，必须找出该高度图的 至少一个细部区域。各该至少一个细部区域系为包含更多细部的一区域、包含 许多边缘的一区域、其距离值较其它地方变化更剧烈的一区域及/或类似区域。 在本发明中，一三维网格系被不均匀地形成并且具有多个分辨率。亦即，该三 维网格的某些部分系具有尺寸较小的三角形以呈现该三维景象的更多细部。具 体而言，该等部分对应于该高度图的该至少一个细部区域。

在本发明中，根据该三维网格及该至少一个影像而产生一三维景象。更具 体而言，藉由将该至少一个影像映射至该三维网格上而产生该三维景象。若存 在多于一个影像且自不同观察点/视角(viewpoint)/角度捕获该等影像，则可 更逼真地产生该三维景象。举例而言，当需要产生看似自一某个视角所看到的 一三维景象时，选择合适的影像而映射至该三维网格。

根据上述机制，本发明的装置及方法能够以一更便捷的方式产生一悦目的 三维景象。

参阅图式及随后描述的实施方式后，所属技术领域具有通常知识者可更了 解本发明的技术手段及具体实施态样。

附图说明

图1A系描绘第一实施方式的装置1的示意图；

图1B系描绘高度图14及细部区域16的一具体范例；

图1C系描绘平面18a上的多个网格；

图1D系描绘由网格产生器13所产生的三维网格18；

图1E系描绘自各种视角19a、19b、19c所视三维景象19的概念图；

图2A系描绘本发明第二实施方式中的装置1；

图2B系描绘影像10a、10b、……10c及用于捕获该等影像的视角20a、 20b、……、20c的概念图；以及

图3系描绘本发明第三实施方式的方法的流程图。

符号说明

1：装置

10：影像

10a：影像

10b：影像

10c：影像

11：深度分析器

12：深度数据

13：网格产生器

14：高度图

15：三维空间产生器

16：区域

18：三维网格

18a：平面

18b：区域

19：三维景象

19a：视角

19b：视角

19c：视角

22a：视角

22b：视角

22c：视角

111：高度图产生器

113：细部探测器

S301～S311：步骤

具体实施方式

以下将透过实施方式来解释本发明内容。然而，本发明的实施方式并非用 以限制本发明需在如实施方式所述的任何环境、应用或方式方能实施。因此， 关于实施方式的说明仅为阐释本发明的目的，而非用以直接限制本发明。需说 明者，以下实施方式及图示中，与本发明非直接相关的元件已省略而未绘示。

本发明的第一实施方式为一种形成一三维(3D)景象的装置1，其示意图 系描绘于第1图中。装置1包含一深度分析器11、一网格产生器13及一三维 空间产生器15，其中深度分析器11包含一高度图产生器111及一细部探测器 113。细部探测器113电性连接至高度图产生器111，网格产生器13电性连接 至高度图产生器111及细部探测器113，且三维空间产生器15电性连接至网格 产生器13。

在某些实施方式中，可藉由一单独处理单元或类似单元来实现各该深度分 析器11、高度图产生器111、细部探测器113、网格产生器13及三维空间产生 器15。然而，在某些实施方式中，深度分析器11、高度图产生器111、细部探 测器113、网格产生器13及三维空间产生器15可整合为一单个处理单元或类 似单元。

在此实施方式中，一影像10及与影像10相关的多个深度数据12被输入 至装置1的深度分析器11。在某些实施方式中，装置1可具有一额外的接口以 用于接收影像10及深度数据12。接着，影像10及深度数据12被输入至深度 分析器11。在某些实施方式中，装置1可具有储存有影像10及深度数据12 的一储存器。影像10包含自一视角(或一观察点、一角度等)所视的真实世 界的一景象，而各该深度数据12包含一距离值，各该距离值系与该视角与该 真实世界的该景象的一表面上一点间的一距离有关。深度数据12可以各种方 式得到，例如：藉由双面照相机(dual camera)、藉由一立体影像系统的计算 以及藉由一距离量测设备(例如：激光量测设备、红外线量测设备等)得到。

高度图产生器111根据深度数据12而产生一高度图14。需说明者，高度 图14的长宽比等于影像10的长宽比。高度图产生器111可以各种替代方式产 生高度图14。举例而言，高度图产生器111可藉由仅将深度数据12的距离值 插入高度图14中而产生高度图14。换言之，高度图14的每一画素对应于一距 离值。然而，于其它实施方式中，高度图产生器111可首先将深度数据12的 距离值插入深度图14中，并接着对高度图14中所包含的距离值执行一去噪声 (de-noise)操作及/或一平滑操作。当执行一去噪声操作时，可减少在距离值 的量测期间所产生的噪声。当执行一平滑操作时，可减少高度图14的非所欲 的锐利度(sharpness)。

细部探测器113查找出高度图14的一区域16。区域16为一细部区域， 此意味着区域16内的深度数据较区域16外的深度数据变化更大。换言之，区 域16为包含更多细部的一区域、包含许多边缘的一区域、其距离值较其它地 方变化更大的一区域及/或类似区域。其亦意味着影像10的一对应区域较影像 10的其余区域具有更多细部。

区域16可以各种替代方式得到。在某些实施方式中，细部探测器113可 产生高度图14的一梯度图(gradient map)(未绘示)，并决定高度图14中包 含较大梯度值(例如，大于一临限值)的区域作为区域16。然而，在某些实施 方式中，细部探测器113可在决定区域16时查找高度图14的一感兴趣区域 (region of interest；ROI)。具体而言，细部探测器113可产生高度图14的一 梯度图，并决定感兴趣区域内包含较大梯度值的区域作为区域16。

关于由细部探测器113所执行的操作，应作出若干说明。第一，细部探测 器113可在产生梯度图之前将高度图14标准化(normalize)，使后续阶段的 计算更为便捷。第二，在某些实施方式中，细部探测器113会采用梯度图，其 原因在于梯度图具有梯度值愈大则对应区域中所包含的细部愈多的特性。因 此，在决定区域16的程序中，细部探测器113亦可采用其它可区分具有较多 细部的区域与具有较少细部的区域的机制。

在决定出区域16后，网格产生器13根据区域16而在一平面18a上形成 多个网格。需说明者，平面18a的尺寸等于高度图14的尺寸，且各网格的每 一交叉点被看作一顶点(vertex)。请参照图1B及图1C中所示的一具体范例。 图1B系描绘高度图14及区域16的一具体范例，其中较亮颜色代表具有较小 距离值的深度数据。如图1C中所示，就尺寸及位置而言，平面18a内的一区 域18b对应于高度图14的区域16。网格产生器13根据区域16而在平面18a 上形成网格，使得区域18b内的网格较区域18b外的网格具有一更精细的分辨 率，如图1C所示。在某些实施方式中，网格产生器13可先在平面18a上形成 具有相同尺寸的网格，并接着在区域18b中细分该等网格。由于区域18b内的 网格具有一更精细的分辨率，故可得到更多顶点。在已形成平面18a的网格之 后，网格产生器13可进一步将各该网格划分成二个三角形。接着，网格产生 器13藉由以高度图14使平面18a的网格变形而产生一三维网格18，如图1D 所示。

在产生三维网格18之后，三维空间产生器15藉由将影像10映射至三维 网格18上而产生一三维景象19。对于使用者而言，三维景象19显现为自视角 19a所视的三维景象，如图1E所示。由于三维景象19为三维的，故使用者自 不同视角(例如：视角19b、19c)观看三维景象19会有不同的观看体验。

根据上述说明，装置1能以有效率的方式形成一三维景象，乃因在形成三 维景象的程序仅涉及影像10及其对应深度数据12。再者，由于影像10的一或 多个细节部分被特别地处理，亦即，被映射至三维网格的较精细部分，因此由 装置1所形成的三维景象为一悦目的三维景象。

请参照图2A，其系描绘本发明第二实施方式的装置1。在此实施方式中， 若干影像10a、10b、……、10c及深度数据12被输入至装置1。影像10a、 10b、……、10c包含自不同视角22a、22b、……、22c所视的真实世界的一景 象，如图2B所示。各该深度数据12包含一距离值，各该距离值系与一视角(例 如：视角22a)与真实世界的景象的一表面上一点间的一距离有关。

在此实施方式中，深度分析器11、高度图产生器111、细部探测器113 及网格产生器13执行与第一实施方式中所述者类似的操作，并且具有与第一 实施方式中所述者类似的功能。因此，此处不再对其予以赘述。

在此实施方式中，三维空间产生器15的执行略有不同。三维空间产生器 15可对应于一预定视角而产生一三维景象。举例而言，当预定视角系为视角 22a时，三维空间产生器15藉由将影像10a(亦即，与视角22a对应的影像) 映射至三维网格18上而产生三维景象，进而显示三维景象19a。

之后，三维空间产生器15判断需要一个看似由视角22c处所视的三维景 象。此情形发生于当使用者把装置1向左倾斜时，此情形可由装置1的一重力 传感器(G-sensor)或类似设备(未绘示)侦测到。在此种情况下，三维空间 产生器15可藉由将影像10c映射至三维网格18上而呈现三维景象。作为另一 选择态样，三维空间产生器15亦可根据装置在不同准位(level)的比率来将 影像10a、10c映射至三维网格18上而呈现三维景象19b。

类似的，三维空间产生器15判断需要一个看似由视角22b处所视的三维 景象。此情形发生于当使用者把装置1向右倾斜时，此情形可由装置1的一重 力传感器或类似设备(未绘示)侦测到。在此种情况下，三维空间产生器15 可藉由将影像10b映射至三维网格18上而呈现三维景象19c。作为另一选择态 样，三维空间产生器15亦可根据装置在不同准位的比率来将影像10b、10c映 射至三维网格18上而呈现三维景象19c。

简言之，当装置1的一重力传感器(或类似设备)侦测到装置1倾斜至一 方向时，三维空间产生器15将根据该方向选择一或多个合适的影像，并接着 藉由将所选择的该(该等)合适影像映射至三维网格18上而呈现三维景象。 由于三维景象是根据同一三维网格18及所选的该(该等)合适影像而被呈现 出来，因此这些三维景象更为栩栩如生，且不会具有非所欲的人为效果。

上述二个实施方式各提供二个分辨率。换言之，平面18a上的网格具有二 个不同尺寸，且三维网格18的三角形具有二个不同尺寸。然而，本发明可提 供多于二个分辨率。举例而言，细部探测器113可将梯度图的各梯度值归类为 三个等级。在此种情形中，具有较低梯度值的等级将具有最低的分辨率，具有 较高梯度值的等级将具有最精细的分辨率，且介于二者间的等级将具有中间分 辨率。网格产生器13接着基于这些等级而产生三维网格18。对于最低的分辨 率，其所对应的网格将不会再被细分。对于中间分辨率及最精细的分辨率，其 所对应的网格将会再被细分至不同程度。至于其余操作，则为相同的，故不再 予以赘述。

请参照图3，其系描绘本发明第三实施方式的一种形成一三维景象的方法 的流程。该方法可由一电子装置(例如：第一实施方式及第二实施方式中的装 置1)来执行。

首先，该方法执行步骤S301，接收至少一个影像及深度数据，其中该等 深度数据对应于该至少一个影像。在第一实施方式及第二实施方式中已阐述了 深度数据及深度数据与该至少一个影像间的关系，故此处将不再予以赘述。需 说明者，若该至少一个影像及该等深度数据已储存于电子装置中，则可省略步 骤S301。

接着，该方法执行步骤S303，根据该等深度数据而产生一高度图，其中 该高度图与第一影像具有相同的长宽比。需说明者，各该至少一个影像包含自 一视角所视的一真实世界的一景象，且各该深度数据包含一距离值，各该距离 值系与该视角与该景象的一表面的一点间的一距离有关。在某些实施方式中， 可藉由将该等距离值插入高度图中的一步骤(未绘示)而达成步骤S303。在 某些其它实施方式中，可藉由以下步骤达成步骤S303：将距离值插入高度图 中的一步骤(未绘示)，以及对该高度图中所包含的距离值执行一去噪声操作 及一平滑操作至少其中之一的步骤(未绘示)。

接着，该方法执行步骤S305，查找出该高度图的一第一区域，其中该第 一区域内的该等深度数据较该第一区域外的该等深度数据变化更大。在某些实 施方式中，可藉由以下步骤达成步骤S305：产生高度图的一梯度图的一步骤 (未绘示)，以及决定该高度图中包含较大梯度值的一区域作为该第一区域的 一步骤(未绘示)。然而，在某些其它实施方式中，可藉由以下步骤达成步骤 S305：产生高度图的一梯度图的一步骤(未绘示)，以及决定该高度图中包含 较大梯度值的一感兴趣区域作为该第一区域的一步骤(未绘示)。

之后，该方法执行步骤S307及步骤S309，根据该第一区域及该高度图而 产生一三维网格。具体而言，步骤S307根据该第一区域而在一平面上产生多 个网格，其中该平面的一尺寸等于该高度图的一尺寸，该平面内的一第二区域 对应于该高度图的该第一区域，且该第二区域内的该等网格较该第二区域外的 该等网格具有一更精细的分辨率。步骤S309藉由以该高度图使该平面的该等 网格变形而产生一三维网格。

最后，该方法执行步骤S311，藉由将该至少一个影像其中之一映射至该 三维网格上而产生一三维景象。若在步骤S301中接收到多于一个影像且自不 同视角捕获各该影像，则可藉由将一或多个合适的影像映射至三维网格上而更 逼真地产生/呈现三维景象。举例而言，在某些实施方式中，该方法可更执行侦 测电子装置是否倾斜至一方向的一步骤(未绘示)，根据该方向而选择一或多 个合适的影像的一步骤(未绘示)，以及藉由将所选择的该(该等)合适影像 映射至三维网格上而呈现三维景象的一步骤。所选择的该等影像将基于每次更 新的视角(或倾斜方向)而决定三维网格中每一画素的颜色。

除了上述步骤，第三实施方式亦能执行第一实施方式及第二实施方式中所 述的所有操作及功能。所属技术领域具有通常知识者可直接了解第三实施方式 如何基于上述第一实施方式及第二实施方式以执行此等操作及功能。故不赘 述。

第三实施方式所述的形成一三维景象的方法可由储存于一计算机可读取 记录媒体中的一计算机程序来实现。当该计算机程序被加载一电子装置时，该 电子装置执行该计算机程序中所包含的多个程序代码，以完成该第三实施方式 中所述的所有步骤。该计算机可读取记录媒体可为只读存储器(read only memory；ROM)、闪存、软盘、硬盘、光盘(CD)、随身碟、可由网络存取 的数据库或具有相同功能且熟习此项技艺者所习知的任何其它储存媒体。

综上所述，本发明形成三维景象的程序仅涉及至少一个影像及其对应深度 数据，因此能有效率地形成三维景象。再者，由于该至少一个影像的一或多个 细节部分被特别地处理，亦即，被映射至三维网格的较精细部分，因此本发明 所形成的三维景象为一悦目的三维景象。此外，若存在多于一个影像且这些影 像是自不同视角所捕获，则可藉由根据所需视角选择一或多个合适影像、再藉 由将所选择的该等合适影像映射至三维网格上以呈现三维景象。如此一来，所 呈现出来的三维景象将更为逼真，且不会具有非所欲的人为效果。

惟上述实施方式仅为例示性说明本发明的实施态样，以及阐释本发明的技 术特征，并非用来限制本发明的保护范畴。本领域技术人员可轻易完成的改变 或均等性的安排均属于本发明所主张的范围，本发明的权利保护范围应以权利 要求为准。