一种配对一个2D摄影图像文件和一个3D网格的方法

摘要

本发明公开了一种配对一个2D摄影图像文件和一个3D网格的方法，所述方法包括：经由对一个实体物件的六个自由度使用矩阵转换，其中所述3D网格的3D几何参数会为了高图像品质、拟真虚拟实境呈现和物理扩增实境应用而和所述2D摄影图像文件的2D摄影图像参数配合。通过本发明配对一个2D摄影图像文件和一个3D网格的方法，结合虚拟实境和3D建模两种不同方案的长处，提供了即时的物理操控能力、高品质、逼真的视觉效果，并且利用随处可得的运算装置来提供有经济效益的解决办法和符合品质的要求。

说明书

技术领域

本发明是有关于3D影像呈现（photographic presentation）的领域，其使用了虚拟实境（virtual reality）技术来显现出高品质的摄影图像（photo image），其更采用了3D建模技术（3D modeling technology）的优点来提供用于物理测量（physicalmeasurement）或控制的几何数据（geometry data），并且将会被使用于扩增实境应用（augmented reality application），其亦可沿用至用于即时应用（real time application）的立体显示系统（stereoscopic display system）。

背景技术

虚拟实境使用一组摄影图像来显现从不同视角（view angle）观看到的实体物件（solid object）。它提供了用于呈现应用的高品质摄影图像。然而，由于摄影照片的数量有限，视角会受限于拍摄位置的不连续数量，因而导致不顺畅的动画（non-smoothanimation）。而且，摄影图像也不包含几何数据。它们在呈现时无法精准地排列，并且无法用于任何物理相关应用（physical related application），即用于测量或用于控制。

3D建模是另一种呈现出实体物件的方案。它具有几何信息，能够被用于包含扩增实境等物理应用。然而，为了要得到精准的几何数据和用于高品质呈现而与材质贴图技术（texture mapping technique）一并呈现，撷取几何数据和储存大量材质图像所费不赀。而且，要以低性能的个人运算装置（personal computing device）来执行即时拟真转译（photo-realistic rendering）并不容易。

因此，需要为了商业应用而产生高图像品质、拟真虚拟实境呈现，并且需要为了物理扩增实境应用而纳入几何信息，特别是为了台式个人电脑（desktop personalcomputer,desktop PC）或平板电脑（tablet PC）和智能手机（smart phone）等移动装置（mobile device）。为了要一并提供高品质观看体验（viewing experience）和物理信息，有一种方式是结合虚拟实境和3D建模两种不同方案的长处，以利用随处可得的运算装置来提供有经济效益的解决办法和符合品质的要求。本发明达成了这些目标，并且能够以现有的运算装置和机械系统来实施。

发明内容

本发明的一种实施态样（aspect）描述了结合一组摄影照片（photo frame）与一组几何信息的一种方法以及在一台运算装置的观看视窗（viewing window）下的一个3D空间（3D space）中呈现2D影像（2D photo）的一种系统化方式（systematic way），也描述了在3D呈现空间下，图片（image frame）的相关参数（parameter）和实体物件的观看变换（viewing transformation）之间的数学关系。

本发明的另一种实施态样描述了包括一个电脑控制机械系统（computer-controlmechanical system）以在不同的视角自动地撷取摄影图像的一种系统，也描述了以各式各样光学扫描硬件（optical scanning hardware）或者是经由剪影（silhouette）或参照点（referencing mat）或参照线条（referencing stripe）获得3D几何数据的影像撷取相机（photo taking camera）为基准的一种3D几何数据扫描子系统（3D geometry datascanning subsystem）。

本发明的另一种实施态样描述了用以实施本发明的一个软件系统（softwaresystem）和客户端观看装置（client viewing device），其中的软件系统由一个工作站（workstation）、一个储存系统（storage system）和一个远端服务器（remote server）所组成，也描述了用以整合2D摄影照片与扫描得到的3D几何数据以手动地或自动地产生一组控制参数的一种软件程序（software program），更描述了用以下载图像和几何数据以及执行观看、测量和控制拟真实体物件（photo realistic solid object）的一种软件程序。

本发明的另一种实施态样描述了用以实施立体显示和控制功能的硬件和软件系统的一种延伸应用。

通过本发明配对一个2D摄影图像文件和一个3D网格的方法，结合虚拟实境和3D建模两种不同方案的长处，提供了即时的物理操控能力、高品质、逼真的视觉效果，并且利用随处可得的运算装置来提供有经济效益的解决办法和符合品质的要求。

为让本发明的上述特征和优点能更明显易懂，下文特举多个实施例，并配合所附图式，作详细说明如下。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1所示为以3D建模数据在3D空间中呈现出虚拟实境图像的示意图（真实物件、观看视窗、高解析度图像和3D网格及观看者之间的关系）。

图2所示为一种3D虚拟实境系统的具体实施例的结构示意图（机械图像和3D数据撷取系统、整合用电脑、数据和程序服务器及客户端观看装置）。

图3所示为数据撷取、整合和观看系统的方块图（撷取数据的处理、需储存的数据、整合用程序和观看程序）。

图4所示为2D图像撷取系统将会拍摄位于一个电脑控制旋转机械中的一个实体物件的摄影图像的示意图（撷取影像用的机械系统和产生图像文件的工作流程）。

图5所示为经由摄影相机或3D扫描器撷取3D建模数据的流程图（摄影相机或3D扫描器的机械系统和产生3D几何数据的工作流程）。

图6所示为参数配对系统示意图（对2D影像一张张地嵌入3D几何数据，以在图像上指定6个自由度的变数，以及用来制作执行自动处理的所需参考照片）。

图7所示为经由调整比例、调整位置和旋转来调整照片参数的示意图（用以对各张照片调整6个变数或其对应数据的使用者接口，有三个主要的调整步骤要实施）。

图8所示为用于生成与各摄影照片的所有视角所自动配对的参数而开发的一种运算机制的示意图。

图9所示为用于影像制作、3D数据和数据图制作的文件系统以及观看程序的流程图（生成的数据文件和对应的影像制作和几何数据文件，以及用以显现出下载到的图像和数据的观看程序流程图）。

图10所示为以3D呈现和控制的观看程序的示意图（终端用户用的观看程序功能和控制，以及用于高解析度呈现的数据源结构和用于顺畅操作的变形技术）。

图11所示为沿用至立体系统的示意图（使用相同的系统来拍摄两组对应的摄影图像，其照片配合立体显示和控制的规范）。

附图标号说明：

100：方法

102：实体物件

104：观看者

106：观看视窗

108、224、284：摄影图像

110、192、204、226：3D网格

120：具体实施例

121：影像撷取系统

122：旋转平台

123：相机

124：悬臂

126：电脑系统

128：扫描子系统

130：互联网络

132：客户端装置

134：网络储存系统

140：方块图

142、144、146、148、150、152、154、182、184、186、188、190、264、266、268、269、270、272、274：方块

160：2D影像撷取系统

162：电脑控制旋转机械

164：特定命名规则

180：3D几何数据撷取系统

200：参数配对系统

202：摄影照片

220：参数配对软件程序

222、228、230、232：功能

236：实体物件主轴

234、316、318：参考点

238：方向

240：运算机制

242、252：列

254：行

260：文件系统

262：根目录

280：观看程序

282：操作视窗

286：操作键

288：功能键

300：立体系统

302：左眼

304：右眼

306：左侧立体图像

308：右侧立体图像

310：物件

312：左侧组

314：右侧组

具体实施方式

以下配合图式及本发明的较佳实施例，进一步阐述本发明为达成预定发明目的所采取的技术手段。

图1绘示出一个2D摄影图像108以投射的方式贴图在2D观看视窗106上的一种方法100。

经由对一个实体物件102的六个自由度（degrees of freedom）使用矩阵转换（matrixtransformation）来配对2D摄影图像108和3D网格110。于此，实体物件是以一个马克杯（mug）为例举例说明，但是在其它未绘示的实施例中也可以用诸如一只鞋子（shoe）、一个灯泡（light bulb）等任何其它的实体物件来取代。由一个3D扫描器（3Dscanner）所生成的几何参数可以建构出一个3D网格110。

观看者104以互动方式观看和控制图像。2D影像可以利用比例s做缩放、经由荧幕坐标(x,y)做平移，并且可以经由ω角再加上(θ,)角做旋转，在各行、列位置上的一整组照片都会以这些参数来表示。

图2绘示出包含用于机械控制（mechanical control）、图像处理（image processing）和数据整合（data composition）的一个电脑系统126的一个具体实施例120。一个影像撷取系统（photo capture system）121是由受控制的旋转平台（rotating platform）122和多支悬臂（arm）124所组成，其具有利用镜头缩放而在方向上移动和受到倾斜控制的相机123，以在不同的位置(θ,)对实体物件102拍摄影像。

于此包括了用以撷取3D几何数据的一个3D扫描子系统128（硬件或软件增强型），其可建构出一个3D网格110（标示于图1）。若将利用2D摄影图像108（标示于图1）的剪影的一种摄影测量技术（photogrammetry）用于3D建模，则扫描子系统128可以用相机123来取代。

电脑系统126整合了2D摄影图像108和3D网格110，并且经由互联网络（Internetnetwork）130将它们发送至一个远端服务器和连结至互联网络130的网络储存系统（network storage system）134。

使用诸如电脑、平板电脑、智能手机等具有观看和控制软件的一台连接网际网络的客户端装置（Internet connected client device）132以互动方式来观看和控制2D摄影图像108和3D网格110。

图3绘示出一个方块图140，以显现出数据如何被撷取、处理和储存，然后再被客户端的观看者运用。

在方块142中，2D摄影图像会在各观看位置一张张被撷取，并且会被预先处理，以便选择性地移除图像背景（image background），或被压缩成具有分层像素解析度（hierarchical pixel resolution）、透明度信息（transparency information）的JPEG格式，然后再如方块144中所示进一步被储存在一个2D摄影图像文件中。

在方块146中，3D几何数据会以（例如但不限于）一种3D建模数据扫描法（3Dmodeling data scan）在不同的观看位置扫描到。但是在过滤处理（filtering process）以得到可靠数据（reliable data）之后，它们会以全域坐标系统（global coordinatessystem）进一步被整合成一组网格点（mesh point），如方块148中所示的实体物件文件（solid object file），或称为3D网格。

在方块150中，一个整合系统（composing system）将会处理2D摄影图像文件和实体物件文件，以便为了高图像品质、拟真虚拟实境呈现（photo-realistic virtualreality presentation）和物理扩增实境应用（physical augmented reality application）使3D网格的3D几何参数配合2D图像文件中的2D摄影图像的对应2D摄影图像参数，然后便能够达成2D摄影图像文件和3D网格的配对。整合结果会被储存在诸如方块152中所示的一个应用和数据资料夹（application and data folder）的一个文件结构（filestructure）下，以在不同的解析度标准（resolution level）、实体物件文件和数据图下储存摄影图像，以将对应的参数储存成（例如但不限于）xml文件结构。

如方块154中所示的一种观看程序会在一个客户端装置下运行，以将配对参数解码和对终端用户（end user）以互动方式呈现出高品质的摄影图像，并且能够为了如扩增实境等特定应用而进一步提供一个3D网格的控制和测量。

图4绘示出一种2D影像撷取系统160将会拍摄位于一个电脑控制旋转机械（computer controlled rotating mechanics）162中的一个实体物件的摄影图像。

实体物件将会在具有一个固定旋转轴（rotation axis）的实体物件周围以水平和垂直移动的至少一个相机从不同的视角观看。在本实施例中，实体物件例如是经由具有不同视角（例如下方、右下方、右方、右上方和上方）的5个不同摄影相机经由电脑控制旋转机械162的旋转而相对于实体物件在8个不同的水平方位（例如0°、45°、90°、135°、180°、225°、270°和315°）在最高容许解析度下拍摄影像，以形成40个不同的图像文件，然后再以一个特定命名规则（specific naming convention）164一张张储存这些图像文件。然而，在其它未绘示的实施例中，也能够对实体物件拍摄较少或更多的影像。

值得注意的是，图像文件可以被预先处理，以移除不需要的背景图像、添加透明度信息或转档成分层较低的解析度（hierarchical lower resolution）和储存在一个单一根目录（root directory）下，以供日后整合及观看处理。

图5绘示出用来得到实体物件几何数据的一种3D几何数据撷取系统180。实际上，它可以是一个单独的系统或如图4中所示的影像撷取系统的一个子系统。

3D几何数据撷取系统180将会使用一定波长的可见光学相机（certain wavelengthof visible optics camera）、雷射光束（laser beam）或不可见红外光暨反射光撷取系统（invisible infrared and reflection capturing system）来如方块182所示取得各物件几何上的深度数据（depth data），或仅简单地抓取2D摄影图像108的剪影。

3D几何数据将会经过测量处理，以便先移除不可靠噪音数据（unreliable noisedata），例如方块184所示的一道过滤不可靠数据（filter unreliable data）的运算程序（computing routine），然后再以统计上更为精确的数据来运算出3D全域坐标系统中的最终节点位置（node position），例如方块186所示的一道统计上运算几何数据（statistically compute geometry data）的程序。

接着，如方块188所示，几何数据将会与一组全域数据组（global data set）做比较和合并，并且会如方块190所示将结果储存在一个标准实体物件文件（standard solidobject file）中。

随着从许多关键位置的重复测量和数据运算来对实体物件取得所有必要的几何数据和参数，便能够从多个3D几何参数建构出一组最终3D网格192。

图6绘示出一个参数配对系统200，其将用于配对2D影像和3D几何数据。

由于摄影图像将会被储存在各视角的各摄影照片202中，因而必须将3D网格204的3D几何参数和2D摄影图像/摄影照片202的对应2D摄影图像参数配对，以便在相同的呈现空间（presentation space）查看摄影照片202和3D网格204。

众所周知，任何一个实体物件都能够以六个自由度来表示。因此，可以选用3D空间中的一个参考点（reference point）(x,y,z)和物件的方位角(θ,ω)来表示一张摄影图像和3D几何数据之间的关联（correlated relation）。

也因此，必须要为各张摄影照片202指定一组六个参数，并且将它们绑在一起，以供未来呈现和控制功能用。举例来说，于此实施例中，摄影照片202可以命名为Framei,j.jpg，并且包含有M行和N列，而且可以将其参考点206标示为(x_i,j,y_i,j,z_i,j)。如此一来，3D几何数据的六个参数便可标示为(x_0,0,y_0,0,z_0,0,θ_0,0,ω_0,0)，而摄影照片202的六个参数则可标示为(x_i,j,y_i,j,z_i,j,θ_i,j,ω_i,j)，其中i=1,2...M，并且J=1,2...N。

图7绘示出能够用来将这些参数和各张摄影照片配对的一个参数配对软件程序（parameters matching software program）220。

配对软件程序220具有下载原始2D摄影图像和3D网格226的3D几何参数以及储存整合后数据等功能222。

配对软件程序220设计为经由一并显现出照片选择功能230中所显现出的任何一张2D图像照片中的摄影图像224和3D网格226来与使用者互动。

既然一台电脑荧幕上的鼠标光标（mouse cursor）只能以两个自由度移动，使用者便能够手动地执行参数配对。鼠标光标能够用来控制实体物件主轴（solid objectbody axis）236，经由移动实体物件主轴236的尖端（tip）可控制θ及/或的值，而经由绕着方向238旋转实体物件主轴236则可控制ω的值。

接着，可以平移荧幕上的参考点234，以便控制x及/或y的值，然后再使用鼠标滚轮（mouse wheel）来控制3D网格的尺寸，此举等同于对物件调整比例，从而调整z的投射位置。值得注意的是，于此实施例中，为了要手动地配对2D摄影图像224和3D网格226，六个参数(x,y,z,θ,ω)都会经过调整。然而，在于此未绘示的其它实施例中，非必要时当然可以不需要调整全部的六个参数。

相较之下，于此更提供了用于协助配对参数的自动运算配对处理功能（autocomputing matching process）228，其可进一步以程序化对单一照片或对多张照片配对参数，并且将会在图8中详述。

值得注意的是，在执行全部的撷取处理时，手动配对处理功能232可进一步经由使用自动运算配对处理功能228的直接运算来取代。一个2D摄影图像文件和一个3D网格的自动配对，是在一个3D几何扫描机构（3D geometry scan mechanism）能提供2D摄影图像和3D网格之间的参数关系时，以程序化自动配对2D摄影图像的参数和3D网格的3D几何参数。

图8绘示出为了生成与各摄影照片的所有视角所自动配对的参数而开发的一种运算机制（computation scheme）240。

经由应用四元数技术（Quaternion technology），便能够对表示参考点和主轴的任何3D向量（vector）v做计算，以便在绕着一个旋转单元轴（rotating unit axis）n旋转一个旋转角度（rotating angle）θ之后取得3D空间中的新向量r。

如此一来，便能够经由使用参数而使用同一列的两张照片中的任何一张和已知的旋转角度来计算出旋转单元轴n。一旦计算出旋转单元轴n，便能够计算出同一列242各张照片中的任何其他的参考点和主轴，并因而自动地配对出其参数。

相同的运算也能够在垂直方向上对单一行254但不同列252的图像照片执行。重复相同的处理便能够对所有的照片完成计算。

理论上，只需要手动配对三张照片，便能够计算出在水平和垂直方向上的旋转单元轴，并且会极度节省用来找出配对参数的人力资源。然而，实务上，相机的旋转轨迹（rotating trajectory）可能不会位于一个正圆路径（perfect circular path）上，并且倾斜角度（tilting angle）和缩放镜头（zoom lens）可能会以一个非线性的方式（non-linearway）投射摄影图像，因而需要5或7张等更多手动配对的照片来取得一个更可靠的数据。于此更提供了观看配对运算的一种视觉调整，以便执行微调（fine adjustment）。

图9绘示出建构在网际网络服务器（Internet server）下的一种文件系统260，以对终端用户提供在其客户端装置查看附加了3D几何数据的高解析度摄影图像的一种观看机制（viewing mechanism）。

观看程序、即时且高解析度的图像数据、几何数据、附加数据（accessory data）和所呈现出的数据图，全部都会储存在一个根目录262下，以确保不会有跨网域存取（cross domain access）的问题。

如方块264所示，经由终端用户所存取的观看程序将会下载所有必要的程序例行程序（program routine），于此称为“Viewer”，然后再如方块266所示自动地取得即时图像和3D网格的几何数据。接着，如方块268所示，便能够进行用于观看高解析度图像和3D网格的互动式操作，以便如方块269所示取得高解析度图像。另外，根据扩增实境应用，将可进一步使用如方块270所示的功能操作，例如用于必要的3D测量（如方块272中所示）或3D控制功能（如方块274中所示）等。

上述程序可在具有3D操作环境（如OpenGL或WebGL或其他3D环境）的一个客户端装置实施。

图10绘示出为了实施图9中所述功能而开发的一种客户端观看程序280。

观看程序280可为用于Windows平台（Windows platform）电脑系统126（标示于图2）的一种支援WebGL并应用HTML5浏览器的观看程序（WebGL-enabledbrowser-based HTML5viewing program），诸如一台台式个人电脑、一台移动装置或任何能够显现出操作视窗282的装置等，或者是具有支援移动装置的OpenGL ES的本机程序（native program）。

程序具有操作键（operational button）286，以便以互动方式达成观看中摄影图像的缩放、平移和旋转功能，其具有一个拖曳控制器（slider controller），以观看高品质的摄影图像或查看3D模型的框线（wire frame），甚至是以一种不同透明度的方式一并观看上述二者。

为了要在3D空间中显现出2D摄影图像的顺畅度，也能经由改变0<Δθ<θ_increment的角度及/或的角度来达成2D摄影图像284的角变形（angular morphing）。

另外，也能够根据应用提供功能键288，以达成测量和应用控制，以及任何其它所需功能。

图11绘示出此系统更能够沿用至一个立体系统300，以因应人眼感知能力（humanbeing's eyes perception）而以一种更为逼真的感觉来观看物件。

观看视窗分隔成两个，以便对左眼302和右眼304分别提供左侧立体图像（stereogram）306和右侧立体图像308。

在考虑到相同物件310的不同视角的情况下取得两组图像和配对参数。它们将会独立地设定为左侧组312和右侧组314。于此实施例中，左侧组312和右侧组314例如是分别命名为FrameLi,j.jpg和FrameRi,j.jpg，并且可以将其参考点316和318分别标示为(x_i,j,y_i,j,z_i,j)L和(x_i,j,y_i,j,z_i,j)R。如此一来，对应于左侧组312和右侧组314的3D几何数据的六个参数便可分别标示为(x_0,0,y_0,0,z_0,0,θ_0,0,ω_0,0)L和(x_0,0,y_0,0,z_0,0,θ_0,0,ω_0,0)R，而左侧组312和右侧组314的六个参数则可标示为(x_i,j,y_i,j,z_i,j,θ_i,j,ω_i,j)L和(x_i,j,y_i,j,z_i,j,θ_i,j,ω_i,j)R，其中i=1,2...M，并且J=1,2...N。

然而，也能够使用单一组2D影像的同一列但不同行的图像。这样做虽然在视角和距离的模拟上将不会非常精确，但是将会对一般观看者提供足够的深度感（depthfeeling）。

观看视窗也可以应用至电视、银幕（movie screen）或甚至是具有观看镜片（viewglasses）的新式穿戴式工具（new wearable gadget）上。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视权利要求范围所界定者为准。