用于构建锚定在真实世界物体上的虚拟图像的方法和系统

摘要

一种用于生成和显示表现为锚定在现实世界物体上的虚拟图像的系统和方法。对通过一个或多个传感器获取的空间数据的数据帧进行分析并判断一个或多个可检测真实世界物体是否位于其中。如果是，则确定与真实世界物体相关联的真实世界参考点的坐标。根据数据帧确定真实世界视锥、真实世界视见体、真实世界视表面和真实世界物体参考点。生成虚拟3D空间并构建穿过虚拟物体参考点的基准面。将一个或多个内容要素设置在基准面上或平行于基准面。这些内容要素通过观察设备或显示设备显示并且形成表现为似乎平铺在从检测到的物体的真实世界参考点穿过的平面上的图像。

说明书

发明领域

本发明涉及在显示装置上显示虚拟内容的方法。

发明背景

以下现有技术参考资料被认为与理解本发明的背景技术相关。

·https：//developer.vuforia.com/resources/dev-guide/vuforia-ar-architecture

·https：//developer.vuforia.com/resources/dev-guide/distance-target

·http：//docs.opencv.org/trunk/modules/tracking/doc/tracking.html

·http：//docs.opencv.org/trunk/modules/imgproc/doc/feature_detection.html

·http：//www2.imm.dtu.dk/～aam/

·http：//ils.intel-research.net/everyday-obiect-recognition

·https：//software.intel.com/en-us/node/504462

·https：//software.intel.com/en-us/node/504442

·http：//docs.opencv.org/modules/contrib/doc/facerec/facerec_tutorial.html

·http：//www.ri.cmu.edu/research>

·http：//www2.imm.dtu.dk/～aam/faces/

·http：//kishordgupta.wordpress.com/2011/07/04/recognize-face-orientation-using-a-new-approach-based-on-eye-position-and-size-by-c/

·http：//www.codeproiect.com/Articles/26897/TrackEye-Real-Time-Tracking-Of-Human-Eyes-Using-a

·http：//www.ncbi.nlm.nih.gov/pubmed/23239074

·http：//gazeparser.sourceforge.net/

·http：//thume.ca/proiects/2012/11/04/simple-accurate-eye-center-tracking-in-opencv/

计算机屏幕等二维(2D)表面通常被用于显示2D虚拟内容，例如文本页、图表或Web网站页面。某些形式的虚拟内容包含两种以上的内容形式，例如由文本和图表构成的页面或含有与网站相关的信息和不相关的广告的Web网站页面。通常，在屏幕上一次仅显示一页并且页面受到屏幕边界的限制。因此，页面的不同要素即便彼此相关也必须彼此竞争空间及观看者的注意力。所以，现有的Web网站页面通常混杂有过多的广告，这是Web广告目前被认为效率低的主要原因。

改变显示页面(已知为浏览或导航)是一个不连续的过程，其中初始显示的页面被从屏幕上移除，然后显示第二页面。一次仅观看一个页面的能力使得观看者难以知晓其在网站中的位置并且也在网站中导航时产生不确定性。在具体步骤中已经实行的做法是改变页面的尺寸，每个步骤变化都需要回到浏览器。

还已知的是，在虚拟三维(3D)空间中设置数个页面并且将三维空间的一部分投影到2D屏幕上。观看者可以连续地在页面之间导航。

Shefi的US专利8,035,635教导了一种在虚拟3D空间中定位内容要素的系统。在3D空间中指定一2D基准面，将虚拟内容定位在3D空间中，其中至少一个页面平行于基准面。3D空间中的视点和视线选择为从该视点和视线观察3D空间时视线与基准面既不平行也不垂直。随后，将3D空间的至少一部分通过由视线决定的透视投影法则投影至2D表面上。该过程可根据需要重复，每一次可任选地选择新的视点和/或选择新的视线和/或改变一个或多个内容要素的特性。在观看表面上的投影可以显示在显示装置例如计算机监视器上。

发明内容

本发明提供一种用于生成虚拟图像和显示该虚拟图像的系统和方法，使得该图像表现为被锚定在现实世界的物体上。分析通过一个或多个传感器获取的空间数据的数据帧(data frame)以判断一个或多个待检测现实世界物体是否位于该数据帧内。如果一个现实世界物体的至少一部分处于该数据帧内，则根据数据帧中的数据确定与该现实世界物体相关联的现实世界参考点的坐标。根据数据帧确定现实世界视锥(viewing pyramid)、现实世界视见体(view frustum)、现实世界视表面(viewing surface)和现实世界物体参考点。

数据帧用于生成虚拟3D空间，其中在所述3D空间中定位虚拟视锥、虚拟视见体、虚拟视表面和虚拟物体参考点。然后，构建一穿过所述虚拟物体参考点的基准面。将一个或多个平面内容要素设置在基准面上或平行于基准面。然后，将定位在3D空间中的内容要素投影到虚拟视表面上以形成投影图像。接着，形成最终图像，使其包括所述投影图像和可能的数据帧的至少一部分。通过观察设备或显示设备显示最终图像。在最终图像中，内容要素表现为似乎位于从所检测到的物体的现实世界参考点穿过的平面上。

因此，在一个方面中，本发明提供一种用于生成和显示虚拟内容的系统，包括：

-传感器组，用于获得包括3D现实世界空间的空间数据的一个或多个数据帧，所述传感器组包括一个或多个传感器，所述传感器组中的至少一个传感器具有在3D现实世界空间中的关联感应场和传感器视线，所述传感器视线是在3D现实世界坐标系中从传感器延伸进入3D现实世界空间的向量，所述传感器组中的至少一个传感器具有相对于该传感器固定的关联指上向量(up-vector)，一个或多个传感器的指上向量限定数据帧的指上向量；

-观察设备或显示设备；

-计算机处理单元，包括处理器和存储器；

其中：

-所述存储器存储指示数据帧中一个或多个待检测物体的数据，并且对于每个待检测物体还存储相对于该物体固定的预定现实世界参考点；和

-所述处理器用于：

分析一个或多个数据帧并判断一个或多个待检测现实世界物体是否处于当前现实世界视见体中；

如果检测到一个现实世界物体的至少一部分处于当前视见体中，则根据当前数据帧确定与检测到的现实世界物体相关联的现实世界参考点在与现实世界视见体相关联的现实世界坐标系中的现实世界坐标；

确定从现实世界视见体中的预定点发出至检测到的现实世界物体的现实世界参考点的现实世界物体向量；

确定与数据帧相关联的重力向量相对于现实世界视见体的位置；

构建具有3D虚拟空间坐标系的3D虚拟空间，并且在所述3D虚拟空间中定位：具有关联虚拟世界视点的虚拟视锥、围绕从所述虚拟视点发出的虚拟视线对称定位的关联虚拟视见体、形成所述虚拟视见体的表面的关联虚拟视表面、以及关联虚拟指上向量，其中所述虚拟指上向量的虚拟坐标系的x和y轴平行于所述虚拟视表面并且z轴平行于所述虚拟视线；

在3D虚拟空间中构建穿过所述虚拟物体参考点的基准面，所述基准面具有关联2D坐标系(x’,z’)；

将在所述基准面上的或平行于所述基准面的一个或多个平面内容要素设置在所述基准面上的任意一个或多个预定准许位置中；

将定位在3D虚拟空间中的内容要素投影到所述虚拟视表面上以形成投影图像；

形成最终图像，所述最终图像包括所述投影图像；和

在观察设备或显示设备上显示所述最终图像。

在另一方面，本发明提供一种生成和显示虚拟内容的方法，包括：

分析一个或多个数据帧并判断一个或多个待检测真实世界物体是否处于当前真实世界视见体中；

如果检测到一个真实世界物体的至少一部分处于当前视见体中，则根据当前数据帧确定与待检测的真实世界物体相关联的真实世界参考点在与真实世界视见体相关联的真实世界坐标系中的真实世界坐标；

确定从真实世界视见体中的预定点发出到达待检测的真实世界物体的真实世界参考点的真实世界物体向量；

确定与数据帧相关联的重力向量相对于真实世界视见体的位置；

构建具有3D虚拟空间坐标系的虚拟3D空间，并且在所述3D虚拟空间中定位：具有关联虚拟世界视点的虚拟视锥、围绕从所述虚拟视点发出的虚拟视线对称定位的关联虚拟视见体、形成所述虚拟视见体的表面的关联虚拟视表面、以及关联虚拟指上向量，其中所述虚拟指上向量在虚拟坐标系中的x和y轴平行于所述虚拟视表面并且z轴平行于所述虚拟视线；

在3D虚拟空间中构建穿过所述虚拟物体参考点的基准面，所述基准面具有关联2D坐标系(x’,z’)；

将在所述基准面上的或平行于所述基准面的一个或多个平面内容要素设置在所述基准面上的任意一个或多个预定准许位置中。

附图说明

为了理解本发明和知晓本发明实际如何实施，以下参照附图并通过仅为非限制性的实施例描述实施方案，其中：

图1示意性示出根据本发明一个实施方案的用于显示虚拟内容的系统；

图2示出具有关联真实世界参考点的真实世界物体，所述真实世界参考点相对于真实世界物体具有固定位置；

图3示出根据本发明一个实施方案的用于分析数据帧，生成图像并显示图像的方法的流程图；

图4示出具有关联2D坐标系(x’,z’)的基准面；

图5示出最终图像，其包括投影图像和真实世界物体的图像；

图6示出本发明的一个实施方案，其中相机与用户的移动设备相关联，并且真实世界参考点固定在用户的移动设备上；和

图7示出在图6的实施方案中的用户的真实世界视锥。

发明的具体描述

图1示意性示出根据本发明的一个实施方案的用于显示虚拟内容的系统2。系统2包括获取3D真实世界空间的空间数据的传感器组7。传感器组7包括一个或多个传感器4。传感器4可以是例如2D相机、3D相机、GPS定位收发器、声呐探测器、激光装置、红外探测器、近场通讯装置和LIDAR(Light Detection And Ranging，激光探测与测量)装置中的任意一个或多个。每个传感器4具有在3D真实世界空间中的关联感应场和传感器视线，所述传感器视线是在3D真实世界坐标系中从传感器延伸进入3D真实世界空间的向量。3D真实世界坐标系可以例如相对于一个或多个传感器或者相对于用户的位置和观察方向是固定的。作为替代方案，3D真实世界坐标系可以是绝对坐标系，例如GPS(全球定位系统)所提供的坐标系。物体可以移入或移出传感器的感应场，原因是在移动传感器的情况下传感器的移动或者物体在3D真实世界空间中的移动。传感器可以适合用户穿戴，例如一对护目镜或其它头戴式设备，在这种情况下，传感器的感应场约为在解析变换(analytical transformation)下的穿戴者的视场。感应单元可以是单向的或全向的。在全向感应的情况下，观察的传感器视场延长并围绕传感器视线的部分可以被指定为与穿戴者视场相容的视场。在任意时刻由传感器组7获取的空间数据在本文中称为“数据帧”。传感器组7获取的数据帧被输入计算机处理单元(CPU)6中。CPU 6包括存储器8和处理器10。传感器组7获取的数据帧被输入CPU 6并存储在存储器8中。

传感器组7中的至少一个传感器4具有相对于该传感器固定的关联指上向量。传感器的一个或多个指上向量被用于限定传感器组7的指上向量。传感器组7的指上向量确定每个数据帧的指上向量。

存储器8中还存储有指示数据帧中一个或多个待检测物体的数据。指示数据帧中一个或多个待检测物体的数据可以是例如：在预定的物体列表中的一个或多个物体的描述或者指定数据帧中待检测物体类型的标准的数据。对于待检测的每一个物体或物体类型，存储器8还存储有相对于该物体固定的预定真实世界参考点。

处理器10用于确定真实世界重力向量。在一个实施方案中，系统2包括重力传感器5，其生成指示当前重力场方向的时变信号，该信号输入CPU 6并存储在存储器8中。重力信号用于确定自获取数据帧时刻的数据帧的重力向量。在另一实施方案中，处理器用于运行软件，该软件分析数据帧和确定自分析数据帧时刻的数据帧的重力向量。

如下所述，处理器10用于分析用于构建最终图像的一个或多个数据帧，该最终图像包括不同(不包括在数据帧中)的表现为似乎锚定在真实世界位置上的可视内容要素。对数据帧流中连续数据帧的分析和据此构建连续的最终不同可视内容，产生了一种当锚定的真实世界位置移入用户视场中时内容要素仍然保持锚定在该真实世界位置上的外在表象。最终图像还可包括来自数据帧的数据或图像。最终图像经由观察设备或显示设备12显示。显示设备可以是例如任意类型的屏幕或眼睛投影仪(eye projector)。

系统2可以是分布式系统并且该系统的一个或多个组件可以通过有线或无线网络如有线或无线电话网络或计算机通信网络如Internet来彼此通信。

作为一个实施例，图2示出真实世界物体60，其具有相对于真实世界物体60固定的关联真实世界参考点62。包括具有焦点69的镜头64的相机的传感器组(未完整示于图2中)用于获取包括真实世界物体60的空间区域的数据帧。焦点69和镜头64确定真实世界视体积，本文中称为“真实世界视锥”，其相对于相机是固定的。真实世界视锥被从焦点69发出并穿过镜头64的边缘的视线所限制。在图2中通过幻影线65指出四条这样的视线。图2中镜头64左侧的真实世界视锥部分在本文中称为“真实世界视见体”。真实世界视锥具有在镜头64处的关联真实世界视表面和在相机焦点69处相对于相机固定的关联真实世界视点。相机还具有相对于相机固定的关联真实世界指上向量72。相机具有从焦点69发出并穿过位于镜头64处的视表面中心的真实世界视线68。从视点69发出并穿过真实世界参考点62的几何线66在本文中称为真实世界物体60的“物体向量”。相机获取当前数据帧作为真实世界视见体在镜头64处的真实世界视表面上的2D投影，其至少一部分投影在相机的2D传感器阵列67(可具有与镜头形状不同的形状)上。传感器如相机的指上向量72确定数据帧的指上向量，数据帧的指上向量处于获取该数据帧时刻的相机的指上向量的方向上。图2还示出真实世界坐标系71，在该实施例中，该坐标系相对于相机是固定的。真实世界坐标系71具有x轴、y轴和z轴。x轴和y轴平行于镜头64处的视表面，z轴平行于视线69。图2还示出真实世界重力向量70，如前所述来确定。形成在相机传感器阵列67上的图像和数据帧的指上向量被输入CPU 6并存储在存储器8中。

图3示出根据本发明一个实施方案的用于分析数据帧生成图像和显示该图像的方法的流程图。在步骤14中，从存储器8中取回当前数据帧并输入到处理器10中。处理器10在步骤16中分析当前数据帧，在步骤18中判断一个或多个待检测真实世界物体是否位于当前数据帧中。如果在当前数据帧中未检测到待检测物体，则过程回到步骤14，获取新的当前数据帧。如果，在步骤18中，一个真实世界物体(例如图2中的真实世界物体60)的至少一部分处于当前数据帧中，则在步骤20中，处理器10根据当前数据帧确定与真实世界物体相关联的真实世界参考点(例如图2中的真实世界参考点62)在与真实世界视见体相关联的真实世界坐标系中的坐标。真实世界物体向量(图2中的66)从真实世界视见体中的预定点例如视点(图2中的69)发出到达真实世界参考点。在步骤22中，处理器可以通过预定变换任选地变换真实世界物体向量，所述预定变换考虑真实世界视线和用户视线之间的任意预定关系。这会是有用的，例如，传感器安装在帽子上使得传感器的真实世界视线与用户视线存在固定关系的情况。在这种情况下，用户视线可以用作真实是世界视线。

在步骤24中，处理器确定与数据帧相关联的重力向量相对于真实世界视见体的位置。处理器随后构建具有3D虚拟坐标系(x,y,z)的虚拟3D空间(步骤26)。在步骤28中，处理器在3D虚拟空间中定位具有关联虚拟世界视点的虚拟视锥、围绕从所述虚拟视点发出的虚拟视线对称定位的关联虚拟视见体、形成虚拟视见体的表面的关联虚拟视表面、以及关联虚拟指上向量，其中指上向量的x和y轴平行于虚拟视表面并且z轴平行于虚拟视线。3D虚拟空间利用预定的连续映射G构建，所述映射G将真实世界视锥映射到虚拟世界视锥中，将真实世界视点映射到虚拟世界视点上，将真实世界视线映射到虚拟世界视线上，将真实世界视见体映射到虚拟视见体中，将真实世界视表面映射到虚拟是表面上使得虚拟世界视表面平行于虚拟世界的x轴和y轴并且虚拟世界视线平行于虚拟世界z轴，将真实世界重力向量映射成虚拟重力向量，将真实世界指上向量映射到虚拟指上向量上。映射G优选选择为使得真实世界物体向量与真实世界视线之间的夹角θ(参见图2)等于虚拟世界物体向量与虚拟视线之间的夹角，此外使得真实世界指上向量与真实世界重力向量之间的夹角ψ(参见图2)等于虚拟世界指上向量与虚拟世界重力向量之间的夹角。

在步骤38中，处理器随后在3D虚拟空间中构建穿过虚拟物体参考点的基准面。如图4所示，基准面106具有关联2D坐标系(x’,z’)。基准面可以在3D虚拟空间中定位如下：(1)基准面的x’轴平行于虚拟空间的x轴，(2)基准面的x’轴与虚拟空间坐标系的y轴之间的夹角可以是预定角度，例如90°，或者可以等于预定角度(优选90°)和重力向量在xy平面上的投影与正向y轴之间的夹角之和，(3)根据虚拟视线与虚拟重力向量之间的夹角β’确定z’轴与z轴之间的夹角α。当β’≤β时，β为一预定常数阈值(例如20°)，α为β’的连续严格单调递增函数。当β’≥β时，α为一常数，等于当β’从下方趋近于β时α的极限值。

作为替代方案，基准面可以定位在虚拟空间的“横向”上，使得(1)基准面的z’轴平行于y平面的y轴，(2)基准面的z’轴与虚拟空间坐标系的y轴之间的夹角可以为预定角度如90°或者可以等于预定角度和重力向量在xy平面上的投影与正向y轴之间的夹角之和，(3)根据虚拟视线与虚拟重力向量之间的夹角β’确定x’轴与z轴之间的夹角α。当β’≤β时，β为一预定常数阈值(例如20°)，α为β’的连续严格单调递增函数。当β’≥β时，α为一常数，等于当β’从下方趋近于β时α的极限值。

基准面具有一个或多个关联准许位置，由图4中的幻影线指示，其中一个或多个平面内容物体可以定位在基准面上。至少一个准许位置是侧边平行于基准面坐标系的x’和z’轴的矩形。准许位置可以排列成平行的行和列的网格。当内容要素具有内在的上边界和下边界时，例如当内容要素包括图像或文本时，内容要素的上下方向最优定位在具有与基准面z’轴对准的上下方向的基准面上。在步骤40中，处理器随后将在基准面上的或平行于基准面的一个或多个平面内容要素110设置在任意一个或多个准许位置中。处理器还可以将一个或多个3D内容要素定位在基准面上或其附近，所述3D内容要素可以是旋转的2D内容要素或体积内容要素例如3D模型或体积图(步骤42)。

接着，处理器将定位在3D虚拟空间中的内容要素投影到虚拟视表面64上以形成投影图像114(步骤44)。内容要素在3D虚拟视表面上的投影可以是例如透视投影。随后形成最终图像(步骤46)，其中最终图像包括投影图像114和可能的至少部分数据帧。图5示出包括投影图像114和真实世界物体60的图像的最终图像116。最终图像经由观察设备或显示设备显示(步骤48)，然后过程终止。

图6示出另一实施方案，其中相机80与用户移动设备82相关联，并且真实世界参考点84固定在用户移动设备82上。相机80具有图6中幻影线所指示的视锥。相机80被操作用于获取包括用户脸的当前数据帧。用户90穿戴有包括显示设备83的头戴式设备81，显示设备83可以是眼睛投影仪或显示屏。在图6的实施方案中，处理器可设置在移动设备82或头戴式设备81中，其用于识别由相机80获取的数据帧中的人脸。处理器10还用于当在数据帧中检测到人脸时确定用户的真实世界视锥。图7示出用户的真实世界视锥，其由限制幻影线92所指示。处理器10还用于确定用户的真实世界视点、用户的真实世界指上向量95、用户的真实世界视表面和用户的真实世界视线94，其从用户的真实世界视点发出并穿过用户的真实世界视表面的中心。从用户的真实世界视点发出并穿过真实世界参考点84的线是真实世界物体82的物体向量。图6和7还示出真实世界坐标系91，在该实施例中，该坐标系91相对于用户的头部是固定的。真实世界坐标系91具有x轴、y轴和z轴。x轴和y轴平行于用户的视表面，z轴平行于用户的视线94。图6和7还示出真实世界重力向量93，如上所确定。

用户的真实世界视锥、真实世界视见体、真实世界视点、真实世界指上向量、真实世界视表面及真实世界视线和真实世界物体向量被用于参照图3所述的过程中。作为处理的结果，虚拟内容要素85通过头戴式81的显示设备83呈现给用户，至少部分虚拟内容要素是表现为似乎平铺在穿过参考点84的基准面上的平面内容要素。

参照图7，处理器10可以用于检测用户的手106和/或108在数据帧中的位置。在这种情况下，处理器还用于判断手的一部分是否落入在虚拟视表面与根据本发明定位的任意内容要素之间的虚拟视见体中。处理器可以用于从投影内容中消除被该部分手所遮挡的区域。因此，例如内容要素85的被手106所遮挡的部分被从内容要素中消除。处理器10可以用于识别单手或双手106和108实施的预定手势或手指姿势，以及执行与识别出的手势关联的预定命令。如果例如预定的真实世界物体是具有屏幕的电子设备，则命令可以是将一个或多个内容要素从屏幕移动到基准面上的命令。在另一实施例中，处理器识别出点击动作触摸交互内容的手势，使得内容动作应被激活并且在基准面内容中引起变化。

仍参照图7，待检测的二级真实世界物体例如物体100可以出现在用户的视见体中。物体100具有关联真实世界参考点102。包含物体100的一个或多个数据帧可以通过可设置在移动设备82中且面对物体102的传感器或安装在头戴式设备81上的传感器来获取。包含物体100的数据帧可如参照图3所述那样进行分析。如图7所示，位于基准面上的内容要素104可通过头戴式显示设备83或移动设备82的屏幕呈现给用户，其中基准面对于用户而言似乎穿过参考点102。因此，两个基准面被呈现给用户，并且内容要素可以根据需要从一个基准面移动到另一基准面。此外，处理器10还可用于识别用户的手势或命令，该手势或命令应该导致一个基准面的内容的一部分从一个物体转移至另一物体，因此现在表现为另一物体的基准面的一部分。此外，如果物体是“智能物体”，即能够网络通信，则上述从用户设备的基准面转移到物体100基准面上的内容转移可变得持久，使得当物体100通过网络访问或被新用户利用根据本发明类似的设备观看时，转移的内容保持可视。

去获取专利，查看全文>