用于提供使用增强现实的三维网络地图服务的方法和系统

摘要

本发明公开了一种用于使用增强现实的三维(3D)网络地图服务的方法，所述方法包括以下步骤：下载映射了二维(2D)标记信息和3D建模数据的映射信息文件；从地图数据提供服务器接收包括所述2D标记信息的地图数据；使用所述接收的地图数据提前将地图渲染至帧缓冲区；通过从所述地图数据检测所述2D标识信息并搜索所述映射信息文件，提取所述3D建模数据的标识(ID)；使用所述3D建模数据的所述ID从3D建模数据库提取对应所述检测的2D标记信息的所述3D建模数据；在处理所述3D建模数据之后另外渲染所述3D建模数据至所述帧缓冲区；和将所渲染的数据渲染在屏幕上。

说明书

技术领域

本发明涉及一种用于使用增强现实的三维(3D)网络地图服务的方法及其系统，特别是，涉及一种用于3D网络地图服务的方法和系统，其可以提前执行可以以少量数据表现的二维(2D)标记信息与特定的3D物体的映射，当实时接收地图数据时，不接收整个3D物体而只接收对应要绘制的3D物体位置的2D标记信息，渲染对应2D标记信息的3D建模数据，并由此可提供3D地图服务。

背景技术

通常，增强现实系统(augmented reality)，是显示用户用眼看到的现实世界与具有更详细信息作为单一特征的虚拟世界的虚拟现实技术，其为将现实环境与虚拟环境结合的混合虚拟现实系统(Hybrid Virtual Reality System)。增强现实是将现实世界与虚拟世界相结合的概念。虽然增强现实使用电脑图形制作的虚拟环境，但是其主要部分是现实环境。电脑图形另外提供现实环境所需信息，并使用户看到的三维(3D)虚拟图像与现实图像重叠，因此分不清楚现实世界与虚拟图像。

也就是说，要合成虚拟图像与现实图像，增强现实系统使用具有犹如现实相机投影现实图像的效果的3D透视投影处理3D建模数据，所述3D建模数据基于相机位置和姿势值被提前创建，渲染虚拟图像，然后合成并显示现实图像与虚拟图像。在这种情况下，为了将虚拟图形对象合成到现实图像的准确位置，需要增强现实系统进行在二维(2D)屏幕上验证虚拟物体的精确位置和方向的配合(registration)。为进行所述配合，需要在现实世界的某一点的3D坐标(例如，要描绘的虚拟物体的位置)，并且要求所述坐标是基于相机上的坐标值。

因此，虚拟增强系统需要就某一点或现实世界对象获取对应物3D坐标。从理论上说，要求两个摄像头必须都以人通过两个眼睛所感知到的深度的原则为基础获取3D坐标。但是，通常使用一个单一相机，并且因为单一相机很难在现实世界感知3D位置而使用标记。

所述标记代表可被计算机视觉技术感知到的特定对象。例如，所述标记可以是直接在黑色地面书面的平面图案或具有独特色彩的几何对象。如何从相机和给定3D位置的视觉点看到虚拟对象以及如何描绘由投影计算确定。

为将这一原则应用于3D网络地图服务，需要大量的数据，如成百上千的点的信息、纹理信息、相应的纹理图像等等，来表现整个3D对象。此外，所有信息必须传送到网络来在网络地图服务中向用户表现3D对象。但是，3D网络地图服务体系，在执行网络传输数据时与渲染时间相比具有明显更高的负载，因此提供实时服务几乎是不可能的。

但是，虽然在用户计算机上提前存储3D物体或每次通过使用超高速缓存(caching)传输大量数据的问题已被解决，但是在地图上的准确位置描绘出之前存储对象的是非常困难的，因为地图的方向和偏角必须根据在3D网络地图服务中的用户输入而不同。

因此，解决3D网络地图服务的问题的方法显然是必需的。

发明内容

技术目的

本发明的一个方面，提供一种用于三维(3D)的网络地图服务的方法和系统，其可以提前执行可以以少量数据表现的二维(2D)标记信息与特定的3D物体的映射，当实时接收地图数据时，不接收整个3D物体而只接收对应要绘制的3D物体位置的2D标记信息，渲染对应2D标记信息的3D建模数据，并由此可提供3D地图服务。

技术方案

根据本发明的一个方面，提供了一种用于使用增强现实的三维(3D)网络地图服务的方法，所述方法包括以下步骤：下载映射了二维(2D)标记信息和3D建模数据的映射信息文件；从地图数据提供服务器接收包括所述2D标记信息的地图数据；使用所述接收的地图数据提前将地图渲染至帧缓冲区；通过从所述地图数据检测所述2D标识信息并搜索所述映射信息文件，提取所述3D建模数据的标识(ID)；使用所述3D建模数据的所述ID从3D建模数据库提取对应所述检测的2D标记信息的所述3D建模数据；在处理所述3D建模数据之后另外渲染所述3D建模数据至所述帧缓冲区；和将所渲染的数据渲染在屏幕上。

根据本发明的另一个方面，提供了一种3D网络地图服务系统，所述系统包括：3D建模数据库，其存储映射了2D标记信息和3D建模数据的映射信息文件；接收单元，其从地图数据提供服务器接收包括所述2D标记信息的地图数据；提取器，其通过从所述地图数据检测所述2D标识信息并搜索所述映射信息文件，提取所述3D建模数据的ID，并使用所述3D建模数据的所述ID，从所述3D建模数据库提取对应所述检测的2D标记信息的所述3D建模数据；和渲染单元，其使用所述图数据提前将地图渲染至帧缓冲区，处理所述3D建模数据，并另外渲染所述3D建模数据至所述帧缓冲区。

技术效果

根据示例性实施例，用于3D网络地图服务的方法和系统，可以提前执行可以以少量数据表现的2D标记信息与特定的3D物体的映射，当实时接收地图数据时，不接收整个3D物体而只接收对应要绘制的3D物体位置的2D标记信息，渲染对应2D标记信息的3D建模数据，并由此可提供3D地图服务。

附图说明

图1示出根据本发明的使用增强现实的三维(3D)网络地图服务系统与地图数据提供服务器间的互通关系；

图2示出根据本发明的一个示例实施例的使用增强现实的3D网络地图服务系统的配置；

图3示出二维(2D)标记信息的一个示例；

图4示出3D建模数据的一个示例；

图5示出2D标记信息与3D建模数据之间的映射关系的一个示例；

图6示出2D标记信息的标识(ID)与3D建模数据的ID被映射了的映射信息文件的一个示例；

图7示出2D标记信息与映射至2D标记信息的3D建模数据的合成状态的一个示例；

图8是示出根据本发明的一个示例实施例的用于使用增强现实的3D网络地图服务的方法的流程图；及

图9示出通过检测2D标记信息并搜索映射信息文件来实施提取3D建模数据的ID的操作的一个示例。

具体实施方式

以下，将参照附图对用于使用增强现实的三维(3D)网络地图服务的方法和系统进行说明。

图1示出根据本发明的使用增强现实的三维(3D)网络地图服务系统与地图数据提供服务器间的互通关系。

参考图1，3D网络地图服务系统100提前下载2D标记信息和3D建模数据被映射了的映射信息文件。

此外，3D网络地图服务系统100通过网络110从互联地图数据提供服务器120接收包括2D标记信息的地图数据。

所述3D网络地图服务系统100，使用收到的数据将地图渲染至帧缓冲区，从地图数据检测2D标记信息，并搜索地图信息文件以提取3D建模数据(ID)的标识。此外，所述3D网络地图服务系统100使用提取的3D建模数据的ID，从3D建模数据库中提取对应检测的2D标记信息的3D建模数据。

3D网络地图服务系统100处理提取的3D建模数据，另外将3D建模数据渲染至帧缓冲区，并将渲染的数据渲染到屏幕上。

图2示出根据本发明的一个示例实施例的使用增强现实的3D网络地图服务系统的配置。

参考图2，3D网络地图服务系统100包括接收单元210、提取单元220、渲染单元230和3D建模数据库240。

接收单元210通过网络110从互联地图数据提供服务器120接收包括2D标记信息的地图数据。

图3示出2D标记信息的一个示例。

参照图3，根据本发明的2D标记信息310至340可逆算方向和距离，在每个方向具有单一模式的每个数字可用作2D标记信息。但是，由于标记信息350和360可能不逆算方向和距离，根据本发明其可能不能用作2D标记信息。

另外，接收单元210可接收2D标记信息与3D建模数据被映射了的映射信息文件。

图4示出3D建模数据的一个示例。

参考图4，3D建模数据410至430代表用于渲染游戏或3D渲染的所有数据，其可包括由ACE、X文件、或3D Max生产的数据、Quake中使用的数据如MD3等。

图5示出2D标记信息与3D建模数据之间的映射关系的一个示例。

参考图5，第一标记是一个正方形，其被与63大厦的3D建模数据匹配，第二标记是一个包括圆形的正方形，其被与一个女人人物对象的3D建模数据匹配，第三标记是一个包含三角形的正方形，其被与韩国化妆品大厦的3D建模数据匹配。如上所述，2D标记信息和3D建模数据被一对一匹配。

图6示出2D标记信息的ID与3D建模数据的ID被映射了的映射信息文件的一个示例。

参考图6，在映射信息文件中2D标记信息的ID和3D建模数据的ID被一对一映射。第一标记是一个正方形，其ID被映射至63大厦的ID，第二标记是一个包括圆形的正方形，其ID被映射至一个女人人物对象的3D建模数据的ID，第三标记是一个包含三角形的正方形，其ID被映射至韩国化妆品大厦的3D的ID。

提取器220从地图数据检测2D标记信息，搜索映射信息文件，并提取3D建模数据的ID。此外，提取器220使用3D建模数据的ID从3D建模数据库240提取对应检测的2D标记信息的3D建模数据。也就是说，提取器220，通过分析帧缓冲区并接受图像处理，检测缓冲区中是否存在与包含在映射信息文件中的2D标记信息相同的标记信息帧，并通过搜索映射信息文件，提取对应检测的标记信息的3D建模数据。

渲染单元230使用接收的地图数据提前将地图渲染至帧缓冲区，处理所述3D建模数据，并另外将3D建模数据渲染至帧缓冲区。

3D建模数据库240提前执行下载3D建模数据并存储在2D标记信息和3D建模数据被映射的映射文件信息中，如图6所示。

也就是说，渲染单元230通过根据地图上的标记的失真程度调节大小和旋转方向，将提取的3D建模数据渲染到预定的位置。

图7示出2D标记信息与映射至2D标记信息的3D建模数据的合成状态的一个示例。

参考图7，2D地图数据710包括2D标记信息711，3D地图数据720是2D标记信息和3D建模信息721映射到2D标记信息的合成状态。提取器220检测缓冲区中是否存在与包含在所述映射信息文件中的2D标记信息711相同的标记信息帧，并通过搜索映射信息文件，从3D建模数据库240提取对应检测的标记信息的3D建模数据721。另外，渲染单元230通过根据地图上的标记的失真程度调节大小和旋转方向，将提取的3D建模数据721渲染到预定的位置，并将渲染的结果，即3D地图数据，渲染到屏幕上。

如上所述，根据本发明的3D地图网络服务系统100，可以提前执行可以以少量数据表现的2D标记信息与特定的3D物体的映射，当实时接收地图数据时，不接收整个3D物体而只接收对应要绘制的3D物体位置的2D标记信息，渲染对应2D标记信息的3D建模数据，并由此可提供3D地图服务。

图8是示出根据本发明的一个示例实施例的用于使用增强现实的3D网络地图服务的方法的流程图。

参照图1至图8，在操作S810，3D网络地图服务系统100执行下载映射了2D标记信息和3D建模数据的映射信息文件。此外，在操作S810，3D网络地图服务系统100可提前执行下载3D建模数据。此外，在操作S810，3D网络地图服务系统100可在3D建模数据库中记录并维护3D建模数据。

在操作S820，3D网络地图服务系统100通过网络110从互联地图数据提供服务器120接收包括2D标记信息的地图数据。

在操作S830，3D网络地图服务系统100使用收到的地图数据提前将地图渲染至帧缓冲区。

在操作S840，3D网络地图服务系统100从地图数据检测2D标记信息，并搜索映射信息文件来提取3D建模数据的ID。以下将参考图9详细描述检测2D标记信息和搜索映射信息文件来提取3D建模数据的ID。

图9示出通过检测2D标记信息并搜索映射信息文件来实施提取3D建模数据的ID的操作的的一个示例。

参照图1至图9，在操作S910，3D网络地图服务系统100通过分析所述帧缓冲区并接受图像处理，检测缓冲区中是否存在与包含在映射信息文件中的2D标记信息相同的标记信息帧。

在操作S920，3D网络地图服务系统100搜索映射信息文件，并提取对应检测的2D标记信息的3D建模数据的ID。也就是说，在操作S920，3D网络地图服务系统100搜索映射信息文件，并提取对应检测的2D标记信息的3D建模数据的ID，如图6所示。

在操作S850，3D网络地图服务系统100使用3D建模数据的ID从3D建模数据库提取检测的2D标记信息对应的3D建模数据。

在操作S860，3D网络地图服务系统100处理3D建模数据并另外将处理的3D建模数据渲染至帧缓冲区。也就是说，在操作S860，3D网络地图服务系统100，通过根据地图上的标记的失真程度调节大小和旋转方向，将提取的3D建模数据渲染到预定的位置。

在操作S870，3D网络地图服务系统100将渲染的数据渲染到屏幕上。也就是说，在操作S870，作为在地图上渲染3D建模数据的结果，3D网络地图服务系统100可渲染3D地图数据720至屏幕上，如图7所示。

如上所述，所述3D地图网络服务方法，可以提前执行可以以少量数据表现的2D标记信息与特定的3D物体的映射，当实时接收地图数据时，不接收整个3D物体而只接收对应要绘制的3D物体位置的2D标记信息，渲染对应2D标记信息的3D建模数据，并由此可提供3D地图服务。

根据本发明实施例的使用增强现实的3D网络地图服务方法，可被记录在由各种通过计算机手段执行的程序指令构成的计算机可读介质中。所述计算机可读介质可包括单独或组合的程序指令、数据文件、数据结构等。计算机可读记录介质的例子包括硬盘、软盘和磁带之类的磁介质，CD ROM和DVD之类的光记录介质，光盘之类的磁光介质，以及只读存储器(ROM)、随机存取存储器(RAM)、闪存等之类的专门配置为存储和执行程序指令的硬件设备。所述介质还可以是包括传输存储有程序指令、数据结构等的信号的载波的光缆或金属线、波导管等传输介质。程序指令的例子，不仅包括由编译器之类产生的机器语言代码之类，还包括含有使用解释程序由计算机执行的高级语言代码。所述硬件设备可配置为一个或多个软件模块以执行上面所述的本发明的实施例的操作。

虽然本发明一些实施例已被展示和描述，但是本发明不仅限于所描述的实施例。相反，本技术领域的技术人员应该理解，在不脱离本发明的原则和精神范围内可以对实施例进行改变，其范围由权利要求书及其等同物决定。