基于3D标记的增强现实系统

摘要

本申请公开了一种基于3D标记的增强现实系统，包括增强现实装置，所述增强现实装置包括用于获取现实对象以及附著于其上的增强现实3D标记的图像的图像获取单元、分析增强现实3D标记的标记分析单元、根据分析结果进行对应增强现实处理的增强处理单元以及捕捉运动对象轨迹的运动捕捉引擎；所述标记分析单元对获取的增强现实3D标记图像进行分析，根据该图像的预定图像参数分析得到该增强现实标记的3D特性，所述增强处理单元根据不同的3D特性执行不同的增强现实处理。本申请可以实现现实世界与虚拟环境更强的交互。

说明书

技术领域

本申请涉及一种基于3D标记的增强现实系统。

背景技术

增强现实(AugmentedReality，简称AR)技术是在虚拟现实技术的基础 上发展起来的一种新兴的人机交互技术，参见图1，它借助于可视化技术，将 虚拟现实信息应用到现实世界，把不能直接在现实世界获取的虚拟现实信息叠 加到现实世界的画面上，并使用户可以与增强现实应用进行互动，扩大了用户 对真实世界的感知。增强现实已经在各种应用中使用，如娱乐、视频游戏、体 育和手机应用。

增强现实主要有如下几种实现方式：

1)通过全球定位系统(GPS)、地磁传感器和加速度传感器来确定用户终 端的地理位置、朝向以及倾斜角度等，然后根据所确定的位置信息来获取相关 信息后叠加显示。

2)预先保存标记(marker)图像的信息，然后通过图像识别技术，在当 前图像中查找并识别标记图像，然后在标记图像上叠加相关信息。

3)对摄影图像进行解析，识别出风景、物体和空间，然后叠加相关信息。

在所提及的实现方式之中，通过对标记进行识别来实现信息叠加的技术被 越来越广泛地使用。这种实现方式能够通过使用摄像机对真实图像中的标记进 行识别来加入虚拟的3D物件，从而造成虚实结合的视觉效果。

然而，希望进一步加强虚拟实体同真实图像的交互。

发明内容

本申请提供了一种基于3D标记的增强现实系统，能够更好的实现虚实交 互。

本申请的基于3D标记的增强现实系统，包括增强现实装置，所述增强现 实装置包括用于获取现实对象以及附著于其上的增强现实3D标记的图像的图 像获取单元、分析增强现实3D标记的标记分析单元、根据分析结果进行对应 增强现实处理的增强处理单元以及捕捉运动对象轨迹的运动捕捉引擎；所述标 记分析单元对获取的增强现实3D标记图像进行分析，根据该图像的预定图像 参数分析得到该增强现实标记的3D特性，所述增强处理单元根据不同的3D 特性执行不同的增强现实处理。

在本申请的一种实施例中，所述增强现实3D标记包括绘制在街道上的3D 画。

在本申请的一种实施例中，所述增强现实处理包括对现实对象添加特定信 息、对现实对象的相关虚拟3D模型执行预定操作。

在本申请的一种实施例中，所述预定图像参数包括增强现实3D标记图像 的颜色、明暗、形状、特性图案，所述3D特性包括该增强现实3D标记被获取 的位置、方向。

在本申请的一种实施例中，所述增强处理单元还根据运动捕捉引擎获取的 特定对象的运动轨迹数据，控制该特定对象对应的3D虚拟模型进行相对应的 运动。

在本申请的一种实施例中，所述3D虚拟模型基于3D软件制作，并存储于 所述数据库中，所述3D软件包括Maya或3DStudioMax3D。

在本申请的一种实施例中，所述特定对象与3D虚拟模型的对应关系基于 用户指定、随机选择、或者增强现实3D标记的3D特性确定。

在本申请的一种实施例中，还包括系统服务器，系统服务器包括存储增强 现实数据的数据库，以及执行各种系统相关操作的中央处理设备。

在本申请的一种实施例中，系统服务器支持通过无线或有线方式接入；无 线或有线接入方式包括：WIFI/2G/3G/4G移动网络接入方式，或者卫星通信、 无线广播通信接入方式。

在本申请的一种实施例中，所述增强现实装置包括：个人计算机(PC)， 或者智能设备；个人计算机包括运行windows或OSX操作系统的台式电脑或 笔记本电脑；智能设备包括运行IOS系统或Android系统的智能手机、平板电 脑。

本申请的基于3D标记的增强现实装置，通过3D标记的3D特性，可以提 供更强的现实世界与虚拟环境的交互。

附图说明

下面将结合附图及实施例对本申请作进一步说明，附图中：

图1是增强现实的示例性照片；

图2是3D标记的示例性照片；

图3是运动捕捉及控制的示例性照片；

图4本申请实施例的增强现实系统的示例性结构图。

具体实施方式

为了对本申请的技术特征、目的和效果有更加清楚的理解，现对照附图详 细说明本申请的具体实施方式。

如前所述，在增强现实技术中，可以通过对标记进行识别来实现信息叠 加。在本申请实施例中，采用3D标记来作为增强现实识别标记。3D标记的一 种示例可以是3D画(3DPainting)，例如图2。

3D画基于人眼观察世界的特性，利用光学折射和透视原理而于平面画中 制造出视觉上的虚拟立体效果，可以使眼睛感观上看到物体的上下、左右、前 后三维关系，令参观者有一种身临其境的感觉。3D画与普通画种比较起来， 主要在于它的透视原理与普通绘画不同。正常的绘画，画面的透视安排没有参 照欣赏者本人站位的视点，它的画面构成只是以画面本身的透视为依据，而 3D画则是参照了欣赏者的站位视点，整个画面的构成以人的视点为视觉原 点，使得3D画不仅仅是一幅画，还成为一个真实的视觉空间，欣赏者可以融 入到画面当中。站在最初设计的最佳视点使用相机进行观看可以达到最佳的视 觉效果。由此，可以利用3D画作为增强现实的标记，一方面，使得增强现实 标记更为醒目，在真实世界中具有更强的直观性。另一方面，基于3D画的标 记将可以承载更多的信息，从而在虚拟世界制造出更强的交互性。

本申请也集成有运动捕捉技术，藉由对运动对象(例如人体)的运动轨迹 的捕捉，而将其相应反映到虚拟世界中，从而使虚拟世界中的对应模型与现实 世界具有更强的互动性。利用传感器系统，例如动作传感器，可以采集动作轨 迹数据等，从而确定一个或多个运动对象，例如人体所表现的特定运动轨迹。 一个运动捕捉的示例参见图3的美国电影阿凡达(Avatar)的示例。现实演员 的动作被捕捉，从而对应的在电影模型人物上展现。

在申请中，将实现增强现实的装置称为增强现实(AR)装置，该AR装置 可以为移动终端(例如，智能手机)的一部分，AR装置可以拍摄与AR相关的 标记，例如，图2所示的绘制与街道上的3D画。在AR应用中，通过例如移动 终端配置的摄像头检测到真实场景中有具有AR标记的目标存在时，可以基于 检测到的AR标记，在显示的目标区域叠加相关的虚拟内容。

基于3D画的AR标记，可以利用3D画的3D特性，而容纳更多的信息，在 3D画中，角度、颜色、明暗等等参数均可以承载不同的信息，从而于AR中制 造出更多的交互。

例如，考虑图2所示的3D画示例标记，可以藉此形成与一虚拟游戏世界 的互动。游戏启动后，当检测到上述3D画示例标记，一方面，可以展示显示 世界的街道实景，另一方面，可以基于3D画示例标记增强现实，例如，以上 述3D画形成游戏世界当中的街道上呈现的异度空间入口。此外，如该3D画示 例标记是被从右方检测，基于此信息，异度空间入口可以相应出现右方的天使 作为游戏主角的同伴，可与主角一起进入异度空间冒险。

游戏主角可以由基于3D软件，如Maya、3DStudioMax等制作出的3D 模型担当，其可以作为现实人物，例如增强现实装置用户在虚拟世界的化身， 如前所述，本申请的增强现实系统集成运动捕捉引擎，可以捕捉该用户的运动 轨迹，从而在虚拟世界上令对应的虚拟化身进行对应的动作。

如图4所示，本申请的AR装置10，包括用于获取增强现实3D标记图像 的图像获取单元11、分析3D标记意义的标记分析单元12、根据分析结果进行 增强现实处理的增强处理单元13以及捕捉运动对象轨迹的运动捕捉引擎14。

图像获取单元11用于获取AR标记的图像。如前所述，该标记可以是绘制 在街道上的3D画。

标记分析单元12用于分析由图像获取单元11获取的3D标记的意义。根 据一个示例，该标记分析单元12可以确定AR怎样显示或起作用。换言之，AR 应用可以基于标记分析单元12的分析结果，确定以何种方式将虚拟信息叠加 到现实世界。标记分析单元可以基于3D标记显示的位置、方向、特性图案、 形状、颜色等因素得到不同的分析结果。不同的分析结果将对应于不同的增强 现实信息。

由于基于3D标记，因而，于不同位置、方向，例如前后、左右、上下等 方向，可以于增强现实中提供不同的信息。例如，一个增强现实的3D标记在 一大型体育馆上标记，当该3D标记被获取，基于其方向，可以显示该体育馆 的不同信息。如前所述，仅管3D画本身是平面的，但其在人眼视觉上呈现立 体效果，假设一增强现实用户通过其增强现实装置在体育馆正前门处发现3D 画示例的增强现实标记，当其从正前门右方观察3D画时，从视觉上感觉是看 到该3D画所呈现的3D对象的右方。标记分析单元12可以藉由图像获取单元 11获取的标记图像分析出该特性，从而相应的，增强处理单元13可以叠加与 该特性相应的信息，因而，仅管身处体育馆正前方，在增强现实世界中，增强 现实用户还可以基于增强现实应用查看到体育馆右侧门的景象以及其他附加 信息。而当该用户从正前门右侧移动到左侧，类似的，仅管仍身处体育馆正前 方，在增强现实世界中，增强现实用户还可以基于增强现实应用查看到体育馆 左侧门的景象以及其他附加信息。

在本申请实施例中，增强现实处理过程包括:

1)利用图像获取单元11，获取真实世界对象图像以及附著于其上的增强 现实的3D标记；

2)利用标记分析单元12，对获取的3D标记图像进行分析，从获取到的 3D标记图像的颜色、明暗等图像参数，分析出该3D标记被获取的位置、方向 等3D特性；

3)利用增强处理单元13，根据分析出的3D特性，对真实世界对象图像 进行相应的增强现实，例如添加不同的描述信息、于游戏世界对象添加不同装 备等等。

4)利用运动捕捉引擎14，捕捉特定对象的运动轨迹，并将运动轨迹数据 提供给增强处理单元13。

5)增强处理单元13根据运动轨迹数据，控制特定虚拟对象进行相对应的 运动。

可以于增强处理单元13中配置数据库，存储3D虚拟人物模型，3D虚拟 人物模型可以是静态或动态的，基于用户指定、随机选择、或者3D标记的特 性选择不同虚拟人物模型。例如，参照图2，当于左方检测到该3D画标记， 则从数据库中选择人族模型，当于右方检测到该3D画标记，则从数据库中选 择天使族模型。当未捕捉到运动时，作为现实世界人物的虚拟化身的3D模型， 可以也是静态的。当捕捉到现实人物的运动，例如正在跳舞时，该现实人物在 虚拟世界中的虚拟化身也可以相应跳舞。如前所述，增强现实装置10可以作 为用户装置，包括：个人计算机(PC)，或者智能设备；个人计算机包括运行 windows或OSX操作系统的台式电脑或笔记本电脑；智能设备包括运行IOS 系统或Android系统的智能手机、平板电脑。

另一方面，增强现实系统可以包括系统服务器20；系统服务器20可以包 括存储增强现实数据的数据库，以及执行各种系统相关操作的中央处理设备。 系统服务器支持通过无线或有线方式接入；所述无线或有线接入方式包括： WIFI/2G/3G/4G移动网络接入方式，或者卫星通信、无线广播通信接入方式。

如此，增强现实装置10可以不必配置大型数据库，其可以通过与系统服 务器20的交互而获取各种必要的数据。例如，以此增强现实系统构建一虚拟 游戏世界，增强现实装置10作为参与游戏的玩家的用户装置，其可以从系统 服务器20获得该玩家在游戏世界中的虚拟化身模型，此后，基于动作捕捉， 玩家可以将其在真实世界的运动反映到期在游戏世界的虚拟化身中，并藉由 3D标记增强现实，对现实对象的相关虚拟3D模型执行预定操作。例如，由于 3D标记的3D特性，玩家可以与一个3D标记进行更多的互动，例如图2，玩家 可以藉由站于左侧或者右侧而反映其在游戏中的立场是支持人族或者天使 族，并因此而获得人类同伴或天使同伴，或者获得相应的种族装备。这使得本 申请的基于3D标记的增强现实装置具有更多的交互性。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述 的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本 领域的普通技术人员在本申请的啓示下，在不脱离本申请宗旨和权利要求所保 护的范围情况下，还可做出很多形式，这些均属于本申请的保护之内。