一种基于普适计算的混合现实游戏系统及方法

摘要

本发明公开了一种基于普适计算的混合现实游戏系统及方法，该系统允许玩家在任意空闲空间、随时随地设计迷宫布局，通过绘图工具绘制迷宫平面图；利用手机拍照快速建立相应的三维虚拟场景；利用虚拟现实眼镜，通过玩家头部的真实转动即可感受沉浸式体验；利用体感设备对玩家真实姿态的跟踪和识别，实现玩家对虚拟场景的移动输入控制和自然交互。本系统不需要专门的物理空间、昂贵的虚拟现实设备，用户也不需要训练，而且可以在任何时间任何地方游戏。

说明书

技术领域

本发明涉及一种基于普适计算的混合现实游戏系统及方法。

背景技术

虚拟现实是一种能够提供沉浸式体验的计算机系统，可以模仿我们周围的世界。通过三 维立体显示，用户可以完全沉浸在计算机生成的虚拟世界里。在2012年电子娱乐博览会上， Oculus公司展出了基于虚拟现实技术的头戴式显示器OculusRift。它通过安装在头盔上的运 动传感器跟踪头部运动，并调节显示视角，给用户带来逼真的沉浸式体验。但是，虚拟现实 技术使用户沉浸到一个完全虚拟的世界中去，把用户与真实世界完全隔离，用户完全沉浸其 中而感受不到真实世界。

混合现实技术是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信 息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真 实感。韩国的LivePark(4D虚拟现实主题公园)，玩家在入场前可以自行创造一个虚拟的角 色，然后通过手上的RFID手环与园区内的东西互动，充分感受虚拟与现实世界整合的乐趣。 美国一家创新科技公司发表了一个全新娱乐设施“TheVOID(TheVisionofInfinite Dimensions)”，玩家将通过穿戴虚拟现实装备进入虚拟世界，搭配以该虚拟场景为主题搭建 的实体场景，玩家可以在其中自由行动，体验虚拟现实的乐趣。这类游戏需要真实场景的配 合。但是，相关真实环境的建造是一个复杂的过程，而且耗时较长、成本较高。此外，穿戴 的虚拟现实装备一般比较昂贵，并非消费级的家庭装备。

发明内容

本发明为了解决上述问题，提出了一种基于普适计算的混合现实游戏系统及方法，该系 统允许玩家在任意空闲空间、随时随地设计迷宫布局，通过绘图工具绘制迷宫平面图；利用 手机拍照快速建立相应的三维虚拟场景；利用虚拟现实眼镜，通过玩家头部的真实转动即可 感受沉浸式体验；利用体感设备对玩家真实姿态的跟踪和识别，实现玩家对虚拟场景的移动 输入控制和自然交互。本系统不需要专门的物理空间、昂贵的虚拟现实设备，用户也不需要 训练，而且可以在任何时间任何地方游戏。

为了实现上述目的，本发明采用如下技术方案：

一种基于普适计算的混合现实游戏系统，包括场景设计模块、校正模块、建模模块、跟 踪与动作识别模块、跟踪注册模块和交互模块，其中，所述场景设计模块，通过绘图工具利 用轮廓线绘画迷宫平面图，建立迷宫场景；

所述校正模块，用于采集拍摄的迷宫平面图，对其进行校正，导入建模模块；

所述建模模块，接收校正后的图片，进行迷宫布局的绘制，将迷宫真实物体的信息作为 建模输入，发送到各个玩家的客户端，完成虚拟场景的建立；

所述跟踪与动作识别模块，利用体感设备将捕获的使用者位置信息与动作信息映射到虚 拟场景中，为虚拟场景中相应使用者的位置和动作提供数据，并发送到服务器端；

所述跟踪注册模块，用于对使用者视场与视点的跟踪，确定当前视场中的目标物、用户 视点的位置和朝向；

所述交互模块，用于实现用户与真实场景中的虚拟对象的交互，确定用户对虚拟对象发 出的指令，对其解释，给出相应的反馈结果，通过虚拟现实眼镜给玩家反映虚拟世界的景象。

基于上述系统的工作方法，包括以下步骤：

(1)通过绘图工具在真实空间中设计迷宫平面图，拍摄迷宫平面图，并对拍摄时因透视 原因导致的图片变形进行校正，建立虚拟迷宫；

(2)判断多个玩家的情况下是否异地参与，如果是，跳转步骤(3)，否则，跳转步骤(4)；

(3)玩家根据服务器端发送的平面图在真实场地绘制同一结构的迷宫；

(4)根据所有玩家接收到的迷宫信息，服务器端接收虚拟迷宫建模模块发送来的迷宫墙 体信息，并发送到各个玩家的客户端，完成虚拟场景的建立，建立三维场景；

(5)利用跟踪与动作识别模块，将捕获到的玩家位置信息与动作信息映射到虚拟场景中， 为虚拟场景中玩家的位置和动作提供数据，并发送到服务器端，完成虚拟场景中玩家的漫游 与交互；

(6)根据基于传感器的注册方法，获取用户头部的转动角度，从而确定用户视点的位置 和朝向，利用虚拟现实眼镜作为输出设备，向使用者呈现虚拟世界的景象；

(7)对每个玩家的位置实时跟踪与姿态识别，并捕获到的玩家位置信息与动作信息映射 到虚拟场景中，为虚拟场景中所有玩家的位置和动作提供数据，并发送到服务器端，跳转步 骤(5)。

所述步骤(1)中，校正方法为将图片矩形的四个角进行拖拽，使图片中迷宫墙体形状与 实际绘画情况一致。

所述步骤(1)中，建立虚拟迷宫的具体方法包括：

(1-1)利用摄像机对绘制的平面图拍照，并完成图片的校正；

(1-2)将校正后的图片导入手机建模部分，在4*4的网格内进行迷宫布局的绘制；

(1-3)将得到的迷宫墙体信息作为建模部分的输入，发送到服务器端。

所述步骤(5)中，利用Kinect进行跟踪与动作识别，具体步骤包括：

(5-1)坐标校正，在真实空间内选取多组不同位置的样本点，使样本点均匀分布，并测 量出每个样本点在虚拟场景中的位置，在Kinect坐标系中的位置；

(5-2)利用最小二乘法计算得到Kinect对于虚拟场景坐标系的变换矩阵T；

(5-3)通过捕获用户手部关节点和头部的位置信息，计算用户位置和动作识别。

所述步骤(5-3)中，用户位置计算的具体方法为：令第k帧Kinect获取的用户位置信息 为P_i(k)＝{x_i^k,y_i^k,z_i^k}，其中，i表示Kinect可跟踪的人数，0≤i≤6；则用户在虚拟现实中的位 置V_P_i(k)＝P_i(k)*T，用来控制虚拟主角的移动。

所述步骤(5-3)中，动作识别的具体方法为：通过Kinect捕获用户手部关节点和头部的 位置信息判断用户动作：令(X_LH,Y_LH,Z_LH)、(X_RH,Y_RH,Z_RH)、(X_H,Y_H,Z_H)分别为用户的左手、 右手、头部的空间位置；

定义动作标志：△Y₁＝Y_LH-Y_H，△Y₂＝Y_RH-Y_H,

如果△Y₁>0或者△Y₂>0，表示用户做出举手动作，通过动作标志控制用户与虚拟场景中 物体的交互。

所述步骤(6)中，将手机放置在虚拟现实眼镜中，佩戴并调整好眼镜位置，使用户看到 的场景与现实中保持一致；利用手机自带的陀螺仪或重力感应，通过转动头部调整用户在虚 拟系统中的视角，完成对用户视场与视点的跟踪。

本发明的工作原理为：用户在任意空闲空间通过绘图工具(如粉笔、彩带等)绘制迷宫 结构，不受其他因素的约束；然后利用手机拍照快速建立对应的三维虚拟场景；利用虚拟现 实眼镜(如小宅魔镜、暴风魔镜)，通过玩家头部的真实转动即可感受沉浸式体验；利用体感 设备(如Kinect)对玩家真实姿态的跟踪和识别，实现玩家对虚拟场景的移动输入控制和自 然交互。该发明提供两种游戏模式：单人模式；多人模式。其中，多个玩家包括同地多个玩 家和异地多个玩家的方式，玩家之间采用客户端服务器模式完成通讯，由一个玩家绘制游戏 场景，所有玩家共享同一个虚拟游戏场景。

本发明的有益效果为：

(1)本发明的方法使用方便、易操作、成本较低；

(2)对空间的限制较少，只要有空的场地，不论大小，即可实现无处不在的沉浸式游戏 体验；

(3)场景设计主观性较强，只需在场地上绘制出平面图即可。而且，用轮廓线代表真实 物体，减少建造成本、提高空间占用率；

(4)不需要昂贵的虚拟现实设备，所采用的设备适合家庭和个人体验；

(5)用户不需要额外的训练，使用自然的交互方式即可；

(6)支持多人操作，异地用户可以达到同地用户的体验效果；

(7)除了在游戏娱乐方面有广泛应用外，也可将类似技术用于教育、军事训练等领域。 如在消防训练中，根据地上画出的室内平面图，快速建立三维虚拟场景，消防员可完成走路、 跑步、匍匐等。

附图说明

图1为本发明的硬件组成结构图；

图2为本发明游戏系统流程图；

图3(a)为迷宫平面图；

图3(b)为对获取的迷宫图片进行校正；

图3(c)为导入校正好的迷宫图片，进行虚拟迷宫的绘制示意图；

图4(a)为本发明应用于迷宫游戏的实例示意图；

图4(b)为本发明游戏者看见的虚拟画面示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

如图1所示，在空的场地上绘制场景轮廓线，通过智能手机的相机进行拍照，快速完成 三维场景的建立；用户通过佩戴魔镜，将三维场景真实地呈现于眼前，利用智能手机与服务 器建立通讯，获得Kinect捕捉到的用户位置信息和动作，通过身体姿态与场景进行实时交互。

如图2所示，本发明的具体流程图：

(1)玩家通过绘画工具在真实空间中设计迷宫平面图；

(2)利用手机相机对绘制的平面图拍照，并对变形图片进行校正；

(3)将图片导入手机建模部分，进行二维迷宫布局的绘制，并将得到的迷宫墙体信息 作为手机建模部分的输入，发送到服务器端；

(4)服务器将接收到的迷宫墙体信息，发送到各个玩家的手机端；

(5)判断多个玩家的情况下是否异地参与，如果是，跳转步骤(6)；否则，跳转步骤 (7)；

(6)每个玩家根据平面图在真实场地绘制同一结构的迷宫；

(7)根据各个玩家接收到的迷宫信息，建立三维场景；

(8)初始化每个玩家的位置和姿态，并将信息发送到服务器端；

(9)服务器端将信息发送到每个玩家的手机端；

(10)3D立体显示，利用虚拟现实眼镜作为输出设备，呈现给玩家一个感官效果真实 的新环境；

(11)判断游戏是否结束。如果是，则结束；否则，跳转步骤(12)；

(12)通过Kinect对每个玩家的位置实时跟踪与姿态识别，并捕获到的玩家位置信息与 动作信息映射到虚拟场景中，为虚拟场景中玩家的位置和动作提供数据，并发送到服务器端， 跳转步骤(9)。

虚拟迷宫建模具体包括如下步骤：

(1)利用手机相机对绘制的平面图拍照，如图3(a)；

(2)从低角度拍摄地面图片时，会因为透视原因导致画面景物出现变形，原本为矩形外 框的迷宫图在拍摄图片中呈梯形，有所变形，因此对所得图片进行校正，将图片矩形的四个 角进行拖拽，完成图片的变形校正，回复原有形状，如图3(b)；

(3)将校正后的图片导入手机建模部分，并在4*4的网格内进行迷宫布局的绘制(如图 3(c))。虚拟空间中墙体AB表示为{(x₁₁,z₁₁),(x₁₂,z₁₂)}，墙体的集合为W＝{{(x₁₁,z₁₁),(x₁₂,z₁₂)}, {(x₂₁,z₂₁),(x₂₂,z₂₂)},…,{(x_N1,z_N1),(x_N2,z_N2)}}，N表示墙体的数目。

将集合W作为手机建模部分的输入，发送到各个玩家的手机客户端，完成虚拟场景的建 立。

如图4(a)、图4(b)所示，是本发明应用于迷宫游戏的一个实例。在这个两人迷宫游戏 中，玩家A、B在移动过程中距离较近时，可以互相看见对方的实例。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限 制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付 出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。