一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法

摘要

本发明涉及计算机图像技术领域，具体是一种采用沉浸式虚拟现实技术的真人射击类游戏系统。本发明采用虚拟现实技术根据现实空间定位信息实时渲染虚拟三维空间场景和虚拟玩家模型并在玩家的头戴式显示器的视频中显示。背包计算机接受头戴显示器上送来的现实场景图像，通过图像中的标识确定玩家坐标，头戴显示器确定玩家面部朝向，背包计算机计算空间定位信息并渲染虚拟画面。背包计算机从枪系统获取枪口定位信息判断是否命中，并在虚拟画面上渲染虚拟图像。系统服务器存储多个玩家数据，实现各玩家之间的通信与数据交换。本发明具有扩展能力强，模拟真实度高，大大增强了第一人称射击类游戏的娱乐性。

说明书

技术领域

本发明涉及计算机图形技术领域，具体涉及一种采用沉浸式虚拟现实技术 的真人射击类游戏的系统。

背景技术

第一人称视角射击游戏顾名思义就是以玩家的主观视角来进行射击游戏。 玩家们不再像别的游戏一样操纵屏幕中的虚拟人物来进行游戏，而是身临其境 的体验游戏带来的视觉冲击，这就大大增强了游戏的主动性和真实感。早期第 一人称类游戏所带给玩家的一般都是的屏幕光线的刺激，简单快捷的游戏节奏。 随着游戏硬件的逐步完善，以及各种游戏的不断结合。第一人称射击类游戏提 供了更加丰富的剧情以及精美的画面和生动的音效。

随着第一人称射击类游戏的不断发展，真人第一人称射击类游戏应运而生。 真人第一人称射击类游戏其实是一种模仿军队作战的游戏，参加者都穿上各款 军服，手持各种枪，配备各款装备，穿梭阵地之间，展现各种队形阵势，个人 技巧，全部投入扮演一个士兵的角色。

传统的基于现实世界的真人第一人称射击类游戏由于场地、科技等现实因 素的限制已经越来越不能满足玩家们不断追求娱乐的态度。而沉浸式虚拟现实 技术不断成熟的今天，将沉浸式虚拟现实技术与真人第一人称射击类游戏相结 合，使得真人第一人称射击类游戏走向一片全新的发展领域。

对于专利公开号为：102735100A的中国专利公开了一种采用增强现实技术 的单兵轻武器射击训练的方法和系统。本系统采用增强现实技术实时融合真实 场景和虚拟射击目标并在训练者视频眼镜中形成战斗场景，枪系统上摄像头和 扳机将射击信息传向智能手机，由智能手机判定是否射中目标；同时虚拟目标 也可向射击者射击，形成射击结果存储和训练者头带视频眼镜中显示，输出反 馈效果信息。但是该系统中射击者仅仅只能移动枪械，而无法移动射击者自身， 定位功能上仅仅完成了对枪械的定位，并没有做出对于射击者的空间位置的定 位。

目前，头戴式显示器的发展使得将沉浸式虚拟现实技术与真人第一人称射 击类游戏相结合成为可能。头戴式显示器的虚拟现实功能使得玩家视觉上完全 沉浸在虚拟空间之中，如激光，虚拟人物等在现实空间无法实现的功能都可以 在虚拟空间内实现。最终使得真人射击类游戏更具有科幻性和娱乐性。

发明内容

本发明所要解决的技术问题在于真人射击类游戏中，因为受到现实空间的 环境等因素的限制而无法将诸多可以增强游戏体验的游戏方式实现的矛盾。本 发明提出一种采用沉浸式虚拟现实技术使玩家视觉上完全沉浸于虚拟空间中， 在虚拟空间中实现虚拟环境、虚拟特效的构造，带给用户在真实空间中无法拥 有的游戏体验的方法和系统。

捕获真实环境的视频帧，利用增强现实的基于标志特征的摄像机标定技术 进行摄像机标定，求得摄像机外参数，获得摄像头与标识之间的三维空间距离， 并结合陀螺仪的面部朝向数据，计算并渲染出玩家在游戏虚拟空间中所看到的 游戏画面。射中验证模块获取枪口的定位信息后利用射线算法判定射击者是否 击中了玩家与被击中玩家的身份，并将玩家受伤消息送给服务器，在受伤玩家 的显示器上做出受伤渲染。本发明的具体技术方案如下：

一种采用沉浸式虚拟现实技术的真人射击类游戏的系统，该系统包括：系 统服务器、头戴式显示器、玩家背包计算机、枪械系统、标识子系统，

系统服务器中设置：玩家数据存储模块。背包计算机中设置：三维注册模 块、渲染模块、射中验证模块，标识数据存储模块。枪械系统中设置：枪口角 度数据模块、数据手套定位模块、扳机传感器模块。头戴式显示器中设置：面 部朝向数据模块、旋转底座控制模块、摄像模块、显示模块。标识子系统中设 置：场景中所有标识布局。系统服务器中玩家数据存储模块存储游戏中所有玩 家的生命值、现实空间坐标数据，并与背包计算机进行数据交互，背包计算机 中的三维注册模块，接受并识别现实空间图像，确定玩家与图像标识之间的三 维空间距离，获得玩家的现实空间坐标，背包计算机中的渲染模块，通过玩家 面部朝向数据和现实空间坐标数据，得到玩家在虚拟空间中的虚拟坐标和面部 角度，完成玩家在现实空间与虚拟空间中的同步视觉跟踪，背包计算机中的射 中验证模块，接受扳机扣动消息和枪口空间定位数据，判断本次扣动扳机是否 命中其他玩家，背包计算机中的标识数据存储模块，存储放置在现实空间中所 有标识的空间坐标，以及玩家编号与标识的对应关系；枪械系统中枪械角度数 据模块，通过枪械系统内置的三轴陀螺仪获得枪口角度数据，枪械系统中数据 手套定位模块获取数据手套与玩家之间的三维距离，当玩家按下扳机时，枪械 系统中扳机传感器模块将枪口角度数据和三维距离封装进扳机扣动消息传送给 背包计算机；头戴式显示器中面部朝向数据模块，通过内置三轴陀螺仪将玩家 面部朝向数据传给摄像模块和旋转底座控制模块，旋转底座控制模块调整摄像 头角度使摄像头保持垂直向上的指向，摄像模块获取真实场景的图像数据与玩 家面部朝向数据，封装成画面帧消息并发送给背包计算机上，显示模块接受玩 家背包计算机传来的渲染画面；标识子系统根据摄像机的视角以及室内空间高 度确定标识间距离。

所述确定玩家与图像标识之间的三维空间距离进一步包括，利用基于像素 灰度值的灰度图像空间模板匹配算法对图像数据进行标识图像检测，使用两步 标定算法对头戴显示器上的摄像机进行摄像机标定，计算摄像机内参数和外参 数，得到摄像头与标识点之间的三维空间距离。射中验证模块根据枪械系统中 枪口空间定位数据确定枪口虚拟空间坐标，根据系统服务器中当前所有玩家空 间坐标生成当前所有玩家包围盒，以枪口为起点，以枪口角度为方向发出三维 射线，判断此射线穿过的第一个包围盒是否是其他玩家的隐式虚拟包围盒，若 穿过，则表示击中。旋转底座控制模块接收面部朝向数据模块送来的当前玩家 头部Yaw、Pitch、Roll三个偏转角度(旋转值)，其中，Yaw为头部绕Z轴旋转， 即摇头动作的旋转值；Picth为头部绕X轴旋转，即点头动作的旋转值；Roll 轴头部绕Y轴旋转，即侧头动作的旋转值。然后对于每一轴都反向旋转与面部 朝向数据中相同的角度，使得旋转底座上的摄像头保持垂直向上拍摄。两步标 定算法具体包括：头戴式显示器中摄像模块获取现实世界画面帧，读取中心主 点坐标、缩放因子、像素宽度、像素高度，检测出所有角点，根据角点坐标和 物点坐标建立方程组，求解方程中的所有外参数和焦距；根据物点和像点构建 映射方程优化畸变系数，焦距和外参数，其中，物点为现实空间中标识上的角 点，像点为这些角点在现实世界画面帧图像中的图像坐标。所述对标识图像检 测具体包括：检测摄像模块画面和实际空间画面中至少4个点，根据这4个点 计算现实空间坐标系到图像坐标系之间的单应性矩阵，调用变换矩阵将摄像机 画面中标识图像进行转正，求出该标识图像面积比几何特征；求出该面积比几 何特征与存储标识的几何特征数据之间的最小欧氏距离，若最小欧式距离大于 阈值，则完成此模式识别。

本发明还提出一种采用沉浸式虚拟现实技术的真人射击类游戏系统实现方 法，包括步骤：系统服务器中玩家数据存储模块存储游戏中所有玩家的生命值、 现实空间坐标数据，并与背包计算机进行数据交互，背包计算机中的三维注册 模块，接受并识别现实空间图像，确定玩家与图像标识之间的三维空间距离， 获得玩家的现实空间坐标，背包计算机中的渲染模块，通过玩家面部朝向数据 和现实空间坐标数据，得到玩家在虚拟空间中的虚拟坐标和面部角度，完成玩 家在现实空间与虚拟空间中的同步视觉跟踪，背包计算机中的射中验证模块， 接受扳机扣动消息和枪口空间定位数据，判断本次扣动扳机是否命中其他玩家， 背包计算机中的标识数据存储模块，存储放置在现实空间所有标识的空间坐标， 以及玩家编号与标识的对应关系；枪械系统中枪械角度数据模块，通过枪械系 统内置的三轴陀螺仪获得枪口角度数据，枪械系统中数据手套定位模块获取数 据手套与玩家之间的三维距离，当玩家按下扳机时，枪械系统中扳机传感器模 块将枪口角度数据和三维距离封装进扳机扣动消息传送给背包计算机；头戴式 显示器中面部朝向数据模块，通过内置三轴陀螺仪将玩家面部朝向数据传给摄 像模块和旋转底座控制模块，旋转底座控制模块调整摄像头角度使摄像头保持 垂直向上的指向，摄像模块获取真实场景的图像数据与玩家面部朝向数据，封 装成画面帧消息并发送给背包计算机上，显示模块接受玩家背包计算机传来的 渲染画面；标识子系统根据摄像机的视角以及室内空间高度确定标识间距离。

本发明将沉浸式虚拟现实技术与真人第一人称射击类游戏相结合，头戴式 显示器的虚拟现实功能使得玩家视觉上完全沉浸在虚拟空间之中，使得真人射 击类游戏更具有科幻性和娱乐性。

附图说明

图1本发明各设备间系统结构图；

图2本发明背包计算机内部系统结构图；

图3基于像素灰度值的灰度图像空间模板匹配算法流程图；

图4摄像机两步标定算法流程图。

具体实施方式

下面结合具体实施例以及附图对本发明作进一步的阐述和说明。

首先，根据实际室内场地进行标识布局，标识数量与标识间隔依据摄像机 视角和场地高度决定，保证摄像头在任何空间位置，都至少能拍摄到一个标识 以进行定位。

如图1所示为本发明设备级系统结构框架图。一种采用沉浸式虚拟现实技 术的真人射击类游戏的系统，该框架图包括：系统服务器A1、枪械系统A2、玩 家背包计算机A3、头戴显示器A4。其中：系统服务器包括：系统服务器与玩家 背包计算机交互接口A11；枪械系统包括：扳机传感器模块A21；玩家背包计算 机包括：玩家背包计算机与系统服务器交互接口A31、玩家背包计算机与头戴式 显示器交互接口A32、玩家背包计算机与枪械系统交互接口A33；头戴显示器包 括：摄像模块A41,、显示模块A42。

系统服务器A1上的系统服务器与玩家背包计算机交互接口A11，利用无线 宽带与正在游戏中的所有背包计算机进行数据交互，每台背包计算机上所渲染 每一帧的同时都至少要与服务器进行一次数据交互，以确定玩家当前空间坐标 与其他玩家当前空间坐标。

枪械系统A2上的扳机传感器模块A21，在启动该模块后，将枪口现实空间 坐标和枪口角度数据封装进扳机扣动消息送给玩家背包计算机与枪械系统交互 接口A33。头戴式显示器A4上的摄像模块A41捕获每一帧后都将当前画面帧和 玩家面部朝向数据送给玩家背包计算机玩家背包计算机与头戴式显示器交互接 口A32。头戴式显示器A4上的显示模块A42接受玩家背包计算机与头戴式显示 器交互接口A32送来的渲染画面，以单屏幕双投影模式现实在屏幕上。玩家背 包计算机A3上的玩家背包计算机与系统服务器交互接口A31，接受玩家背包计 算机内部的各种消息，例如玩家现实空间坐标请求消息、玩家现实空间坐标更 新消息、受伤消息等，将其发送给系统服务器。同时玩家背包计算机与系统服 务器交互接口A31也接受系统服务器的各种消息，例如应答消息、玩家死亡消 息等。玩家背包计算机A3上的玩家背包计算机与头戴式显示器交互接口A32， 接受头戴式显示器发来的画面帧消息，从帧消息中解包出画面帧数据和玩家面 部朝向数据，并将画面帧数据送给三维注册模块，将玩家面部朝向数据送给渲 染模块。同时玩家背包计算机与头戴式显示器交互接口A32接受渲染模块送来 的渲染后画面，送给头戴式显示器A4的显示模块A42。玩家背包计算机A3上的 玩家背包计算机与枪械系统交互接口A33，接收枪械系统A2的扳机传感器模块 A21送来的扳机扣动消息，启动射中验证模块，并从扳机扣动消息中解包出枪口 角度数据送给射中验证模块。

如图2所示为本发明中玩家背包计算机内部工作流程图，本实施提供一种 采用沉浸式虚拟现实技术的第一人称射击游戏的方法，

B1：三维注册模块由帧驱动，获取现实空间画面帧并运用基于像素灰度 值的灰度图像空间模板匹配算法识别帧中标识，运用摄像机两步标定算法确定 玩家与标识的三维距离。

B2～B3：根据所识别到的标识,在标识数据存储模块中找到该标识的空间坐 标，由此来确定玩家当前空间坐标。

B4～B7：根据玩家当前空间坐标、面部朝向数据、其他玩家当前空间坐标 数据以及附加渲染数据来渲染画面，并将渲染完成的画面送给玩家背包计算机 与头戴式显示器交互接口。

B8～B10：判断是否收到扳机扣动消息，若收到则判断是否命中，若未收到 扳机扣动消息或收到扳机扣动消息但是未命中，则返回三维注册模块接收下一 帧现实空间画面数据。

B11～B15：若命中后，背包计算机将命中信息传给服务器，服务器对命中信 息作出扣除玩家生命值、对被命中玩家发送受伤消息等响应。

如图3所示为本发明的标识识别算法，即基于像素灰度值的灰度图像空间 模板匹配算法。本实施提供一种采用沉浸式虚拟现实技术的第一人称射击游戏 的方法，

C1～C3：首先通过检测摄像机画面和实际空间画面中至少4个点来求出标识 物体坐标系到相机坐标系之间的变换矩阵，用这个变换矩阵将摄像机画面中经 过透视变换的标识图像进行转正，并求出该标识物区域的面积比几何特征。

C4～C7:使用欧氏距离求出该标识集合特征与存储标识的几何特征数据之 间的最小距离，若最小欧式距离大于阈值，则完成此模式识别，若最小欧式距 离小于阈值，则识别失败。

图4所示为摄像机两步标定算法流程图。

D1：头戴式显示器上的摄像头获取现实世界画面帧。

D2：读取摄像机的出场信息，包括中心主点坐标(C_x,C_y),缩放因子s_x，每个 像素的宽度d_x，每个像素的高度d_y。

D3～D4：利用Harris角点检测算法检测角点，检测出所有角点后。

D5～D6：根据角点坐标和物点坐标求解方程组，求解所有外参数和焦距。令 畸变系数为0，根据物点和像点映射方程优化畸变系数，焦距和外参数。

对于每一对物点和像点(即角点)i，具有以下线性方程：

$[Y_{\mathrm{di}}{X}_{\mathrm{wi}},Y_{\mathrm{di}}{X}_{\mathrm{wi}},Y_{\mathrm{di}}{X}_{\mathrm{wi}},Y_{\mathrm{di}}{X}_{\mathrm{wi}},Y_{\mathrm{di}}{X}_{\mathrm{wi}}]\left(\begin{array}{c}{T}_y^{-1}{r}_1\\ T_y^{-1}{r}_2\\ T_y^{-1}{T}_x\\ T_y^{-1}{r}_4\\ T_y^{-1}{r}_5\end{array}\right)=X_{\mathrm{di}}$

其中：(X_wi,Y_wi,Z_wi)表示物点坐标，(X_di,Y_di)表示像点(即角点)坐标， (r₁,r₂,......,r₉)表示外参数的旋转矩阵，(T_x,T_y,T_z)表示外参数的平移向量：

求解以上超定方程可以得到解向量：

$[T_y^{-1}{r}_1,T_y^{-1}{r}_2,T_y^{-1}{T}_x,T_y^{-1}{r}_4,T_y^{-1}{r}_5]$

令：$C=\left(\begin{array}{cc}{T}_y^{-1}{r}_1& T_y^{-1}{r}_2\\ T_y^{-1}{r}_4& T_y^{-1}{r}_5\end{array}\right)$

若矩阵C的秩为2，则有：

$T_y^2=\frac{S_r-{[S_r^2-4{(T_y^{-1}{r}_1{T}_y^{-1}{r}_5-T_y^{-1}{r}_4{T}_y^{-1}{r}_2)}^2]}^{1/2}}{2{(T_y^{-1}{r}_1{T}_y^{-1}{r}_5-T_y^{-1}{r}_4{T}_y^{-1}{r}_2)}^2}$

其中：

$S_r={\left(T_y^{-1}{r}_1\right)}^2+{\left(T_y^{-1}{r}_2\right)}^2+{\left(T_y^{-1}{r}_3\right)}^2+{\left(T_y^{-1}{r}_5\right)}^2$

若C的秩不为2，则有：

$T_y^2={({\left(T_y^{-1}{r}_i\right)}^2+{\left(T_y^{-1}{r}_j\right)}^2)}^{-1}$

继续确定T_y符号后，根据超定方程组解向量计算可以求得r₁,r₂,T_x,r₄,r₅五个外参数，基于这5个外参数求解所有外参数：

外参数中旋转矩阵$R=\left(\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right)$具有正交性，在已知r₁,r₂,r₄,r₅后，根 据据正交性求得r₃,r₆,r₇,r₈,r₉。

外参数中，平移向量T＝[T_x,T_y,T_z]在已求得T_x,T_y后，解下方程：

$[y_i-\mathrm{dy}{Y}_i]\left(\begin{array}{c}f\\ T_z\end{array}\right)=w_i\mathrm{dy}{Y}_i$

求得T_z与焦距f。其中：

y_i＝r₄x_wi+r₅y_wi+T_y

w_i＝r₇x_wi+r₈y_wi

dy为图像像素格的高度

Y_i为i点在图像中的坐标，以像素为单位。最终，根据以下方程：

$d_y^{\prime }Y+d_y^{\prime }\mathrm{Yk}{r}^2=f\frac{r_4{X}_w+r_5{Y}_w+r_6{Z}_w+T_y}{r_7{X}_w+r_8{Y}_w+r_9{Z}_w+T_z}$

其中:$r=\sqrt{{\left(s_x^{-1}{d}_x^{\prime }X\right)}^2+{\left(d_{y}Y\right)}^2}$

优化f，T_z，k，其中f，T_z初始值为前所求，k的初始值为0。

需要说明的是，普通的技术人员针对上述的实施还可以很容易的想到其他 的技术方案，只要这些技术方案在本发明的构思范围内，应等同于本专利的技 术方案，属于本专利的保护范围。