基于LeapMotion手势识别的VR电工电子实验系统设计方法

摘要

本发明涉及一种VR电工电子实验系统设计方法，一种基于LeapMotion手势识别的VR电工电子实验系统设计方法，包括以下步骤：(1)系统硬件选择(2)系统3D虚拟模型建模(3)系统引擎开发(4)系统算法开发(5)系统多人联机搭建。与已有的虚拟仿真实验技术相比，本发明采用了最新的VR3D显示技术，还原度高，实验场景更为真实，视觉冲击强；提供了手势交互方式替代手柄交互方式，实验交互自然，准确；采用多人联机系统，多人实时在线联机实验，互动性更强。

说明书

技术领域

本发明涉及一种VR电工电子实验系统设计方法，更具体地说，涉及一种基于LeapMotion手势识别的VR电工电子实验系统设计方法。

背景技术

虚拟现实是一种借助计算机、传感器以及各种辅助设备创建一个虚拟世界来再现真实世界的3D虚拟仿真技术。虚拟现实最典型的特点是沉浸感，通过视、听、触觉等作用于用户，使之产生身临其境的感觉。采用虚拟现实技术创建逼真的虚拟景物、环境，其成本和难度往往比构建真实世界低很多，因此在军事训练、实验教学、工业设计、建筑展示、医学解剖和虚拟游戏等众多领域具有广泛应用前景。而手势识别技术，作为人机交互的重要组成部分，其研究发展也影响着VR交互的自然性和灵活性。

具有沉浸感的虚拟仿真实验则是依托虚拟现实技术和人机交互技术而产生发展起来的创新型实验模式，实验者在这种虚拟实验环境下进行学习和训练，就如同在真实的环境中一样按照设定的步骤进行实验操作，这种实验模式在相同的实验成本下取得的效果远远优于真实环境。在高等教学实验中，国家大力提倡教改，进而涌现出了一大批廉价而又便利的虚拟仿真实验教学新方法，然而，还原度低，真实感不足、沉浸感低、交互性差，使得其中大部分的虚拟仿真实验方法难以满足现有的教学实验体系要求，同时原有的教学实验器材价格昂贵、学生设备的更新换代快又会对实验室造成严重的经济负担。因此，为了提高当前高校教学实验水平，开发出经济适用、仿真度高、交互性好的虚拟仿真实验平台迫在眉睫。

发明内容

为了克服现有技术中存在的不足，本发明目的是提供一种基于LeapMotion手势识别的VR电工电子实验系统设计方法。本发明从人机交互的角度出发，以虚拟现实技术和手势识别技术为基础，依据明确的教学教育目标，结合实际的应用场景，利用MAYA建模软件和次世代游戏引擎UE4创建了基于手势识别的VR电工电子实验系统，该系统包括硬件选择、3D虚拟模型建模、引擎开发、手势识别算法开发和多人联机机制等，具有良好的三维交互性、可操作性、功能完善性和场景逼真交互真实等特点。实验者只需要一台VR设备，就能打破空间的限制，远程登录到实验系统，选择对应的实验台进行相关的虚拟实验，实验环境逼真，并通过手势识别进行人机交互，实验操作真实，同时还能够与在线的其他实验者共同参与到实验中，相互交流学习，极具互动感，完美再现真实实验场景。

为了实现上述发明目的，解决己有技术中存在的问题，本发明采取的技术方案是：一种基于LeapMotion手势识别的VR电工电子实验系统设计方法，包括以下步骤：

步骤1、系统硬件选择，具体包括以下二个部分：

(a)、VR头显设备，选用HTC Vive，一套完整的VR头显设备，包括一个头盔、两个手柄和两个定位器，手柄和定位器都是无线的，头盔通过HDMI接口连接到电脑上，HTC Vive使用的是LightingHouse室内定位技术，定位器内两排LED灯每秒6次发出扫描光束，分别在水平和垂直方向轮流对15×15英尺的定位空间进行扫描，HTC VIVE头盔和手柄上带有超过70个光敏传感器，光束扫过的同时，头盔开始计数，传感器接收到扫描光束后，利用传感器位置和接收激光时间的关系，计算相对于定位器的准确位置；

(b)、手势识别传感器，是Leap公司面向PC以及Mac发布的一款手势识别传感器，类似于Kinect，可识别手部的体感动作，形成一个交互的3D空间，不论手指的细微动作，还是手臂的大幅度动作，都能精确的进行检测；

步骤2、系统3D虚拟模型建模，建模软件选择MAYA，具体包括以下子步骤：

(a)、3D虚拟实验室模型建模，调研真实实验室的房屋构造和长、宽、高比例，并按照调研好的结构特点，记录好每一部分的结构数据，画好3D版图，并按版图采用MAYA软件来创建3D虚拟实验室模型，1:1还原真实实验室环境；

(b)、3D虚拟实验台建模，调研电工电子真实实验台的结构构造，通常包括实验台、仪表、插孔、调压器、镇流器、电容、电阻、电源、指示灯、开关、灯泡和导线，并按照调研好的结构特点，记录好每一部分的结构数据，画好3D版图，并按照版图采用MAYA软件来创建3D虚拟实验台模型，1:1还原真实实验台；

步骤3、系统引擎开发，VR开发引擎选择UE4，具体包括以下子步骤：

(a)、场景搭建，在UE4引擎的关卡场景中放置创建好的3D虚拟实验室模型和3D虚拟实验台模型，并参考真实实验室环境，布置虚拟实验室场景；

(b)、材质创建，选择虚拟实验室场景中存在的每一个3D虚拟模型，制作并赋予对应的材质球，使得每个3D虚拟模型表现出对应准确且真实的美术效果；

(c)、后期处理，在创建好的虚拟实验室场景中，添加各类灯光、雾特效以及后期处理盒子，调整对应的参数，营造真实的空间氛围；

(d)、烘焙光照，选择并调整好每个3D虚拟模型的光照贴图分辨率，选择产品级渲染，构建光照，产生逼真光影特效；

(e)、蓝图脚本，使用蓝图编辑器/C++编程语言创建3D虚拟实验台实验的相关逻辑，包括实验电路连接逻辑、实验效果触发逻辑、实验仪表测量线路连接逻辑和实验仪表测量效果触发和显示逻辑；

步骤4、系统算法开发，主要是手势识别算法开发，具体包括以下子步骤：

(a)、手部体感数据的采集和特征计算，使用LeapMotion传感器追踪并采集手部动态体感数据，并对数据进行特征计算和预处理,作为手势识别算法模型的训练样本，LeapMotion采集到的数据帧中包含的手部数据信息有掌心位置、手掌法向量、手掌方向、抓取力度、指尖位置、手指长度和手握球体半径，选择以上采集到的手部数据来计算得到各种手势特征，即掌心位移、手势速度和手指变化特征，掌心位移表示两个时刻目标手的掌心坐标之间的欧式距离，通过公式(1)进行描述，

式中，P表示掌心位移，C

手势速度表现为手势运动的快慢，这里将帧间速率作为手势速度，通过公式(2)进行描述，

式中，V

手指变化特征由指尖距离特征、指尖角度特征和指尖高度特征来描述，指尖距离特征指的是指尖与掌心的距离，通过公式(3)进行描述，

其中，D

指尖角度特征指的是掌心与指尖投影向量和手的方向向量之间的夹角，通过公式(4)进行描述，

其中，A

指尖高度特征指的是指尖位置坐标F

其中，E

(b)、手势识别算法模型训练，手势识别算法模型采用隐马尔可夫模型(HMM)，它是一种具有马尔可夫性质的统计模型，一个完整的HMM由(π，A，B，S，V)五种参数构成，其中π表示隐含状态的初始分布概率，A表示隐含状态转移矩阵，B则是代表观测状态发生的概率矩阵，S表示隐含状态集合，V表示观测状态集合，在使用HMM模型的过程中一般需要解决3个问题，即学习问题，概率计算问题和预测问题；模型训练部分主要解决前两个问题，即学习问题和概率计算问题，学习问题表现为在观测状态序列O已知的条件下，通过反复训练和迭代得出使P(O|λ)最大的模型参数λ，这里采用Baum-Welch算法来求解最优模型参数，通过反复迭代计算并更新模型的模型参数λ＝(π，A，B)，直到得到最优模型参数λ；概率计算问题表现为在已知参数λ＝(π，A，B，S，V)和观测状态序列O的条件下，计算出全部模型的输出概率P(O|λ)，这里采用前向算法来解决概率计算问题，通过从未知手势观测序列O中提取特征量，然后计算出特征向量与每个HMM的匹配概率，选择匹配概率P(O|λ)最大的手势模型作为识别结果；

(c)、手势识别算法模型检测，模型检测部分主要解决HMM模型3个问题中的预测问题，预测问题表现为在已知参数λ＝(π，A，B，S，V)和观测状态序列O的条件下，求出与观测状态序列O匹配度最高的隐藏状态Q；

(d)、手势识别算法模型导入，将训练好的HMM模型导入到VR电工电子实验系统中，替代VR手柄作为新的人机交互方式，并结合蓝图/C++脚本赋予训练好的每一种手势以相应的操作功能，即抓取、滑动，放大，缩小操作，并触发对应的手势事件，实现手势交互；

步骤5、系统多人联机搭建，具体包括以下子步骤：

(a)、创建多人联机UI界面，在UE4中新建一个场景，在其中创建多人联机UI界面，包含三个主要的UI按钮，即创建实验室、搜索实验室和加入实验室；

(b)、创建多人联机脚本逻辑，通过蓝图编辑器/C++脚本针对相应的UI按钮设计对应的逻辑功能，点击创建实验室执行CreateSession，创建一个新的多人在线虚拟实验室，即创建一个新的虚拟实验室场景；点击搜索实验室执行FindSessions能够查看当前已创建的多人在线虚拟实验室场景；点击加入实验室执行JoinSession即可选择搜索到的多人在线虚拟实验室加入进去。

本发明有益效果是：一种基于LeapMotion手势识别的VR电工电子实验系统设计方法，包括以下步骤：(1)系统硬件选择(2)系统3D虚拟模型建模(3)系统引擎开发(4)系统算法开发(5)系统多人联机搭建。与已有的虚拟仿真实验技术相比，本发明采用了最新的VR3D显示技术，还原度更高，实验场景更为真实，视觉冲击更强；提供了手势交互方式替代手柄交互方式，实验交互更自然，更准确；采用多人联机系统，多人实时在线联机实验，互动性更强。

附图说明

图1是本发明方法步骤流程图。

图2是本发明系统算法流程图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，一种基于LeapMotion手势识别的VR电工电子实验系统设计方法，包括以下步骤：

步骤1、系统硬件选择，具体包括以下二个部分：

(a)、VR头显设备，选用HTC Vive，一套完整的VR头显设备，包括一个头盔、两个手柄和两个定位器，手柄和定位器都是无线的，头盔通过HDMI接口连接到电脑上，HTC Vive使用的是LightingHouse室内定位技术，定位器内两排LED灯每秒6次发出扫描光束，分别在水平和垂直方向轮流对15×15英尺的定位空间进行扫描，HTC VIVE头盔和手柄上带有超过70个光敏传感器，光束扫过的同时，头盔开始计数，传感器接收到扫描光束后，利用传感器位置和接收激光时间的关系，计算相对于定位器的准确位置；

(b)、手势识别传感器，是Leap公司面向PC以及Mac发布的一款手势识别传感器，类似于Kinect，可识别手部的体感动作，形成一个交互的3D空间，不论手指的细微动作，还是手臂的大幅度动作，都能精确的进行检测；

步骤2、系统3D虚拟模型建模，建模软件选择MAYA，具体包括以下子步骤：

(a)、3D虚拟实验室模型建模，调研真实实验室的房屋构造和长、宽、高比例，并按照调研好的结构特点，记录好每一部分的结构数据，画好3D版图，并按版图采用MAYA软件来创建3D虚拟实验室模型，1:1还原真实实验室环境；

(b)、3D虚拟实验台建模，调研电工电子真实实验台的结构构造，通常包括实验台、仪表、插孔、调压器、镇流器、电容、电阻、电源、指示灯、开关、灯泡和导线，并按照调研好的结构特点，记录好每一部分的结构数据，画好3D版图，并按照版图采用MAYA软件来创建3D虚拟实验台模型，1:1还原真实实验台；

步骤3、系统引擎开发，VR开发引擎选择UE4，具体包括以下子步骤：

(a)、场景搭建，在UE4引擎的关卡场景中放置创建好的3D虚拟实验室模型和3D虚拟实验台模型，并参考真实实验室环境，布置虚拟实验室场景；

(b)、材质创建，选择虚拟实验室场景中存在的每一个3D虚拟模型，制作并赋予对应的材质球，使得每个3D虚拟模型表现出对应准确且真实的美术效果；

(c)、后期处理，在创建好的虚拟实验室场景中，添加各类灯光、雾特效以及后期处理盒子，调整对应的参数，营造真实的空间氛围；

(d)、烘焙光照，选择并调整好每个3D虚拟模型的光照贴图分辨率，选择产品级渲染，构建光照，产生逼真光影特效；

(e)、蓝图脚本，使用蓝图编辑器/C++编程语言创建3D虚拟实验台实验的相关逻辑，包括实验电路连接逻辑、实验效果触发逻辑、实验仪表测量线路连接逻辑和实验仪表测量效果触发和显示逻辑；

步骤4、系统算法开发，主要是手势识别算法开发，算法流程如图2所示，具体包括以下子步骤：

(a)、手部体感数据的采集和特征计算，使用LeapMotion传感器追踪并采集手部动态体感数据，并对数据进行特征计算和预处理,作为手势识别算法模型的训练样本，LeapMotion采集到的数据帧中包含的手部数据信息有掌心位置、手掌法向量、手掌方向、抓取力度、指尖位置、手指长度和手握球体半径，选择以上采集到的手部数据来计算得到各种手势特征，即掌心位移、手势速度和手指变化特征，掌心位移表示两个时刻目标手的掌心坐标之间的欧式距离，通过公式(1)进行描述，

式中，P表示掌心位移，C

手势速度表现为手势运动的快慢，这里将帧间速率作为手势速度，通过公式(2)进行描述，

式中，V

手指变化特征由指尖距离特征、指尖角度特征和指尖高度特征来描述，指尖距离特征指的是指尖与掌心的距离，通过公式(3)进行描述，

其中，D

指尖角度特征指的是掌心与指尖投影向量和手的方向向量之间的夹角，通过公式(4)进行描述，

其中，A

指尖高度特征指的是指尖位置坐标F

其中，E

(b)、手势识别算法模型训练，手势识别算法模型采用隐马尔可夫模型(HMM)，它是一种具有马尔可夫性质的统计模型，一个完整的HMM由(π，A，B，S，V)五种参数构成，其中π表示隐含状态的初始分布概率，A表示隐含状态转移矩阵，B则是代表观测状态发生的概率矩阵，S表示隐含状态集合，V表示观测状态集合，在使用HMM模型的过程中一般需要解决3个问题，即学习问题，概率计算问题和预测问题；模型训练部分主要解决前两个问题，即学习问题和概率计算问题，学习问题表现为在观测状态序列O已知的条件下，通过反复训练和迭代得出使P(O|λ)最大的模型参数λ，这里采用Baum-Welch算法来求解最优模型参数，通过反复迭代计算并更新模型的模型参数λ＝(π，A，B)，直到得到最优模型参数λ；概率计算问题表现为在已知参数λ＝(π，A，B，S，V)和观测状态序列O的条件下，计算出全部模型的输出概率P(O|λ)，这里采用前向算法来解决概率计算问题，通过从未知手势观测序列O中提取特征量，然后计算出特征向量与每个HMM的匹配概率，选择匹配概率P(O|λ)最大的手势模型作为识别结果；

(c)、手势识别算法模型检测，模型检测部分主要解决HMM模型3个问题中的预测问题，预测问题表现为在已知参数λ＝(π，A，B，S，V)和观测状态序列O的条件下，求出与观测状态序列O匹配度最高的隐藏状态Q；

(d)、手势识别算法模型导入，将训练好的HMM模型导入到VR电工电子实验系统中，替代VR手柄作为新的人机交互方式，并结合蓝图/C++脚本赋予训练好的每一种手势以相应的操作功能，即抓取、滑动，放大，缩小操作，并触发对应的手势事件，实现手势交互；

步骤5、系统多人联机搭建，具体包括以下子步骤：

(a)、创建多人联机UI界面，在UE4中新建一个场景，在其中创建多人联机UI界面，包含三个主要的UI按钮，即创建实验室、搜索实验室和加入实验室；

(b)、创建多人联机脚本逻辑，通过蓝图编辑器/C++脚本针对相应的UI按钮设计对应的逻辑功能，点击创建实验室执行CreateSession，创建一个新的多人在线虚拟实验室，即创建一个新的虚拟实验室场景；点击搜索实验室执行FindSessions能够查看当前已创建的多人在线虚拟实验室场景；点击加入实验室执行JoinSession即可选择搜索到的多人在线虚拟实验室加入进去。