基于手势的虚拟现实物体交互系统

摘要

本发明提供了一种基于手势的虚拟现实物体交互系统，利用定位器完成手套在虚拟现实场景中的定位，并通过手套识别手势在虚拟现实场景中重现用户双手，之后用户可以通过特定手势完成对虚拟物体的交互。本发明所采用的技术方案实现了通过手势对虚拟现实场景中的虚拟物体进行交互。与现有技术相比，本发明具有如下有益效果：1)操作直观，如手势的抓取对应虚拟场景中的抓取效果、手势旋转对应虚拟场景中旋转的效果；2)操作多样化，双手可以分辨的手势及移动具有大于十个自由度，提高了所完成的操作种类数量；3)沉浸体验极佳，通过定位器和虚拟现实设备等，用户可以直接在虚拟场景中观察到自己的双手，同时完成相应操作。

说明书

技术领域

本发明涉及一种对于虚拟现实场景中虚拟物体的手势交互方法，用于实现对于虚拟物体在游戏引擎中的交互，属于人机交互领域。

背景技术

虚拟物体交互通常是指通过人的特定行为改变虚拟物体的特定属性，如位置、大小等。

目前的虚拟现实物体交互主要有鼠标、键盘、虚拟现实(Virtual Reality)手柄等。传统虚拟物体交互方式存在一定的局限性，包括交互自由度低、交互方法少、展示效果不佳等，在沉浸式场景中表现欠佳。

发明内容

本发明要解决的技术问题是：传统的虚拟现实物体交互方法自由度低、方法少、展示效果不佳。

为了解决上述技术问题，本发明的技术方案是提供了一种基于手势的虚拟现实物体交互系统，其特征在于，包括：

可被用户穿戴的、具有手势识别功能的手套；

固定在手套外侧的定位器；

放置在穿戴手套的用户所处现实场景两侧的标定器，标定器用于追踪定位器；

与现实场景相对应的虚拟场景以及位于虚拟场景内的虚拟物体；

可让穿戴手套的用户观测虚拟场景的虚拟现实设备；

可让不同观察者同时在各方位观测虚拟场景的全息显示设备，全息显示设备与虚拟现实场景在物理空间中对齐，全息显示设备显示的场景与穿戴手套的用户在现实中重合，不同观察者可以在现实中通过全息显示设备直接观察到穿戴手套的用户对虚拟物体的操作；

用于处理手套手势和虚拟物体属性的软件模块，在软件模块中，预先定义完成的在各种情况下的手势意义以及交互逻辑，如；

虚拟场景完成加载后，软件模块通过固定在手套外侧的定位器与现实场景两侧的标定器计算手套所处的位置、方向及手势，使得用户在虚拟场景中看到的虚拟手套的位置与现实场景中实际的用户双手位置相同，再通过判断虚拟场景中虚拟物体与虚拟手套的距离结合用户当前手势判断得到的相对应的手势意义，完成虚拟物体的移动、缩放、旋转以及外观的更改。观察者通过全息显示设备直接在现实中观察到用户、虚拟现实场景以及用户对虚拟现实场景的操作。如抓取某一物体并展示，抓取的物体与用户的手在观察者的视角下重合。

优选地，所述预先定义的手势意义包括抓取、移动、缩放、旋转。

优选地，所述全息显示设备为全息透明显示屏，其位置位于用户活动空间与观察者中间。

与现有技术相比，本发明具有如下有益效果：

1)操作直观，如手势的抓取对应虚拟场景中的抓取效果、手势旋转对应虚拟场景中旋转的效果；2)操作多样化，双手可以分辨的手势及移动具有大于十个自由度，提高了所完成的操作种类数量；3)沉浸体验极佳，通过定位器和虚拟现实设备等，用户可以直接在虚拟场景中观察到自己的双手，同时完成相应操作；4)展示效果极佳，观察者不用佩戴虚拟现实显示设备，而可以通过全息显示设备直接在现实中直接观察到用户对虚拟场景的操作，用户可以直观地向观察者展示对虚拟场景的操作，如展示某一物体的外观、细节等。

附图说明

图1为本发明的系统示意图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

如图1所示，本发明提供的一种基于手势的虚拟现实物体交互系统包括以下技术内容：

1.在现实场景的两侧布置可追踪定位器的标定器，使得在其中移动的定位器可以被精确计算位置和方向。

2.用户穿戴固定了定位器的、具有手势识别功能的手套。检查是否在标定器的接收范围内。

3.给虚拟场景及虚拟场景中的物体挂载编写完成的手套交互程序，并且启动虚拟场景。在手套交互程序中，预先定义完成的在各种情况下的手势意义，手势意义包括抓取、移动、缩放、旋转。

4.用户通过虚拟现实设备(如虚拟现实眼镜)观察虚拟场景及虚拟物体，并且通过双手直接完成对于虚拟物体的抓取等操作。通过判断虚拟场景中虚拟物体与虚拟手套的距离结合用户当前手势判断得到的相对应的手势意义，完成虚拟物体的移动、缩放、旋转以及外观的更改。其中单手手势为握拳时进行抓取操作，将该手接触的虚拟物体位置与手的位置绑定，实现对于虚拟物体的移动。单手进行抓取时，同时将物体的旋转属性与手的旋转绑定，实现对于物体的旋转。单手进行抓取时，另一只手手势为握拳时，将被抓取物体的大小属性与双手距离绑定，实现对虚拟物体的缩放。单手进行抓取时，另一只手手势为手势“1”时，将物体的倾斜/平移等属性与另一只手的相对位置绑定，完成对于虚拟物体的特定操作，如变换物体角度、平移浏览细节等。

5.观察者通过全息显示设备(如全息屏幕)观察用户以及虚拟现实场景。其中全息显示设备经过预先标定，将虚拟现实场景以全息方式显示出来，使得在观察者视角下现实的虚拟现实场景与用户所在的位置重合，用户抓取的物体在观察者看来位置在现实中用户的手上。

本发明利用定位器完成手套在虚拟现实场景中的定位，并通过手套识别手势在虚拟现实场景中重现用户双手，之后用户可以通过特定手势完成对虚拟物体的交互。观察者可以通过全息显示设备观察到用户的操作。