一种适用于空间系统的操作方法及装置

摘要

本发明公开了一种适用于空间系统的操作方法及装置，所述方法还包括：通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；确定所述输入操作的属性信息；判断所述输入操作的属性信息是否满足预设条件；如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理。

说明书

技术领域

本发明涉及电子技术，尤其涉及一种适用于空间系统的操作方法及装置。

背景技术

随着三维技术的商用化，尤其是VR(Virtual Reality，虚拟现实)和AR(AugmentedReality，增强现实)等技术的日益成熟，用户界面在向三维化进一步延伸。原有的一些在手机等二维界面中的操作，在三维操作中需要进一步扩展才能适用。在三维体系中，需要让用户自如的进行操作，同时符合用户的空间认知和使用习惯。

现有的解决方案，主要还是二维界面中常用的选择操作对象进行拖拽的方式，依赖于二维界面中手势的拖拽操作，这种单一的操控方式，让用户在界面操作过程中少了选择和操控乐趣。同时，二维界面对于用户进行操作时，在三维空间中的操控需要更加的符合用户的操控经验，例如，三维空间的三个轴x、y和z的位置都发生变动，同时伴随角速度的变化，如何让位置和角速度变化体现在三维空间中也是用户对于三维空间交互的需求之一。同时，虽然适用于三维空间的手势操作强劲的需求，但是二维界面还会在很长时间内使用，因此，如何提供一种手势操作的交互方式能够兼顾三维空间和二维界面成为亟需解决的问题。

发明内容

有鉴于此，本发明实施例为解决现有技术中存在的至少一个问题而提供一种适用于空间系统的操作方法及装置，能够提供一种同时适用于三维空间中对象操作的交互方式。

本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供一种适用于空间系统的操作方法，所述方法包括：

通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；

确定所述输入操作的属性信息；

判断所述输入操作的属性信息是否满足预设条件；

如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；

如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理。

第二方面，本发明实施例提供一种适用于空间系统的操作装置，所述装置包括检测单元、第一确定单元、判断单元、第二确定单元和处理单元，其中：

所述检测单元，用于通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；

所述第一确定单元，用于确定所述输入操作的属性信息；

所述判断单元，用于判断所述输入操作的属性信息是否满足预设条件；

所述第二确定单元，用于如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；

所述处理单元，用于如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理。

本发明实施例提供一种适用于空间系统的操作方法及装置，其中，通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；确定所述输入操作的属性信息；判断所述输入操作的属性信息是否满足预设条件；如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理；如此，能够提供一种同时适用于三维空间中对象操作的交互方式。

附图说明

图1为本发明实施例适用于空间系统中的操作方法的实现流程示意图；

图2为本发明实施例计算设备的组成结构示意图；

图3为本发明实施例适用于空间系统的操作装置的实现流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

实施例一

本发明实施例提供一种适用于空间系统的操作方法，该方法应用于计算设备，该方法所实现的功能可以通过计算设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算设备至少包括处理器和存储介质。这里，所述计算设备在具体实施例的过程中可以为各种类型的具有信息处理能力的电子设备，例如所述电子设备可以包括手机、平板电脑、台式机、个人数字助理、导航仪、数字电话、视频电话、电视机等。

图1为本发明实施例适用于空间系统的操作方法的实现流程示意图，如图1所示，该方法包括：

步骤S101，通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；

这里，所述操作对象包括手指、手、眼球。

这里，所述跟踪部件为计算设备的部件，在实现的过程中，所述跟踪部件可以为摄像头。

步骤S102，确定所述输入操作的属性信息；

步骤S103，判断所述输入操作的属性信息是否满足预设条件；

这里，所述输入操作的属性信息包括所述输入操作对应的操作对象的持续时间、所述输入操作的姿态、操作距离、操作方向、所述操作对象的加速度a和加速度的方向。步骤S103中主要利用所述输入操作对应的操作对象的持续时间、所述输入操作的姿态，对应地，所述预设条件包括预设的时间阈值或操作对象的姿态。例如，判断所述输入操作的持续时间是否大于预设的时间阈值，如果大于，则满足所述预设条件，如果小于，则不满足所述预设条件；再如预设条件为双击等手势，判断输入操作的姿态是否双击等手势，如果是，则满足预设的条件，反之，则不满足预设的条件。

步骤S104，如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；

步骤S105，如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理。

在本发明的其他实施例中，所述方法还包括：步骤S106，如果所述操作对象的当前位置未对应有采用三维的轮廓点来表示的目标对象，通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作。在实现的过程中，所述方法还包括：输出提示信息，所述提示信息用于表明当前未能确定出目标对象。

在本发明的其他实施例中，所述方法还包括：判断所述操作对象的当前位置是否对应有采用三维的轮廓点来表示的目标对象，如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理。所述判断所述操作对象的当前位置是否对应有采用三维的轮廓点来表示的目标对象，进一步包括：

步骤S111，采用三维轮廓点来表示当前场景下的交互对象；

这里，所述场景可以为计算设备上显示的任何场景，例如打游戏的场景，在每一场景下，都设置有用于与用户的输入操作进行交互的对象。

步骤S112，判断所述操作对象的当前位置是否在所述交互对象的三维轮廓点所表示的范围内；

步骤S113，如果所述操作对象的当前位置在所述交互对象的三维轮廓点所表示的范围内，将所述交互对象确定为目标对象。

步骤S114，如果所述操作对象的当前位置未在所述交互对象的三维轮廓点所表示的范围内，确定所述操作对象的当前位置未对应有采用三维的轮廓点来表示的目标对象。

在实现的过程中，所述方法还包括：确定所述操作对象的当前位置，所述确定所述操作对象的当前位置进一步包括：通过跟踪部件确定采用三维坐标来表示的操作对象的初始位置；将所述空间系统中的操作光标移动至所述初始位置；通过所述跟踪部件跟踪所述操作对象确定采用三维坐标来表示的所述操作对象的目标位置，并将所述操作光标移动至所述目标位置；将所述操作对象的初始位置或目标位置确定为所述操作对象的当前位置。

在本发明实施例中，所述根据所述输入操作的属性信息对所述目标对象进行处理，包括：

步骤S141A，通过所述跟踪部件跟踪所述操作对象确定所述操作对象的加速度a和加速度的方向；

步骤S142A，获取所述空间系统中设置的阻尼系数z；

步骤S143A，根据所述加速度a、加速度的方向和阻尼系数z在所述空间系统移动所述目标对象。

这里，如果操作对象为手，那么输入操作则为手势，先假设交互对象有一定的质量m，计算设备根据用户手的运动分析出手的加速度a，根据公式f＝k*m*a(k为某一个系数，可以为变量)，将该加速度转变为作用于模块的“力”f。另外，还可以假设定空间有一定的阻尼效果，阻尼系数为z。那么交互对象收到的力F＝f-mz＝k*m*a-mz＝m(ka-z)，一般情况下下，k可以设置为1。

本发明实施例中，所述根据所述输入操作的属性信息对所述目标对象进行处理，包括：

步骤S141B，将所述输入操作的操作面投影到所述目标对象上；

步骤S142B，确定所述输入操作的操作方向和操作距离；

步骤S143B，根据所述操作方向和操作距离移动所述目标对象。

这里，如果操作对象为手，那么输入操作则为手势，设定了交互对象有一定的质量m，用户可以通过手势在模块上有一个虚拟的作用面(这个面可以是手的投影的切面)，通过这个作用面，手可以和模块虚拟接触，分别形成推、拍、拉、拨等效果。可以在模块上显示该作用面，便于给用户提供确切的反馈。需要说明的是，如果操作对象为眼球，与操作对象为手是类似的。

本发明实施例中，通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；确定所述输入操作的属性信息；判断所述输入操作的属性信息是否满足预设条件；如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理；如此，能够提供一种同时适用于三维空间中对象操作的交互方式。

实施例二

本提案提供一种三维空间中基于自然手势和眼球跟踪的人机自然交互的方法，包括以下步骤：

步骤S201，将用户所在三维界面中的系统进行三维坐标化，即某一个空间点位有特定的x、y、z坐标数值，不重合的点的数值不一样。

这里，所数据化的方法可以以用户为中心，也可以自设定一个坐标体系。

步骤S202，数字化所有操作对象的坐标(设定重心为(x1、y1、z1)以及整个对象的轮廓数值)；

步骤S203，用户通过一些自然交互方式选择操作的对象，这些方式包括但不限于手势、眼球追踪(eye tracker，即通过眼睛的聚焦点来判断选择的对象)、手指弯曲度等。

这里，在实现的过程中，例如一，通过跟踪用户的手的动作，在三维界面中的各个交互对象中移动光标，手的左右摆动，则光标左右移动；手的前后摆动，则光标前后移动；手上下摆动，则光标上下移动。光标移动到目标对象后，通过双击等手势或停留时间来确认选中对象。例如二，实施例二：使用眼球跟踪技术通过对用户的眼球和瞳孔的跟踪，确定用户需要选中的三维空间中的交互对象，通过双击等手势或停留时间来确认对象的选中。例如三：通过手的位置来进行三维空间中的光标xy方向的选择，通过手或手指的弯曲度来判断光标前后(z轴)方向的移动；确定用户需要选中的三维空间中的交互对象，通过双击等手势或停留时间来确认交互对象的选中。

步骤S204，用户摆动手势，设定交互对象有一定的质量m(这个质量可以和交互对象的体积有关)根据用户手的运动，分析出其加速度a，将该加速度转变为作用于交互对象的“力”f＝k*m*a(k为某一个系数，可以为变量)，另外，还可以假设设定空间有一定的阻尼效果，阻尼系数为z。那么，那么交互对象收到的力F＝f-mz＝k*m*a-mz＝m(ka-z)，一般情况下下，k可以设置为1。

步骤S205，根据手势，将手的动作投影到交互对象上，根据手的运动方向，将手在交互对象上形成一个作用面(这个面可以是手的投影的切面)分别形成推、拍、拉、拨等效果。可以在交互对象上显示该作用面，便于给用户提供确切的反馈。

步骤S206，根据作用面的位置，交互对象可以被平推，也可以绕着重心进行旋转着向作用力方向前进，符合力场中(可以无重力)的效果。其移动方向、速度、加速度以及转动方向、角速度、角加速度和作用面位置、m、a、交互对象形状以及阻尼系数z相关。

步骤S207，依据这些规则，用户可以比较自如的操控界面空间中的交互对象的运动。

步骤S208，同时，这套系统和方法适合于二维界面，即减少一个维度的视野，将整个活动投影到一个平面上。

图2为本发明实施例计算设备的组成结构示意图，如图3所示，该计算设备包括：空间三维系统模块201、识别跟踪系统202、执行模块203和显示模块204，其中：

空间三维系统模块201，用于将用户和所有的界面元素进行结构化和坐标化，确定人和各个模块的空间位置和相互关系；

识别跟踪系统202，用于通过跟踪用户的各种自然交互的输出，来分析用户对于空间界面的操作意图，并将这些信息传送给执行模块。

执行模块203，用于根据识别跟踪系统生成移动命令，并将过程和结果传递给显示模块。

显示模块204，用于将这些结果显示在整个空间三维系统中。

在实现的过程中，识别跟踪系统的硬件部分可以采用跟踪部件如摄像头来实现，所述显示模块可以采用计算设备的显示屏来实现。空间三维系统模块、识别跟踪系统的软件部分和执行模块都可以组成本发明实施例三中的装置，即通过计算设备中的处理器来实现。通过以上实施例可以看出，用户可以通过手势在交互对象上有一个虚拟的作用面(这个面可以是手的投影的切面)，通过这个作用面，手可以和模块虚拟接触，分别形成推、拍、拉、拨等效果。可以在模块上显示该作用面，便于给用户提供确切的反馈。

实施例三

基于前述的实施例，本发明实施例提供一种适用于空间系统的操作装置，所述装置所包括的各单元以及各单元所包括的各模块都可以通过计算设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图3为本发明实施例适用于空间系统的操作装置的组成结构示意图，如图3所示，所述装置300包括检测单元301、第一确定单元302、判断单元303、第二确定单元304和处理单元305，其中：

所述检测单元301，用于通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；

所述第一确定单元302，用于确定所述输入操作的属性信息；

所述判断单元303，用于判断所述输入操作的属性信息是否满足预设条件；

所述第二确定单元304，用于如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；

所述处理单元305，用于如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理。

在本发明的其他实施例中，所述输入操作的属性信息包括所述输入操作对应的操作对象的持续时间、所述输入操作的姿态、操作距离、操作方向、所述操作对象的加速度a和加速度的方向。

在本发明的其他实施例中，所述处理单元，用于如果所述操作对象的当前位置未对应有采用三维的轮廓点来表示的目标对象，触发所述检测单元通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作。

在本发明的其他实施例中，所述处理单元包括表示模块、判断模块、第一确定模块和处理模块，其中：

所述表示模块，用于采用三维轮廓点来表示当前场景下的交互对象；

所述判断模块，用于判断所述操作对象的当前位置是否在所述交互对象的三维轮廓点所表示的范围内；

所述第一确定模块，用于如果所述操作对象的当前位置在所述交互对象的三维轮廓点所表示的范围内，将所述交互对象确定为目标对象；

所述处理模块，用于根据所述输入操作的属性信息对所述目标对象进行处理。

在本发明的其他实施例中，所述装置还包括第三确定单元，用于如果所述操作对象的当前位置未在所述交互对象的三维轮廓点所表示的范围内，确定所述操作对象的当前位置未对应有采用三维的轮廓点来表示的目标对象。

在本发明的其他实施例中，所述装置还包括第四确定单元包括第二确定模块、第一移动模块、第三确定模块和第四确定模块，其中：

所述第二确定模块，用于通过跟踪部件确定采用三维坐标来表示的操作对象的初始位置；

所述第一移动模块，用于将所述空间系统中的操作光标移动至所述初始位置；

所述第三确定模块，用于通过所述跟踪部件跟踪所述操作对象确定采用三维坐标来表示的所述操作对象的目标位置，并将所述操作光标移动至所述目标位置；

所述第四确定模块，用于将所述操作对象的初始位置或目标位置确定为所述操作对象的当前位置。

在本发明的其他实施例中，所述处理单元包括第五确定模块、获取模块和第二移动模块，其中：

所述第五确定模块，用于如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，通过所述跟踪部件跟踪所述操作对象确定所述操作对象的加速度a和加速度的方向；

所述获取模块，用于获取所述空间系统中设置的阻尼系数z；

所述第二移动模块，用于根据所述加速度a、加速度的方向和阻尼系数z在所述空间系统移动所述目标对象。

在本发明的其他实施例中，所述处理单元，包括投影模块、第六确定模块和第三移动模块，其中：

所述投影模块，用于如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，将所述输入操作的操作面投影到所述目标对象上；

所述第六确定模块，用于确定所述输入操作的操作方向和操作距离；

所述第三移动模块，用于根据所述操作方向和操作距离移动所述目标对象。

在本发明的其他实施例中，所述操作对象包括手指、手、眼球。

这里需要指出的是：以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再赘述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。