三维空间显示界面的操作方法、装置和终端设备

摘要

本发明提供了一种三维空间显示界面的操作方法、装置和终端设备；其中，该方法包括：接收用户发出的对象操作指令；其中，对象操作指令包括语音指令、手势指令或操作指令；从当前的三维空间显示界面中，确定接收到对象操作指令时，瞄点瞄准的对象；选中对象，对对象进行控制操作。通过本发明，用户可以通过瞄点和发出对象操作指令相互配合的方式选中对象，操作方式快速、准确，与用户的意图契合度较高，提高了三维空间显示界面操作的用户体验度。

说明书

技术领域

本发明涉及三维空间显示技术领域，尤其是涉及一种三维空间显示界面的操作方法、装置和终端设备。

背景技术

在传统的三维空间显示界面的操作中，用户可以通过定时瞄点的方式选中三维空间显示界面中的对象，然而这种方式需要用户等待一段时间，易造成用户的操作疲劳，还易造成选中指令的误判，违反用户的意图；用户还可以通过发出语音信号的方式选中对象，然而，如果语音信号较长或环境噪声较大，会造成识别准确率较低，发生对象选错，用户体验度较差。

针对上述现有的三维空间显示界面操作方式便捷性和精确度较低，导致用户的体验度较差的问题，尚未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种三维空间显示界面的操作方法、装置和终端设备，以使三维空间显示界面操作方式快速、准确，提高三维空间显示界面操作的用户体验度。

第一方面，本发明实施例提供了一种三维空间显示界面的操作方法，该方法应用于终端设备；该方法包括：接收用户发出的对象操作指令；其中，对象操作指令包括语音指令、手势指令或操作指令；从当前的三维空间显示界面中，确定接收到对象操作指令时，瞄点瞄准的对象；选中对象，对对象进行控制操作。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述当对象操作指令包括语音指令时，接收用户发出的对象操作指令的步骤，包括：通过麦克风接收用户发出的语音信号；判断语音信号中是否包含预设的关键字；如果是，将语音信号中包含的关键字确定为对象操作指令。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述当对象操作指令包括手势指令时，接收用户发出的对象操作指令的步骤，包括：通过摄像装置接收用户发出的手势视频信号；判断手势视频信号中是否包含预设的手势特征；如果是，将手势视频信号中包含的手势特征确定为对象操作指令。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述当对象操作指令包括操作指令时，接收用户发出的对象操作指令的步骤，包括：通过手柄接收用户发出的操作指令，将操作指令确定为对象操作指令。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述方法还包括：通过传感器装置检测用户头部的运动状态；根据运动状态，控制瞄点在三维空间显示界面中移动。

第二方面，本发明实施例提供了一种三维空间显示界面的操作装置，该装置设置于终端设备；该装置包括：指令接收模块，用于接收用户发出的对象操作指令；其中，对象操作指令包括语音指令、手势指令或操作指令；对象确定模块，用于从当前的三维空间显示界面中，确定接收到对象操作指令时，瞄点瞄准的对象；对象选中模块，用于选中对象，对对象进行控制操作。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述指令接收模块还用于：通过麦克风接收用户发出的语音信号；判断语音信号中是否包含预设的关键字；如果是，将语音信号中包含的关键字确定为对象操作指令。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述指令接收模块还用于：通过摄像装置接收用户发出的手势视频信号；判断手势视频信号中是否包含预设的手势特征；如果是，将手势视频信号中包含的手势特征确定为对象操作指令。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，上述指令接收模块还用于：通过手柄接收用户发出的操作指令，将操作指令确定为对象操作指令。

第三方面，本发明实施例提供了一种终端设备，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述三维空间显示界面的操作方法。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种三维空间显示界面的操作方法、装置和终端设备，当接收到用户发出的语音指令、手势指令或操作指令等对象操作指令时，从当前的三维空间显示界面中确定瞄点瞄准的对象；再选中该对象，并对该对象进行控制操作；该方式中，用户可以通过瞄点和发出对象操作指令相互配合的方式选中对象，操作方式快速、准确，与用户的意图契合度较高，提高了三维空间显示界面操作的用户体验度。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种三维空间显示界面的操作方法的流程图；

图2为本发明实施例提供的另一种三维空间显示界面的操作方法的流程图；

图3为本发明实施例提供的另一种三维空间显示界面的操作方法的流程图；

图4为本发明实施例提供的一种三维空间显示界面的操作装置的结构示意图；

图5为本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的三维空间显示界面的操作方法中，可以通过定时瞄点的方式选中对象，例如，用户控制瞄点移动到某一对象的位置上，当瞄点停留在该对象的时间大于设定时间阈值时，终端设备接收到该对象的选中指令，进而选中该对象；然而这种定时瞄点的方式，需要用户等待一段时间，易造成用户的操作疲劳；另外，用户暂停移动后，其瞄点也会停留在某一对象上，而此时用户可能并不打算选中该对象，造成选中指令的误判，违反了用户的意图，使得用户的操作体验度较差。

用户还可以通过发出语音信号的方式选中对象，例如，用户可以发起“选中左上角的粉色的箱子”；终端设备需要对该语音信号进行特征提取，进而获得该语音信号代表的选中指令；然而，终端设备对较长的语音信号的识别准确率较低，经常发生对象选错的情形；另外，当用户所处的环境噪声较高时，终端设备识别语音信号的准确率会更低，因而，采用语音信号进行操作的用户体验度依然较差。

考虑到现有的三维空间显示界面操作方式便捷性和精确度较低，导致用户的体验度较差的问题，本发明实施例提供了一种三维空间显示界面的操作方法、装置和终端设备；该技术可以应用于VR(Virtual Reality，虚拟现实)或AR(Augmented Reality，增强现实)等场景中，尤其可以应用于VR眼镜、AR头盔、具有VR或AR播放功能的手机、平板电脑等终端设备；该技术可以采用相关的软件或硬件实现，下面通过实施例进行描述。

参见图1所示的一种三维空间显示界面的操作方法的流程图，该方法应用于终端设备；该方法包括如下步骤：

步骤S102，接收用户发出的对象操作指令；其中，该对象操作指令包括语音指令、手势指令或操作指令；

步骤S104，从当前的三维空间显示界面中，确定接收到对象操作指令时，瞄点瞄准的对象；

步骤S106，选中该对象，对该对象进行控制操作。

例如，用户在配戴VR眼镜、手机等终端设备后，终端设备内播放的VR虚拟场景会随着用户头部的平移、旋转等运动而发生变化，VR界面内瞄点瞄准的对象，也会随之变化。当用户想要对VR场景中的对象A进行操作时，首选需要控制头部运动，使瞄点停留在对象A的位置上，再发出对象操作指令；终端设备接收到该对象操作指令后，即选中该对象A，进而对该对象A执行后续的控制操作，例如，当对象A是一个物品时，可以对该物品进行移动、开启等操作。

站在终端设备的角度，用户将瞄点停留在对象A位置上时，终端设备并不知晓该用户是想要选中对象A，还是仅仅停止头部运动；当接收到用户发出的对象操作指令时，终端设备再将当前瞄点停留的对象选中，进而对该对象A执行后续的控制操作。

本发明实施例提供的一种三维空间显示界面的操作方法，当接收到用户发出的语音指令、手势指令或操作指令等对象操作指令时，从当前的三维空间显示界面中确定瞄点瞄准的对象；再选中该对象，并对该对象进行控制操作；该方式中，用户可以通过瞄点和发出对象操作指令相互配合的方式选中对象，操作方式快速、准确，与用户的意图契合度较高，提高了三维空间显示界面操作的用户体验度。

参见图2所示的另一种三维空间显示界面的操作方法的流程图，该方法应用于终端设备；该方法在图1中所示方法的基础上实现，以对象操作指令包括语音指令为例进行说明；该方法包括如下步骤：

步骤S202，通过传感器装置检测用户头部的运动状态；

步骤S204，根据该运动状态，控制瞄点在三维空间显示界面中移动；

上述传感器装置可以为九轴传感器，通过九轴传感器检测用户头部的运动状态，例如，平行移动、水平转头、上下移动等；三维空间显示界面中的瞄点可以固定在界面的设定位置，例如，三维空间显示界面的中心；在用户看来，用户头部移动时，三维空间显示界面播放的虚拟图像随之变化，而瞄点位置不变；因而，虚拟图像与瞄点发生相对移动，虚拟图像中与瞄点重合的对象对发生变化。

步骤S206，通过麦克风接收用户发出的语音信号；

步骤S208，判断该语音信号中是否包含预设的关键字；如果是，执行步骤S210；如果否，结束；

通常，上述步骤S208在实际实现时，终端设备首先需要对接收到的语音信号进行滤波降噪，对降噪后的语音信号提取特征数据，再将该特征数据与关键字库进行匹配，将匹配成功的特征数据对应的关键字作为该语音信号对应的关键字。

通常，为了提高语音识别的准确性，其关键字可以较为简短、种类也较少，例如，“选中”、“确定”等关键字；不仅可以保证语音识别的准确性，还可以提高语音识别的效率，快速响应用户的指令。

步骤S210，将语音信号中包含的关键字确定为对象操作指令；

步骤S212，从当前的三维空间显示界面中，确定接收到该对象操作指令时，瞄点瞄准的对象；

步骤S214，选中该对象，对该对象进行控制操作。

该方式中，用户可以通过瞄点和发出语音信号相互配合的方式选中对象，操作方式快速、准确，与用户的意图契合度较高，提高了三维空间显示界面操作的用户体验度。

参见图3所示的另一种三维空间显示界面的操作方法的流程图，该方法应用于终端设备；该方法在图1中所示方法的基础上实现，以对象操作指令包括手势指令为例进行说明；该方法包括如下步骤：

步骤S302，通过传感器装置检测用户头部的运动状态；

步骤S304，根据该运动状态，控制瞄点在三维空间显示界面中移动；

步骤S306，通过摄像装置接收用户发出的手势视频信号；

步骤S308，判断手势视频信号中是否包含预设的手势特征；如果是，执行步骤S310；如果否，结束；

通常，上述步骤S308在实际实现时，终端设备首先需要对接收到的手势视频信号进行滤波降噪，对降噪后的手势视频信号进行边缘检测等处理后，提取特征数据，再将该特征数据与手势特征库进行匹配，将匹配成功的特征数据对应的手势特征作为该手势视频信号对应的手势特征。

通常，为了提高手势识别的准确性，其手势特征可以较为简单、识别度高、种类也较少，例如，“√”手势、点击手势等动态手势，还可以为静态的手部姿势，例如，伸出特定手指的姿势；简单的手势特征不仅可以保证手势识别的准确性，还可以提高手势识别的效率，快速响应用户的指令。

步骤S310，将手势视频信号中包含的手势特征确定为对象操作指令；

步骤S312，从当前的三维空间显示界面中，确定接收到该对象操作指令时，瞄点瞄准的对象；

步骤S314，选中该对象，对该对象进行控制操作。

该方式中，用户可以通过瞄点和发出手势视频信号相互配合的方式选中对象，操作方式快速、准确，与用户的意图契合度较高，提高了三维空间显示界面操作的用户体验度。

另外，本发明实施例还提供了另一种三维空间显示界面的操作方法，该方法中，以对象操作指令包括操作指令为例进行说明；上述接收用户发出的对象操作指令的步骤，具体包括：通过手柄接收用户发出的操作指令，将操作指令确定为对象操作指令。

具体地，该手柄上设置有可以发出“确定”或“选中”指令的按键，当用户按动该按键时，即代表发出操作指令，进而选中当面瞄点瞄准的对象。该手柄可以为VR手柄，也可以为AR的操作手柄。

该方式中，用户可以通过瞄点和发出操作指令相互配合的方式选中对象，操作方式快速、准确，与用户的意图契合度较高，提高了三维空间显示界面操作的用户体验度。

对应于上述方法实施例，参见图4所示的一种三维空间显示界面的操作装置的结构示意图；该装置设置于终端设备；该装置包括如下部分：

指令接收模块40，用于接收用户发出的对象操作指令；其中，对象操作指令包括语音指令、手势指令或操作指令；

对象确定模块41，用于从当前的三维空间显示界面中，确定接收到对象操作指令时，瞄点瞄准的对象；

对象选中模块42，用于选中对象，对对象进行控制操作。

进一步地，上述指令接收模块还用于：通过麦克风接收用户发出的语音信号；判断语音信号中是否包含预设的关键字；如果是，将语音信号中包含的关键字确定为对象操作指令。

进一步地，上述指令接收模块还用于：通过摄像装置接收用户发出的手势视频信号；判断手势视频信号中是否包含预设的手势特征；如果是，将手势视频信号中包含的手势特征确定为对象操作指令。

进一步地，上述指令接收模块还用于：通过手柄接收用户发出的操作指令，将操作指令确定为对象操作指令。

本发明实施例提供的一种三维空间显示界面的操作装置，当接收到用户发出的语音指令、手势指令或操作指令等对象操作指令时，从当前的三维空间显示界面中确定瞄点瞄准的对象；再选中该对象，并对该对象进行控制操作；该方式中，用户可以通过瞄点和发出对象操作指令相互配合的方式选中对象，操作方式快速、准确，与用户的意图契合度较高，提高了三维空间显示界面操作的用户体验度。

参见图5所示的一种终端设备的结构示意图；该设备包括存储器100和处理器101；其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器执行，以实现上述三维空间显示界面的操作方法，该三维空间显示界面的操作方法可以包括以上方法中的一种或多种。

进一步，图5所示的网管设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施方式中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施方式所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施方式的方法的步骤。

本发明实施例所提供的一种三维空间显示界面的操作方法、装置和终端设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。