基于手势和运动识别的人机交互方法及其系统

摘要

本申请实施例提供一种基于手势和运动识别的人机交互方法及其系统。该方法应用于可穿戴控制设备，可以根据预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态；在连续的传感器数据流中自动检测和分割手势动作；如果所述手势动作是有效的手势动作，则结合所述当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令；将所述第一控制命令通过无线方式发送给与所述可穿戴控制设备配套的接收端设备。本申请实施例实现了不同运动场景下自适应的智能化交互控制操作，能够适应不同类型的设备的智能化控制需要，极大增加了用户操作体验。

说明书

技术领域

本发明涉及物联网、可穿戴设备和人机交互技术领域，具体而言，涉及一种基于手势和运动识别的人机交互方法及其系统。

背景技术

随着科技的飞速发展，智能型的用户界面操控技术日益受到重视。人机交互技术致力于不断提高人机交互的自然性与高效性。其中，手势和运动等自然交互方式具有很大的发展空间，由于手势动作等具有学习成本低、自然便捷和直接高效的性质，可以为操作者提供更为直观、舒适和自然的交互体验。

而且，在人机交互中，利用可穿戴设备中传感器进行手势识别和控制具有不受空间限制、运算简单，以及不受光线等环境因素影响等优点。基于可穿戴设备不仅可以通过手势参与各种体感游戏，还可以通过手势控制智能家居设备。同时，这种手势识别方法在虚拟现实(VR)、增强现实(AR)、老年人监护、工业技术、医疗设备、残疾人交互等领域也会有广泛的应用。

然而，一方面，目前市场上虽然已经有部分智能硬件产品使用了传感器手势识别技术，但现阶段的交互方式仍然存在交互形式单一，实际产品化较少等问题。比如部分智能电视的遥控器，以及智能手表具有的如抬手亮屏、翻腕切屏等功能，所识别的手势还比较单一，对其它设备的控制功能还非常少。另一方面，对于智能玩具等的控制，目前绝大多数还是采用基于红外或其它无线方式的传统遥控器进行操作，如遥控汽车，可以通过遥控器控制它的前后左右等运动。此外，对于台灯、吊灯或其它家电设备等的操作一般也是通过它们本身的按钮或者遥控器进行操作，即使有的可以通过手机控制，但还需要打开相应的APP进行操作，不够直观和方便。

发明内容

有鉴于此，本申请的目的是提供一种基于手势和运动识别的人机交互方法及其系统，能够结合用户当前的运动状态和运动类型实现不同运动场景下自适应的智能化交互控制操作。

第一方面，本申请实施例提出一种基于手势和运动识别的人机交互方法，应用于可穿戴控制设备，包括：采集传感器数据，对所述传感器数据进行预处理，所述预处理包括对所述传感器数据进行滤波以去除噪声和干扰的影响；

根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态；

根据所述预处理后的传感器数据，在连续的传感器数据流中自动检测和分割手势动作；

如果所述手势动作是有效的手势动作，则结合所述当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令；

将所述第一控制命令通过无线方式发送给与所述可穿戴控制设备配套的接收端设备。

在可选的实施方式中，该方法还包括：

根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动参数；

根据所述当前的运动类型和状态生成第二控制命令和/或根据所述当前的运动类型和状态以及运动参数生成第三控制命令；

将所述第二控制命令和/或第三控制命令通过无线方式发送给所述接收端设备。

在可选的实施方式中，该方法还包括：

所述接收端设备监听和接收所述第一控制命令以及第二控制命令和/或第三控制命令，根据所述第一控制命令以及第二控制命令和/或第三控制命令分别控制被控设备进行相应的动作或响应。

在可选的实施方式中，所述结合所述当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令包括：

当用户当前的运动类型和状态为第一运动状态时，将所述手势动作转化为第一子控制命令；

当用户当前的运动类型和状态为第二运动状态时，将所述手势动作转化为第二子控制命令。

在可选的实施方式中，所述传感器包括惯性传感器。

在可选的实施方式中，所述惯性传感器包括加速度传感器或陀螺仪。

在可选的实施方式中，所述传感器进一步包括地磁传感器、肌电传感器、心率传感器中的一个或多个传感器的组合。

在可选的实施方式中，所述根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态包括：提取所述传感器数据中数据块特征，采用机器学习或深度学习的方法识别用户的运动类型和状态。

在可选的实施方式中，所述运动参数包括：运动速度、运动强度、运动量、疲劳程度、心率、呼吸率、卡路里消耗中任一或组合。

在可选的实施方式中，所述无线方式包括：红外、蓝牙、蓝牙低功耗、433M、2.4G或WIFI连接中任一种无线连接方式。

在可选的实施方式中，所述控制被控设备进行相应的动作或响应包括：对所述被控设备进行运动控制、音乐控制、灯光控制、语音播放控制、执行某种操作中的任一或组合。

第二方面，本申请实施例提供一种基于手势和运动识别的人机交互系统，包括：

可穿戴控制设备和配套的接收端设备；

所述可穿戴控制设备包括：

传感器数据处理模块，被配置为采集和接收传感器数据，对所述传感器数据进行预处理，所述预处理包括对所述传感器数据进行滤波以去除噪声和干扰的影响；

运动识别模块，被配置为根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态；

手势检测和识别模块，被配置为根据所述预处理后的传感器数据，在连续的传感器数据流中自动检测和分割手势动作；

控制模块，被配置为如果所述手势动作是有效的手势动作，则结合当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令；

发送模块，被配置为将所述第一控制命令通过无线方式发送给所述接收端设备。

所述接收端设备被配置为：监听和接收所述第一控制命令，根据所述第一控制命令控制被控设备进行相应的动作或响应。

在可选的实施方式中，运动识别模块还被配置为：根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动参数；

所述控制模块还被配置为：根据所述当前的运动类型和状态生成第二控制命令和/或根据所述当前的运动类型和状态以及运动参数生成第三控制命令；

所述发送模块还被配置为：将所述第二控制命令和/或第三控制命令通过无线方式发送给与所述接收端设备；

所述接收端设备还被配置为：监听和接收所述第二控制命令和/或第三控制命令，根据所述第二控制命令和/或第三控制命令控制被控设备进行相应的动作或响应。

在可选的实施方式中，所述控制模块进一步被配置为：

当用户当前的运动类型和状态为第一运动状态时，将所述手势动作转化为第一子控制命令；

当用户当前的运动类型和状态为第二运动状态时，将所述手势动作转化为第二子控制命令。

在可选的实施方式中，所述传感器包括惯性传感器。

在可选的实施方式中，所述惯性传感器包括加速度传感器或陀螺仪。

在可选的实施方式中，所述传感器进一步包括地磁传感器、肌电传感器、心率传感器中的一个或多个传感器的组合。

在可选的实施方式中，所述运动识别模块根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态包括：提取所述传感器数据中数据块特征，采用机器学习或深度学习的方法识别用户的运动类型和状态。

在可选的实施方式中，所述运动参数包括：运动速度、运动强度、运动量、疲劳程度、心率、呼吸率、卡路里消耗中任一或组合。

在可选的实施方式中，所述无线方式包括：红外、蓝牙、蓝牙低功耗、433M、2.4G或WIFI连接中任一种无线连接方式。

在可选的实施方式中，所述接收端设备控制被控设备进行相应的动作或响应包括：对所述被控设备进行运动控制、音乐控制、灯光控制、语音播放控制中的任一或组合。

第三方面，本申请实施例提供一种控制玩具系统的方法，基于如前述任一实施方式所述的基于手势和运动识别的人机交互系统控制玩具系统。

第四方面，本申请实施例提供一种提供运动提示功能的方法，基于如前述任一实施方式所述的基于手势和运动识别的人机交互系统，在用户运动的运动参数处于不同阶段或程度的时候，可穿戴控制设备可以检测出来并控制被控设备播放相应的语音提示，或变换不同的灯光颜色或模式，或以文字、图像的形式显示以提醒用户。

相对现有技术，本申请实施例至少具有以下有益效果：可以结合用户的运动类型和状态将手势动作转换为不同运动场景下的控制命令，实现了不同运动场景下自适应的智能化交互控制操作，能够适应不同类型的设备的智能化控制需要，极大增加了用户操作体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请一实施例的基于手势和运动识别的人机交互方法的流程示意图；

图2是根据本申请另一实施例的基于手势和运动识别的人机交互方法的流程示意图；

图3是根据本申请实施例的接收端设备和被控设备的连接示意图；

图4是根据本申请一实施例的基于手势和运动识别的人机交互系统的结构示意图；

图5是根据本申请一实施例的控制玩具汽车方法的示例性流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

如前所述，为了实现在不同的运动场景下的自适应的智能交互控制操作，本申请实施例提出一种基于手势和运动识别的人机交互方法及其系统。

图1是根据本申请一实施例的基于手势和运动识别的人机交互方法的流程示意图。如图1所示，本申请实施例的基于手势和运动识别的人机交互方法应用于可穿戴控制设备，包括以下步骤：

步骤S110，采集传感器数据，对所述传感器数据进行预处理，所述预处理包括对所述传感器数据进行滤波以去除噪声和干扰的影响；

步骤S120，根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态；

步骤S130，根据所述预处理后的传感器数据，在连续的传感器数据流中自动检测和分割手势动作；

步骤S140，如果所述手势动作是有效的手势动作，则结合所述当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令；

步骤S150，将所述第一控制命令通过无线方式发送给与所述可穿戴控制设备配套的接收端设备。

本实施例中，可穿戴控制设备可以是智能手表、智能手环、智能戒指，或者是专门设计的智能控制腕带以及穿戴在用户身体上的任何其它产品形式。通过本实施例的方法，用户通过可穿戴控制设备以及配套的接收端设备，可以基于当前的运动类型和状态并结合用户的手势动作向被控设备发送不同运动场景下的控制命令，同时也可以接收被控设备执行控制命令的反馈信息，实现对被控设备在不同运动场景下自适应的智能交互控制操作。在一些实施方式中，被控设备可以是智能玩具、机器人、无人机、智能行李箱、购物车、健身设备、AR/VR设备、家电设备、工业设备或其它设备等。

其中，步骤S110中，传感器是内置于可穿戴控制设备中的用于检测用户的运动类型和状态，并且可以用于检测和识别用户的手势动作的各种类型的传感器。在一些实施方式中，这些传感器通常可以包括内置于可穿戴控制设备中的惯性传感器，例如加速度传感器或陀螺仪。在一些实施方式中，这些传感器还可以进一步包括内置于可穿戴控制设备中的地磁传感器、生物传感器中的一个或多个传感器的组合，以便于更准确地检测和识别用户的运动类型和状态以及执行的手势动作。在一些实施方式中，生物传感器可以包括肌电或心率传感器等。

步骤S120中，用户当前的运动类型和状态可以包括静止、走路、跑步、健身、爬山或其它多种不同的运动类型和状态。通过对采集的传感器数据的预处理，可以提取当前传感器数据块的特征，然后可以采用机器学习或者深度学习的方法识别用户当前的运动类型和状态。在一些实施方式中，机器学习可以包括决策树、随机森林、支持向量机(SVM)等多种不同的算法。深度学习包括但不限于基于神经网络模型的深度学习算法。

步骤S130中，对预处理后的传感器数据自动检测和分割当前用户可能执行的手势动作，在连续的传感器数据流中把可能的手势动作部分提取出来，具体的识别方式可以采用波形分析、模板匹配、机器学习或深度学习等多种方法来识别。

步骤S140中，如果识别出所述手势动作是有效的手势动作，则结合步骤S120中检测出的用户当前的运动类型和状态，将用户的有效的手势动作转化为不同运动场景下对应的控制命令。可穿戴控制设备可以自动检测用户当前的运动类型和状态，例如是否处于静止或处于走路、跑步、爬山，健身等某种运动，当用户开始某种运动类型或者处于某种运动状态下执行手势动作，可以将手势动作转化为对应于该运动场景下不同的控制命令，进而控制被控设备执行相应的动作或响应，可以方便直观地实现不同运动场景下智能化的交互操作。

步骤S150中，所述无线方式可以包括蓝牙、蓝牙低功耗(BLE)或WIFI连接的方式，也可以包括如红外、短距离无线通信(NFC)、433M、2.4G等其他无线连接方式。通过无线方式发送控制命令给接收端设备，使得与接收端设备耦合的被控设备可以基于控制命令做出相应的动作或响应。

图2是根据本申请另一实施例的基于手势和运动识别的人机交互方法的流程示意图。如图2所示，本实施例的方法在前述实施例基础上，进一步还包括以下步骤：

步骤S160，根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动参数；

步骤S170，根据所述当前的运动类型和状态生成第二控制命令和/或根据所述当前的运动类型和状态以及运动参数生成第三控制命令；

步骤S180，将所述第二控制命令和/或第三控制命令通过无线方式发送给与所述可穿戴控制设备配套的接收端设备。

本实施例中，用户当前的运动参数可以包括运动速度、运动强度、运动量、疲劳程度、呼吸率、卡路里消耗等其中任一或组合。在一个实施方式中，本实施例在检测到用户开始某种运动类型时，可以发出相应的控制命令，控制被控设备做出相应的动作或响应。例如，可穿戴控制设备检测到用户从静止开始走路或跑步时，可以控制被控设备，如汽车、机器人、无人机等智能玩具，或智能行李箱等其它设备相应地启动起来。当用户停下来后，可以控制被控设备也相应地也停下来，这样就达到了运动跟随和陪伴的目的。

在另一实施方式中，本实施例在用户走路、跑步或健身等运动的速度或运动量、疲劳程度、运动强度、呼吸率、卡路里消耗等处于不同阶段或程度的时候，可穿戴控制设备可以检测出来并发送语音或灯光提示命令给被控设备，控制被控设备播放相应的语音提示，或变换不同的灯光颜色或模式，或以文字、图像的形式显示以提醒用户，起到运动提示的作用。

在另一实施方式中，还可以根据可穿戴控制设备检测到用户走路或跑步的速度快慢的速度信息，控制被控设备相应地调整移动速度，和用户保持一致的移动速度。

在一些实施方式中，接收端设备可以监听和接收所述第一、第二或第三控制命令，根据所述第一、第二或第三控制命令分别控制被控设备进行相应的动作或响应。被控设备进行相应的动作或响应可以包括但不限于：对所述被控设备进行运动控制、音乐控制、灯光控制、语音播放控制、执行某种操作中的任意之一或组合。在一些实施方式中，运动控制可以包括启动、停止、前进、后退、左转、右转、加速、减速、转圈等；音乐控制可以包括切换音乐、调整音量等；灯光控制可以包括开灯、关灯、变换颜色和灯光模式等，语音播放可以包括播放相应的语音提示等，执行某种操作可以包括移动机械臂、拍照、伸缩、变形等。

在一些实施方式中，上述步骤S140中，所述结合所述当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令可以包括：

当用户当前的运动类型和状态为第一运动状态时，将所述手势动作转化为第一子控制命令；当用户当前的运动类型和状态为第二运动状态时，将所述手势动作转化为第二子控制命令。

以被控设备为玩具汽车为例，如果检测到用户当前的运动类型和状态是静止在原地，即处于静态模式(第一运动状态)，此时可以通过识别用户的不同手势动作来控制玩具汽车的启动、停止、前进、后退、转弯、加速，减速等运动操作，以及切换音乐和灯光模式，或者控制其变形等。

当可穿戴控制设备识别到用户开始走路或跑步时，即从静态模式切换到动态模式(第二运动状态)，此时可以识别用户的手势动作执行动态模式下不同的控制命令。为了在动态模式下避免误触发，可以只支持左转或右转以及停车的手势，比如采用向左右挥手或转动手腕等，来控制玩具汽车左转或右转以调整运动方向，采用向上竖直举手以控制停车等。通过本实施方式，如果可穿戴控制设备检测到用户执行了某种手势动作，可以结合当前的运动类型和运动状态，赋予用户手势不同的含义，将其转化为不同的控制命令，从而可以实现在不同运动场景下自适应的智能交互操作。

在一些实施方式中，如图3所示，与可穿戴控制设备310配套的接收端设备320可以通过内嵌或外置连接的方式耦合到被控设备330中。内嵌方式是接收端设备320作为模块内嵌在要控制的相关设备中形成整合在一起的产品形态。外置连接方式则将接收端设备320作为独立的连接模块与要控制的相关设备通过接口相连，例如可以通过USB、蓝牙适配器、智能控制插座等外置连接形式实现。

图4是根据本申请一实施例的基于手势和运动识别的人机交互系统400的结构示意图。如图4所示，本申请实施例的基于手势和运动识别的人机交互系统400包括可穿戴控制设备410和配套的接收端设备420。其中，所述可穿戴控制设备410包括以下功能模块：

传感器数据处理模块411，被配置为采集传感器数据，对所述传感器数据进行预处理，所述预处理包括对所述传感器数据进行滤波以去除噪声和干扰的影响；

运动识别模块412，被配置为根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动状态和运动类型；

手势检测和识别模块413，被配置为根据所述预处理后的传感器数据，在连续的传感器数据流中自动检测和分割手势动作；

控制模块414，被配置为如果所述手势动作是有效的手势动作，则结合当前的运动状态和运动类型将所述手势动作转化为不同运动场景下对应的第一控制命令；

发送模块415，被配置为将所述第一控制命令通过无线方式发送给所述接收端设备。

所述接收端设备420被配置为：监听和接收所述第一控制命令，根据所述第一控制命令控制被控设备进行相应的动作或响应。

在一些实施方式中，所述运动识别模块412可以进一步被配置为：根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动参数；

所述控制模块414可以进一步被配置为：根据所述当前的运动类型和状态生成第二控制命令和/或根据所述当前的运动类型和状态以及运动参数生成第三控制命令；

所述发送模块415可以进一步被配置为：将所述第二控制命令和/或第三控制命令通过无线方式发送给与所述可穿戴控制设备配套的接收端设备420；

所述接收端设备420可以进一步被配置为：监听和接收所述第二控制命令和/或第三控制命令，根据所述第二控制命令和/或第三控制命令控制被控设备进行相应的动作或响应。

在一些实施方式中，所述控制模块414可以进一步被配置为：

当用户当前的运动类型和状态为第一运动状态时，将所述手势动作转化为第一子控制命令；

当用户当前的运动类型和状态为第二运动状态时，将所述手势动作转化为第二子控制命令。

在一些实施方式中，接收端设备420还可以包括接收模块、命令解析模块以及控制接口模块。首先，接收模块通过无线连接的方式监听和接收可穿戴控制设备410发送的控制命令报文，通过命令解析模块解析出相应的控制命令，然后再将控制命令通过控制接口模块发送给被控设备的执行单元，以执行相关操作或动作控制，并将相关的反馈信息通过无线方式发送给可穿戴控制设备410。

基于前述任一实施方式的基于手势和运动识别的人机交互系统，本申请同时还提出一种控制玩具系统的方法。

以下以控制玩具汽车为例进行该方法的示意性描述。如图5所示，在步骤S501，可穿戴控制设备采集传感器数据；在步骤S502，连续检测用户的运动类型和状态。在步骤S503，判断用户当前运动类型和状态是否走路或跑步。在步骤S504，如果否，即可穿戴控制设备的运动识别模块识别用户静止在原地，则进入静态模式，则在步骤S506，可穿戴控制设备的手势检测和识别模块进一步检测和识别用户的手势动作；在步骤S507，可穿戴控制设备基于用户不同的手势动作发送控制命令来控制玩具汽车的启动、停止、前进、后退、转弯、加速、减速等运动，以及切换音乐和灯光模式，或者控制其变形等。

在步骤S505，如果是，即可穿戴控制设备的运动识别模块识别到用户开始走路或跑步时，则进入动态模式。在步骤S508，可穿戴控制设备发送前进控制命令给玩具汽车，让玩具汽车随同用户一起运动。在步骤S509，可穿戴控制设备的运动识别模块还可以检测用户当前走路或跑步的速度；在步骤S510，发送速度控制命令给玩具汽车，使得玩具汽车在开动后随时可以根据用户的运动速度调整自己的运动速度，使得其与用户运动的速度保持一致。同时，该动态模式中，在步骤S506，可穿戴控制设备的手势检测和识别模块可以进一步识别用户的手势动作，在步骤S507，可穿戴控制设备发送控制命令来控制玩具汽车，为了在动态模式下避免误触发，可以只支持左转或右转以及停车的手势，比如向左右挥手或转动手腕等，控制汽车左转或右转以调整汽车的运动方向，向上竖直举手以控制停车。

此外，在步骤S504，当可穿戴控制设备的运动识别模块识别用户停止走路或跑步时，即进入静态模式，则在步骤S511，可穿戴控制设备可以发送停止控制命令给玩具汽车，使其从运动状态停止，这样就实现了玩具汽车的运动跟随和陪伴的目的。

此外，在用户走路或跑步的速度或运动强度或疲劳程度达到一定程度的时候，可穿戴控制设备也可以检测出来并发送语音或灯光提示命令给玩具汽车，控制玩具汽车播放相应的语音或变换相应的灯光颜色和模式以提醒用户，起到运动提示的作用。

本申请实施例基于可穿戴控制设备连续采集传感器数据，自动检测识别用户的运动类型和状态以及手势动作，结合用户的运动类型和状态将手势动作转换为不同运动场景下的控制命令，或者直接根据用户的运动类型和状态，以及根据用户的运动类型和状态结合运动参数发出不同的控制命令，实现了不同运动场景下自适应的智能化交互控制操作，能够适应不同类型的设备的智能化控制需要，极大增加了用户操作体验。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。