一种基于单姿态传感器识别投掷动作的方法及装置

摘要

一种基于单传感器投掷动作识别方法及装置，所述方法为相对于投掷者的右、前、下建立参考坐标系，右上臂矢量为从右肩指向右肘的单位矢量，参考矢量

说明书

技术领域

本申请涉及动作捕获领域，具体的，涉及一种利用单姿态传感器对投掷动作进行识别的方法和装置。

背景技术

目前对于动作捕获常用的方法有光学式动作捕捉。光学式动作捕捉通过对人体上特定的光点的监视和跟踪来完成动作捕捉的任务，其原理是同时采用多部摄像机对人体上的光点进行连续拍摄，在任意一个时刻通过相机拍摄的画面和预先设定的参数即可计算出该点在空间中的位置，然后根据位置再进行姿态融合解算从而获得相应的动作。其缺点是成本高、配置复杂。要准备捕获动作首先需要一个“纯净”的背景环境，人体需要穿上单色的服装，在关键的部位装配上光点，同时需要安置多部高速率相机。对于虚拟训练的场景来说，无法达到该技术的要求。

对于沉浸式的单兵虚拟训练场景中，投掷是一个重要的战术动作，目前对于投掷动作的判别主要还是基于“功能按键”的方式进行。但是基于按键的方式进行人机交互，无法对投掷的过程、力度和方向有效的捕获，并且会降低交互的体验度。

因此，如何能够提出一种新的动作捕获方式，对投掷动作进行识别，以在保证交互体验度的同时，提高投掷动作识别的判别准确度成为现有技术亟需解决的技术问题。

发明内容

本发明的目的是为了解决目前对于投掷动作识别的多种不足，提出一种基于但传感器的投掷动作识别方法及装置，以提高识别的准确度和体验度。

为达此目的，本发明采用以下技术方案：

一种基于单传感器投掷动作识别方法，包括如下步骤：

S110.参考坐标系建立步骤：

分别相对于投掷者的下、前、右建立参考坐标系OXYZ，其中，OX轴指向下，其单位方向矢量在大地坐标系中用下矢量表示，OY轴指向前，其单位方向矢量在大地坐标系中用前矢量表示，OZ轴指向右，其单位方向矢量用右矢量表示，右上臂在参考坐标系OXYZ中的角位置可以描述右上臂的姿态，令右上臂矢量为从右肩指向右肘的单位矢量，右上臂矢量在传感器坐标中用表示，右上臂矢量在大地坐标系中用符号表示，令与的夹角为θ，0°≤θ≤90°，在与形成的平面上的投影与之间的夹角为φ，-180°≤φ≤180°；

S120.参考角度计算步骤：

右上臂矢量、参考矢量右、前、下，在大地坐标系中分别表示为：和利用上述矢量通过如下公式计算θ和φ，

$>\theta =\arccos ({\overrightarrow{u}}_2·{\overrightarrow{u}}_R),$>

S130.参考区域建立以及映射步骤：

根据上臂矢量在参考坐标系OXYZ可能经过的区域，将OXYZ右半空间的姿态划分成若干个姿态区域，其中，将姿态空间映射到单位极坐标圆内，若干个姿态区域对应单位极坐标圆内的若干个参考区域；将测量出来的投掷所经过的区域映射到所述参考区域中；

S140.投掷动作判断步骤：

将在预定时间T_MAX所测量到的映射的参考区域时序与预定投掷顺序作比较，如果相同，则判断为投掷动作，如果切换顺序不一致或到达T_MAX后切换未完成，判断为非投掷动作，其中，T_MAX为根据批量实验或经验得到的一次投掷动作的最大时长。

优选地，步骤S130中，所述将测量出来的投掷所经过的区域映射到所述参考区域为：

传感器安装于右上臂，尽量使右臂自然下垂状态下，传感器的某个轴与铅垂方向平行，令右上臂矢量在传感器坐标系中的坐标为右上臂矢量在大地坐标系中表示为其中为从传感器坐标系到大地坐标系中的坐标转换矩阵，下矢量是已知的为前矢量和右矢量用投掷动作开始前的前矢量和右矢量代替，并认为直到投掷动作结束，前矢量和右矢量不变，然后利用和计算出θ和φ以及姿态映射状态(r，φ)。

优选地，在计算投掷动作开始前矢量和右矢量是，前矢量$>{\overrightarrow{u}}_F={\overrightarrow{u}}_2\times {\overrightarrow{u}}_D,$>右矢量$>{\overrightarrow{u}}_R={\overrightarrow{u}}_D\times {\overrightarrow{u}}_F.$>

优选地，在步骤S130中，所述参考区域的划分根据实验实际情况增加或减少，边界值也能够通过实验来选定。

优选地，在步骤S140中，投掷预定的顺序根据投掷中的蓄势、躯干发力、右臂发力和掷出后收势来确定。

本发明还公开了一种基于单传感器投掷动作识别装置，包括如下单元：

参考坐标系建立单元：

分别相对于投掷者的下、前、右建立参考坐标系OXYZ，其中，OX轴指向下，其单位方向矢量在大地坐标系中用下矢量表示，OY轴指向前，其单位方向矢量在大地坐标系中用前矢量表示，OZ轴指向右，其单位方向矢量用右矢量表示，右上臂在参考坐标系OXYZ中的角位置可以描述右上臂的姿态，令右上臂矢量为从右肩指向右肘的单位矢量，右上臂矢量在传感器坐标中用表示，右上臂矢量在大地坐标系中用符号表示，令与的夹角为θ，0°≤θ≤90°，在与形成的平面上的投影与之间的夹角为φ，-180°≤φ≤180°；

参考角度计算单元：

右上臂矢量、参考矢量右、前、下，在大地坐标系中分别表示为：和利用上述矢量通过如下公式计算θ和φ，

$>\theta =\arccos ({\overrightarrow{u}}_2·{\overrightarrow{u}}_R),$>

参考区域建立以及映射单元：

根据上臂矢量在参考坐标系OXYZ可能经过的区域，将OXYZ右半空间的姿态划分成若干个姿态区域，其中，将姿态空间映射到单位极坐标圆内，若干个姿态区域对应单位极坐标圆内的若干个参考区域；将测量出来的投掷所经过的区域映射到所述参考区域中；

投掷动作判断单元：

将在预定时间T_MAX所测量到的映射的参考区域时序与预定投掷顺序作比较，如果相同，则判断为投掷动作，如果切换顺序不一致或到达T_MAX后切换未完成，判断为非投掷动作，其中，T_MAX为根据批量实验或经验得到的一次投掷动作的最大时长。

优选地，在所述参考区域建立以及映射单元中，所述将测量出来的投掷所经过的区域映射到所述参考区域为：

传感器安装于右上臂，尽量使右臂自然下垂状态下，传感器的某个轴与铅垂方向平行，令右上臂矢量在传感器坐标系中的坐标为右上臂矢量在大地坐标系中表示为其中为从传感器坐标系到大地坐标系中的坐标转换矩阵，下矢量是已知的为前矢量和右矢量用投掷动作开始前的前矢量和右矢量代替，并认为直到投掷动作结束，前矢量和右矢量不变，然后利用和计算出θ和φ以及姿态映射状态(r，φ)。

优选地，在计算投掷动作开始前矢量和右矢量是，前矢量$>{\overrightarrow{u}}_F={\overrightarrow{u}}_2\times {\overrightarrow{u}}_D,$>右矢量$>{\overrightarrow{u}}_R={\overrightarrow{u}}_D\times {\overrightarrow{u}}_F.$>

优选地，在参考区域建立以及映射单元中，所述参考区域的划分根据实验实际情况增加或减少，边界值也能够通过实验来选定。

优选地，在投掷动作判断单元中，投掷预定的顺序根据投掷中的蓄势、躯干发力、右臂发力和掷出后收势来确定。

因此，本发明的单传感器投掷动作识别方法及装置，通过配置单个传感器，实时采集姿态信息并识别分析，便可实现在虚拟训练场景下单兵的投掷姿态辨别。本发明可以提供高体验度的训练环境，投掷动作的判别准确率在98％以上，本发明的方法和装置易于在各类基于单兵的沉浸式虚拟训练系统中推广应用。

附图说明

图1是根据本发明的具体实施例的单传感器投掷动作识别方法的流程图；

图2是根据本发明的具体实施例的参考坐标系示意图；

图3是根据本发明的具体实施例的动作映射区域示意图；

图4是根据本发明的另一个具体实施例的单传感器投掷动作识别装置的模块图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

投掷动作可以看成是在一段较短时间内的，一连串动作的组合。通过将右上臂在某个坐标系中所有可能的姿态，将参考坐标系右半空间划分成数个区域，每个区域代表一种基本状态。整个投掷过程中，右上臂的状态将从几种可能初始状态中的一种状态，连续依次地切换到最终状态。

因此，本发明首先建立参考坐标系，通过参考坐标系中相应的角度得到各个基本状态的数学描述，然后将参考坐标系的右半空间划分为若干个区域，将投掷过程中的各个过程，例如可能的初始状态、可能的终止状态，以及状态切换的一种或数种次序及与之相关的时间参数(如整个动作或某种状态的最大最小时长)映射到各个区域中；最后将测量的区域变化与投掷动作区域变化规律做比较，以判断是否完成投掷动作。

一般而言，投掷动作可以简单的划分为以下四个动作：

蓄势：躯干右旋，可能伴随右后倾；右上臂经下方后摆。

躯干发力：躯干迅速左旋，可能伴随左前倾；右上臂随动。

右臂发力：躯干仍在左旋中；右上臂经上方前挥。

掷出后收势：躯干右回旋；右上臂经下方收回。

参见图1，基于单传感器投掷动作识别方法可以包括如下步骤：

S110.参考坐标系建立步骤：

要描述投掷动作，首先要建立相应的参考坐标系。

参见图2，分别相对于投掷者的下、前、右建立参考坐标系OXYZ，其中，OX轴指向下，其单位方向矢量在大地坐标系中用下矢量表示，OY轴指向前，其单位方向矢量在大地坐标系中用前矢量表示，OZ轴指向右，其单位方向矢量用右矢量表示，右上臂在参考坐标系OXYZ中的角位置可以描述右上臂的姿态，令右上臂矢量为从右肩指向右肘的单位矢量，右上臂矢量在传感器坐标中用表示，右上臂矢量在大地坐标系中用符号表示。

令与的夹角为θ，0°≤θ≤90°，在与形成的平面上的投影与之间的夹角为φ，-180°≤φ≤180°，可见φ为绕转动的角度，转动的正向采用左手或右手定则，从而判别φ的正负，(以下采用右手定则)。

S120.参考角度计算步骤：

右上臂矢量、参考矢量右、前、下，在大地坐标系中分别表示为：和利用上述矢量通过如下公式计算θ和φ，

$>\theta =\arccos ({\overrightarrow{u}}_2·{\overrightarrow{u}}_R),$>

S130.参考区域建立以及映射步骤：

根据上臂矢量在参考坐标系OXYZ可能经过的区域，将OXYZ右半空间的姿态划分成若干个姿态区域，其中，将姿态空间映射到单位极坐标圆内，若干个姿态区域对应单位极坐标圆内的若干个参考区域。将测量出来的投掷所经过的区域映射到所述参考区域中。

参见图3，在一个优选地实施例中，所述若干个区域为17个区域，17个姿态区域对应单位极坐标圆内的17个区域。包括位于中心的中心区域，以及中心区域外侧具有两层的其它16个区域，相应的每层具有8个区域，内外两层彼此相对，具有相应的发散角度，仅仅是半径不同。

在图3所示出的示意图，为从投掷者右侧面对投掷者的示意图，使得投掷者的手分别途径该参考区域中的多个区域。

根据以上区域划分可见，右上臂下垂时，应该处于10号区域，上举时处于14号区域，右平举时处于1号区域，前平举时处于12号区域，依此类推。只要采样频率足够高，从区域A切换到区域B，则B必然是与A相邻的区域。

举个例子，从起始状态手臂自然下垂到斜向上45度掷出手榴弹再到手臂复位到下垂状态，状态区域切换的顺序可能为：10-＞17-＞16-＞15-＞14-＞13-＞5-＞4-＞3-＞11-＞10。

当然，外侧的16个区域，仅仅是示例，也可以是更多或者更少的区域。即，参考区域的划分可以根据实验实际情况增加或减少，边界值也最好需要通过实验来选定。

S140：投掷动作判断步骤

将在预定时间T_MAX所测量到的映射的参考区域时序与预定投掷顺序作比较，如果相同，则判断为投掷动作，如果切换顺序不一致或到达T_MAX后切换未完成，判断为非投掷动作。

例如，可以在程序中定义一个状态序列变量，一旦出现可能的投掷初始状态10号，则将10号保存到序列起始位置，如果在时间T_MAX内后续测量到的状态切换顺序与预定的顺序一致，则判断为投掷动作，如果切换顺序不一致或到达T_MAX后切换未完成，判断为非投掷动作，序列清0，其中，T_MAX为根据批量实验或经验得到的一次投掷动作的最大时长，优选地，T_MAX为2.5秒。

在步骤S140中，投掷预定的顺序根据投掷中的蓄势、躯干发力、右臂发力和掷出后收势来确定。

其中，步骤S130中，所述将测量出来的投掷所经过的区域映射到所述参考区域为：

传感器安装于右上臂，尽量使右臂自然下垂状态下，传感器的某个轴与铅垂方向平行。假设安装好后，右臂自然下垂，传感器的OZ轴指向铅直上，OX水平右向，OY水平向前(右手系)，则令右上臂矢量在传感器坐标系中的坐标始终为

在右上臂运动过程中，传感器实时得到的从传感器坐标系到大地坐标系中的坐标转换矩阵为则右上臂矢量在大地坐标系中可以表示为$>{\overrightarrow{u}}_2=C_E^A\overrightarrow{u}.$>

大地坐标系中下矢量是已知的为即垂直向下，但在实验过程中前矢量和右矢量是变化的，需要结合实验经验进行计算。根据实验可得，实验过程中前矢量和右矢量的连续缓慢变化的。因此，在实验中的任意一个存在投掷动作的短时段内，投掷动作识别可以用投掷动作开始前的前矢量和右矢量代替，并认为直到投掷动作结束，前矢量和右矢量不变。此时，根据和计算出θ和φ以及姿态映射状态(r，φ)。

在实验过程中，前矢量和右矢量的计算分摆臂和静止两种情况。摆臂指行进时的往复摆臂。右上臂矢量在铅垂方向的投影用矢量点乘表示，当u_AD在时间段T_W内出现最大值时，右上臂摆动刚好到达身体右侧。取出现最大投影值时刻的右上臂矢量则前矢量等于右上臂矢量与下矢量的叉乘右矢量等于下矢量与前矢量的叉乘而在静止时，通过实验可得，正常情况下，右上臂静止时总是处于身体右侧，同理，前矢量右矢量摆臂状态可以根据u_AD的变化周期和幅度进行识别。静止状态可以根据在时段T_S内传感器读数变化范围不超过门限值进行识别。在实验过程中，系统不断识别摆臂或静止，并计算前矢量和右矢量。

因此，计算投掷动作开始前矢量和右矢量时，前矢量$>{\overrightarrow{u}}_F={\overrightarrow{u}}_2\times {\overrightarrow{u}}_D,$>右矢量$>{\overrightarrow{u}}_R={\overrightarrow{u}}_D\times {\overrightarrow{u}}_F.$>

因此，在实验中的任意一个存在投掷动作的短时段内，该时段已计算出前矢量和右矢量并认为直到投掷动作结束，前矢量和右矢量不变。此时，根据计算出θ和φ以及姿态映射状态(r，φ)，当状态进入10区域时，开始进入投掷动作检测流程，如果状态区域的变化顺序和所用时间的长短与投掷动作相匹配，则认为识别到一个投掷动作，如果检测时间超过最大检测时间仍未检测到匹配的投掷动作，则认为未检测到投掷动作。

本发明还公开了一种单传感器投掷动作识别装置，包括如下单元：

参考坐标系建立单元210：

分别相对于投掷者的下、前、右建立参考坐标系OXYZ，其中，OX轴指向下，其单位方向矢量在大地坐标系中用下矢量表示，OY轴指向前，其单位方向矢量在大地坐标系中用前矢量表示，OZ轴指向右，其单位方向矢量用右矢量表示，右上臂在参考坐标系OXYZ中的角位置可以描述右上臂的姿态，令右上臂矢量为从右肩指向右肘的单位矢量，右上臂矢量在传感器坐标中用表示，右上臂矢量在大地坐标系中用符号表示，令与的夹角为θ，0°≤θ≤90°，在与形成的平面上的投影与之间的夹角为φ，-180°≤φ≤180°；

参考角度计算单元220：

右上臂矢量、参考矢量右、前、下，在大地坐标系中分别表示为：和利用上述矢量通过如下公式计算θ和φ，

$>\theta =\arccos ({\overrightarrow{u}}_2·{\overrightarrow{u}}_R),$>

参考区域建立以及映射单元230：

根据上臂矢量在参考坐标系OXYZ可能经过的区域，将OXYZ右半空间的姿态划分成若干个姿态区域，其中，将姿态空间映射到单位极坐标圆内，若干个姿态区域对应单位极坐标圆内的若干个参考区域；将测量出来的投掷所经过的区域映射到所述参考区域中；

投掷动作判断单元240：

将在预定时间T_MAX所测量到的映射的参考区域时序与预定投掷顺序作比较，如果相同，则判断为投掷动作，如果切换顺序不一致或到达T_MAX后切换未完成，判断为非投掷动作，其中，T_MAX为根据批量实验或经验得到的一次投掷动作的最大时长。

优选地，在所述参考区域建立以及映射单元中，所述将测量出来的投掷所经过的区域映射到所述参考区域为：传感器安装于右上臂，尽量使右臂自然下垂状态下，传感器的某个轴与铅垂方向平行，令右上臂矢量在传感器坐标系中的坐标为右上臂矢量在大地坐标系中表示为其中为从传感器坐标系到大地坐标系中的坐标转换矩阵，下矢量是已知的为前矢量和右矢量用投掷动作开始前的前矢量和右矢量代替，并认为直到投掷动作结束，前矢量和右矢量不变，然后利用和计算出θ和φ以及姿态映射状态(r，φ)。

优选地，在计算投掷动作开始前矢量和右矢量是，前矢量$>{\overrightarrow{u}}_F={\overrightarrow{u}}_2\times {\overrightarrow{u}}_D,$>右矢量$>{\overrightarrow{u}}_R={\overrightarrow{u}}_D\times {\overrightarrow{u}}_F.$>

优选地，在参考区域建立以及映射单元230中，所述参考区域的划分根据实验实际情况增加或减少，边界值也能够通过实验来选定。

进一步优选地，在投掷动作判断单元240中，投掷预定的顺序根据投掷中的蓄势、躯干发力、右臂发力和掷出后收势来确定。

因此，本发明的单传感器投掷动作识别方法及装置，通过配置单个传感器，实时采集姿态信息并识别分析，便可实现在虚拟训练场景下单兵的投掷姿态辨别。本发明可以提供高体验度的训练环境，投掷动作的判别准确率在98％以上，本发明的方法和装置易于在各类基于单兵的沉浸式虚拟训练系统中推广应用。

显然，本领域技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。