一种基于子动作感知的行为识别系统及其工作方法

摘要

本发明公开了一种基于子动作感知的行为识别系统及其工作方法，系统包括：可穿戴终端，用于采集惯性传感器数据，若可穿戴终端本地处理能力足够则运行基于子动作感知的行为识别算法，识别用户的动作，若可穿戴终端本地处理能力不够，则把数据转发到云端处理服务器进行处理；通信设备，用于处理可穿戴终端与云端处理服务器之间的信息传输；云端处理服务器，获取可穿戴终端实时采集的惯性传感器数据，运行基于子动作感知的行为识别算法，识别用户动作。本发明在识别新用户的动作时准确率基本没有下降，可以很好的解决用户个性化动作带来的问题，并且所需训练数据少，训练代价小，识别速度快，计算简单，且成本低廉。

说明书

技术领域

本发明涉及行为识别技术领域，具体是一种基于子动作感知的行为识别系统及其工作方法。

背景技术

行为识别技术是指通过数学以及模式识别等算法来识别人类动作的技术。行为识别在运动检测、人机交互、健康生活引导以及老人孩子监护方面有着广泛的应用，而随着社会的发展，人们在健康方面的需求的也在不断增长，这也使得行为识别的作用越来越重要。近些年，随着智能手环、智能手表的逐渐普及，为行为识别提供了新的契机；可穿戴终端内部基本都集成了各种惯性传感器，比如加速度、陀螺仪、磁力计等精密传感器。穿戴这些智能设备，在给人们提供舒适与时尚的同时，也可以为监控用户的行为提供了精确的原始数据。

由于用户的身材有高矮胖瘦，生活习惯也有所不同，因此不同的用户在做同样一个动作时会出现明显的个体差异性。传统的行为识别在识别一个新用户的动作时，由于训练集中不包含该用户的数据，所以该用户的个性化动作会使识别的准确率大大降低。为了解决这个问题，传统的方法需要尽可能的增加训练集中的数据量或者动态增加新用户的数据到训练集中，而这又会导致训练代价大，识别算法复杂以及用户体验不友好等问题。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于子动作感知的行为识别系统及其工作方法，本发明在识别新用户的动作时准确率基本没有下降，可以很好的解决用户个性化动作带来的问题，并且所需训练数据少，训练代价小，识别速度快，计算简单，且成本低廉。

为达到上述目的，本发明的一种基于子动作感知的行为识别系统，其包括：

可穿戴终端，用于采集惯性传感器数据，若可穿戴终端本地处理能力足够则在本地识别用户的动作，若可穿戴终端本地处理能力不够，则把数据转发到云端处理服务器进行处理；

通信设备，用于处理可穿戴终端与云端处理服务器之间的信息传输；

云端处理服务器，获取可穿戴终端实时采集的惯性传感器数据，识别用户动作。

优选地，所述的可穿戴终端是指穿戴在人体前臂的设备，并且在内部装载惯性传感器。

优选地，所述的惯性传感器包括加速度计、陀螺仪和磁力计并且采样频率至少大于20赫兹。

优选地，所述的用户动作包括用户日常生活中或者运动时所产生的动作。

本发明的一种基于子动作感知的行为识别系统的工作方法，包括步骤如下：

1)用户左手或者右手穿戴可穿戴终端；

2)在用户运动过程中，可穿戴终端实时收集加速度、陀螺仪和磁力计数据；

3)根据可穿戴终端处理能力，在本地处理数据或者通过通信设备发送到云端处理服务器处理数据；

4)可穿戴终端或者云端处理服务器根据陀螺仪数据变化趋势切分动作，并将时域上相同的加速度和磁力计数据切分出来；

5)可穿戴终端或者云端处理服务器将加速度和磁力计数据由传感器局部坐标系转换到地球坐标系；

6)可穿戴终端或者云端处理服务器将加速度和磁力计数据由地球坐标系转换到人体局部坐标系；

7)可穿戴终端或者云端处理服务器抽取出人体前臂与人体局部坐标系坐标轴的夹角信息；

8)可穿戴终端或者云端处理服务器根据角度变化识别出子动作序列；

9)可穿戴终端或者云端处理服务器根据子动作序列，使用最少编辑距离识别出用户动作。

优选地，所述步骤5)中的求出地球坐标系的方法为：利用公式(1)算出地球坐标系，在公式(1)中，变量G表示重力加速度，由加速度经过低通滤波得到，变量M表示磁力，变量X_g、Y_g、Z_g分别表示地球坐标系三个轴，公式(1)为：

优选地，所述步骤6)中的人体局部坐标系的三个轴的方向为人体正前方、人体正侧方和竖直方向向上，与地球坐标系只在水平面上相差一个偏角，通过四元数将地球坐标系绕重力旋转一个偏角得到人体局部坐标系。

优选地，所述步骤7)中的人体前臂与人体局部坐标系的夹角计算方法为：人体前臂与传感器局部坐标系x轴重合，通过计算x轴与人体局部坐标系的夹角获得人体前臂与之夹角；具体过程为利用公式(2)，计算出角度信息，利用公式(3)、公式(4)、公式(5)将角度信息投影到[0°，360°]范围；在公式(2)中X_b、Y_b、Z_b分别为人体局部坐标系的三个轴，分别为人体局部坐标系三个轴在传感器局部坐标系x轴上的投影，α′、β′、γ′为传感器局部坐标系x轴与人体局部坐标系坐标轴的夹角，取值范围[0°，180°]；在公式(3)、公式(4)、公式(5)中α、β、γ为人体前臂与人体局部坐标系坐标轴的夹角：

优选地，所述步骤8)中的子动作的定义为：将[0°，360°]范围内角度按照阈值划分扇区，每一扇区有顺时针和逆时针两个子动作。

优选地，所述步骤8)中子动作的识别方法为：根据三个原则将原复杂动作切分为子动作序列，并利用动态时间规整算法计算出与模板库里子动作的相似度，识别出子动作，这三个原则具体为：

a.角度增减趋势发现变化时，应切分子动作；

b.角度增减幅度超过子动作阈值时，应切分子动作；

c.子动作持续时间不应超过经验阈值。

优选地，所述步骤9)子动作序列编辑距离的计算方法为：两个子动作的距离包括扇区距离和方向距离，利用公式(6)计算两个子动作的距离，利用公式(7)计算出两个子动作序列的编辑距离，通过与模板库里的子动作序列计算编辑距离，识别出用户动作，

其中，s_i与s_j分别表示扇区i与扇区j，d_s(m_i，m_j)表示两个子动作的扇区距离，d_r(m_i，m_j)表示两个子动作的方向距离，d(m_i，m_j)表示两个子动作的距离，L_a，b(i，j)表示子动作序列a位置i与子动作序列b位置j的编辑距离，μ是任意两个子动作的距离的平均值，在这里设置为经验值m/4。

本发明的有益效果：

本发明的系统和方法通过穿戴在人体前臂上的可穿戴终端提供加速度、陀螺仪和磁力计原始数据，并将一个较为复杂的动作切分成子动作序列，在子动作层面进行行为识别，表现为：

用户独立：对于新用户，不需要采集新的用户数据来降低个性化动作对准确率的影响，从而拥有良好的用户体验；

训练集小：由于可以做到用户独立，因此不需要大量的训练集就可以做到较高的识别准确率；

准确度高：由于不同用户在做同一动作时都由自己的个性化动作，但都可以由相似度较高的子动作序列来表示，根据这个特性进行的模式匹配准确率高达92％以上；

交互体验自然：由于交互设备是一个可穿戴终端(如智能手表)，我们的交互方式与现实中的动作基本一致，无需学习过程即可轻易使用；

计算复杂度低：把复杂动作拆分成用字符表示的子动作序列，最终只需要基于字符串进行最精确匹配，计算复杂度低，识别速度快。

附图说明

图1为基于子动作感知的行为识别系统的场景结构图；

图2为工作方法流程图；

图3为可穿戴终端局部坐标系与地球坐标系示意图；

图4为地球坐标系与人体局部坐标系示意图；

图5为角度信息抽取示意图；

图6为子动作划分示意图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

参照图1所示，本发明的一种基于子动作感知的行为识别系统，其包括：可穿戴终端、云端处理服务器和通信设备；

可穿戴终端，用于采集惯性传感器数据，若可穿戴终端本地处理能力足够(即可穿戴终端能够在本地识别用户的动作)则在本地识别用户的动作，若可穿戴终端本地处理能力不够，则把数据转发到云端处理服务器进行处理；

通信设备，用于处理可穿戴终端与云端处理服务器之间的信息传输；

云端处理服务器，获取可穿戴终端实时采集的惯性传感器数据，识别用户动作。

其中，所述的可穿戴终端是指穿戴在人体前臂的设备，并且在内部装载惯性传感器。

其中，所述的惯性传感器包括加速度计、陀螺仪和磁力计并且采样频率至少大于20赫兹。

其中，所述的用户动作包括用户日常生活中或者运动时所产生的动作。

参照图2所示，本发明的一种基于子动作感知的行为识别系统的工作方法，包括步骤如下：

1)用户左手或者右手穿戴可穿戴终端；

2)在用户运动过程中，可穿戴终端实时收集加速度、陀螺仪和磁力计数据；

3)根据可穿戴终端处理能力，在本地处理数据或者通过通信设备发送到云端处理服务器处理数据；

4)可穿戴终端或者云端处理服务器根据陀螺仪数据变化趋势切分动作，并将时域上相同的加速度和磁力计数据切分出来；

5)可穿戴终端或者云端处理服务器将加速度和磁力计数据由传感器局部坐标系转换到地球坐标系；

6)可穿戴终端或者云端处理服务器将加速度和磁力计数据由地球坐标系转换到人体局部坐标系；

7)可穿戴终端或者云端处理服务器抽取出人体前臂与人体局部坐标系坐标轴的夹角信息；

8)可穿戴终端或者云端处理服务器根据角度变化识别出子动作序列；

9)可穿戴终端或者云端处理服务器根据子动作序列，使用最少编辑距离识别出用户动作。

参照图3，利用公式(1)将智能手表局部坐标系转换到地球坐标系，在公式(1)中，变量G表示重力加速度，由加速度经过低通滤波得到，变量M表示磁力，变量X_g、Y_g、Z_g分别表示地球坐标系三个轴，公式(1)为：

参照图4，人体局部坐标系的三个轴的方向为人体正前方、人体正侧方和竖直方向向上，与地球坐标系只在水平面上相差一个θ偏角，通过四元数将地球坐标系绕重力旋转一个偏角得到人体局部坐标系。

参照图5，人体前臂与传感器局部坐标系x轴重合，通过计算x轴与人体局部坐标系的夹角获得人体前臂与之夹角；具体过程为利用公式(2)，计算出角度信息，利用公式(3)、公式(4)、公式(5)将角度信息投影到[0°，360°]范围；在公式(2)中X_b、Y_b、Z_b分别为人体局部坐标系的三个轴，分别为人体局部坐标系三个轴在传感器局部坐标系x轴上的投影，α′、β′、γ′为传感器局部坐标系x轴与人体局部坐标系坐标轴的夹角，取值范围[0°，180°]；在公式(3)、公式(4)、公式(5)中α、β、γ为人体前臂与人体局部坐标系坐标轴的夹角：

参照图6，将[0°，360°]范围内角度按照阈值σ划分扇区，每一扇区有顺时针和逆时针两个子动作，为了识别出子动作序列，首先要将子动作切分出来。根据三个原则将子动作切分出来，并利用动态时间规整算法计算出与模板库里子动作的相似度，识别出子动作。这三个原则具体为：

a.角度增减趋势发现变化时，应切分子动作；

b.角度增减幅度超过子动作阈值时，应切分子动作；

c.子动作持续时间不应超过经验阈值。

两个子动作的距离包括扇区距离和方向距离，利用公式(6)计算两个子动作的距离，利用公式(7)计算出两个子动作序列的编辑距离，通过与模板库里的子动作序列计算编辑距离，识别出用户动作，

其中，s_i与s_j分别表示扇区i与扇区j，d_s(m_i，m_j)表示两个子动作的扇区距离，d_r(m_i，m_j)表示两个子动作的方向距离，d(m_i，m_j)表示两个子动作的距离，L_a，b(i，j)表示子动作序列a位置i与子动作序列b位置j的编辑距离，μ是任意两个子动作的距离的平均值，在这里设置为经验值m/4。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。