一种建立步态数据集的方法及步态分析方法

摘要

本发明提供一种建立步态数据集的方法，包括：1)让测试人在测试区域内直线行走，用固定在测试人左脚和右脚的可穿戴传感器采集当前行走过程样本的传感数据作为该样本的步态数据；所述可穿戴传感器包括惯性传感器和声传感器；2)利用在所述测试区域内预置的摄像机和/或所述测试区域内留下的脚印得出当前行走过程样本的步态参数；3)用步骤2)所得出的步态参数标记对应样本的步态数据，从而得到标记后的步态数据集。本发明还提供了相应的基于标注数据集的步态分析方法。本发明有助于提高基于可穿戴传感器实现精确的步态分析的准确度；融合了多模态数据，所获得的数据集数据量大、分类清晰，方便分析和研究。

说明书

技术领域

本发明涉及步态研究和分析技术领域，具体地说，本发明涉及步态数据采集和测量技术领域。

背景技术

步态的分析和研究是对人类运动功能的综合研究，包括对人类运动特征的测量、描述和数量的评估。通过对步态的分析和研究，可以识别出步态周期，计算出步态运动学和动力学参数等。近年来，步态的研究在运动训练、疾病诊断、康复医疗、身份识别等方面都起到了非常重要的作用和应用。例如，在一些运动训练中，可以应用步态分析来分析出运动员在训练过程中出现的一些问题，然后帮助他们提成成绩；在疾病诊断中，应用步态分析来判断一些骨科或者神经性疾病，如中风等；在康复医疗中，可以应用步态分析来监护病人的治愈过程；在生物医疗工程中，步态分析已经成为一种基本的辅助方法来识别人的运动特征；在身份识别中，不同的人在步态风格的微小变化可以被用作生物标识符来识别个体的人。

综上所述，由于步态分析与研究有着广泛的应用前景，研究者要进行分析和研究，就需要大量的步态数据。目前国内外公开的可用的步态数据集的步态特征大多数都是基于图像的。然而，动态环境中拍摄的图像受光照变化、运动目标的影子、衣服遮挡等多方面的因素的影响，会给基于图像的步态特征提取带来较大困难。

另一方面，M.Hofmann等人在2014年发表于J.Vis.Commun.Imag e.Represent的名为“The TUM gait from audio,image and depth(GAID)database:Multimodal recognition of subjects and traits”的文章中，公开了通过微软Kinect工具，其采集人体步态的视频、深度图像和脚步声作为特征，并建立数据集的方法。这种方案能够通过声音信号辅助基于图像的步态特征提取，然而，它仍然无法摆脱光照变化、运动目标的影子、衣服遮挡等对动态环境拍摄的图像的限制。并且，此方案中声音信号采集也需要预先安装声音拾取设备并调试声音拾取环境。因此，这种方法所得到的步态数据集难以应用到对人的日常生活中的步态数据采集和分析中。

M.U.B.Altaf等人在2015年发表于IEEE Trans.Biomed.Eng的名为“Acoustic Gaits:Gait Analysis with Footstep Sounds”的文章中，公开了通过在房间内预置16个麦克风阵列采集脚步声作为特征来进行采集步态数据。该方法采用了声音作为步态特征，不需要采集步态的图像数据，但是为实现这种基于声音的步态数据采集，需要预先安装声音拾取设备并调试声音拾取环境。然而，人的日常行为所处的环境难以进行这样的预先安装和调试，这就意味着这种方法所得到的步态数据集难以应用到对人日常生活的步态数据采集和分析中。

综上所述，当前迫切需要一种能够支持对人的日常生活中的步态数据采集和分析的步态数据集构建解决方案。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种能够支持对人的日常生活中的步态数据采集和分析的步态数据集构建解决方案。

本发明提供了一种建立步态数据集的方法，包括下列步骤：

1)让测试人在测试区域内直线行走，用固定在测试人左脚和右脚的可穿戴传感器采集当前行走过程样本的传感数据作为该样本的步态数据；所述可穿戴传感器包括惯性传感器和声传感器；

2)利用在所述测试区域内预置的摄像机和/或所述测试区域内留下的脚印得出当前行走过程样本的步态参数；所述步态参数包括：步态距离参数和时间参数，所述步态距离参数至少包括步宽和步长，所述时间参数包括：步行时间、步态周期、支撑期、摆动期、步频、步速和步数；

3)用步骤2)所得出的步态参数标记对应样本的步态数据，从而得到标记后的步态数据集。

其中，所述步骤1)中，所述惯性传感器包括加速度仪、陀螺仪、地磁传感器中的一项或多项；所述声传感器包括麦克风或超声传感器。

其中，所述步骤1)中，所述可穿戴传感器固定在被测人的鞋帮的外侧、前侧或后侧或者被测人的鞋底。

其中，所述步态参数还包括：步距、步幅、单步时间、支撑初期、支撑中期和支撑末期。

其中，所述步骤2)中，所述利用在所述测试区域内预置的摄像机得出步态参数的方法包括：利用预先布置在所述测试区域内的摄像机拍摄能够追踪被测人行走过程的视频，然后通过分析每帧图像，确定各种步态行为的起始时间，进而得到所述步态参数中的时间参数，所述时间参数包括：单步时间、步态周期、支撑初期、支撑中期、支撑末期、摆动期中的一项或多项。

其中，所述步骤2)中，所述利用在所述测试区域内预置的摄像机得出步态参数的方法还包括：在位于行走路线上的地面上的长方形区域预先布设易于识别的坐标(例如网格状的易于识别的坐标)，在测试人行走过程中，用横向和纵向的摄像机同时拍摄行走过程，然后基于所拍摄图片中的所述易于识别的坐标，识别出行走过程中的每一步在地上的坐标位置，进而获得步态参数中的距离参数。

其中，所述步骤2)中，所述脚印包括利用压力测试板测出的电子脚印。

其中，所述步骤2)中，所述利用所述测试区域内留下的脚印得出步态参数的方法包括：预先在测试区域地面上撒一层薄粉末，或者在被测人鞋底预先涂抹易留下明显脚印的颜料，使得被测人行走后在测试区域地面上留下脚印，然后再通过测量脚印得出步距、步宽、步长、步幅和步数。

其中，所述步骤1)还包括：记录被测人行走过程的所属的分类信息，所述分类信息包括对采集主体的分类：姓名、性别、身高、体重、年龄、正常人、步态异常人；对采集时间的分类：季节、日期、时间；对采集地点的分类：室内、室外；对采集主体穿鞋的分类：软底运动鞋、硬底运动鞋、皮鞋；对采集地面的分类：木质地面、石质地面、毛/棉地毯地面、土地面。

本发明提供了一种基于标注数据集的步态分析方法，包括：

步骤100：获取人体步态数据的标注数据集，其中，所述步态数据是固定在被测人脚部的可穿戴传感器所采集的行走过程中的传感数据，所述标注数据集中包括多个行走过程样本的步态数据和对应于各个行走过程样本的步态参数，所述可穿戴传感器包括惯性传感器和声传感器；

步骤200：建立从步态数据到步态参数的映射模型，用所述的标注数据集训练该映射模型；

步骤300：利用固定在当前被测人脚部的惯性传感器和声传感器实时采集被测人的步态数据，然后基于所测的步态数据，基于训练后的映射模型得出当前被测人当前的步态参数。

其中，所述步骤100中，利用前文所述的建立步态数据集的方法获取人体步态数据的标注数据集。

与现有技术相比，本发明的优点在于：

1、本发明能够通过可穿戴式的设备进行数据集采集，不需要预先在测试环境中安装采集设备；

2、本发明能够采用多种标注方法对可穿戴式的步态数据进行准确的标注，从而获得精准标注的数据集，这有助于提高基于可穿戴传感器实现精确的步态分析的准确度；

3、本发明采用声音信号和惯性传感器采集步态数据，融合了多模态数据，所获得的数据集数据量大、分类清晰，方便分析和研究。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1是根据本发明的一个实施例的建立步态数据集方法的示意图；

图2是根据本发明的一个实施例的步态距离参数说明示意图；

图3是根据本发明的一个实施例的用于进行时间标注的高清摄像机拍摄场景的俯视示意图；

图4是根据本发明的一个实施例的将步态采集装置预装在鞋上的示意图；以左脚鞋为例，从左到右，步态采集装置的位置分别位于鞋的外侧、前侧、后侧、底部前、底部中、底部后；

图5是根据本发明的一个实施例的将步态采集装置佩戴在脚踝处的示意图；以右脚为例，从左到右，步态采集装置分别被佩戴在脚踝的外侧、后侧、前侧；

图6示出了本发明一个实施例中的对步态参数进行测量的场景示意图。

具体实施方式

如前文所述，现有的步态分析技术中，采集设备往往需要在预设的区域(通常是室内)安装和调试，这导致步态数据的采集也只能在这个特定区域内完成，因此难以对人日常生活中的步态进行分析。发明人为克服上述缺陷，将可穿戴的惯性传感器和声传感器(如麦克风或超声传感器)的组合引入步态分析技术中，从而实现对人日常生活中的步态的分析。下面结合附图和具体实施方式对本发明作详细说明。

根据本发明的一个实施例，提供了一种基于可穿戴的声传感器和惯性传感器的步态数据集的构建方法。该方法所构建的数据集融合了多模态数据，所获得的数据集中的数据量大、分类清晰、方便分析和研究。与此同时，还克服了声传感器、惯性传感器等可穿戴本身的一些固有缺陷，从而使对人日常生活中的步态进行分析成为可能。

当前，惯性传感器已被广泛应用于计步技术中，然而，步态分析需要获取的步态参数要求更高的精度，而由于惯性传感器固有的累计误差问题无法从本质上消除，因此，现有技术中还无法直接用惯性传感器数据计算精确的步态参数。本实施例中，引入麦克风进行声音数据的采集，麦克风小巧、廉价，非常适合配合可穿戴的相关智能设备使用。在双脚在行走时，脚步声比较清晰和可靠，通过对脚步声的检测，可以准确判断步态行走的一些时间参数(如单步周期、步行周期、摆动初期、零速检测等)。这样，通过结合麦克风的脚步声音数据的分析，可以很大程度上消除和改善传统惯性传感器进行步态分析时引入的累计误差。

图1示出了本实施例的步态数据集的构建方法的示意图，该步态数据集的构建方法包括下列步骤：

步骤101：让测试人在测试区域内直线行走，利用可穿戴传感器和传统的步态采集装置，同步采集可穿戴传感器数据和传统步态信息。本步骤中，可穿戴传感器包括麦克风和惯性传感器，其中惯性传感器包括加速度仪、陀螺仪、地磁传感器等。

一个实施例中，可以根据具体采集情况对所采集的样本进行分类。例如，对采集主体分类：姓名、性别、身高、体重、年龄、正常人、步态异常人；对采集时间分类：季节、日期、时间；对采集地点分类：室内、室外；对采集主体穿鞋分类：运动鞋(软底)、运动鞋(硬底)、皮鞋；对采集地面分类：木质地面、石质地面、毛/棉地毯地面、土地面。可以将全部或者部分上述分类信息标记在所采集的可穿戴传感器步态数据的样本上，从而为后续的步态分析工作提供更好的支持。

在一个例子中，用于采集步态数据的采集装置至少包括：麦克风和惯性传感器(例如，加速度仪、陀螺仪、地磁传感器等)。其中，采集装置佩戴方式可以为左右双脚同时佩戴。通过在双足上同时使用两个步态数据采集装置节点，将左右脚的数据进行分析融合，可以获得比单足测量方式更准确的信息。具体的，可以将采集装置装在鞋中的不同位置(参考图4所示，一般在生产鞋时预装在鞋里)或者穿戴在双脚脚踝处(参考图5所示)。本实施例中，将采集装置佩戴在左右脚的对称位置上。

如图4和图5所示，在进行步态数据采集时，可以将采集节点(装置)分别穿戴在两只脚上或者左右脚分别穿戴上预植入采集节点的鞋子。

图4和图5中，a表示步态采集装置，b表示松紧绷带，用于固定采集装置，同时有利于用户穿戴的舒适度。对于如图4所示的佩戴方式，双脚穿戴上后，可以根据需要将鞋子穿紧，使鞋子在脚上不发生移动。由于将步态采集装置穿戴在脚踝内侧时，可能会对正常行走带来影响，进而影响步态及采集到的步态参数，因此可以将步态采集装置佩戴在脚踝外侧、后侧和前侧。

对于如图5所示的佩戴方式，双脚穿戴上后，可以根据需要调整松紧绷带，使其紧紧固定在足部，不发生移动。将步态采集装置预装在鞋中时，采集装置可以位于鞋帮的前侧、外侧、后侧和鞋底。

在采集人体步态数据的实验开始前，可以选择性地进行以下准备：

S1-0a：记录被试者的个人信息，可以例如包括：姓名、性别、身高、体重、年龄、是否被正规医疗机构诊断为步态异常人。

S1-0b：记录采集地点：室内、室外。由于本发明采用的是融合声音信号的多传感器的采集步态数据的方法，所以为了降低对所采集的数据的干扰，在选取测试地点时，应尽量避开环境吵闹的地方。

S1-0c：记录采集时间：季节、日期、时间(具体到几点几分)。应理解，在不同的季节，由于人体穿着不同、打扮不同、身体负重不同等因素，或多或少会影响人体步态。另外一天中不同的时段，餐饮、起居等也有可能影响人体步态。

S1-0e：记录采集主体穿鞋：运动鞋(软底)、运动鞋(硬底)、皮鞋。

S1-0f：记录采集地面：木质地面、石质地面、毛/棉地毯地面、土地面。

步骤102：利用预先布置在所述测试区域内的高清摄像机拍摄能够追踪被测人行走过程的视频或者利用被测人行走所留下的脚印，通过人工识读或者通过计算机自动识别技术从该视频和脚印中得出被测人行走过程样本的步态参数。本实施例中，步态参数可以包括以下类型中的一种或多种：步距、步宽、步长、步幅、步数、步频、步速、步行距离、步行时间、单步时间、步态周期、支撑初期(包括左、右脚的支撑初期)、支撑中期(包括左、右脚的支撑中期)、支撑末期(包括左、右脚的支撑末期)、摆动期(包括左、右脚的摆动期)。图2示出了本实施例中的步态距离参数的示意图。其中，步态距离参数包括：步距、步宽、步长、步幅等。对于距离参数和步数，可以通过被测人行走所留下的脚印测出。可以预先在测试区域地面上撒一层薄粉末(例如面粉或者石灰粉)，或者在被测人鞋底预先涂抹易留下明显脚印的颜料，使得测试区域地面上留下脚印，然后再通过测量脚印得出步距、步宽、步长、步幅和步数。当然，上述测量距离参数的方法并不是唯一的，在另一实施例中，还可以采用专业压力测试板来测量距离参数。而对于时间参数，例如步频、步速、步行距离、步行时间、单步时间、步态周期、支撑初期(包括左、右脚的支撑初期)、支撑中期(包括左、右脚的支撑中期)、支撑末期(包括左、右脚的支撑末期)、摆动期(包括左、右脚的摆动期)等，可以使用高清摄像机摄像，通过分析每帧图像，进而确定步态行为的起始时间，进而得到上述时间参数。在另一个实施例中，可以用支撑期来代替上述时间参数中的支撑初期、支撑中期和支撑末期。支撑期是从支撑初期的开始时刻到支撑末期结束时刻的整体支撑时期。

在所述测试区域中，可以预先布置横向和纵向高清摄像机(有时简称为摄像机)到预定位置，使得在高清摄像机能够拍摄到步行过程中完整的双脚脚踝及脚踝以下全部。图3示出了本实施例中的用于进行时间标注的高清摄像机拍摄场景的俯视示意图。如图3所示，其中：v表示纵向摄像机距离步行行走线(即步行路线)的垂直距离；l表示采集步态参数时的步行距离。v和l的距离，应使得在高清摄像机不进行移动和旋转的情况下，能够拍摄到步行过程中完整的双脚脚踝及脚踝以下部分。横向摄像机是沿着步行方向拍摄的静止摄像机，如图3所示。

需要指出，如果被测人行走过程超出图3所示的l的范围时，纵向摄像机就可能难以准确记录人的步行信息。因此，为了增大纵向摄像机的可拍摄的范围，在另一个实施例中，可以将纵向摄像机安装在与步行方向平行的轨道上，使得纵向摄像机能够以与被测人步行速度大致相同的速度跟随该被测人移动，从而使得该纵向摄像机能够始终拍摄到步行过程中完整的双脚脚踝及脚踝以下部分。并且，为了便于计算机识别，在步行线路所涉及的区域的地面上预先画横向和纵向的线(或坐标)，在画横向和纵向的线(或坐标)时，相邻两条线之间的距离不宜过大，以免造成后期标注引入更多误差。这样，在被测人步行过程中，通过横向和纵向高清摄像机采集图像，然后标出在每一帧图像所对应时刻以及识别出该帧图像中左右脚在地上的坐标体系中的位置，进而得出准确的步态参数。图6示出了基于该实施例的对步态参数进行测量的场景示意图，参考图6，该实施例中具体的步态参数测量过程如下：在位于行走路线中的地上一个长方形区域画出网格(图6中，长方形区域长5.0m，宽0.8米。地上标定了坐标系，用横向和纵向的高清摄像机拍摄，这两个高清摄像机可用于标注步态时间参数和步态距离参数)，这个长方形网格是被不同颜色的纵横直线切割为许多个小的正方形(例如5cm×5cm的正方形)，这样就相当于给地上画了一个很大的易于识别的坐标，从而使所测量的估计步态距离参数的最大误差控制在2-3cm以内。人在这个长方形网格上正常行走的行走过程中，采用纵向和横向的高清摄像机同时拍摄，即可依靠所述网格的辅助，从所拍摄的图像中方便地获得作为标注数据的距离参数。具体地，可在地上定一个坐标原点，可以从高清摄像机拍摄的图像(一帧一帧)中，清楚的看到行走的每一步在地上的坐标位置，进而可以标注出距离参数。

进一步地，表1给出了各种步态参数的定义，以及一些获取步态参数的方法。

表1

综上所述，上述实施例中，通过预先布置的视频采集设备和预先布置的易于留下脚印的采集措施，获取能够追踪被测人行走过程的视频以及测试后留下的脚印，通过人工测量或者计算机自动识别技术，得出所采集的步态数据样本对应的步态参数。易于留下脚印的采集措施可做广义理解，例如可采用专业的压力测试板获取被测人行走过程中的电子脚印信息，然后再基于该电子脚印信息得出对应的步态参数。

步骤102中，所得出的步态参数可视为直接测量的结果，准确度高，因此可用于标注所述步态数据(步骤101所得的基于可穿戴传感器的传感数据)，因此这些步态参数也可称为标注数据。

步骤103：得出所采集的样本数据对应的步态参数后，用所得出的步态参数标注对应的可穿戴传感器步态数据，从而得到标注后的样本数据(在图1中称为存储数据)。

重复执行上述步骤101～103，即可获得基于可穿戴传感器数据的样本的标注数据集，其中包括可穿戴传感器采集的样本数据及对该样本数据的标注，该标注包括一系列表征步态信息的步态参数。在一个例子中，这些样本数据和由步态参数组成的步态特征向量(可称为样本数据的步态特征向量)一一对应，从而方便查询。

上述实施例中，标注数据集采用声音信号和惯性传感器进行采集步态数据，融合了多模态数据，所获得的数据集中的数据量大、分类清晰、方便分析和研究；同时，采用多种标注方法对步态数据进行准确的标注，对数据集而言可以获得精准的标注。

进一步地，根据本发明的另一实施例，还提供了一种基于上述标注数据集的步态分析方法，包括：

步骤100：建立基于多种可穿戴传感器采集的人体步态数据的标注数据集，该数据集至少包括可穿戴传感器采集的样本数据及对该样本数据的标注，该标注包括一系列表征步态信息的步态参数。本实施例中，所述的多种可穿戴传感器包括惯性传感器和声传感器，在采集步态数据时，它们都部署在被测人的脚部。

步骤200：建立从步态数据到步态参数的映射模型，用所述的标注数据集训练该映射模型。本步骤中的映射模型是一种基于多传感器(包括惯性传感器和声传感器)融合的策略的映射模型。具体来说，就是作为该映射模型输入数据的步态数据包括惯性传感器步态数据和声传感器数据。发明人研究发现，如果依靠单纯的惯性传感器数据来检测步态参数时，会由于穿戴者的脚步的轻重快慢等行走习惯导致较多的漏检；而单纯的依靠声传感器数据来检测步态参数时，会由于穿戴着的体重、走路快慢等导致较多的错检。故本实施例中，在建立从标注数据到步态参数的映射模型时，在训练此模型时，采用了融合这两种传感器数据的策略，这样惯性传感器步态数据和声传感器数据可以互相弥补缺陷。

本步骤中的映射模型可以是BP神经网络模型或者SVM支持向量机模型。BP神经网络可参考文献：Learning internal representations by back-propagating errors，DE Rumelhart，GE Hinton，RJ Williams-《Nature》–1986；SVM支持向量机可参考文献：P.H.Chen,C.J.Lin,and B.A tutorial onν-support vector machines,Appl.Stoch.Models.Bus.Ind.2005,21,111-136.。

步骤300：利用部署在被测人脚部的惯性传感器和声传感器实时采集被测人的步态数据，然后基于所测的步态数据，基于训练后的映射模型得出被测人当前的步态参数。

上述步态分析方案能够通过可穿戴式的设备进行步态数据采集，不需要预先在测试环境中安装采集设备，从而拓宽了步态分析的应用领域，使对人日常生活中的步态进行采集和分析成为可能。并且，初步试验表明，基于融合策略的映射模型相比较单一类型传感器的映射模型有更高的精确率和召回率。其中，精确率可提高约10％，召回率可提高约10％。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管上文参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。