基于惯性动作捕捉设备的虚拟交互运动辅助系统及方法

摘要

本发明涉及一种基于惯性动作捕捉设备的虚拟交互运动辅助系统，包括：动作捕捉模块，用于构建3D人物模型、采集人体动作数据并传输至人机交互模块；心率测定模块，用于采集人体心率数据进行处理；体脂测定模块，用于采集人体的体脂数据进行处理；人机交互模块，是集采集基本信息、数据分析与监控、图像显示、语音播报部分、模式选择于一体的用户界面，采用Unity3D平台，以客户端的形式呈现在显示屏上。本发明还公开了一种基于惯性动作捕捉设备的虚拟交互运动辅助系统的辅助方法。本发明适用人群普遍，不局限于某类人群，可推广至大众；多功能化，不仅能将运动动作在虚拟世界中重现，还能进行动作纠错，体脂分析，心率实时监测和报警。

说明书

技术领域

本发明涉及健身运动人机交互技术领域，尤其是一种基于惯性动作捕捉设备的虚拟交互运动辅助系统及方法。

背景技术

健康问题是社会普遍关注的民生问题，虽然目前有多种运动方式可供选择，但在运动过程中仍存在着不容小觑的问题，如动作不规范容易导致肌肉以及关节的损伤，同时会使得运动效果变差，效率变低；运动不规律以及运动强度过大都会增加身体的负担，甚至会对个人生命造成严重威胁。此外，不同的人群对应着不同的运动需求，特别是中老年人心脏泵血功能、肺通气能力逐年下降，骨质疏松又使骨折危险性增大，更要注重运动的合理性和计划性。而小朋友适当运动有益健康，但太小的孩子因肌力不够、骨骼尚在发展，不建议进行长跑、举重这类运动。

Unity3D开发平台用于设计客户端，即人机交互模块，将人体动作通过设计的3D人物模型在Unity3D平台开发出来的客户端中呈现出来，并实现人机交互的功能，支持所有主要文件格式，并能和大部分相关应用程序协同工作。低端硬件亦可流畅运行广阔复杂的场景。Unity3D内置的NVIDIA、PhysX物理引擎带能够带来逼真的互动感觉，实时三维图形混合音频流、视频流。Unity3D引擎具备开发过程技术要求高，高级渲染效果和用户定制支持远远高于其它的优势，非常适合产品虚拟展示在交互访问和逼真表现的需求。

目前常用于科学分析三维运动姿态的设备为光学动捕设备，而真正使用惯性动捕设备完成三维动作分析的系统很少，但光学动捕的整套设备的成本极为昂贵，架设繁琐，易受遮挡或光干扰的影响，给后期处理工作带来很多麻烦。对于一些遮挡严重的动作来说，光学动捕无法准确实时还原例如下蹲、拥抱、扭打等动作。而基于惯性传感器系统的动作捕捉技术的出现，大大改善了这一现状。一套惯性动捕设备用一个手提箱就能装得下，相比之下，其优势在于使用方便、不怕遮挡、无光照影响、室内室外均可使用等，能完全摆脱环境、天气的限制，真正实现全天候、无限制的动作捕捉。总的来说，和光学动捕技术相比，惯性动作捕捉技术有着对捕捉环境的高适应性，它的技术优势、成本优势和使用便捷的优势，使得它在各行业有着优异的表现。在影视动画、体验式互动游戏、虚拟演播室、真人模拟演练、体育训练、医疗康复等领域，惯性动作捕捉系统都有着明显优于其他设备的特点。

目前已研制出的各种采用光学动捕或惯性动捕设备的三维姿态捕捉的运动辅助系统，其不足之处在于：第一，适用人群单一：运动辅助系统大多仅针对于特殊人群适用，如进行康复训练的病患或者某类职业运动员等，并未将其普及至大众；第二，运动模式单一：系统仅支持康复治疗或者职业运动训练一种模式，如乒乓球训练等；第三，结构功能单一：系统只能通过动作捕捉采集运动数据进行处理，未设置其他模块的开发，缺乏多功能性；第四，使用不方便：市场上绝大多数运动辅助设备均为光学动作捕捉设备，但其体型庞大，价格昂贵，受场地条件影响等因素，不便于使用者随时随地使用；第五，未强调安全性：系统以检测运动训练是否达标为主，而为对运动的安全性实时监测，对可能存在的危险性没有起到一个防范的作用。

发明内容

本发明的首要目的在于提供一种能将人体真实运动情况呈现至虚拟界面中，并通过测量四元数、心率、体脂数据进行数据分析、运动纠错和运动强度智能监控的基于惯性动作捕捉设备的虚拟交互运动辅助系统。

为实现上述目的，本发明采用了以下技术方案：一种基于惯性动作捕捉设备的虚拟交互运动辅助系统，包括：

动作捕捉模块，用于构建3D人物模型、采集人体动作数据并传输至人机交互模块；

心率测定模块，用于采集人体心率数据进行处理，并传输至人机交互模块；

体脂测定模块，用于采集人体的体脂数据进行处理，并传输至人机交互模块；

人机交互模块，是集采集基本信息、数据分析与监控、图像显示、语音播报部分、模式选择于一体的用户界面，采用Unity3D平台，以客户端的形式呈现在显示屏上；

所述动作捕捉模块、心率测定模块、体脂测定模块、人机交互模块均内置无线通讯模块，人机交互模块通过无线通讯模块分别与动作捕捉模块、心率测定模块、体脂测定模块无线双向通讯。

所述心率测定模块与体脂测定模块集成在同一个电子设备上，所述心率测定模块采用心率血氧传感器；所述体脂测定模块采用阻抗检测电路；所述人机交互模块采用PC机。

所述动作捕捉模块采用一套可穿戴式惯性动作捕捉设备，该设备内置多个惯性传感器子节点，多个惯性传感器子节点之间通过射频模块进行无线连接和数据传输；多个惯性传感器子节点安装在绑带上，以穿戴的形式绑定在人体各个指定部位进行数据采集，数据采集部位包括了头部、腰部、背部、手部、左右肩部、左右上臂、左右前臂、左右手、左右大腿、左右小腿、左右足的全身动作数据部位。

所述电子设备为穿戴式运动手环或者小型手握式设备。

所述惯性传感器子节点包括：

三轴加速度计，通过惯性传感器子节点在三轴的任意轴向的受力情况来得到三轴运动情况，所述三轴运动情况为轴向的加速度大小和XYZ方向；

三轴陀螺仪，通过测量三维坐标系内陀螺转子的垂直轴与各个惯性传感器子节点之间的夹角，并计算角速度，通过夹角和角速度来判别人体在三维空间的运动状态，即设备自身的旋转运动，最终判断出设备的移动轨迹和加速度；

三轴磁力计，用于测试磁场强度和方向，定位各个惯性传感器子节点位于人体上的方位；

三维电子罗盘，采用三轴磁阻传感器测量平面地磁场，用于双轴倾角补偿。

本发明的另一目的在于提供一种基于惯性动作捕捉设备的虚拟交互运动辅助系统的辅助方法，该方法包括下列顺序的步骤：

(1)用户注册账户，成立个人数据库，在使用时记录和保存身高、体重、年龄等数据，并对运动时测量和处理的四度元、心率、体脂等数据进行监控；

(2)用户登录账号，穿戴可穿戴式惯性动作捕捉设备并启动该设备；

(3)用户根据个人需求选择一款运动模式，在运动过程中，动作捕捉模块和心率测定模块进行实时工作，其中，动作指导和动作纠错主要由动作捕捉模块和人机交互模块来完成，人机交互模块界面显示预先构建好的虚拟教练人物模型的动作，并对每一个动作做相应的语音播报，指导用户完成相应的动作，同时，可穿戴式惯性动作捕捉设备将用户的动作数据采集、处理并传输至人机交互模块，并将虚拟教练人物模型和用户模型同时显示在人机交互模块中进行对比，由人机交互模块将两种人物模型的动作数据进行对比分析，计算出姿态误差，来判断动作是否出错，并进行动作纠错；用户运动过程中，心率测定模块实时采集人体脉搏、血氧数据，处理并传输至人机交互模块中，由人机交互模块计算分析出心率值和最大心率值，通过比较此时的心率值是否超过最大心率值，来判断运动强度的大小，强度过大则启动安全报警，直至心率值回归到阈值以内，警报解除，强度合理则无影响，继续正常运动；需要测体脂时，启动体脂测定模块为工作状态，采集人体电阻数据传输至人机交互模块中，由人机交互模块计算和分析出其体脂率，给出分析报告。

所述动作捕捉模块通过3D建模构建虚拟教练人物模型和用户人物模型，3D建模运用骨骼绑定技术给人物模型做骨骼绑定，使人物模型能够根据可穿戴式惯性动作捕捉设备采集到的三维姿态数据运动起来，其运动的效果与穿戴可穿戴式惯性动作捕捉设备的真人的运动效果相同；所述虚拟教练人物模型所采集到的动作数据为非实时数据，需提前采集并录制成人物模型的运动动画，将其导入Unity3D平台中处理；所述用户人物模型采集实时数据，传输至Unity3D平台显示出用户运动的实时状态。

由上述技术方案可知，本发明的有益效果为：本发明适用人群普遍，不局限于某类人群，可推广至大众；本发明多功能化，不仅能将运动动作在虚拟世界中重现，还能进行动作纠错，体脂分析，心率实时监测和报警；本发明多模式化，通过录制不同的规范动作动画，设计成不同的运动模式，供用户选择不同的运动方式；本发明安全性强，通过实时心率值监控运动强度，在运动安全防护起到一定的有效作用，通过体脂分析可让用户了解到自身的体脂情况，对用户健身的调整起到一个监控和对比的效果；本发明携带方便，场地无限制，设备体积相对较小，方便携带出门，无需任何摄像头，不受光线干扰，只需要在最少一平米的人能站下的空间内使用即可。

附图说明

图1是本发明的系统结构框图；

图2是本发明的数据传输示意图；

图3是本发明中惯性传感器子节点的结构示意图；

图4是本发明实施例一的可穿戴式惯性动作捕捉设备的示意图；

图5是本发明实施例二的可穿戴式惯性动作捕捉设备的示意图；

图6是本发明的方法流程图；

具体实施方式

如图1所示，一种基于惯性动作捕捉设备的虚拟交互运动辅助系统，包括：

动作捕捉模块，用于构建3D人物模型、采集人体动作数据并传输至人机交互模块；

心率测定模块，用于采集人体心率数据进行处理，并传输至人机交互模块；

体脂测定模块，用于采集人体的体脂数据进行处理，并传输至人机交互模块；

人机交互模块，是集采集基本信息、数据分析与监控、图像显示、语音播报部分、模式选择于一体的用户界面，采用Unity3D平台，以客户端的形式呈现在显示屏上。

所述动作捕捉模块、心率测定模块、体脂测定模块、人机交互模块均内置无线通讯模块，人机交互模块通过无线通讯模块分别与动作捕捉模块、心率测定模块、体脂测定模块无线双向通讯。

所述心率测定模块与体脂测定模块集成在同一个电子设备上，所述心率测定模块采用心率血氧传感器；所述体脂测定模块采用阻抗检测电路；所述人机交互模块采用PC机1。

心率测定模块采集佩戴者脉搏信息，计算佩戴者心率、血氧等生命体征信息，通过蓝牙或WiFi等方式将数据传输至客户端即人机交互模块，采集的数据为实时数据；体脂测定模块采用生物电阻抗分析法，采集佩戴者的阻抗，根据脂肪不易导电的原理，可计算得出佩戴者脂肪与非脂肪物质的比例，从而计算出佩戴者的体脂率。心率测定模块在运动过程中实时采集数据，而体脂测定模块是为了检测体脂率，以便于调整运动量，则不需要实时采集数据，其工作模式在需要时通过软件和硬件控制才启动，两个模块集成在同一个电子设备上，其对应的数据传输通过蓝牙或WiFi等方式完成，有利于使用者根据自身的情况调整运动强度和运动量，提高运动的安全性和合理性。

所述动作捕捉模块采用一套可穿戴式惯性动作捕捉设备，该设备内置多个惯性传感器子节点3，多个惯性传感器子节点3之间通过射频模块进行无线连接和数据传输；多个惯性传感器子节点3安装在绑带上，以穿戴的形式绑定在人体各个指定部位进行数据采集，数据采集部位包括了头部、腰部、背部、手部、左右肩部、左右上臂、左右前臂、左右手、左右大腿、左右小腿、左右足的全身动作数据部位。

所述电子设备为穿戴式运动手环或者小型手握式设备。

所述惯性传感器子节点3包括：

三轴加速度计，通过惯性传感器子节点3在三轴的任意轴向的受力情况来得到三轴运动情况，所述三轴运动情况为轴向的加速度大小和XYZ方向；

三轴陀螺仪，通过测量三维坐标系内陀螺转子的垂直轴与各个惯性传感器子节点3之间的夹角，并计算角速度，通过夹角和角速度来判别人体在三维空间的运动状态，即设备自身的旋转运动，最终判断出设备的移动轨迹和加速度；

三轴磁力计，用于测试磁场强度和方向，定位各个惯性传感器子节点3位于人体上的方位；

三维电子罗盘，采用三轴磁阻传感器测量平面地磁场，用于双轴倾角补偿。

如图6所示，本方法包括下列顺序的步骤：

(1)用户注册账户，成立个人数据库，在使用时记录和保存身高、体重、年龄等数据，并对运动时测量和处理的四度元、心率、体脂等数据进行监控；

(2)用户登录账号，穿戴可穿戴式惯性动作捕捉设备并启动该设备；

(3)用户根据个人需求选择一款运动模式，在运动过程中，动作捕捉模块和心率测定模块进行实时工作，其中，动作指导和动作纠错主要由动作捕捉模块和人机交互模块来完成，人机交互模块界面显示预先构建好的虚拟教练人物模型的动作，并对每一个动作做相应的语音播报，指导用户完成相应的动作，同时，可穿戴式惯性动作捕捉设备将用户的动作数据采集、处理并传输至人机交互模块，并将虚拟教练人物模型和用户模型同时显示在人机交互模块中进行对比，由人机交互模块将两种人物模型的动作数据进行对比分析，计算出姿态误差，来判断动作是否出错，并进行动作纠错；用户运动过程中，心率测定模块实时采集人体脉搏、血氧数据，处理并传输至人机交互模块中，由人机交互模块计算分析出心率值和最大心率值，通过比较此时的心率值是否超过最大心率值，来判断运动强度的大小，强度过大则启动安全报警，直至心率值回归到阈值以内，警报解除，强度合理则无影响，继续正常运动；需要测体脂时，启动体脂测定模块为工作状态，采集人体电阻数据传输至人机交互模块中，由人机交互模块计算和分析出其体脂率，给出分析报告。

所述的动作捕捉模块实现的3D人物模型构造，需要使用3D建模技术设计出3D人物模型，运用骨骼绑定技术给人物模型做骨骼绑定，使人物模型能够根据动捕设备采集到的三维姿态数据运动起来，其运动的效果与穿戴该动捕设备的真人的运动效果几乎完全相同；其中，人物模型包含两种类型且采集的三维姿态数据不完全相同，一种是虚拟教练人物模型，是用户运动时可交互辅助系统，动作对比纠错功能的实现方法至少为两种方法参考的运动对象，所采集到的动作数据为非实时数据，需提前采集并录制成人物模型的运动动画，将其导入Unity3D平台中处理；另一种是供用户使用的用户人物模型，采集实时数据，传输至Unity3D平台显示出用户运动的实时状态。

如图1、2、3所示，可穿戴式惯性动作捕捉设备采集的数据为四元数，该设备将数据处理并传输至客户端即人机交互模块，由客户端对虚拟教练人物模型与用户使用的运动人物模型的动作数据进行对比，计算和分析出姿态误差，完成动作指导和纠错的功能；体脂测定模块使用的数据采集方法为生物电阻抗分析法，采集的数据为人体电阻等与体脂相关的非实时数据，该模块将数据处理并传输至客户端，由客户端计算分析出体脂率，并给出分析报告；心率测定模块使用的数据采集方法为光电容积法，采集的数据为脉搏、血氧等与心率相关的实时数据，该模块将数据处理并传输至客户端，由客户端计算并分析出心率值，通过与设定的阈值，即计算出的最大心率值，进行对比，判断其运动强度是否合理，并做出相应的反应，强度过大则发出警报，直至警报解除，强度合理则不做处理，继续运动；人机交互模式的最终表现形式为客户端，其主要功能以实现动作示范指导、动作对比和纠错、根据心率值监控运动强度、体质分析和建议为主。各个模块之间相互作用，共同达到安全运动和辅导的效果。

如图2所示，子节点间通过2.4G射频，通过每个子节点上面的RF射频模块，将数据无线传输到Hub主节点2中，再传输到PC机1配套软件Axis Neuron PRO中，将穿戴在身上的惯性传感器子节点3的原始数据梳理、整合，从而使软件中人物模型的动作和穿戴者的动作做到完全一致。其数据传输的工作范围在7-10米之内，设备使用场地无限制，不需要任何摄像头，没有场地限制，对现场光源也没有要求。这就是纯惯性动作捕捉的优势，只需要最少一平米人能站下的空间，就可以最快5分钟内，实现从开箱到拿到动作捕捉数据。

实施例一

如图2、3、4所示，本发明中动作捕捉模块的数据采集需要使用到惯性动作捕捉设备，以Perception Neuron PRO为例，详细介绍动作捕捉模块的内部结构。该设备共有1个Hub主节点2和17个子节点，子节点为惯性传感器，具体为9轴传感器，主要包括陀螺仪、加速度计、电子罗盘三种传感器，用来采集并记录人体运动数据，其中，加速计主要通过测量组件在某个轴向的受力情况来得到三轴运动情况，表现形式为轴向的加速度大小和方向(XYZ)；三轴陀螺仪通过测量三维坐标系内陀螺转子的垂直轴与设备之间的夹角，并计算角速度，通过夹角和角速度来判别物体在三维空间的运动状态，即设备自身的旋转运动，最终可判断出设备的移动轨迹和加速度；电子罗盘应用三轴磁阻传感器测量平面地磁场，双轴倾角补偿。使用该设备需要将子节点逐个安装在身体绑带上的底座上使用，以穿戴的形式绑定在人体各个指定部位进行数据采集，数据采集部位包括了头部、腰部、背部、手部、左右肩部、左右上臂、左右前臂、左右手、左右大腿、左右小腿、左右足等的全身动作数据部位。在图4中，H：头部，S：手部、左右手、左右足，M：左右小腿、左右上臂，L：左右大腿，U：腰部、胯部、左右肩部。

实施例二

如图2、3、5所示，所述动作捕捉模块的数据采集需要使用到惯性动作捕捉设备，以TAURUS MIISUIT为例，其与Perception Neuron PRO同样是采集三维姿态数据，有1个Hub主节点2和15个子节点，使用该设备需要将子节点逐个安装在身体绑带上的底座上使用，以穿戴的形式绑定在人体各个指定部位进行数据采集，数据采集部位包括了头部、腰部、胯部、手部、左右肩部、左右上臂、左右手、左右大腿、左右小腿、左右足等的全身动作数据部位。其中子节点共包含了37组惯性传感器，子节点间通过5.8G射频，通过每个子节点上面的RF射频模块，将数据无线传输到Hub主节点2中，再传输到配套软件SpringVR Client中，将传感器原始数据梳理、整合，从而使软件中人物模型的动作和穿戴者的动作做到完全一致。

综上所述，本发明所具有的丰富的功能可在不影响使用者正常活动的情况下自主实现。相比于现有的运动辅助系统，其优势在于将人体标准动作与实际动作可视化和数据化，对训练效果实时监控，适于大众使用，价格相对比较实惠，本发明在辅助大众运动方面有着重要的意义。