一种脑卒中上肢康复训练方法和系统

摘要

一种脑卒中上肢康复训练方法和系统，包括：构建出虚拟康复训练场景；采集患者手部坐标的动态数据，对所述动态数据和手部动作对象的位置信息进行处理，通过处理结果识别手部的动作，使手部的动作与场景进行交互，以完成康复训练的指定动作；通过虚拟现实头盔实时显示手部在虚拟现实康复训练场景中的动作。本申请通过体感控制器采集手部坐标，不仅价格低廉，且精确度高，无需事先校准，场景内容有趣，沉浸感强虚拟现实装置沉浸感强，使患者在康复训练过程中不断获得激励，从而能够长期坚持康复训练。

说明书

技术领域

本申请涉及医疗保健领域，尤其涉及一种脑卒中上肢康复训练方法和系统。

背景技术

脑卒中等中枢神经系统疾病是导致残疾的一个重要原因。大部分患者脑卒中后会有肢体活动障碍甚至严重残疾。而脑卒中后早期开始的运动康复训练可以最大程度地降低肢体残疾几率。传统的康复训练是由康复医师一对一地对患者进行的人工辅助训练，然而由于康复医师的严重匮乏(目前全国康复师与需求人口的比例仅仅达0.4:10万人)，使得人工辅助训练的方式因供不应求而效率低下，另外传统的康复训练较为枯燥，使得患者长期坚持康复训练的意愿减弱。患者在脑卒中后早期不能及时得到有效的康复训练，又会使得患者残疾的几率增加。

虚拟现实应用在运动康复训练方面是一个很好的解决办法。虚拟康复训练，能够降低康复师的依赖程度，甚至可以实现患者居家康复。而且虚拟的康复训练场景可以使原本枯燥的训练变得有趣，使得患者能够坚持训练。

目前上肢的虚拟康复训练系统方案包括使用数据手套设备和Kinect设备。数据手套是一种可穿戴式设备，可以检测手部的运动信息，可以在虚拟场景中实现触摸、抓取、释放等动作。目前主流的数据手套包括光纤传感器数据手套和力反馈数据手套。光纤传感器数据手套测量准确，能够精确地反映手部运动信息。力反馈数据手套除了可以检测手部的运动信息外，还可以实现触觉反馈，使得手部能够感受到虚拟现实的力反馈。但是，数据手套价格高昂，很大程度上增加了康复训练系统的成本，且每次使用前需要进行动作校正，不利于居家康复的实现。

Kinect是微软公司出品的体感设备，含有一个彩色摄像头和一个深度摄像头，可以利用Kinect的骨架跟踪和深度信息来检测和跟踪人体运动。可以通过对动作的相似度判断，来进行手势或动作识别。Kinect能够对全身的运动做出检测，但精确度不足，其对细节动作的检测不够准确、敏感。如对手指的运动无法精确识别，无法进行手指的康复训练。

发明内容

本申请提供一种脑卒中上肢康复训练方法和系统。

根据本申请的第一方面，本申请提供一种脑卒中上肢康复训练方法，包括：

构建出虚拟康复训练场景；

采集患者手部坐标的动态数据，对所述动态数据和手部动作对象的位置信息进行处理，通过处理结果识别手部的动作，在虚拟场景中映射出虚拟的手，使手部的动作与场景进行交互，以完成康复训练的指定动作；

通过虚拟现实装置实时显示手部在虚拟现实康复训练场景中的动作。

上述方法中，所述通过处理结果识别手部的动作，具体包括：

设虚拟的手H与场景中的手部动作对象A之间的距离为d_HA；

当d_HA≤0时，判定为虚拟的手与所述手部动作对象发生触碰。

上述方法中，所述通过处理结果识别手部的动作，还包括：

当d_HA≤0时，且虚拟的手的拇指T与食指I之间的距离d_TI小于第一预设值，判定为虚拟的手抓取到了特定物体，此时将所述特定物体绑定为虚拟的手的子物体，所述特定物体随虚拟的手移动和旋转。

上述方法中，所述通过处理结果识别手部的动作，还包括：

在抓取动作的状态下，当d_TI大于第二预设值时，判定为虚拟的手释放了所述特定物体，此时将所述特定物体从虚拟的手的子物体中解除绑定，物体不再跟随虚拟的手移动和旋转。

上述方法中，所述通过处理结果识别手部的动作，还包括：

在预定时间内，当虚拟的手的食指的最高的z轴坐标z_i1与其最低的z轴坐标z_i2之间的距离d_iz大于第三预设值时，且手腕关节的最高的z轴坐标z_w1与手腕关节的最低的z轴坐标z_w2之间的距离d_wz小于第四预设值时，识别为拍球的动作。

上述方法中，所述在虚拟场景中映射出虚拟的手，具体包括：

所述患者手部坐标的动态数据包括患者手部关节位置的坐标信息；

通过所述关节坐标信息在虚拟场景中的相应位置映射出虚拟的手，使手的姿势和相对位置与现实中保持一致。

上述方法中，还包括：

在虚拟的手与虚拟现实康复训练场景进行交互时，当虚拟的手碰到场景中的物体时，发出已经触碰到物体的提示信息。

上述方法中，还包括：

建立手部及上肢部分的动作与上田敏评价法的量化对应关系；

根据患者手部坐标的动态数据，判断手部及上肢运动的姿势、角度、速度及范围是否达到了上田敏评价法中指定评估动作的要求；

根据判断结果对动作完成情况进行评估。

根据本申请的第二方面，本申请提供一种脑卒中上肢康复训练系统，包括：

体感控制器，用于获取患者手部坐标的动态数据；

智能终端，包括处理模块，用于采集患者手部坐标的动态数据，对所述动态数据和手部动作对象的位置信息进行处理，通过处理结果识别手部的动作，在虚拟场景中映射出虚拟的手，使手部的动作与场景进行交互，以完成康复训练的指定动作；

虚拟现实装置，用于实时显示手部在虚拟现实康复训练场景中的动作。

上述系统中，设虚拟的手H与场景中的手部动作对象A之间的距离为d_HA；

所述处理模块还用于，当d_HA≤0时，判定为虚拟的手与所述手部动作对象发生触碰。

上述系统中，所述处理模块还用于，当d_HA≤0时，且虚拟的手的拇指T与食指I之间的距离d_TI小于第一预设值，判定为虚拟的手抓取到了特定物体，此时将所述特定物体绑定为虚拟的手的子物体，所述特定物体随虚拟的手移动和旋转。

上述系统中，所述处理模块还用于，在抓取动作的状态下，当d_TI大于第二预设值时，判定为虚拟的手释放了所述特定物体，此时将所述特定物体从虚拟的手的子物体中解除绑定，物体不再跟随虚拟的手移动和旋转。

上述系统中，所述处理模块还用于，在预定时间内，当虚拟的手的食指的最高的z轴坐标z_i1与其最低的z轴坐标z_i2之间的距离d_iz大于第三预设值时，且手腕关节的最高的z轴坐标z_w1与手腕关节的最低的z轴坐标z_w2之间的距离d_wz小于第四预设值时，识别为拍球的动作。

上述系统中，所述患者手部坐标的动态数据包括患者手部关节位置的坐标信息；

所述处理模块还用于，通过所述关节坐标信息在虚拟场景中的相应位置映射出虚拟的手，使手的姿势和相对位置与现实中保持一致。

上述系统中，还包括臂带振动传感器，用于在虚拟的手与虚拟现实康复训练场景进行交互时，当虚拟的手碰到场景中的物体时，发出已经触碰到物体的提示信息。

上述系统中，所述智能终端还包括评估模块，用于建立手部及上肢部分的动作与上田敏评价法的量化对应关系；根据患者手部坐标的动态数据，判断手部及上肢运动的姿势、角度、速度及范围是否达到了上田敏评价法中指定评估动作的要求；根据判断结果对动作完成情况进行评估。。

由于采用了以上技术方案，使本申请具备的有益效果在于：

⑴在本申请的具体实施方式中，由于包括构建出虚拟康复训练场景；通过对患者手部坐标的动态数据和手部动作对象的位置信息进行处理，识别手部的动作，使手部的动作与场景进行交互，以完成康复训练的指定动作；本申请通过体感控制器采集手部坐标，不仅价格低廉，且精确度高，无需事先校准，场景内容有趣，沉浸感强虚拟现实装置沉浸感强，使患者在康复训练过程中不断获得激励，从而能够长期坚持康复训练。

⑵在本申请的具体实施方式中，本申请在患者完成训练后可自动生成评估报告，解决了现有技术中只能由医师人工评估问题，避免了评估受医师主观影响大的问题，不仅提高了评估的准确性，还节约了人工成本。

附图说明

图1为本申请的方法在一种实施方式中的流程图；

图2为本申请的方法在一种实施方式中识别触碰、抓取、释放动作的流程图；

图3为本申请的方法在一种实施方式中识别拍球动作的流程图；

图4为本申请的系统在一种实施方式中的功能模块示意图；

图5为本申请的系统在一种实施方式中的使用状态示意图；

图6为本申请的系统在另一种实施方式中的功能模块示意图。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

实施例一：

如图1所示，本申请的脑卒中上肢康复训练方法，其一种实施方式，包括以下步骤：

步骤102：构建出虚拟康复训练场景。

构建出虚拟康复训练场景的方式有多种，在本实施方式中，具体可通过Unity3D搭建虚拟现实康复训练场景，场景分别对应不同的康复训练动作，如手指钩状抓握、侧捏及松开拇指、手指球状和圆柱状抓握、上肢水平外展内收、肘关节屈伸、上肢水平移动以及记忆训练等。

步骤104：采集患者手部坐标的动态数据，对所述动态数据和手部动作对象的位置信息进行处理，通过处理结果识别手部的动作，在虚拟场景中映射出虚拟的手，使手部的动作与场景进行交互，以完成康复训练的指定动作。

本申请可通过多种方式采集患者手部坐标的动态数据。在本实施方式中，具体可通过Leap Mot ion获取患者手部坐标信息，然后在虚拟场景中相应位置用这些坐标信息映射出虚拟的手，其姿势和相对位置与真实患者的手相一致。

其中，在虚拟场景中映射出虚拟的手，具体可以包括：

患者手部坐标的动态数据包括患者手部关节位置的坐标信息；

通过关节坐标信息在虚拟场景中的相应位置映射出虚拟的手，使手的姿势和相对位置与现实中保持一致。

坐标信息可以包括单个手部的多个关节坐标信息，如可选择手部的29个关节中的全部或部分关节的坐标信息，在本实施方式中具体可选择29个关节的坐标信息(x1,y1,z1),(x2,y2,z2),……,(x29,y29,z29)，然后在虚拟场景中相应位置用这些坐标信息映射出虚拟的手，其姿势和相对位置与真实患者的手相一致。

步骤106：通过虚拟现实装置实时显示手部在虚拟现实康复训练场景中的动作。

将虚拟现实康复训练场景和虚拟的手在虚拟现实装置中显示出来，在一种实施方式中，可选用虚拟现实头盔，使患者获得身临其境的沉浸感。

本申请的脑卒中上肢康复训练方法中，通过处理结果识别手部的动作，可以包括：

设虚拟的手H与场景中的手部动作对象A之间的距离为d_HA，当d_HA≤0时，判定为虚拟的手与所述手部动作对象发生触碰。在一种实施方式中，可通过蓝牙发送信号给反馈装置，佩戴在患者手的反馈装置发出一次振动，提示患者已经触碰到了物体。在一种实施方式中，反馈装置可选用臂带振动传感器。

在一种实施方式中，通过处理结果识别手部的动作，还可以包括：

当d_HA≤0时，且虚拟的手的拇指T与食指I之间的距离d_TI小于第一预设值N1，判定为虚拟的手抓取到了特定物体，此时将特定物体绑定为虚拟的手的子物体，特定物体随虚拟的手移动和旋转。第一预设值N1具体可根据需要进行设定。

在一种实施方式中，通过处理结果识别手部的动作，还可以包括：

在抓取动作的状态下，当d_TI大于第二预设值N2时，判定为虚拟的手释放了特定物体，此时将特定物体从虚拟的手的子物体中解除绑定，物体不再跟随虚拟的手移动和旋转。第二预设值N2具体可根据需要进行设定。

本申请的方法中，虚拟的手碰到场景中的物体及抓取动作和释放动作的识别流程图如图2所示。

在一种实施方式中，通过处理结果识别手部的动作，还可以包括：

在预定时间T内，当虚拟的手的食指的最高的z轴坐标z_i1与其最低的z轴坐标z_i2之间的距离d_iz大于第三预设值N3时，且手腕关节的最高的z轴坐标z_w1与手腕关节的最低的z轴坐标z_w2之间的距离d_wz小于第四预设值N4时，识别为拍球的动作。其中，预定时间T、第三预设值N3及第四预设值N4均可根据需要进行设定。识别拍球的流程图如图3所示。

本申请可根据Leap Motion采集的患者手部坐标信息的动态变化，识别出手的具体的动作，例如抓取、释放、拍球等，再通过虚拟的手与场景进行交互。交互时，当虚拟的手碰到场景中的物体时，可通过佩戴在患者手上的反馈装置会发出振动反馈，提示患者已经触碰到了物体。

由上述的基本动作构成游戏，例如触碰物体、抓取动作、释放动作可以构成训练手指抓握的场景，拍球动作构成训练腕关节的场景。场景设计为打气球、摘苹果、打木桩等一个个有趣的小游戏，游戏过程中每次得分都会发出鼓励性的音效和画面特效，让患者在康复训练过程中不断获得激励，并且让患者的焦点从康复运动的疼痛中转移，从而能够长期坚持康复训练。

本申请的脑卒中上肢康复训练方法，还可以包括以下步骤：

在虚拟的手与虚拟现实康复训练场景进行交互时，当虚拟的手碰到场景中的物体时，发出已经触碰到物体的提示信息。

在一种实施方式中，本申请的脑卒中上肢康复训练方法，还可以包括：

建立手部及上肢部分的动作与上田敏评价法的量化对应关系；

根据患者手部坐标的动态数据，判断手部及上肢运动的姿势、角度、速度及范围是否达到了上田敏评价法中指定评估动作的要求；

根据判断结果对动作完成情况进行评估。

患者手部坐标的动态数据具体可以包括患者手部多个关节的动态坐标。

使用本申请时，需要注册登陆用户，每个用户名对应一名患者，评估方法与上田敏评价法手部及上肢部分的动作相结合，根据患者完成指定评估动作的情况，自动进行评估，计算出患者在上田敏评价法中的恢复阶段等级，生成可视化评估报告，报告可供康复医师参考。

评估方法如下：每个上田敏评价法手部及上肢部分的项目得分为0到2分，其中，不可能完成得0分，不充分完成得1分，充分完成得2分；患者的恢复阶段等级从1级到12级；若患者在联合反应项目得分达到2分，对应的上田敏评价法将患者的恢复阶段等级评为1级；若患者在随意收缩项目得分达到2分，将患者的恢复阶段等级评为2级；若患者在联带运动项目得分达到1分，将患者的恢复阶段等级评为3级；若患者在联带运动项目得分达到2分，恢复阶段等级评为4级；若患者在联带运动项目得分达到3分，恢复阶段等级评为5级；若患者在联带运动项目得分达到4分，恢复阶段等级评为6级；若患者在部分分离运动项目得分达到2分，且每个小项中得分不出现0分，恢复阶段等级评为7级；若患者在部分分离运动项目得分达到4分，恢复阶段等级评为8级；若患者在分离运动项目得分达到2分，且每个小项中得分不出现0分，恢复阶段等级评为9级；若患者在分离运动项目得分达到4分，且每个小项中得分不出现0分，恢复阶段等级评为10级；若患者在分离运动项目得分达到6分，恢复阶段等级评为11级；若患者在速度检查项目得分达到6分，且符合速度要求，恢复阶段等级评为12级。

实施例二：

如图4至图6所示，本申请的脑卒中上肢康复训练系统，其一种实施方式，包括体感控制器10、智能终端20和虚拟现实装置30。体感控制器10，用于获取患者手部坐标的动态数据；智能终端20，包括处理模块21，采集患者手部坐标的动态数据，对动态数据和手部动作对象的位置信息进行处理，通过处理结果识别手部的动作，在虚拟场景中映射出虚拟的手，使手部的动作与场景进行交互，以完成康复训练的指定动作。智能终端20可以选用计算机或手持终端等，手持终端包括手机、PAD等。虚拟现实装置30，用于实时显示手部在虚拟现实康复训练场景中的动作，虚拟现实装置30可选用虚拟现实头盔或其它

在一种实施方式中，本申请的系统还可以包括臂带振动传感器40，臂带振动传感器40用于在虚拟的手与虚拟现实康复训练场景进行交互时，当虚拟的手碰到场景中的物体时，发出已经触碰到物体的提示信息。

本申请的脑卒中上肢康复训练系统，设虚拟的手H与场景中的手部动作对象A之间的距离为d_HA；处理模块还可以用于，当d_HA≤0时，判定为虚拟的手与手部动作对象发生触碰。

在一种实施方式中，处理模块还可以用于，当d_HA≤0时，且虚拟的手的拇指T与食指I之间的距离d_TI小于第一预设值，判定为虚拟的手抓取到了特定物体，此时将特定物体绑定为虚拟的手的子物体，特定物体随虚拟的手移动和旋转。第一预设值N1具体可根据需要进行设定。

在另一种实施方式中，处理模块还可以用于，在抓取动作的状态下，当d_TI大于第二预设值时，判定为虚拟的手释放了特定物体，此时将特定物体从虚拟的手的子物体中解除绑定，物体不再跟随虚拟的手移动和旋转。第二预设值N2具体可根据需要进行设定。

本申请的脑卒中上肢康复训练系统，处理模块还可以用于，在预定时间内，当虚拟的手的食指的最高的z轴坐标z_i1与其最低的z轴坐标z_i2之间的距离d_iz大于第三预设值时，且手腕关节的最高的z轴坐标z_w1与手腕关节的最低的z轴坐标z_w2之间的距离d_wz小于第四预设值时，识别为拍球的动作。其中，预定时间T、第三预设值N3及第四预设值N4均可根据需要进行设定。

在一种实施方式中，患者手部坐标的动态数据包括患者手部关节位置的坐标信息；处理模块还可以用于，通过关节坐标信息在虚拟场景中的相应位置映射出虚拟的手，使手的姿势和相对位置与现实中保持一致。

坐标信息可以包括单个手部的多个关节坐标信息，如可选择手部的29个关节中的全部或部分关节的坐标信息，在本实施方式中具体可选择29个关节的坐标信息(x1,y1,z1),(x2,y2,z2),……,(x29,y29,z29)，然后在虚拟场景中相应位置用这些坐标信息映射出虚拟的手，其姿势和相对位置与真实患者的手相一致。

在另一种实施方式中，智能终端20还可以包括评估模块22，评估模块22用于建立手部及上肢部分的动作与上田敏评价法的量化对应关系；根据患者手部坐标的动态数据，判断手部及上肢运动的姿势、角度、速度及范围是否达到了上田敏评价法中指定评估动作的要求；根据判断结果对动作完成情况进行评估。患者手部坐标的动态数据具体可以包括患者手部多个关节的动态坐标。评估模块与上田敏评价法手部及上肢部分相结合，自动生成评估报告，确定患者的恢复阶段等级。

使用本申请时，需要注册登陆用户，每个用户名对应一名患者，评估方法与上田敏评价法手部及上肢部分相结合，根据患者完成指定评估动作的情况，自动进行评估，计算出患者在上田敏评价法中的恢复阶段等级，生成可视化评估报告，报告可供康复医师参考。

评估方法如下：每个上田敏评价法手部及上肢部分的项目得分为0到2分，其中，不可能完成得0分，不充分完成得1分，充分完成得2分；患者的恢复阶段等级从1级到12级；若患者在联合反应项目得分达到2分，对应的上田敏评价法将患者的恢复阶段等级评为1级；若患者在随意收缩项目得分达到2分，将患者的恢复阶段等级评为2级；若患者在联带运动项目得分达到1分，将患者的恢复阶段等级评为3级；若患者在联带运动项目得分达到2分，恢复阶段等级评为4级；若患者在联带运动项目得分达到3分，恢复阶段等级评为5级；若患者在联带运动项目得分达到4分，恢复阶段等级评为6级；若患者在部分分离运动项目得分达到2分，且每个小项中得分不出现0分，恢复阶段等级评为7级；若患者在部分分离运动项目得分达到4分，恢复阶段等级评为8级；若患者在分离运动项目得分达到2分，且每个小项中得分不出现0分，恢复阶段等级评为9级；若患者在分离运动项目得分达到4分，且每个小项中得分不出现0分，恢复阶段等级评为10级；若患者在分离运动项目得分达到6分，恢复阶段等级评为11级；若患者在速度检查项目得分达到6分，且符合速度要求，恢复阶段等级评为12级。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换。