一种基于视觉的颈部肌张力障碍识别系统

摘要

本发明属于医疗器械技术领域，具体涉及一种基于视觉的颈部肌张力障碍识别系统。其特征在于，包括四个主要模块，分别是患者目标检测模块、2D关键点检测模块、3D关键点检测模块、异常运动模式判别模块。使用便携式设备采集患者的视频图像数据，患者目标检测模块检测出患者在图像中的位置，进一步由2D关键点检测模块、3D关键点检测模块分别检测患者的2D和3D关键点坐标，异常运动模式判别模块利用人体关键点坐标计算出患者的头颈部运行角度，对患者的异常运动模式进行判断。

说明书

技术领域

本发明属于医疗器械技术领域，具体涉及一种基于视觉的颈部肌张力障碍识别系统。

背景技术

颈部肌张力障碍是临床上最常见的局灶性肌张力障碍，是由颈部肌肉阵挛性或强直过度收缩，从而引起头颈部姿势异常和不自主运动的一种局灶性肌张力障碍。常见的治疗手法包括药物治疗、肉毒毒素注射治疗以及外科手术治疗。其中肉毒毒素局部注射治疗可以有效减轻肌肉收缩和疼痛。

在临床上一般通过患者颈部肌肉异常运动模式来选择肉毒毒素治疗的靶肌肉。一般可以将颈部肌肉张力障碍分为两种类型，一种是相对于颈部的头部异常运动，一种是相对于躯干的颈部异常运动，每种类型可以进一步细分为屈伸、侧倾、扭转类型。对于复杂的颈部肌张力障碍模式，首先应该明确具体是由哪些基本异常运动模式所组成的，再对所有可能的责任肌肉进行探查。

传统的常用于临床评估患者颈部肌肉异常运动模式的方法主要有以下三种：

第一种方法是手动测量法，即使用一种用于颈部肌张力障碍分型的头部角度测量仪进行测量。患者需要将头颈部放入仪器中，由医生借助量角器手动测量患者不同状态下头颈部运动的角度。这种方法操作上比较麻烦，需要花费大量的时间和精力。

第二种方法是传感器测量法，使用一种精准评估颈部肌张力障碍的多轴传感器组合装置进行评估。医生将传感器贴附于患者的颈部、头部以及肩部来测量相应部位的旋转和位移数据。这种方法相较于手工测量法，在精度上一定的提升。但传感器与患者身体进行物理接触，会不可避免地干扰患者的运动，且每次佩戴传感器的位置也会有偏差，这些因素会找出传感器采集的数据有误差。

第三种方法是采用头颅及脊柱X摄像多角度摄片，对比不同椎体的位置，以及颈部相应肌肉肌腹的横截面积，可以对肌张力障碍异常运动模式进行精确的判断。该方法相对于手工测量和传感器测量的方法精度较高，但会增加患者的射线暴露，并且操作比较复杂。常规的CT需要患者处于平卧位，对异常姿势的判断会产生影响，所以对于颈部肌张力障碍的异常模式的检测需要在特殊的立位CT下完成。

专利“用于颈部肌张力障碍分型的头部角度测量仪”(公开号：CN207412167U)是一种颈部肌张力障碍异常运动模式检测设备，通过头戴式装置上的多平面量角器对患者的头部运动角度进行测量，从而对颈部肌张力障碍的异常运动模式进行量化评估。具体操作步骤是，将头盔由松紧绳固定于待测者双耳连线及鼻根-枕骨大孔连线平面头顶部交点。测量时，待测者头部倾斜一定角度，多平面量角器随之倾斜，指针在重力及机械作用下于量角器平面内偏转一定角度，测试这读数可得到待测者头部在冠状位、矢状位的倾斜角度，从而对倾斜的角度进行量化。

专利“一种精准评估颈部肌张力障碍的多轴传感器组合装置”(公开号：CN208741005U)是一种精准评估颈部肌张力障碍的多轴传感器组合装置，其测量装置包括头箍、头部多轴传感器、颈部连接带、肩部连接带、吸盘底座、第二颈椎多轴传感器、肩部多轴传感器、第七轴颈椎多轴传感器。该设备可实现对颈部肌张力障碍异常运动模式的精确测量并进行3D重建。

使用上述传统的异常模式评估方法需要专业的测量设备并且需要高水平的医生进行操作，并且会给患者带来不适甚至痛苦。

发明内容

现有的传统的颈部肌张力障碍异常模式评估方法需要专业的测量设备和高水平的医生进行操作，并且接触式的量角器测量和传感器测量法都会给患者带来不适甚至痛苦，而非接触式的X摄像法则会增加患者的射线暴露。本发明方案利用计算机视觉技术实现非接触式的评估方法，用患者的图像、视频等数据评估患者的异常运动模式，这种方法只需要使用一台普通的摄像设备来采集数据，例如智能手机等，无需与患者进行直接接触，在保持评估准确性的同时，方便快捷，不会给患者带来不适，易于在远程辅助诊断中应用。

为了实现上述目标，本发明提出了以下技术方案：

一种基于视觉的颈部肌张力障碍识别系统，其特征在于，包括四个主要模块，分别是患者目标检测模块、2D关键点检测模块、3D关键点检测模块、异常运动模式判别模块，其中：

患者目标检测模块负责检测患者在图像中具体的位置；

2D关键点检测模块负责评估患者的关键点在图像中具体的2D坐标；提供给异常运动模式判别模块；

3D关键点检测模块负责将患者的2D关键点坐标映射到3D空间中得到3D关键点坐标；提供给异常运动模式判别模块；

异常运动模式判别模块负责通过患者的2D和3D关键点计算患者头颈部的运动角度并判断是否存在异常运动模式；

使用便携式设备采集患者的视频图像数据，患者目标检测模块检测出患者在图像中的位置，进一步由2D关键点检测模块、3D关键点检测模块分别检测患者的2D和3D关键点坐标，异常运动模式判别模块利用人体关键点坐标计算出患者的头颈部运行角度，对患者的异常运动模式进行判断。

在患者目标检测模块中，检测患者在视频图像中具体的位置，得到带边界框的图像。

在2D关键点检测模块中，将患者的2D人体关键点检测出来，检测出的2D人体关键点。

在3D人体关键点检测模块中，将2D的人体关键点提升到3D空间中，得到的3D人体关键点。

在异常运动模式判别模块中，利用之前检测出的2D和3D人体关键点信息对患者的颈部肌肉的异常运动模式进行评估；根据头颈部运动的功能解剖学特点，“头-颈”概念将颈部肌张力障碍分为两种类型：

(1)主要累及头颈复合体，相对于颈部的头部异常运动；起始或终止于颅骨或C

(2)主要累及C

评估的异常运动模式有6种，分别是头侧倾、颈侧倾、头扭转、颈扭转以及头屈伸和颈屈伸；从患者的正面观察，头侧倾时头纵轴与颈椎之间夹角变小，而颈椎与胸椎之间的夹角变小；颈侧倾则相反，颈椎与胸椎之间夹角变小，而头纵轴与颈椎之间的夹角不变；从患者的侧面进行观察，头屈伸时头纵轴与颈椎之间夹角变小，而颈屈伸时颈椎与胸椎之间夹角变小；头扭转时喉结基本位于身体中线位置，而转颈时喉结往往偏离中线位置。

在异常运动模式判别模块中，对于头侧倾，通过计算过双眼(Reye和Leye)的直线与水平线之间的夹角θ进行判断，正常状态下θ接近0度，当出现头侧倾现象时，θ会变大，若θ大于指定的阈值，则可以判断为头侧倾。

在异常运动模式判别模块中，对于颈侧倾，通过计算过双肩(Lshoulder和Rshoulder)中点与双耳(Rear和Lear)中点的直线与水平线之间的夹角θ进行判断，正常状态下θ接近90度，当出现侧倾现象时，α会变小。若α小于指定的阈值，则可以判别为颈侧倾。

在异常运动模式判别模块中，对于头扭转，通过计算双耳(Rear和Lear)到鼻子(nose)之间的欧式距离的比值η进行判断，η求值公式如下：

正常状态下双耳到鼻子之间的距离相等，即η的值接近1；当出现头扭转现象时，η的值会变小，若η小于指定的阈值，则可以判别为头扭转。

在异常运动模式判别模块中，对于颈扭转，通过计算thorax-spine向量和thorax-neck向量在x-y平面上的投影夹角β进行判断，正常状态下，夹角β接近0，当出现扭转现象时，θ会增大；若β大于指定的阈值，则可以判断为颈扭转。

在异常运动模式判别模块中，对于头屈伸，通过计算neck-thorax向量和neck-head向量在y-z平面上的夹角γ进行判断，当出现头屈伸现象时，夹角γ会减少，若γ小于指定的阈值，则可以判断为头屈伸。

在异常运动模式判别模块中，对颈屈伸，通过计算thorax-spine向量和thorax-neck向量在y-z平面上的夹角ω进行判断，当出现颈屈伸现象时，夹角ω会减少，若ω小于指定的阈值，则可以判断为颈屈伸。

有益效果

1.本方案使用患者的视频图像数据可对其颈部肌张力障碍异常运动模式进行判别，仅需要使用常用的终端设备即可完成评估，如智能手机，而无需专业的医疗设备和专业的操作技巧。

2.本方案是一种非接触式的评估方法，不会干扰患者的自主运动，也不会给患者带来不适。

综上，本方案对颈部肌张力障碍异常模式评估领域的推进有着极大的有益效果。

附图说明

图1评估模型主模块流程图

图2本发明方案的操作流程图

图3 2D人体关键点

图4 3D人体关键点

图5对于异常运动模式判别的算法

图6头侧倾

图7颈侧倾

图8头扭转

图9颈扭转

图10头屈伸

图11颈屈伸

具体实施方式

本发明方案提出的评估模型主要包括四个主要模块，分别是患者目标检测模块、2D关键点检测模块、3D关键点检测模块、异常运动模式判别模块。流程图如图1所示。其中：

患者目标检测模块负责检测患者在图像中具体的位置；

2D关键点检测模块负责评估患者的关键点在图像中具体的2D坐标；提供给异常运动模式判别模块；

3D关键点检测模块负责将患者的2D关键点坐标映射到3D空间中得到3D关键点坐标；提供给异常运动模式判别模块；

异常运动模式判别模块负责通过患者的2D和3D关键点计算患者头颈部的运动角度并判断是否存在异常运动模式。

本发明提出的基于计算机视觉技术的颈部肌张力异常运动模式评估方法，只需要一台普通的终端设备进行采集数据，例如智能手机等，无需与患者直接接触，也无需专业的医生指导和操作。

本发明方案的操作流程图如图2所示。首先使用便携式设备采集患者的视频图像数据，再检测出患者在图像中的位置，进一步检测患者的2D和3D关键点坐标，利用人体关键点坐标计算出患者的头颈部运行角度，最后对患者的异常运动模式进行判断。

在患者目标检测模块中，使用深度学习目标检测方法，例如Faster R-CNN、YOLO等方法检测患者在视频图像中具体的位置，得到带边界框的图像。在2D关键点检测模块中，使用深度学习人体关键点检测方法，例如HRNet、Hourglass模型等，将患者的2D人体关键点检测出来，检测出的2D人体关键点如图3所示。

在3D人体关键点检测模块中，使用深度学习3D人体关键点检测方法，例如SimpleBaseline3D和VideoPose3D，将2D的人体关键点提升到3D空间中，得到的3D人体关键点如图4所示。

在异常运动模式判别模块中，利用之前检测出的2D和3D人体关键点信息对患者的颈部肌肉的异常运动模式进行评估。根据头颈部运动的功能解剖学特点，“头-颈”概念将颈部肌张力障碍分为两种类型：

(1)主要累及头颈复合体，相对于颈部的头部异常运动。起始或终止与颅骨或C

(2)主要累及C

综上所述，需要评估的异常运动模式有6种，分别是头侧倾、颈侧倾、头扭转、颈扭转以及头屈伸和颈屈伸。从患者的正面观察，头侧倾时头纵轴与颈椎之间夹角变小，而颈椎与胸椎之间的夹角变小；颈侧倾则相反，颈椎与胸椎之间夹角变小，而头纵轴与颈椎之间的夹角不变。从患者的侧面进行观察，头屈伸时头纵轴与颈椎之间夹角变小，而颈屈伸时颈椎与胸椎之间夹角变小。头扭转时喉结基本位于身体中线位置，而转颈时喉结往往偏离中线位置。

对于异常运动模式判别的算法流程图如图5所示。

对于头侧倾，通过计算过双眼(Reye和Leye)的直线与水平线之间的夹角θ进行判断，如图6所示。正常状态下θ接近0度，当出现头侧倾现象时，θ会变大，若θ大于指定的阈值，则可以判断为头侧倾。

对于颈侧倾，通过计算过双肩(Lshoulder和Rshoulder)中点与双耳(Rear和Lear)中点的直线与水平线之间的夹角θ进行判断，如图7所示。正常状态下θ接近90度，当出现侧倾现象时，α会变小。若α小于指定的阈值，则可以判别为颈侧倾。

对于头扭转，通过计算双耳(Rear和Lear)到鼻子(nose)之间的欧式距离的比值η进行判断，η求值公式如下：

正常状态下双耳到鼻子之间的距离相等，即η的值接近1。当出现头扭转现象时，η的值会变小，如图8所示。若η小于指定的阈值，则可以判别为头扭转。

对于颈扭转，通过计算thorax-spine向量和thorax-neck向量在x-y平面上的投影夹角β进行判断，如图9所示。正常状态下，夹角β接近0，当出现扭转现象时，θ会增大。若β大于指定的阈值，则可以判断为颈扭转。

对于头屈伸，通过计算neck-thorax向量和neck-head向量在y-z平面上的夹角γ进行判断，如图10所示。当出现头屈伸现象时，夹角γ会减少，若γ小于指定的阈值，则可以判断为头屈伸。

对颈屈伸，通过计算thorax-spine向量和thorax-neck向量在y-z平面上的夹角ω进行判断，如图11所示。当出现颈屈伸现象时，夹角ω会减少，若ω小于指定的阈值，则可以判断为颈屈伸。