一种基于脊柱AIS影像的lenke分型方法

摘要

本发明公开了一种基于脊柱AIS影像的lenke分型方法，包括：椎体关键点检测；输入Dicom图像或者通用图像，进行预处理后得到椎体区域图像，将椎体区域影像输入到椎体关键点检测模型识别椎体关键点；计算生成椎体夹角波形图；根据关键点，求解Cobb角；通过步骤S2中得到的椎体夹角波形图，分析计算得到目标Cobb角等。本发明开发了一种针对X光脊柱全长正位片，构建了图像深度学习识别算法结合人工规则的Cobb角的智能测量算法，智能测量上胸弯、胸弯、胸腰/腰弯的Cobb角，对AIS影像自动进行lenke分析。

说明书

技术领域

本发明属于lenke分型技术领域，具体涉及一种基于脊柱AIS影像的lenke分型方法。

背景技术

Lenke 分型是青少年特发性脊柱侧弯诊断中常用的一种分型技术，此分型可以重复用于AIS的准确分型。Lenke(2001)提出了一种新型的 AIS分型系统并将其应用于 AIS手术范围的选择中。从此以后，Lenke 分型成为了 AIS 手术进行术前计划的公认指南。在Lenke 分型系统中，人体脊柱在正位 X 线片和侧位 X 线片上的 Cobb 角大小至关重要，因为这些角度的大小决定了一个脊柱弯曲是否是结构性的（是否需要手术干预）以及是否有后凸。此分型的可重复性源于它采用了客观的标准术前 X 线片进行测量，这些 X 线片包括站立位、前后位和侧位脊柱相，以用于评价局部侧凸的柔韧性。将测量 X 线片所得数据同预先设定的数值相比较，从而确认侧弯是结构性弯还是非结构性弯。其具有客观性，统一观察者和不同观察者的可信度高。此分型的优点是可分析每个弯，可有效地进行术前计划。其步骤主要分为：确认侧凸类型、确认腰椎修正型（A,B,C）、确定胸椎矢状面修正型（—，N，+）。

Lenke 分型系统中主要依靠 Cobb 角的大小来对特发性脊柱侧弯进行分型，临床中，医生依据 Lenke 分型规则进行脊柱分型。医生使用量角尺，马克笔等工具进行 Cobb角度测量，并依据测量角度进行 Lenke 分型。这里存在着观察者间与观察者内的误差Lenke 分型是青少年特发性脊柱侧弯诊断中常用的一种分型技术，此分型可以重复用于AIS的准确分型。Lenke(2001)提出了一种新型的 AIS分型系统并将其应用于 AIS 手术范围的选择中。从此以后，Lenke 分型成为了 AIS 手术进行术前计划的公认指南。在 Lenke分型系统中，人体脊柱在正位 X 线片和侧位 X 线片上的 Cobb 角大小至关重要，因为这些角度的大小决定了一个脊柱弯曲是否是结构性的（是否需要手术干预）以及是否有后凸。此分型的可重复性源于它采用了客观的标准术前 X 线片进行测量，这些 X 线片包括站立位、前后位和侧位脊柱相，以用于评价局部侧凸的柔韧性。将测量 X 线片所得数据同预先设定的数值相比较，从而确认侧弯是结构性弯还是非结构性弯。其具有客观性，统一观察者和不同观察者的可信度高。此分型的优点是可分析每个弯，可有效地进行术前计划。其步骤主要分为：确认侧凸类型、确认腰椎修正型（A,B,C）、确定胸椎矢状面修正型（—，N，+）。

Lenke 分型系统中主要依靠 Cobb 角的大小来对特发性脊柱侧弯进行分型，临床中，医生依据 Lenke 分型规则进行脊柱分型；医生使用量角尺，马克笔等工具进行 Cobb角度测量，并依据测量角度进行 Lenke 分型；这里存在着观察者间与观察者内的误差。

发明内容

本发明目的在于提供一种基于脊柱AIS影像的lenke分型方法，用于解决上述现有技术中存在的技术问题之一，如：Lenke 分型系统中主要依靠 Cobb 角的大小来对特发性脊柱侧弯进行分型，临床中，医生依据 Lenke 分型规则进行脊柱分型；医生使用量角尺，马克笔等工具进行 Cobb 角度测量，并依据测量角度进行 Lenke 分型；这里存在着观察者间与观察者内的误差。

为实现上述目的，本发明的技术方案是：

一种基于脊柱AIS影像的lenke分型方法，包括以下步骤：

S1：椎体关键点检测；

系统输入患者的AIS正位片、左bending位片和右bending位片影像；首先对正位片进行椎体检测，再识别T1-T12，L1-L5共17块椎体的关键点；

S2：计算AIS正位片Cobb角；

根据步骤S1检测到的关键点，得到PT、MT、TL/L的Cobb角以及对应的端椎索引；

S3：计算左右bending位Cobb角；

对左右bending位图像进行椎体检测，识别T1-T12，L1-L5共17块椎体的关键点，采用正位片PT、MT、TL/L的端椎索引，计算出左右bending位对应端椎位置的Cobb角度；

S4：根据正位片Cobb角、左右bending位Cobb角得到当前患者的影像的AIS lenke分型。

进一步的，步骤S1包括以下子步骤：

S11：输入Dicom图像或者通用图像，进行预处理，去除跟人体无关的区域，同时减少后续算法处理图形的范围，首先将图像转换到灰度空间，对图像做二值化处理，像素大于0置位1，其余置位0；然后对二值图像做形态学开操作，寻找最大的连通区域，利用cv2.findContours函数寻找所有的轮廓，轮廓集合中存在所有轮廓计算面积，找到面积最大的轮廓，然后利用cv2.convexHull函数计算面积最大轮廓的凸包，得到轮廓的左上角和右下角坐标，即得到人体前景区域坐标；

S12：利用步骤S11，生成只有人体区域的人体前景图像，然后对椎体T1-T12和L1-L5的椎体的四个顶点进行标注；

S13：Cobb测量是针对椎体区域，对人体前景图像中的椎体进行分割，然后得到椎体区域图像；

S14：将椎体区域图像输入到椎体关键点检测模型识别椎体关键点，借鉴U-net思想构建Encoder-Decoder的框架，backbone选取Resnet101；提出基于椎体的关键点检测方法，学习椎体关键点，即椎体的四个顶点以及椎体的中心。

进一步的，步骤S2具体如下：

根据检测到T1-T12，L1-L5共17块椎体的关键点，计算每一块椎体上端线段和下端线段与水平线的夹角，这样就能计算得到34个角度，然后按照T1-T12，L1-L5的顺序，绘制椎体夹角波形图。

进一步的，步骤S2包括以下子步骤：

S21：搜索椎体夹角波形图上所有的波峰和波谷；

S22：找到相邻最大的波峰和波谷，即构成主弯区域，波峰的角度减去波谷的角度，取绝对值构成主弯的Cobb角，同时记录对应的端椎索引；

S23：从最大的波峰波谷区域，向两侧寻找相邻的最多两个波谷或者波峰，这样就构成了除主弯区域外，四个波峰波谷对，按照上面的方法计算出四个Cobb角，然后过滤波峰波谷间距最小的波峰波谷对，取Cobb角度前两大对应的波峰波谷对，这样就计算了两个代偿弯的Cobb角，已经对应的端椎索引；

S24：PT端椎的索引范围T1-T5，MT端椎的索引范围T6-T12，TL/L端椎的索引范围L1-L5，将步骤S23中主弯和两个代偿弯的端椎索引，分别映射到PT、MT、TL/L的端椎范围，这样能够匹配出PT、MT、TL/L三者的Cobb角大小。

进一步的，步骤S3具体为：

对左bending位图像进行椎体检测，同样地，识别T1-T12，L1-L5共17块椎体的关键点，采用正位片PT、MT、TL/L的端椎索引，计算出左bending位对应PT、MT、TL/L位置的Cobb角度，采用与对左bending位同样的方式计算右bending位对应PT、MT、TL/L位置的Cobb角度。

进一步的，步骤S4具体为：

根据正位片PT、MT、TL/L的Cobb角度，三者Cobb角度最大的弯为主弯；

对左右bending位，分别比较PT、MT、TL/L的Cobb角度，取对应PT、MT、TL/L最小的Cobb角，标记成min_angles；

依次取min_angles中PT、MT、TL/L的角度，若大于25度，则为结构性弯，否则是非结构性弯。

与现有技术相比，本发明所具有的有益效果为：

本方案的一个创新点在于，开发了一种针对X光脊柱全长正位片，构建了图像深度学习识别算法结合人工规则的Cobb角的智能测量算法，智能测量上胸弯（Proximalthoracic, PT）、胸弯（Main thoracic, MT)、胸腰/腰弯（Thoracolumbar Lumbar，TL/L)的Cobb角，对AIS影像自动进行lenke 分析。

附图说明

图1是本发明具体实施方式的Cobb角测量示意图。

图2是本发明具体实施方式的步骤流程示意图。

图3是本发明具体实施方式的椎体关键点检测流程图。

图4是本发明具体实施方式的椎体T1-T12和L1-L5的椎体的四个顶点进行标注示意图。

具体实施方式

下面结合本发明的附图1-4，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

临床上AIS的lenke分型需要正位片、左bending位片和右bending位片共三张影像。局部侧凸包括上胸弯、主胸弯和胸腰弯/腰弯。主弯是指正位片Cobb角最大的侧凸。若主胸弯和胸腰弯/腰弯度数相同。则认为主胸弯是主弯。主弯通常认为是结构性弯；判断次弯（除主弯以外的侧弯）是结构性弯还是非结构性弯，在站立位前后位X线片上Cobb角≥25°，且在Bending像上冠状位上Cobb角≥25°，则认为此弯为结构弯。

随着人工智能技术的逐渐成熟，利用AI辅助测量技术，进行X光脊柱全长正位片Cobb角的智能测量，智能测量上胸弯（Proximal thoracic, PT）、胸弯（Main thoracic,MT)、胸腰/腰弯（Thoracolumbar Lumbar，TL/L)的Cobb角。Cobb角测量如图1所示。

如图2所示，现提出一种基于脊柱AIS影像的lenke分型方法，包括以下步骤：

S1：椎体关键点检测；

系统输入患者的AIS正位片、左bending位片和右bending位片影像；首先对正位片进行椎体检测，再识别T1-T12，L1-L5共17块椎体的关键点；

S2：计算AIS正位片Cobb角；

根据步骤S1检测到的关键点，得到PT、MT、TL/L的Cobb角以及对应的端椎索引；

S3：计算左右bending位Cobb角；

对左右bending位图像进行椎体检测，识别T1-T12，L1-L5共17块椎体的关键点，采用正位片PT、MT、TL/L的端椎索引，计算出左右bending位对应端椎位置的Cobb角度；

S4：根据正位片Cobb角、左右bending位Cobb角得到当前患者的影像的AIS lenke分型。

具体如下：

第一步：椎体关键点检测模型；

如图3所示；输入Dicom图像或者通用图像，进行预处理，去除跟人体无关的区域，同时减少后续算法处理图形的范围，首先将图像转换到灰度空间，对图像做二值化处理，像素大于0置位1，其余置位0；然后对二值图像做形态学开操作，然后寻找最大的连通区域，利用cv2.findContours函数寻找所有的轮廓，轮廓集合中所有轮廓计算面积，找到面积最大的轮廓，然后利用cv2.convexHull函数计算面积最大轮廓的凸包，得到轮廓的左上角和右下角坐标，即得到人体前景区域坐标。其中，cv2.findContours为OpenCV寻找图像中物体轮廓的函数；cv2.convexHull为OpenCV寻找图像中凸包的函数。

首先利用前面第一步的预处理算法，将收集的数据进行预处理，生成只有人体区域的数据集，对椎体T1-T12和L1-L5的椎体的四个顶点进行标注，如下图4所示。

Cobb测量是针对椎体区域，为了减少人体其他区域的干扰，同时为了减轻系统输入数据的复杂度，首先设计了一个椎体分割网络，对椎体进行分割。

3.1）生成椎体分割数据集，将标注的数据集，进行处理生成椎体区域的掩码图像。

3.2）训练阶段，模型采用HRNet作为分割模型，HrNet通过连接并行的不同分辨率表示和重复进行多尺度融合来维持高分辨率表示，由此产生的高分辨率表示不仅信息丰富而且空间精确，网络输入图像尺寸为3*1012*512，经过图像归一化处理，HRNet网络最后输出通道为2*1024*512，网络即可学习到椎体前景和背景，优化器采用SGD，学习率lr=0.0001，梯度优化时的动量momentum=0.9，权值衰减weight_decay=0.0001, 损失函数采用二分类的交叉熵损失函数nn.BCEWithLogitLoss。其中，HrNet t即High-Resoultion Net，是将不同分辨率的feature map进行并联，在并联的基础上,添加不同分辨率feature map之间交互。

3.3）推理阶段，图像送入椎体分割模型，分割椎体区域，产生椎体Mask，计算Mask的最大外接矩形，然后得到椎体区域图像。其中，椎体Mask为分割的椎体掩膜或者标记。

4）将椎体区域影像输入到椎体关键点检测模型识别椎体关键点，借鉴U-net思想构建Encoder-Decoder的框架，backbone选取Resnet101；提出基于椎体的关键点检测方法，学习椎体的四个顶点以及椎体的中心。其中，backbone为主干网络，用来做特征提取的网络，用于提取图片信息，生成特征图；Resnet101为101层的深度残差网络。

4.1）生成椎体关键点数据集，将标注的数据集，经过第三步，得到椎体区域图像，重新计算生成关键点的坐标。

4.2）训练阶段，模型Encoder-Decoder架构，采用Resnet101作为基础模型，后续并联Heatmap、center offset和corner offset分别学习关键点的热力图、椎体中心点同椎体顶点的距离和椎体顶点的偏移值。网络输入图像尺寸为3*1012*512，经过图像归一化处理，HRNet网络最后输出通道为2*1024*512，优化器采用Adam，学习率lr=0.0003，权值衰减weight_decay=0.00001, 损失函数采用关键点回归的L1损失函数。其中，Heatmap关键点的热力图、center offset椎体中心点同椎体顶点的距离量和corner offset椎体顶点的偏移值。

4.3）推理阶段，送入关键点检测模型，检测T1-T12和L1-L5的椎体的四个顶点。

第二步：求解正位片Cobb角度；

根据前面步骤检测到T1-T12,L1-L5共17块椎体的关键点，计算每一块椎体上端线段和下端线段与水平线的夹角，这样就能计算得到34个角度，然后按照T1-T12,L1-L5的顺序，绘制波形图。

搜索波形图上所有的波峰和波谷。

找到相邻最大的波峰和波谷，即构成主弯区域，波峰的角度减去波谷的角度，取绝对值构成主弯的Cobb角，同时记录对应的端椎索引。

从最大的波峰波谷区域，向两侧寻找相邻的最多两个波谷或者波峰，这样就构成了除主弯区域外，四个波峰波谷对，按照上面的方法计算出四个Cobb角，然后过滤波峰波谷间距最小的波峰波谷对，取Cobb角度前两大对应的波峰波谷对，这样就计算了两个代偿弯的Cobb角，已经对应的端椎索引。

PT端椎的索引范围（T1-T5）,MT端椎的索引范围（T6-T12）,TL/L端椎的索引范围（L1-L5）,将第三步主弯和两个代偿的端椎索引，分别映射到PT、MT、TL/L的端椎范围，这样能够匹配出PT、MT、TL/L三者的Cobb角大小。

第三步：求解左右bending位Cobb角度；

对左bending位图像进行椎体检测，同样地，识别T1-T12，L1-L5共17块椎体的关键点，采用正位片PT、MT、TL/L的端椎索引，计算出左bending位对应PT、MT、TL/L位置的Cobb角度，采用与对左bending位同样的方式计算右bending位对应PT、MT、TL/L位置的Cobb角度。

第四步：lenke分型；

根据正位片PT、MT、TL/L的Cobb角度，三者Cobb角度最大的弯为主弯；

对左右bending位，分别比较PT、MT、TL/L的Cobb角度，取对应PT、MT、TL/L最小的Cobb角，标记成min_angles；

依次取min_angles中PT、MT、TL/L的角度，若大于25度，则为结构性弯，否则是非结构性弯。

根据下表得到该AIS患者的lenke分型。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。