一种基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯Cobb角的系统及方法

摘要

本发明公开了一种基于人工智能‑图像识别的脊柱全长X线片测算脊柱侧弯Cobb角的系统，其特征是：包括脊柱X线图像预处理模块、图像深度学习网络模块、脊柱X线椎体图像分割模块、样条函数拟合重建模块、Cobb角测算模块与数据标注模块、自动测算Cobb角的软件系统界面模块。本发明还公开一种基于人工智能‑图像识别的脊柱全长X线片测算脊柱侧弯Cobb角的方法。上述系统和方法可真正意义上实现批量自动测算脊柱Cobb角的功能，自图片输入至Cobb角自动测算的整个过程无需工作人员再进行额外的操作，测量精准且耗时短，避免了手工或者半手工的方式进行脊柱Cobb角测量所引入的误差，具有更好的可靠性。

说明书

技术领域

本发明涉及医学X线的图像识别技术领域，尤其涉及一种基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯 Cobb 角的系统及方法，其基于图像识别及AI技术实现在脊柱全长X线片中自动检测脊柱侧弯的目标，为脊柱外科医生在脊柱侧弯的影像资料研判、临床诊断与大数据研究中提供一套客观的自动测算方法；还可与网络技术相结合，为脊柱侧弯患者提供在线检测服务。

背景技术

脊柱侧弯是指脊柱的一个或数个节段向侧方弯曲并伴有椎体旋转的三维脊柱畸形。近年来，进展严重的脊柱侧弯情况逐年增多，对青少年不仅造成外观畸形和心理问题，还可导致心肺功能低下及顽固性疼痛，为我国青少年成长的重大健康问题之一。

传统的脊柱侧弯检查方法均是基于检查人员的人工检查。现有的脊柱侧弯检查方法多为非侵入性，通常包括体格检查（物理测量）和辅助检查（影像学测量）。其中辅助检查方法一般通过拍摄脊柱全长X线片并测量脊柱Cobb角。传统的脊柱Cobb角测量的方法是检查人员在脊柱全长X线片上利用铅笔和量角器，或使用PACS (Picture Archiving andCommunication Systems)系统中计算机辅助的Cobb角测量工具对脊柱全长X线片进行手动测量。检查人员利用量角器或使用计算机辅助工具进行Cobb角测量时，通常是凭借临床经验找出倾斜度最大的上下端椎，绘制椎体终板的延长线再作垂线并用量角器测量，弯曲程度的即为Cobb角。传统的脊柱全长X光线检查方法受限于当地X线设备条件和医务人员的经验水平，在测量Cobb角的过程中还是没有消除手动测量存在的差异性，存在观察者内和观察者间的可靠性较差的影响。

在人工智能不断发展的今天，脊柱侧弯检测正逐渐从人工处理发展到计算机自动处理。迫切需要应用人工智能-图像识别技术，实现自动化分析骨骼X光照片资料和初步识别诊断脊柱侧弯，提高骨科医生的骨骼X光照片解读效率，以减轻骨科医生工作强度，提升工作效率。

发明内容

本发明所要解决的技术问题是提供一种基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯 Cobb 角的系统，该系统可解决临床现有的脊柱Cobb角测量的方法筛查和诊断青少年脊柱侧弯疾病的可靠性与准确率的问题，可有效消除手动测量存在的差异性。本发明还涉及一种基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯 Cobb 角的方法。

为此，本发明提供的一种基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯Cobb 角的系统，包括脊柱X线图像预处理模块、图像深度学习网络模块、脊柱X线椎体图像分割模块、样条函数拟合重建模块、Cobb角测算模块与数据标注模块、自动测算Cobb 角的软件系统界面模块；

脊柱X线图像预处理模块：支持包括DICOM、IMO、IMG、TIFF、JPEG、BMP、RAW等在内的多种格式的脊柱全长X线图片的批量导入，并将图像格式统一转换成PNG格式，转换过程中通过直方图均衡化调整至最清晰的显示状态；对图像数据进行图像滤波、平移、裁剪、旋转、亮度、对比度的调整处理；

图像深度学习网络模块：预先对80例以上常规的脊柱全长X线图片进行椎体块人工标记，标出图片中各种骨骼的位置和边界；接着将标记好的图片送入图像深度学习网络，进行机器学习模型进行学习；

脊柱X线椎体图像分割模块：脊柱X线预处理的照片分割出的脊柱区域，借助预先经过机器学习的图像识别技术，对脊柱X线照片中脊柱椎体骨骼结构、包括识别出骨骼具体的类别以及对应的位置和边界，分别识别出各个脊柱块；

样条函数拟合重建模块：采用重心法测量脊柱侧弯Cobb角原理，对上述图像分割模块获取的各个脊柱块中心点进行赋值确立各点坐标，使用样条拟合将整条脊柱以数学函数形式表达出来；

Cobb角测算模块：通过计算函数上各点曲率并根据曲率正负变化划分区间；函数各个区间连接处上切线方程和该切线在该点处垂线方程；计算每个区间起始处和结尾处切线的两条垂线相交角度作为Cobb角度并筛选所需Cobb角度；

图像数据标注模块：在原始脊柱X线图片上画出样条拟合曲线，表示每个区间的开始和结尾节点，标识所需的主要Cobb角度。

软件交互界面模块：可手动单张图像输入自动测算，可批量操作输入自动测算，通过可视化的操作界面直观明了明确自动测算结果，并自动将测算结果保存至输出文件夹。

优选的，所述图像深度学习网络模块中，预先对100例常规的脊柱全长X线图片进行椎体块人工标记，图像标记软件为LabelImg1.3.0标注工具软件，该软件使用的机器学习框架是darknet框架中YOLO3。

本发明提供的一种基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯 Cobb角的方法，包括以下步骤：

步骤1：输入脊柱全长X线图像：读取原始图像并进行预处理，预处理包括图像格式转换成PNG格式，通过直方图均衡化调整至最清晰的显示状态，对图像数据进行图像滤波、平移、裁剪、旋转、亮度、对比度的调整处理；

步骤2：分割脊柱X线椎体图像，识别脊椎各个椎体节点：借助机器学习训练后的自动分割脊柱技术对脊柱X线预处理后的图像进行自动分割，对脊柱X线照片中脊柱的各个脊柱块的位置和边界；

步骤3：曲线拟合，对上述图像分割模块获取的各个脊柱块中心点进行赋值确立各点坐标，应用样条拟合将整条脊柱以数学函数形式表达出来；

步骤4：计算函数曲率，对拟合曲线上各点进行曲率计算；

步骤5：划分函数曲率分段，根据曲率正负变化划分区间；

步骤6：计算各区段Cobb角，函数各个区间连接处上切线方程和该切线在该点处垂线方程，计算每个区间起始处和结尾处切线的两条垂线相交角度作为Cobb角度并筛选所需Cobb角，记录区间的位置而判定侧弯上下端椎以及记录Cobb角；

步骤7：图像数据标注，在原始脊柱X线图像上标注出各个椎体中心点，拟合曲线，Cobb角度；分布以图像方式保存标注后图像，以文字标注曲线分段及Cobb角，并自动将测算结果保存至输出文件夹。

本发明提供的技术效果：

本发明基于图像识别及人工智能技术实现在脊柱全长X线及体表自动测量脊柱侧弯Cobb角的目标，可为脊柱外科医生在临床诊断与治疗中提供一套客观的测量系统，辅助医生进行脊柱侧弯诊断。

相较于已有方法，本发明支持包括DICOM、IMO、IMG、TIFF、JPEG、BMP、RAW等在内的多种格式文件的批量导入，可真正意义上实现批量自动测算脊柱Cobb角的功能。考虑脊柱影像学图像本身的不均匀性和模糊性及其形态结构和运动形式的复杂性，本发明集成了多种图像预处理的手段，并利用预先经过深度学习网络的机器学习，对脊柱的高精度的人工智能图像识别。使用计算机对图像分割结果，进行样条拟合函数表达出来，并实现Cobb角自动测算。本发明采用重心法测量脊柱侧弯Cobb角原理，本发明自图片输入至Cobb角自动测算的整个过程无需工作人员再进行额外的操作，测量精准且耗时短，避免了手工或者半手工的方式进行脊柱Cobb角测量所引入的误差，具有更好的可靠性。

本发明交互界面良好，使用方便，可批量操作，格式兼容性好，效率高，实用性强，可通过该软件可为医学工作者进行大批量脊柱X线的自动测算，进行大数据的分析与研究；可将系统结合互联网应用，可为个人提供在线脊柱X线自动检测服务，可实现具有较好的临床、科研及家庭自筛的应用及推广价值。

附图说明

图1：对原始图像进行图像预处理结果示意图。即对原始图像滤波、平移、裁剪、旋转、亮度、对比度的调整处理。

图2：利用LabelImg.3.0标注工具软件中标记示意图，即对预处理的图像人工标出各种骨骼的位置和边界。

图3：预处理的图像自动分割的脊柱区域示意图，即各椎体通过机器学习后自动分割出的各个脊柱椎体图像示意图。

图4：重心法测量脊柱侧弯Cobb角示意图, 即连接脊柱侧弯上下端的临近椎体的重心，连线之间的夹角定义为Cobb角

图5：样条拟合函数重建脊柱曲线示意图，即对各个脊柱块中心点进行赋值确立各点坐标，使用样条拟合将整条脊柱以数学函数形式表达重建脊柱曲线图。

图6：测算函数曲率示意图，即函数各个区间连接处上切线方程和该切线在该点处垂线方程；计算每个区间起始处和结尾处切线的两条垂线相交角度作为Cobb角度。

图7：图像数据标注示意图，即在原始始脊柱X线图片上画出样条拟合曲线，标识所需的主要Cobb角度。

图8：软件交互界面示意图，即X线片自动测算侧弯 Cobb 角的软件系统操作界面，其中：

S1：“input open”输入原始图像按键，点击可选择所需自动测算脊柱全长X线的图像，可选择单个输入图像，可批量输入图像；

S2：“output open”输出自动测算处理后图像按键，点击可保存经过图像自动测算Cobb角处理的图像；

S3：“input”文件名框，提示输入图像文件夹位置；

S4：“output”文件名框，提示输出保存文件夹位置；

S5：“process”运行自动测算按键，点击可运行单张图像的X线Cobb角自动测算；

S6：“process all”批量运行自动测算按键，点击可运行批量图像的X线Cobb角自动测算；

S7：可选择输入的图像文件框，可在选择框中单个选择原始图像文件，可批量选择导入的原始图像文件；

S8：原始图像展示框：单个选择原始图像文件后的图像展示区域；

S9：测算后图像展示框：原始图像经过处理、自动测算Cobb角、结果标注等处理的图像展示区域；

S10：运行文字提示框：可提示图像自动测算“processing”（正在运行测算）及“finish”（测算结束）

S11：运行进度条：可提示图像自动测算运行进度。

图9为本发明提供的流程图。

具体实施方式

下面结合附图和实施例，对本发明进一步详细说明。其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

参照图1-9所示，本发明提供的基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯 Cobb 角的系统，其特征是：包括脊柱X线图像预处理模块、图像深度学习网络模块、脊柱X线椎体图像分割模块、样条函数拟合重建模块、Cobb角测算模块与数据标注模块、自动测算Cobb 角的软件系统界面模块；

脊柱X线图像预处理模块：图1所示，该处理模块支持包括DICOM、IMO、IMG、TIFF、JPEG、BMP、RAW等在内的多种格式的脊柱全长X线图片的批量导入，并将图像格式统一转换成PNG格式，转换过程中通过直方图均衡化调整至最清晰的显示状态；对图像数据进行图像滤波、平移、裁剪、旋转、亮度、对比度的调整处理；

图像深度学习网络模块：预先对80例以上常规的脊柱全长X线图片进行椎体块人工标记（本实施例中选取100例常规脊柱）；参照图2所示，标出图片中各种骨骼的位置和边界；接着将标记好的图片送入图像深度学习网络，进行机器学习模型进行学习；图像深度学习网络模块中，图像标记软件为LabelImg1.3.0标注工具软件，该软件使用的机器学习框架是darknet框架中YOLO3；

脊柱X线椎体图像分割模块：参照图3，脊柱X线预处理的照片分割出的脊柱区域,，借助预先经过机器学习的图像识别技术，对脊柱X线照片中脊柱椎体骨骼结构、包括识别出骨骼具体的类别以及对应的位置和边界，分别识别出各个脊柱块；

样条函数拟合重建模块：参照图4，采用重心法测量脊柱侧弯Cobb角原理，对上述图像分割模块获取的各个脊柱块中心点进行赋值确立各点坐标；参照图5，使用样条拟合将整条脊柱以数学函数形式表达出来；

Cobb角测算模块：通过计算函数上各点曲率并根据曲率正负变化划分区间；函数各个区间连接处上切线方程和该切线在该点处垂线方程；参照图6，计算每个区间起始处和结尾处切线的两条垂线相交角度作为Cobb角度并筛选所需Cobb角度；

图像数据标注模块：参照图7，在原始脊柱X线图片上画出样条拟合曲线，表示每个区间的开始和结尾节点，标识所需的主要Cobb角度。

软件交互界面模块：参照图8，本发明软件交互界面简洁，使用方便，可手动单张图像输入自动测算，可批量操作输入自动测算，通过可视化的操作界面直观明了明确自动测算结果，并自动将测算结果保存至输出文件夹。

参照图1-9所示，本发明提供的一种基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯 Cobb 角的方法，其特征是：包括以下步骤：

步骤1：输入脊柱全长X线图像：读取原始图像并进行预处理，预处理包括图像格式转换成PNG格式，通过直方图均衡化调整至最清晰的显示状态，对图像数据进行图像滤波、平移、裁剪、旋转、亮度、对比度的调整处理；

步骤2：分割脊柱X线椎体图像，识别脊椎各个椎体节点：借助机器学习训练后的自动分割脊柱技术对脊柱X线预处理后的图像进行自动分割，对脊柱X线照片中脊柱的各个脊柱块的位置和边界；

步骤3：曲线拟合，对上述图像分割模块获取的各个脊柱块中心点进行赋值确立各点坐标，应用样条拟合将整条脊柱以数学函数形式表达出来；

步骤4：计算函数曲率，对拟合曲线上各点进行曲率计算；

步骤5：划分函数曲率分段，根据曲率正负变化划分区间；

步骤6：计算各区段Cobb角，函数各个区间连接处上切线方程和该切线在该点处垂线方程，计算每个区间起始处和结尾处切线的两条垂线相交角度作为Cobb角度并筛选所需Cobb角，记录区间的位置而判定侧弯上下端椎以及记录Cobb角；

步骤7：图像数据标注，在原始脊柱X线图像上标注出各个椎体中心点，拟合曲线，Cobb角度；分布以图像方式保存标注后图像，以文字标注曲线分段及Cobb角，并自动将测算结果保存至输出文件夹。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。