一种基于深度学习的椎体压缩性骨折多模态智能诊断系统

摘要

本发明公开了一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，包括：数据导入模块，用于加载多模态图像，并对图像进行预处理；诊断模块，利用特征提取模块提取不同模态的医学图像特征，利用特征融合模块将不同模态的医学图像特征融合，并利用特征解码模块将融合的特征解码出来；预测模块，利用诊断模块依据多模态医学图像进行疾病智能诊断，并提供诊断结果置信度和可视化图。本发明将深度学习技术与多模态医学图像结合，提供医学疾病的诊断结果及其置信度并对结果进行可视化，提升疾病诊断能力，解决压缩骨折主要依靠影像科医生主观判断的缺点，可快速、准确的自动识别椎体压缩性骨折(OVCF)。

说明书

技术领域

本发明涉及深度学习和医学影像的技术领域，尤其是指基一种基于深度学习的椎体压缩性骨折多模态智能诊断系统。

背景技术

椎体压缩性骨折(OVCF)作为骨质疏松症最常见的骨质疏松性骨折类型,可导致患者慢性疼痛、身高减退、日常生活活动受限、压疮、肺炎和心理困扰等一系列风险增加。据统计目前我国患有骨质疏松性椎体压缩骨折患者人数已达4449万,每年新增椎体骨折181万人。目前椎体压缩性骨折(OVCF)主要依靠影像科医生人工看片的方式进行诊断，不仅耗时，同时准确率也跟影像科医生的经验有关，因此如何基于脊椎影像图像自动判断椎体压缩性骨折(OVCF)是亟待解决的一个课题。

目前椎体压缩性骨折的诊断主要有两种途径：1)影像科医生手动度量椎体的三条线，并计算任意两条线之前的比值，如果比值大于15％，则为压缩性骨折。2)基于图像处理的方法，主要分为基于区域的方法和边缘分割方法。基于区域的方法依赖于图像的空间局部特征,如灰度、纹理及其它象素统计特性的均匀性等。基于边缘分割方法通常利用梯度信息确定目标的边界。这两种方法都需要实现对椎体进行定位，在定位的基础上才能实现分割。同时由于不同设备和不同的个体，对椎体分割的准确度不高，另外椎体分割完成后还要计算椎体任意两条线之间的比值，通过此比值去判断骨折椎体。这种首先依赖椎体的分割准确性，会存在累计误差。同时，急性骨折由于其形状和正常骨折一致，无法通过此方法进行识别。总体而言，目前对于椎体压缩性骨折的诊断首先是正确率不高，其次对于人的依赖程度很高，另外无法同时识别压缩骨折和急性骨折这两种类型的骨折。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，解决压缩骨折主要依靠影像科医生主观判断的缺点，快速、准确的自动识别椎体压缩性骨折(OVCF)。

为实现上述目的，本发明所提供的技术方案为：一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，包括：

数据导入模块，用于加载多模态图像，并对图像进行预处理；

诊断模块，利用特征提取模块提取不同模态的医学图像特征，利用特征融合模块将不同模态的医学图像特征融合，并利用特征解码模块将融合的特征解码出来；

预测模块，利用诊断模块依据多模态医学图像进行疾病智能诊断，并提供诊断结果置信度和可视化图。

进一步，所述数据导入模块包括数据加载模块和数据预处理模块；

所述数据加载模块从本地读取不同模态的医学图像，包括png、jpeg、npy格式，其中，不同模态的医学图像包括T1序列医学图像和T2序列医学图像；

所述数据预处理模块用于对T1序列医学图像和T2序列医学图像进行裁剪，将其裁剪到统一大小，并对T1序列医学图像和T2序列医学图像进行限制对比度自适应直方图均衡化(CLAHE)处理，最后对T1序列医学图像和T2序列医学图像进行归一化。

进一步，所述诊断模块包括特征提取模块、特征融合模块和特征解码模块；

所述特征提取模块用于对样本进行特征提取，利用空洞卷积神经网络构成的特征提取块(DIB)自动提取不同视野的特征，具体执行以下操作：

对T1、T2序列医学图像均分别使用四个特征提取块(DIB)进行特征提取，及使用三个最大池化层进行下采样；其中，所述特征提取块(DIB)的处理过程为：为输入特征数据经过1个3×3卷积提取特征后，经过3个并行的空洞率分别为1、2和4的3×3卷积提取特征，然后拼接到一起，再经过一个1×1卷积提取特征，激活函数均为ReLU；所述最大池化层由步长为2、核尺寸为2×2的卷积核构成；

所述特征融合模块用于将T1序列医学图像特征和T2序列医学图像特征进行融合，将T1序列医学图像特征和T2序列医学图像特征对应维度进行拼接，拼接以后利用空洞卷积神经网络构成的特征提取块(DIB)自动提取不同视野的特征，包括四个特征提取块(DIB)和三个上采样模块；其中，所述特征提取块(DIB)的处理过程为：为输入特征数据经过1个3×3卷积提取特征后，经过3个并行的空洞率分别为1、2和4的3×3卷积提取特征，然后拼接到一起，再经过一个1×1卷积提取特征，激活函数均为ReLU；第一个特征提取块(DIB)输出特征图大小与T1序列和T2序列医学图像的大小相同；第二个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的二分之一；第三个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的四分之一；第四个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的八分之一；第二个特征提取块(DIB)的输出接一个上采样模块，采样率为2，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；第三个特征提取块(DIB)的输出接一个上采样模块，采样率为4，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；第四个特征提取块(DIB)的输出接一个上采样模块，采样率为8，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；

所述特征解码模块用于对不同视野下获取的特征进行拼接并解码操作，得到与T1序列和T2序列医学图像输入图像同样大小的掩码图，作为分割的结果图，其处理过程包括特征拼接、softmax和卷积操作；其中，所述特征拼接是将特征融合模块得到的四个特征图在通道维度上进行拼接操作；所述softmax操作是对拼接后的特征进行softmax；所述卷积操作是对经softmax后的特征进行1×1卷积操作。

进一步，所述预测模块具体执行以下操作：

1)使用数据导入模块中的数据加载模块加载T1序列医学图像和T2序列医学图像，使用数据预处理模块处理分别处理T1序列医学图像和T2序列医学图像；

2)经过步骤1)处理后的T1序列医学图像和T2序列医学图像输入诊断模块中进行疾病诊断；

3)提取上述步骤2)中诊断模块得到的语义分割结果，从而给出诊断结果置信度和可视化图。

本发明与现有技术相比，具有如下优点与有益效果：

1、通过深度学习方法自动分割椎体并识别出椎体压缩性骨折(OVCF)，相比传统影像科医生看片更快速。

2、解决传统影像科医生诊断的主观性。

3、不需要人工定位椎体，模型自动可以识别。

4、骨折椎体的识别不完全依赖于分割。

5、可以适应各种类型的设备和不同的影像图片。

6、可以同时识别出压缩性骨折和急性骨折。

7、通过深度学习方法，可以给出椎体压缩性骨折(OVCF)的置信度，有利于帮助医生更好的给出治疗方案。

8、分割结果的可视化，可以指导医生对患者进行针刺、打水泥等治疗。

附图说明

图1为本发明系统各个模块的关系示意图。

图2为本发明系统训练和预测的流程图。

图3为本发明系统所使用特征提取模块的结构示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例所提供的基于深度学习的椎体压缩性骨折多模态智能诊断系统，是使用Python语言开发的可在Windows设备上运行的系统。系统各模块间关系如图1所示，系统训练和预测的流程图如图2所示。它包括有：

数据导入模块，用于加载多模态MRI椎体图像，并对图像进行预处理；

诊断模块，利用特征提取模块提取不同模态的MRI图像特征，利用特征融合模块将不同模态的MRI图像特征融合，并利用特征解码模块将融合的特征解码出来，最终得到诊断模型；

预测模块，利用诊断模型块依据多模态MRI椎体图像进行疾病智能诊断，并提供诊断结果的可视化。

所述数据导入模块包括数据加载模块、数据预处理模块，其中：

所述数据加载模块从本地读取不同模态的MRI腰椎椎体图像，包括png、jpeg、npy格式，其中，不同模态的MRI腰椎椎体图像包括T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像；

所述数据预处理模块用于对T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像进行裁剪，将其裁剪到统一大小，并对T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像进行限制对比度自适应直方图均衡化(CLAHE)处理，最后对T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像进行归一化。

所述诊断模块包括特征提取模块、特征融合模块和特征解码模块，其中：

所述特征提取模块，用于对T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像进行特征提取，如图3所示，利用空洞卷积神经网络构成的特征提取块(DIB)自动提取不同视野的特征，具体执行以下操作：

对T1序列MRI腰椎椎体图像使用四个特征提取块(DIB)进行特征提取，三个最大池化层进行下采样：

特征提取块(DIB)的处理过程为：输入特征数据经过1个3×3卷积提取特征后，经过3个并行的空洞率分别为1，2和4的3×3卷积提取特征，然后拼接到一起，再经过一个1×1卷积提取特征，激活函数均为ReLU；最大池化层由步长为2，核尺寸为2×2的卷积核构成。

对T2序列MRI腰椎椎体图像使用四个特征提取块(DIB)进行特征提取，三个最大池化层进行下采样：

特征提取块(DIB)的处理过程为：输入特征数据经过1个3×3卷积提取特征后，经过3个并行的空洞率分别为1，2和4的3×3卷积提取特征，然后拼接到一起，再经过一个1×1卷积提取特征，激活函数均为ReLU；最大池化层由步长为2，核尺寸为2×2的卷积核构成。

所述特征融合模块用于将T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像特征进行融合，将T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像特征对应维度进行拼接，拼接以后利用空洞卷积神经网络构成的特征提取块(DIB)自动提取不同视野的特征，包括四个特征提取块(DIB)和三个上采样模块：

特征提取块(DIB)的处理过程为：输入特征数据经过1个3×3卷积提取特征后，经过3个并行的空洞率分别为1，2和4的3×3卷积提取特征，然后拼接到一起，再经过一个1×1卷积提取特征，激活函数均为ReLU；第一个特征提取块(DIB)输出特征图大小与T1序列和T2序列医学图像的大小相同；第二个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的二分之一；第三个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的四分之一；第四个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的八分之一；第二个特征提取块(DIB)的输出接一个上采样模块，采样率为2，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；第三个特征提取块(DIB)的输出接一个上采样模块，采样率为4，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；第四个特征提取块(DIB)的输出接一个上采样模块，采样率为8，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同。

所述特征解码模块用于对不同视野下获取的特征进行拼接并解码操作，得到与T1序列和T2序列医学图像输入图像同样大小的掩码图，作为分割的结果图，其处理过程包括特征拼接、softmax和卷积操作；其中，所述特征拼接是将特征融合模块得到的四个特征图在通道维度上进行拼接操作；所述softmax操作是对拼接后的特征进行softmax；所述卷积操作是对经softmax后的特征进行1×1卷积操作。

所述预测模块具体执行以下操作：

1)使用数据导入模块中的数据加载模块加载T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像，使用数据预处理模块处理分别处理T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像；

2)经过步骤1)处理后的T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像输入诊断模块得到的预测模块中进行疾病诊断；

3)提取上述步骤2)中诊断模块得到的语义分割结果，从而对椎体压缩性骨折(OVCF)进行识别，并给出结果的置信度和可视化图。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。