一种基于深度学习算法的CT肋骨骨折辅助诊断系统

摘要

本发明涉及医疗技术领域，尤其涉及一种基于深度学习算法的CT肋骨骨折辅助诊断系统，该系统包括：数据处理模块，用于对待检测的胸部CT图像，进行数据归一化处理，得到归一化后的所述胸部CT图像；检测模块，用于将归一化处理过后的胸部CT图像作为输入至检测模块中，得到胸部CT图像的检测结果；检测模块包括：肋骨检测单元、肋骨骨折分割单元和肋骨编号及分段单元，显示模块，用于显示胸部CT图像的输出结果。本发明实施例提供的基于深度学习算法的CT肋骨骨折辅助诊断系统有效的降低了肋骨骨折检测的假阳和假阴，并且该检测结果提供了疑似肋骨骨折的位置信息，可以辅助医生诊断。

说明书

技术领域

本发明涉及医疗技术领域，尤其涉及一种基于深度学习算法的CT肋骨骨折辅助诊断系统。

背景技术

计算机断层扫描(CT)是用于诊断胸部的肋骨骨折的主要方法。CT胸部检查肋骨骨折是个耗时耗力的过程，因为肋骨解剖形态独特，每一根肋骨自后上至前下，需对多个CT横断层面进行反复观察，依次完成对左右两侧逐一肋骨的评价，费时耗力，给诊断带来了困难。

现有出现的智能辅助诊断肋骨骨折系统，其结合传统检测模型，可以得到疑似病灶区域，来辅助医生诊断。随着深度学习的发展，众多计算机视觉任务由于深度学习的兴起而快速发展，以数据驱动的深度学习模型取得了比传统检测模型更好的效果，越来越多的深度卷积神经网络算法技术被应用到了医学中。以数据驱动的深度学习模型用于辅助诊断的方式为首先收集原始CT影像，然后基于影像中根肋骨得到相应的展开图，然后将每个肋骨的展开图作为自动检测模型的输入，得到疑似肋骨骨折的病灶区，然后将其在系统中标出，提示医生此处有可疑病灶区。

然而该方法只能标示出可疑病灶区，缺少可疑病灶的定位分析，例如标出在左/右侧的第几根肋骨的什么段位出现骨折，这就导致报告医生在写报告的时候还需要根据影像做进一步判断，这也是耗时耗力的过程；另外，传统的检测算法假阴假阳很高。

发明内容

针对上述技术问题，本发明实施例提供了一种基于深度学习算法的CT肋骨骨折辅助诊断系统，以解决传统的深度学习模型用于CT肋骨骨折辅助诊断时，无法对病灶区域定位分析，检测不准确的一种或者多种问题。

本发明实施例的第一方面提供一种基于深度学习算法的CT肋骨骨折辅助诊断系统，包括：数据处理模块，用于对待检测的胸部CT图像，进行数据归一化处理，得到归一化后的所述胸部CT图像；检测模块，用于将归一化处理过后的所述胸部CT图像作为输入至所述检测模块中，得到所述胸部CT图像的检测结果；所述检测模块包括：肋骨检测单元、肋骨骨折分割单元和肋骨编号及分段单元，显示模块，用于显示所述胸部CT图像的输出结果。

可选地，所述肋骨检测单元为Faster-RCNN深度神经网络模型；所述Faster-RCNN深度神经网络模型用于对所述胸部CT图像进行肋骨分割，所述Faster-RCNN深度神经网络模型的输出为肋骨的分割模板。

可选地，所述肋骨骨折分割单元为UNet分割神经网络模型；所述UNet分割神经网络模型用于检测所述胸部CT图像中的肋骨骨折区域，，所述UNet分割神经网络模型的输出为标注的所述肋骨骨折区域。

可选地，所述肋骨编号及分段单元的输出为所述肋骨骨折区域的位置信息。

可选地，所述肋骨骨折区域的位置信息包括以下一种或多种：左侧肋骨、右侧肋骨、第N根肋骨、腋下肋骨、肋骨前段以及肋骨后段，N为正整数。

可选地，所述检测模块的输出结果包括：待检测的胸部CT图像为肋骨骨折的概率。

可选地，所述系统还包括：确定模块，所述确定模块用于设置置信度阈值，若所述待检测的胸部CT图像为肋骨骨折的概率大于所述置信度阈值则确定所述待检测的胸部CT图像的检测结果肋骨骨折。

可选地，所述置信度阈值为0.5。

可选地，数据处理模块包括：读取单元，用于读取每一张所述胸部CT图像的像素参数，所述像素参数代表每个像素与其对应的胸部CT的实际距离；归一单元，用于根据所述像素参数，将所述胸部CT图像进行放大或缩小以实现物理尺寸的归一化。

可选地，所述系统还包括：扩充模块，所述扩充模块用于在更新所述检测模块时，对训练集中的胸部CT图像进行翻转和/或镜像操作，扩充所述训练集。

本发明实施例提供的基于深度学习算法的CT肋骨骨折辅助诊断系统，一反面有效的降低了肋骨骨折检测的假阳和假阴，另一方面该检测结果提供了疑似肋骨骨折的位置信息，可以辅助医生诊断。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1为本发明实施例的一种基于深度学习算法的CT肋骨骨折辅助诊断方法的流程示意图；

图2是本发明实施例提供的训练之前对训练集中的数据进行肋骨骨折区域标注的示意图；

图3是本发明实施例提供的训练之前对每张图像中的肋骨进行像素级的标注的示意图；

图4是本发明实施例提供的肋骨骨折检测模型输入的胸部CT图像示意图；

图5是本发明实施例提供的肋骨骨折检测模型输出的检测结果示意图；

图6是本发明实施例提供的一种基于深度学习算法的CT肋骨骨折辅助诊断系统的结构框图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明基于定制化的深度卷积神经网络模型，可以实现对胸部CT图像中含疑似肋骨骨折区域，及肋骨骨折的位置信息展示给医生，以给出结构化的影像所见及诊断意见，供医生参考，以下对本发明进行详细说明。

请参阅图1，本发明实施例首先提供一种基于深度学习算法的CT肋骨骨折辅助诊断方法，如图1所示，该方法包括如下步骤：

步骤101、选取一定数量的胸部CT图像作为训练集，并标注所述胸部CT图像中的肋骨骨折区域和肋骨编号。

本发明基于深度学习构建卷积神经网络进行胸部CT图像识别，深度学习是基于大量样本，通过反向传播算法对大量样本进行特征提取和模型参数调整的技术。本发明在数据准备阶段首先构建一个包含11527例的胸部CT图像，其中肋骨骨折阳性数据(每例数据中含有至少一处骨折)3261例，阴性数据(诊断报告显示图像中未发现肋骨骨折)8266例。

针对11527例数据集，在操作过程中，随机挑选2425例阳性数据用作模型训练，构成胸部CT图像的训练数据集，剩下的9102例数据则作为本发明的测试数据集。其中，该作为训练集的胸部CT图像为是通过DICOM协议从医院的PACS系统(Picture Archiving andCommunication Systems，影像归档和通信系统)或者DR、CR设备上获取胸部CT图像。

在训练之前对训练集中的数据进行标注的方式如下：

针对2425例训练集中的阳性数据，采取slice-wise的矩形标注方式，具体由医生1首先对胸部CT图像逐层进行标注，标注的时候矩形标注的轮廓尽可能完整覆盖肋骨骨折区域，并且完整记录每个矩形的顶点坐标位置。

医生1标注完成后，由医生2对医生1的标注进行审核，若医生1出现漏标或者误标，则由医生2进行修正，最后将医生2修正后的标注如图2所示，作为金标准。

由于最终需要确认肋骨骨折区域的位置信息，因此还需要针对肋骨进行编号，亦即进行编号训练，本发明针对肋骨编号使用的训练集，由医生3采取slice-wise的标注方式，对每张图像中的肋骨进行像素级的标注。标注的时候掩膜的轮廓尽量覆盖相应的肋骨区域，完整的记录肋骨的像素点坐标，标注结果如图3所示。

步骤102、对所述胸部CT图像进行数据归一化处理。

由于胸部CT图像来源于不同的中心，作为训练集的胸部CT图像可能由于不同软件参数设置以及后处理算法，导致图像单像素代表的实际物理尺寸有不同，此处数据归一化的目的在于尽可能保证使训练集中的图像具有相近的物理尺寸。本发明将所有胸部CT图像的z方向上的间距统一归一化为3mm，来减少差异化给模型带来的影响。在下述模型在部署和应用场景中，也应该对输入数据进行同样的归一化处理。

为了利用有限的训练数据使模型的泛化能力更强，可以将训练集中的胸部CT图像进行翻转和/或镜像等操作，实现对训练集数据的扩充。在本发明中，进行训练集数据扩充的包括如下步骤：

垂直镜像：随机对训练数据集及其标注图像进行垂直镜像；

水平镜像：随机对训练数据集及其标注图像进行水平镜像；

翻转：随机对训练数据集及其标注图像进行顺时针翻转，翻转角度为0度、90度、180度或270度。

通过上述方式进行扩充后的训练集为3个训练神经网络所使用的训练数据。需要说明的是，上述镜像再翻转只是本发明其中一种扩充训练集的实施方式，在其他实施例中还可以通过翻转再镜像或者只进行镜像、只进行镜像等方式扩充训练集。

步骤103、将归一化处理过后的所述胸部CT图像作为输入，标注的所述胸部CT图像中的肋骨骨折区域和肋骨编号作为输出进行肋骨骨折检测模型训练。

在本发明中，肋骨骨折检测模型的输入如图4所示为1024*1024*3的胸部CT切片图像，输出如图5所示(同附图2中医生对肋骨骨折区域的标注)为每张切片图像的一个矩形框列表，每个列表含有多个矩形框(矩形框覆盖肋骨区域)，每个矩形框有中心坐标、长宽以及概率等三个属性值，亦即肋骨骨折检测模型的输出包括：待检测的胸部CT图像为肋骨骨折的概率。本发明将预测概率最高且高于阈值0.5的区域被视为模型最终输出。

在本发明实施例中，肋骨骨折检测模型包括：肋骨检测模型、肋骨骨折分割模型以及肋骨编号及分段模型，以下对该3个模型进行分别说明。

其中，肋骨检测模型为Faster-RCNN模型，Faster-RCNN模型是基于卷积神经网络的图像分割模型，该模型利用大量标注数据，对模型进行训练即可获得很好的分类效果。

在本发明实施例中，Faster-RCNN模型共包括以下4个结构：特征提取网络、区域选取网络、分类网络和2D分割网络。

1、特征提取网络。

特征提取网络为由重复堆砌的卷积层、采样层及非线性激活层组成的神经网络架构，该神经网络架构基于深度学习中的反向传播算法，用大量图像数据和图像所含物体类别标签预训练，总结提取图像抽象特征，输出图像的高维特征张量。在本发明中，特征提取网络为修改过的Resnet-50分类网络的特征提取网络，其输入为1024*1024*3的胸部CT切片图像，输出为32*32*2048的高维张量。

2、区域选取网络。

区域选取网络由全连接层和非线性激活层组成，区域选取网络通过在特征提取网络输出的高维张量上进行滑窗分类和物体边界框坐标回归，分类结果为判断当前该窗口位置包含肋骨骨折的概率及估计当前窗口所含细胞的尺寸和长宽比，当前窗口位置即对应原胸部CT切片图像中相应坐标位置。经过区域选取网络，可以对肋骨骨折的位置，大小，外接矩形框的长宽比进行估计。

在本发明中，区域选取网络可以采用特征金字塔网络FPN，金字塔网络FPN能够融合多尺度的特征信息，对小目标的检测起到了显著的提升作用。

FPN网络的输入为32x*32*2048的高维张量，中间层为256维的特征向量，分类输出层为全连接层，256维向量全连接输出当前区域包含目标的类别，各个类别分别有一个2位的稀疏向量表征(肋骨骨折+背景)，矩形框位置回归样同是全连接层，由256维向量全连接输出当前区域包含目标相对于子张量坐标中心的外接矩形框左上角坐标的橫，纵，长，宽的归一化在[0，1]之间的浮点值。通过区域选取网络可以得到肋骨骨折在特征提取网络输出的高维特征张量中对应该骨折位置对应的特征子张量。

3、分类网络。

分类网络由堆砌的全连接层和非线性激活层组成，分类网络对区域选取网络输出中，包含肋骨骨折的位置所对应的高维特征张量进行分类，判断该区域中所包含的目标是骨折或是背景。

4、2D分割网络。

2D分割网络由重复堆砌的卷积层组成，分割网络通过卷积及转置卷积。输入为区域选取网络中分类结果包含细胞和细胞核的区域所对应的特征提取网络输出结果中的高维张量的子张量。该子张量包含对原图像中细胞及细胞核的形状，特征的抽象编码；2D分割网络对该子张量中图像的抽象编码进行解码和重构，输出重构后的分割模板，从而完成胸部CT图像中肋骨的像素级分类。

在本发明中，2D分割网络首先对FPN中的高维张量进行双线性差值，获得固定尺寸为512*512*4的特征张量，将其作为分割网络的输入，2D分割网络由一个卷积核为3*3*256常规卷积层和一个卷积核为2*2*256，步长为2的转置卷积层(接非线性激活层)和一个卷积核为1*1*1的卷积输出层组成，输出的结果为对应肋骨的分割模板，获得分割好的模板后，通过双线性差将模板放大为原CT图像区域大小，从而获得肋骨的分割输出，亦即所述Faster-RCNN深度神经网络模型的输出为肋骨的分割模板。。

本发明的肋骨骨折分割模型为UNet分割神经网络模型，该UNet分割神经网络模型的输出为标注的肋骨骨折区域。

UNet分割神经网络的输入为256*256*48大小的三维patch，该网络结构主要由编码器和译码器组成，其中编码器由一系列重复堆砌的卷积层和池化层构成，而译码器由一系列卷积层和转置卷积层组成。在整个网络流程中，高层特征与底层特征逐层进行融合，语义信息与空间信息相辅相成，最后输出肋骨的三维分割模板，即肋骨骨折区域。

本发明的肋骨编号及分段模型由编号和分段算法组成。其具体实施方式为：首先在肋骨掩膜中寻找联通域集合记为L，然后利用中心线切割法将L分为L1和L2(左右)两大集合，最后针对每个集合中的联通域，根据其质心在z方向上的大小进行排序，得到肋骨编号的掩膜。针对联通域集和L，对每个联通域寻找其左右端点，然后根据最近邻算法将每个联通域(即每根肋骨)分为前段、腋段和后段，得到肋骨骨折区域的位置信息。

本发明实施例利用深度学习中的反向传播算法，训练获得模型参数。其中，分类网络及区域选择网络以目标真实类别向量和输入区域相对于输入张量坐标中心的坐标为标签，损失函数为交叉熵函数。

在本发明实施例中，特征提取网络的参数由在ImageNet分类网络预训练的网络去除全连接层的参数进行初始化，其它相关的网络参数从[0,1]之间服从截断正态分布的参数中随机初始化选择。利用随机梯度下降反向传播算法在经过增强的训练集中以0.001的学习律训练360个周期。

在完成上述训练后，可以通过得到的模型在验证集(剩下的9102例数据作为测试数据集进行验证)上统计分割结果，即将每张验证集中的图像的所有分割结果叠加在一起构成该图像的分割模板。接着，计算分割模板与实际标注的欧几里德距离，该欧几里德距离为单张图像的推断误差；最后，将验证集中所有图片的推断误差加在一起即得到验证集误差，本发明实施例选取训练过程中，令验证集误差最低的模型作为最终训练获得的模型。

在本发明实施例中，肋骨骨折检测模型的输出是该目标区域为肋骨骨折的概率。本发明将预测概率最高且高于阈值0.5的区域被视为模型最终输出。模型输出的全部目标通过非最大值抑制(Non-maximum suppression,NMS)算法，以消除高度重叠的检测结果。

在本发明实施例中，肋骨骨折分割模型的输出是标注的肋骨骨折区域；然后，经过肋骨编号及分段模型的后处理算法后可得到肋骨编号和肋骨分段的分割模板，最后将检测框与编号模板以及分段模板相结合，最终得到肋骨骨折的细定位。

步骤104、将待检测的胸部CT图像经过处理后输入至训练好的所述肋骨检测模型、所述肋骨骨折分割模型以及肋骨编号及分段模型中，输出检测结果。

在应用时，将待检测的胸部CT图像输入至训练好的所述肋骨检测模型、所述肋骨骨折分割模型以及肋骨编号及分段模型中，输出检测结果。该检测结果为肋骨骨折区域和肋骨骨折的位置信息。其中，肋骨骨折的位置包括：左侧肋骨、右侧肋骨、第N根肋骨、腋下肋骨、肋骨前段以及肋骨后段，N为正整数。

需要说明的是，本发明实施例中的模型训练方式为本领域技术人员付出创造性劳动的成果，凡是在本发明实施例基础上对本发明中数据增强方式，神经网络架构，超参数和损失函数的改变、调整或替换方案，应视为等同于本方案。

通过本发明实施例提供的基于深度学习算法的CT肋骨骨折辅助诊断方法，输入任意胸部CT图像至步骤103获得的模型中可得到目标是图像是否骨折，以及骨折的区域骨折的位置等信息。本发明实施例提供的基于深度学习算法的CT肋骨骨折辅助诊断方法有效的降低了肋骨骨折检测的假阳和假阴，并且该检测结果提供了疑似肋骨骨折的位置信息，可以辅助医生诊断。在此基础上，在输出结果时，还可以通过提供格式化的影像所见及诊断意见的文字，以为医生写诊断报告提供素材。

本发明还提供一种基于深度学习算法的CT肋骨骨折辅助诊断系统。如图6所示，该系统600包括：数据处理模块61、检测模块62(检测模块62包括：肋骨检测单元621、肋骨骨折分割单元622和肋骨编号及分段单元623)以及显示模块63。

数据处理模块61用于对待检测的胸部CT图像，进行数据归一化处理，得到归一化后的胸部CT图像；检测模块62，用于将归一化处理过后的所述胸部CT图像作为输入至检测模块62中，得到所述胸部CT图像的检测结果。所述检测模块的输出结果包括：待检测的胸部CT图像为肋骨骨折的概率。

检测模块62包括：肋骨检测单元621、肋骨骨折分割单元622和肋骨编号及分段单元623。

肋骨检测单元621为Faster-RCNN深度神经网络模型；Faster-RCNN深度神经网络模型用于对胸部CT图像进行肋骨分割，Faster-RCNN深度神经网络模型的输出为肋骨的分割模板

肋骨骨折分割单元622为UNet分割神经网络模型；UNet分割神经网络模型用于检测胸部CT图像中的肋骨骨折区域，UNet分割神经网络模型的输出为标注的所述肋骨骨折区域。

肋骨编号及分段单元623的输出为肋骨骨折区域的位置信息。

显示模块63用于显示待识别的所述胸部CT图像的检测结果。

上述实施例中的基于深度学习算法的CT肋骨骨折辅助诊断方法中的具体实施例在本发明实施例的基于深度学习算法的CT肋骨骨折辅助诊断系统中同样适用，具体不再详述。

在实际应用中，基于深度学习算法的CT肋骨骨折辅助诊断系统600首先获取待检测的胸部CT图像，该胸部CT图像可以从CT设备或者PACS系统中通过DICOM协议获取。然后，将获取的胸部CT图像输入值预先构建的肋骨检测单元621、肋骨骨折分割单元622和肋骨编号及分段单元623中，经过肋骨检测单元621、肋骨骨折分割单元622和肋骨编号及分段单元623的依次检测，获得候选肋骨骨折区域对应的位置和是否为肋骨骨折的检测结果(该检测结果可以保存在系统中)显示模块63最后显示胸部CT图像的检测结果。

本发明的基于深度学习算法的CT肋骨骨折辅助诊断系统，将每个肋骨的展开图作为自动检测模型的输入，得到疑似肋骨骨折的病灶区，然后将其在系统中标出，提示医生此处有可疑病灶区。该系统有效的降低了肋骨骨折检测的假阳和假阴，并且该检测结果提供了疑似肋骨骨折的位置信息，可以辅助医生诊断。

在一些实施例中，所述肋骨骨折区域的位置信息包括以下一种或多种：左侧肋骨、右侧肋骨、第N根肋骨、腋下肋骨、肋骨前段以及肋骨后段，N为正整数。

在一些实施例中，基于深度学习算法的CT肋骨骨折辅助诊断系统还包括：确定模块，所述确定模块用于设置置信度阈值，若所述待检测的胸部CT图像为肋骨骨折的概率大于所述置信度阈值则确定所述待检测的胸部CT图像的检测结果肋骨骨折。较佳地，所述置信度阈值为0.5。

在一些实施例中，所述数据处理模块包括：读取单元和归一单元。

读取单元，用于读取每一张所述胸部CT图像的像素参数，所述像素参数代表每个像素与其对应的胸部CT的实际距离；归一单元，用于根据所述像素参数，将所述胸部CT图像进行放大或缩小以实现物理尺寸的归一化。

在一些实施例中，基于深度学习算法的CT肋骨骨折辅助诊断系统还包括：扩充模块，所述扩充模块用于在更新所述检测模块时，对训练集中的胸部CT图像进行翻转和/或镜像操作，扩充所述训练集。

本发明实施例提供的基于深度学习算法的CT肋骨骨折辅助诊断系统有效的降低了肋骨骨折检测的假阳和假阴，并且该检测结果提供了疑似肋骨骨折的位置信息，可以辅助医生诊断。在此基础上，在输出结果时，还可以通过提供格式化的影像所见及诊断意见的文字，以为医生写诊断报告提供素材。

本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的示例性的双光图像整合方法的各个步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。

本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。