首页> 中国专利> 基于卷积神经网络的CT影像骨骼分割方法及装置

基于卷积神经网络的CT影像骨骼分割方法及装置

摘要

本发明公开了基于卷积神经网络的CT影像骨骼分割方法及装置,涉及计算机视觉、深度学习技术领域。所述方法包括:获取CT影像数据输入至骨骼识别模型中;所述CT影像数据经卷积操作处理后得到特征输出图C1;对特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN;所述特征输出图CN经卷积操作处理后得到特征输出图CN+1;将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,获取特征输出图PL;多个特征输出图PL进行堆叠操作得到融合特征PF1;所述融合特征PF1与特征输出图CN+1进行堆叠操作得到融合特征PF2;将融合特征PF2进行卷积操作后,获取分割图S。本申请能够准确并快速的将CT影像进行骨骼分割,节约了时间成本,对GPU要求也不高。

著录项

  • 公开/公告号CN113077418A

    专利类型发明专利

  • 公开/公告日2021-07-06

    原文格式PDF

  • 申请/专利号CN202110290523.4

  • 申请日2021-03-18

  • 分类号G06T7/00(20170101);G06K9/34(20060101);G06K9/62(20060101);G06N3/04(20060101);

  • 代理机构21235 大连智高专利事务所(特殊普通合伙);

  • 代理人盖小静

  • 地址 116023 辽宁省大连市高新技术产业园区软件园东路5号3号楼403-404A

  • 入库时间 2023-06-19 11:44:10

说明书

技术领域

本发明涉及计算机视觉、深度学习技术领域,具体涉及基于卷积神经网络的CT影像骨骼分割方法及装置。

背景技术

CT影像自动去骨是医生对患者CT影像评估中一个重要步骤,在CT影像中骨骼会影响医生对血管疾病的判断。目前骨骼分割方式是通过传统数字图像处理中的方法实现,即先确定出阈值,再对图像进行二值分割等。该种方式只有在特殊情况下分割结果较为理想,在血管分布密集时分割结果并不精准。

现有技术中CT图像去骨一般采用两次CT扫描,一次是正常CT扫描,第二次为造影CT扫描,将骨骼用造影剂标记得到标记后的CT图像。将两次图像做相减处理,得到去骨后的图像。但在医生查阅患者CT影像时,由于血液和骨骼在CT影像中的显示较为相近,使用传统数字图像处理的方法将骨骼和血液分离的效果并不理想。而现有的深度学习方法计算速度慢,无法在短时间内做到快速分割。考虑到大型网络对GPU也有一定要求,故会导致成本高等问题出现。

发明内容

针对现有技术存在上述问题,本申请提供一种基于卷积神经网络的CT影像骨骼分割方法及装置,其能够准确并快速的将CT影像进行骨骼分割,节约了时间成本,对GPU要求也不高。

为实现上述目的,本发明提供一种基于卷积神经网络的CT影像骨骼分割方法,该方法包括:

获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;所述骨骼识别模型训练方式为:

所述CT影像数据经卷积操作处理后得到特征输出图C1;

对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图C

所述特征输出图C

将所述特征输出图C

多个所述特征输出图PL进行堆叠操作得到融合特征PF1;

所述融合特征PF1与特征输出图C

将所述融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。

优选地,还包括:使用交叉熵损失函数获取分割图S与原图数据标注之间的损失,利用Adam优化器对骨骼识别模型进行反向传播更新参数,若骨骼识别模型已经收敛则保存模型参数,否则继续训练。

优选地,对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图C

将所述特征输出图C1输入至瓶颈模块B1,经所述瓶颈模块B1复合操作处理后得到特征输出图C2;

将所述特征输出图C2输入至瓶颈模块B2,经所述瓶颈模块B2复合操作处理后得到特征输出图C3;

……

将所述特征输出图C

优选地,每个瓶颈模块均包括卷积层和激活函数层;所述卷积层用于提供线性特征,所述激活函数层用于加入非线性因素。

优选地,每个瓶颈模块由两个或三个或四个相同模块构成,所述模块包括次顺序串联的卷积层a、ReLU6激活函数层a、步长为1或2的深度可分离卷积层、ReLU6激活函数层b、卷积层b、Linear激活函数层,CT影像依次经过卷积层a处理、经ReLU6激活函数层a计算、经步长为1或2的深度可分离卷积层进行二次卷积处理、经ReLU6激活函数层b二次计算、经过卷积层b三次卷积处理、经过Linear激活函数层三次计算。

优选地,将所述特征输出图C

将所述特征输出图C

所述特征输出图P1进行卷积操作处理后得到特征输出图P1’;

所述特征输出图P1’进行双线性插值操作,所述双线性插值操作将特征输出图P1’恢复成与特征输出图C

将所述特征输出图C

所述特征输出图P2进行卷积操作处理后得到特征输出图P2’;

所述特征输出图P2’进行双线性插值操作,所述双线性插值操作将特征输出图P2’恢复成与特征输出图C

将所述特征输出图C

所述特征输出图P3进行卷积操作处理后得到特征输出图P3’;

所述特征输出图P3’进行双线性插值操作,所述双线性插值操作将特征输出图P3’恢复成与特征输出图C

优选地,将所述特征输出图C

将所述特征输出图C

所述特征输出图P4进行卷积操作处理后得到特征输出图P4’;

所述特征输出图P4’进行双线性插值操作,所述双线性插值操作将特征输出图P4’恢复成与特征输出图C

优选地,将所述特征输出图C

将所述特征输出图C

所述特征输出图P5进行卷积操作处理后得到特征输出图P5’;

所述特征输出图P5’进行双线性插值操作,所述双线性插值操作将特征输出图P5’恢复成与特征输出图C

优选地,所述池化核A1的大小为1×1;所述池化核A2的大小为2×2;所述池化核A3的大小为3×3;所述池化核A4的大小为6×6,所述池化核A5的大小为4×4。

本发明还提供一种基于卷积神经网络的CT影像骨骼分割装置,该装置包括:

影像数据获取模块,获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;

特征图C1获取模块,所述CT影像数据经卷积操作处理后得到特征输出图C1;

特征图C

特征图C

特征图PL获取模块,将所述特征输出图C

特征PF1获取模块,多个所述特征输出图PL进行堆叠操作得到融合特征PF1;

特征PF2获取模块,所述融合特征PF1与特征输出图C

分割结果获取模块,将融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。

经由上述方案可知,本申请提供的基于卷积神经网络的CT影像骨骼分割方法及装置,通过足够的数据量以及参数量,使得骨骼识别模型可以学习到更加复杂以及更高维度的特征。深度可分离卷积层的引入,在保证模型复杂度的同时减小了参数量。本发明在能够保持特征学习的同时提升了运行速度;增加多尺度特征融合操作,能够让骨骼识别模型深度学习到不同尺度的CT影像骨骼特征;由此使得骨骼识别模型准确率高、骨骼分割速度快,节约了时间成本,对GPU要求也不高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的基于卷积神经网络的CT影像骨骼分割方法流程示意图;

图2为本申请实施例提供的基于卷积神经网络的CT影像骨骼分割方法原理图;

图3为本申请实施例提供的基于卷积神经网络的CT影像骨骼分割系统结构框图;

图4为本申请实施例提供的基于卷积神经网络的CT影像骨骼分割的电子设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

在三维医学影像的分割中,由于骨骼区域在CT影像中的信号强度值较高,而其它软组织的信号强度值一般均低于骨骼的信号强度值,常规基于阈值分割的方法普遍被用于骨骼分割。但是,临床上CT的骨骼信号强度分布并不总是高于其它组织,某些骨骼区域的信号强度值甚至接近于软组织信号强度值,若选用固定的阈值就会出现“过分割”和“欠分割”现象。因此,常规的阈值分割方法很难满足临床上对骨骼精准分割效果的要求。图1为本申请实施例提供的基于卷积神经网络的CT影像骨骼分割方法流程示意图,本实施例可适用于CT影像需要骨骼分割的情况,该方法可以由基于卷积神经网络的CT影像骨骼分割装置来执行,该装置可以采用软件和/或硬件的方式实现,该装置可以配置于计算机设备中。如图1所示,本实施例的方法具体包括:

S1.获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;

获取CT影像属性信息,读取原始影像,显示CT影像尺寸(即显示出影像的分辨率,例如大小为512X512),Spacing信息;背景标注为0,骨骼标注为1。在CT影像中非骨骼位置即为背景数据,骨骼位置即为骨骼数据。所述骨骼识别模型训练方式如步骤2-8所示。

S2.所述CT影像数据经卷积操作处理后得到特征输出图C1;

将CT影像X进行卷积操作,利用计算机经卷积操作处理后得到特征输出图C1(X)。卷积操作就是图像处理时,给定输入图像,输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素。特征输出图为经过卷积操作后得到的图片。

S3.对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图C

利用计算机将更新后的特征输出图C1(X)输入瓶颈模块B1,利用计算机经瓶颈模块B1复合操作处理后得到特征输出图C2(X),再将特征输出图C2(X)瓶颈模块B2,利用计算机经瓶颈模块B2复合操作处理后得到特征输出图C3(X),重复此操作直至获得特征输出图C

对于CT影像,需要获取病变位置和正常位置对比的全局信息,也需要获取某些特征区域的局部信息。同时网络参数不宜过多,容易造成过拟合。故N值可以取4-8之间的整数,N的数值越小说明该特征图所具备的特征信息少,N值小于4时特征图所包含的特征大多数为位置特征,N值为4-8时就同时兼备影像的位置特征和细节特征,经试验得出N值取8效果最佳。当N值取8时,C1-C8采用的是对称结构,C1-C4对图像采用下采样。C5-C8对图像采用上采样,添加了很多特征通道,允许更多的原影像纹理的信息在高分辨率的层中进行传播。4次上采样也使得分割图恢复边缘等信息更加精细。对于CT影像每个尺度的信息都很重要,这种结构可以实现不同尺度下特征的融合,提高模型的结果精确度。

S4.所述特征输出图C

利用计算机将更新后的特征输出图C

S5.将所述特征输出图C

所述多个池化核为3-5个不同大小的池化核;平均池化操作是将特征图所有像素值相加求平均,得到一个数值,即用该数值表示对应特征图;进行了平均池化操作后即为压缩;双线性插值,又称为双线性内插。在数学上,双线性插值是有两个变量的插值函数的线性插值扩展,其核心思想是在两个方向分别进行一次线性插值;特征图PL是由所选池化核的种类决定的。池化层主要用于特征降维,压缩数据和参数的数量,减少过拟合,同时提高模型的容错性。最常用的池化核的大小为2×2,对图像进行下采样,可以将其中大部分激活信息都丢掉,选择其中最大的特征信息保留下来,去除一些噪音信息。

S6.多个所述特征输出图PL进行堆叠操作得到融合特征PF1;

利用计算机将特征输出图进行堆叠得到融合特征PF1(X)。堆叠操作是将多个特征图堆叠成一个特征图;进行堆叠操作这个过程称之为融合特征。

S7.所述融合特征PF1与特征输出图C

利用计算机将融合特征PF1(X)与特征输出图C

S8.将所述融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。

利用计算机将特征PF2(X)进行卷积操作,利用计算机进行卷积操作后得到与输入CT图像尺寸一致的分割图S(X)。

本申请实施例提供的一种基于卷积神经网络的CT影像骨骼分割方法,通过足够的数据量以及参数量,使得骨骼识别模型可以学习到更加复杂以及更高维度的特征。通过步骤S1-S8训练使得骨骼识别模型准确率高、骨骼分割速度快,节约了时间成本,对GPU要求也不高。

在一种可能的实现方式中,还可以包括使用交叉熵损失函数获取分割图S与原图数据标注之间的损失,利用Adam优化器对骨骼识别模型进行反向传播更新参数,若骨骼识别模型已经收敛则保存模型参数,否则继续训练。

交叉熵损失函数交叉熵是信息论中的一个重要概念,主要用于度量两个概率分布间的差异性;原图数据标注指的是标注好背景数据、骨骼数据的图。反向传播更新参数是通过已经标注好的图与网络的预测图,让网络去更新现存的网络参数;多轮的反向传播结束后即为收敛;模型参数指的是进行骨骼预测所需要的参数。

在一种可能的实现方式中,对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图C

利用计算机将更新后的特征输出图C1(X)输入瓶颈模块B1,利用计算机经瓶颈模块B1复合操作处理后得到特征输出图C2(X);

利用计算机将更新后的特征输出图C2(X)输入两个组合后的瓶颈模块B2,利用计算机经瓶颈模块B2复合操作处理后得到特征输出图C3(X);

利用计算机将更新后的特征输出图C3(X)输入三个组合后的瓶颈模块B3,利用计算机经瓶颈模块B3复合操作处理后得到特征输出图C4(X)。

当N为5时,具体实施方式为:

利用计算机将更新后的特征输出图C1(X)输入瓶颈模块B1,利用计算机经瓶颈模块B1复合操作处理后得到特征输出图C2(X);

利用计算机将更新后的特征输出图C2(X)输入两个组合后的瓶颈模块B2,利用计算机经瓶颈模块B2复合操作处理后得到特征输出图C3(X);

利用计算机将更新后的特征输出图C3(X)输入三个组合后的瓶颈模块B3,利用计算机经瓶颈模块B3复合操作处理后得到特征输出图C4(X);

利用计算机将更新后的特征输出图C4(X)输入四个组合后的瓶颈模块B4,利用计算机经瓶颈模块B4复合操作处理后得到特征输出图C5(X)。

当N为6时,具体实施方式为:

利用计算机将更新后的特征输出图C1(X)输入瓶颈模块B1,利用计算机经瓶颈模块B1复合操作处理后得到特征输出图C2(X);

利用计算机将更新后的特征输出图C2(X)输入两个组合后的瓶颈模块B2,利用计算机经瓶颈模块B2复合操作处理后得到特征输出图C3(X);

利用计算机将更新后的特征输出图C3(X)输入三个组合后的瓶颈模块B3,利用计算机经瓶颈模块B3复合操作处理后得到特征输出图C4(X)

利用计算机将更新后的特征输出图C4(X)输入四个组合后的瓶颈模块B4,利用计算机经瓶颈模块B4复合操作处理后得到特征输出图C5(X);

利用计算机将更新后的特征输出图C5(X)输入三个组合后的瓶颈模块B5,利用计算机经瓶颈模块B5复合操作处理后得到特征输出图C6(X)。

当N为7时,具体实施方式为:

利用计算机将更新后的特征输出图C1(X)输入瓶颈模块B1,利用计算机经瓶颈模块B1复合操作处理后得到特征输出图C2(X);

利用计算机将更新后的特征输出图C2(X)输入两个组合后的瓶颈模块B2,利用计算机经瓶颈模块B2复合操作处理后得到特征输出图C3(X);

利用计算机将更新后的特征输出图C3(X)输入三个组合后的瓶颈模块B3,利用计算机经瓶颈模块B3复合操作处理后得到特征输出图C4(X)

利用计算机将更新后的特征输出图C4(X)输入四个组合后的瓶颈模块B4,利用计算机经瓶颈模块B4复合操作处理后得到特征输出图C5(X);

利用计算机将更新后的特征输出图C5(X)输入三个组合后的瓶颈模块B5,利用计算机经瓶颈模块B5复合操作处理后得到特征输出图C6(X);

利用计算机将更新后的特征输出图C6(X)输入三个组合后的瓶颈模块B6,利用计算机经瓶颈模块B6复合操作处理后得到特征输出图C7(X);

当N为8时,参见图2,具体实施方式为:

利用计算机将更新后的特征输出图C1(X)输入瓶颈模块B1,利用计算机经瓶颈模块B1复合操作处理后得到特征输出图C2(X);

利用计算机将更新后的特征输出图C2(X)输入两个组合后的瓶颈模块B2,利用计算机经瓶颈模块B2复合操作处理后得到特征输出图C3(X);

利用计算机将更新后的特征输出图C3(X)输入三个组合后的瓶颈模块B3,利用计算机经瓶颈模块B3复合操作处理后得到特征输出图C4(X)

利用计算机将更新后的特征输出图C4(X)输入四个组合后的瓶颈模块B4,利用计算机经瓶颈模块B4复合操作处理后得到特征输出图C5(X);

利用计算机将更新后的特征输出图C5(X)输入三个组合后的瓶颈模块B5,利用计算机经瓶颈模块B5复合操作处理后得到特征输出图C6(X);

利用计算机将更新后的特征输出图C6(X)输入三个组合后的瓶颈模块B6,利用计算机经瓶颈模块B6复合操作处理后得到特征输出图C7(X)

利用计算机将更新后的特征输出图C7(X)输入瓶颈模块B7,利用计算机经瓶颈模块B7复合操作处理后得到特征输出图C8(X)。

上述组合后的瓶颈模块,即为对应个数的相同瓶颈模块串联。

在一种可能的实现方式中,每个瓶颈模块均包括卷积层和激活函数层;所述卷积层用于提供线性特征,所述激活函数层用于加入非线性因素。

在一种可能的实现方式中,每个瓶颈模块由两个或三个或四个相同模块构成,所述模块包括次顺序串联的卷积层a、ReLU6激活函数层a、步长为1或2的深度可分离卷积层、ReLU6激活函数层b、卷积层b、Linear激活函数层,CT影像依次经过卷积层a处理、经ReLU6激活函数层a计算、经步长为1或2的深度可分离卷积层进行二次卷积处理、经ReLU6激活函数层b二次计算、经过卷积层b三次卷积处理、经过Linear激活函数层三次计算。

所述瓶颈模块B1由一个模块构成,即卷积层、ReLU6激活函数层、步长为1的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为1的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。

所述瓶颈模块B2由两个相同模块构成,每个模块包括卷积层、ReLU6激活函数层、步长为2的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为2的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。

所述瓶颈模块B3由三个相同模块构成,每个模块包括卷积层、ReLU6激活函数层、步长为2的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为2的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。

所述瓶颈模块B4由四个相同模块构成,每个模块包括卷积层、ReLU6激活函数层、步长为2的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为2的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。

所述瓶颈模块B5由三个相同模块构成,每个模块包括卷积层、ReLU6激活函数层、步长为2的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为2的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。

所述瓶颈模块B6由三个相同的模块构成,每个模块包括卷积层、ReLU6激活函数层、步长为2的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为2的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。

所述的瓶颈模块B7由一个模块构成,即卷积层、ReLU6激活函数层、步长为2的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为2的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。

在一种可能的实现方式中,将所述特征输出图C

利用计算机将特征输出图C

将更新后的特征输出图P1(X)进行卷积操作,利用计算机经卷积操作处理后得到特征输出图P1’(X);

利用计算机将特征输出图P1’(X)进行双线性插值操作,所述双线性插值操作将特征输出图P1’(X)恢复成与特征图C

利用计算机将特征输出图C

将更新后的特征输出图P2(X)进行卷积操作,利用计算机经卷积操作处理后得到特征输出图P2’(X)

利用计算机将特征输出图PC2’(X)进行双线性插值操作,双线性插值操作将特征输出图PL2’(X)恢复成与特征图C

利用计算机将特征输出图C

将更新后的特征输出图P3(X)进行卷积操作,利用计算机经卷积操作处理后得到特征输出图P3’(X)

利用计算机将特征输出图P3’(X)进行双线性插值操作,双线性插值操作将特征输出图P3’(X)恢复成与特征图C

经试验得知池化核小于3个,丢弃特征信息的特征图对比不明显,或者丢弃的过多,或者丢弃的过少。

在一种可能的实现方式中,将所述特征输出图C

利用计算机将特征输出图C

将更新后的特征图输出图P4(X)进行卷积操作,利用计算机经卷积操作处理后得到特征输出图P4’(X);

利用计算机将特征图输出图P4’(X)进行双线性插值操作,双线性插值操作将特征图P4’(X)恢复成与输入CT图像尺寸一致的特征图PL4’(X)。

使用多种池化核进行对比发现,采用池化核的大小为1×1;池化核的大小为2×2;池化核的大小为3×3;池化核的大小为6×6四种,效果最佳。

在一种可能的实现方式中,将所述特征输出图C

将所述特征输出图C

所述特征输出图P5进行卷积操作处理后得到特征输出图P5’;

所述特征输出图P5’进行双线性插值操作,所述双线性插值操作将特征输出图P5’恢复成与特征输出图C

经试验得知池化核大于5个,可能造成过冗余。

在一种可能的实现方式中,所述池化核A1的大小为1×1;所述池化核A2的大小为2×2;所述池化核A3的大小为3×3;所述池化核A4的大小为6×6,所述池化核A5的大小为4×4。

在CT图像的医学诊断中,由于骨骼和血液的CT图像较为接近,故利用传统数字图像处理的手段很难做到骨骼与血液的分离。利用计算机深度学习的方法处理时间又太长,很难满足医院短时、大量处理图像的要求。利用大型网络可以解决以上问题,但又面临GPU成本高的问题。

图3为本申请实施例提供的一种基于卷积神经网络的CT影像骨骼分割装置,该装置可以包括:影像数据获取模块11、特征图C1获取模块12、特征图C

影像数据获取模块11,获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;

特征图C1获取模块12,所述CT影像数据经卷积操作处理后得到特征输出图C1;

特征图C

特征图C

特征图PL获取模块15,将所述特征输出图C

特征PF1获取模块16,多个所述特征输出图PL进行堆叠操作得到融合特征PF1;

特征PF2获取模块17,所述融合特征PF1与特征输出图C

分割结果获取模块18,将融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。

本申请实施例提供的基于卷积神经网络的CT影像骨骼分割装置,通过用mobileNET_V2和PSPNET两个轻量级网络组合使用为CT影像做自动去骨处理,这两个轻量级网络的组合效果能够最大程度上保证去骨精度,同时因为网络复杂度低,大大节约了时间成本,对GPU要求也不高。

在一种可能的实现方式中,还包括:

判断模块,使用交叉熵损失函数获取分割图S与原图数据标注之间的损失,利用Adam优化器对骨骼识别模型进行反向传播更新参数,若骨骼识别模型已经收敛则保存模型参数,否则继续训练。

在一种可能的实现方式中,特征图C

将所述特征输出图C1输入至瓶颈模块B1,经所述瓶颈模块B1复合操作处理后得到特征输出图C2;

将所述特征输出图C2输入至瓶颈模块B2,经所述瓶颈模块B2复合操作处理后得到特征输出图C3;

……

将所述特征输出图C

在一种可能的实现方式中,每个瓶颈模块均包括卷积层和激活函数层;所述卷积层用于提供线性特征,所述激活函数层用于加入非线性因素。

在一种可能的实现方式中,每个瓶颈模块由两个或三个或四个相同模块构成,所述模块包括次顺序串联的卷积层a、ReLU6激活函数层a、步长为1或2的深度可分离卷积层、ReLU6激活函数层b、卷积层b、Linear激活函数层,CT影像依次经过卷积层a处理、经ReLU6激活函数层a计算、经步长为1或2的深度可分离卷积层进行二次卷积处理、经ReLU6激活函数层b二次计算、经过卷积层b三次卷积处理、经过Linear激活函数层三次计算。

在一种可能的实现方式中,特征图PL获取模块,包括为:

特征图P1获取模块,将所述特征输出图C

特征图P1’获取模块,所述特征输出图P1进行卷积操作处理后得到特征输出图P1’;

特征图P1’尺寸恢复模块,所述特征输出图P1’进行双线性插值操作,所述双线性插值操作将特征输出图P1’恢复成与特征输出图C

特征图P2获取模块,将所述特征输出图C

特征图P2’获取模块,所述特征输出图P2进行卷积操作处理后得到特征输出图P2’;

特征图P2’尺寸恢复模块,所述特征输出图P2’进行双线性插值操作,所述双线性插值操作将特征输出图P2’恢复成与特征输出图C

特征图P3获取模块,将所述特征输出图C

特征图P3’获取模块,所述特征输出图P3进行卷积操作处理后得到特征输出图P3’;

特征图P3’尺寸恢复模块,所述特征输出图P3’进行双线性插值操作,所述双线性插值操作将特征输出图P3’恢复成与特征输出图C

在一种可能的实现方式中,特征图PL获取模块,还包括为:

特征图P4获取模块,将所述特征输出图C

特征图P4’获取模块,所述特征输出图P4进行卷积操作处理后得到特征输出图P4’;

特征图P4’尺寸恢复模块,所述特征输出图P4’进行双线性插值操作,所述双线性插值操作将特征输出图P4’恢复成与特征输出图C

在一种可能的实现方式中,特征图PL获取模块,还包括为:

特征图P5获取模块,将所述特征输出图C

特征图P5’获取模块,所述特征输出图P5进行卷积操作处理后得到特征输出图P5’;

特征图P5’尺寸恢复模块,所述特征输出图P5’进行双线性插值操作,所述双线性插值操作将特征输出图P5’恢复成与特征输出图C

在一种可能的实现方式中,所述池化核A1的大小为1×1;所述池化核A2的大小为2×2;所述池化核A3的大小为3×3;所述池化核A4的大小为6×6,所述池化核A5的大小为4×4。

图4为本申请实施例提供的基于卷积神经网络的CT影像骨骼分割的电子设备结构示意图。该电子设备可以包括:至少一个处理器41,至少一个通信接口42,至少一个存储器43和至少一个通信总线44;且处理器41、通信接口42、存储器43通过通信总线44完成相互间的通信;

处理器41可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific IntegratedCircuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;

存储器43可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory)等,例如至少一个磁盘存储器;

其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:

获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;所述骨骼识别模型训练方式为:

所述CT影像数据经卷积操作处理后得到特征输出图C1;

对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图C

所述特征输出图C

将所述特征输出图C

多个所述特征输出图PL进行堆叠操作得到融合特征PF1;

所述融合特征PF1与特征输出图C

将所述融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。

可选的,所述程序的细化功能和扩展功能可参照上文描述。

本申请实施例还提供一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述基于卷积神经网络的CT影像骨骼分割方法。其中,可读介质中存储的程序被处理器执行时,可以使处理器主要实现如下方法:

获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;所述骨骼识别模型训练方式为:

所述CT影像数据经卷积操作处理后得到特征输出图C1;

对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图C

所述特征输出图C

将所述特征输出图C

多个所述特征输出图PL进行堆叠操作得到融合特征PF1;

所述融合特征PF1与特征输出图C

将所述融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。

本实施例提出的可读存储介质与上述的基于卷积神经网络的CT影像骨骼分割方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。

通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。

对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号