首页> 中国专利> 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质

基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质

摘要

本发明提供一种基于深度学习的自动化肝脏分段模型的构建方法,包括:获取样本肝脏三维影像,并获取样本肝脏三维影像的肝脏分段标签;将样本肝脏三维影像和肝脏分段标签作为训练集,对肝脏分段模型迭代进行深度学习训练,得到经过训练的肝脏分段模型,其中肝脏分段模型采用的深度学习网络是基于UNet/VNet和通道注意力机制相结合的分段网络。还提供了相关的装置、计算机设备和可读存储介质。由于采用UNet/VNet和通道注意力机制相结合,通过UNet/VNet更多挖掘样本肝脏三维影像的影像信息,通过通道注意力机制对重要通道信息赋予更高的权重,得到更准确的预测结果,可以为医生提供准确且高效的肝脏分段结果。

著录项

  • 公开/公告号CN113052785A

    专利类型发明专利

  • 公开/公告日2021-06-29

    原文格式PDF

  • 申请/专利权人 上海志御软件信息有限公司;

    申请/专利号CN202110320816.2

  • 发明设计人 李翠萍;王成彦;戴飞;王鹤;

    申请日2021-03-25

  • 分类号G06T5/50(20060101);G06T5/40(20060101);G06N3/04(20060101);G06N3/08(20060101);

  • 代理机构31314 上海大视知识产权代理事务所(特殊普通合伙);

  • 代理人顾小伟

  • 地址 201413 上海市奉贤区四团镇新杨公路860号10幢

  • 入库时间 2023-06-19 11:39:06

说明书

技术领域

本发明涉及医学影像处理技术领域,特别涉及肝脏分段技术领域,具体是指一种基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质。

背景技术

肝癌是世界上最常见的癌症疾病之一,目前肝癌超越胃癌挤进了癌症死亡的前三。肝脏是原发或继发肿瘤生长的常见部位,它们的异质和扩散形状使其很难进行分段解剖。因此,对肝脏中的每个分段能够实现精确推断和测量是现代肝脏手术的先决条件。

在临床诊断中,沿着Z轴远距离探索空间信息来进行肝脏分段是十分耗时的,因而需要自动化方法来高效解决。近来,深度学习在计算机视觉领域表现优异,已应用在CT的肝脏和肿瘤的自动化分割(Sun,C.,et al.:Automatic segmentation of liver tumorsfrom multiphase contrast enhanced ct images based on FCNs[J].AI Med.2017,83:58–66)和自动化分段(Tian J,Liu L,Shi Z,et al.Automatic Couinaud Segmentationfrom CT Volumes on Liver Using GLC-UNet[M].Machine Learning in MedicalImaging,10th International Workshop,MLMI 2019,Held in Conjunction with MICCAI2019,Shenzhen,China,October 13,2019,Proceedings.2019)中。

上述的现有的基于CT的自动化肝脏分段方法基于深度学习Unet 2D网络(Ronneberger,O.,Fischer,P.,Brox,T.:U-Net:convolutional networks forbiomedical image segmentation.In:Navab,N.,Hornegger,J.,Wells,W.M.,Frangi,A.F.(eds.)MICCAI 2015.LNCS,vol.9351,pp.234–241.Springer,Cham(2015))通过全局和局部信息对CT数据进行肝脏分段,整个网络基于2D切片实现肝脏分割和肝脏分段两个任务。该网络采用的注意力机制是多层感知机,主要针对多层级的全局和局部信息的由粗到细进行特征提取。该网络的解码过程最终通过多层级融合实现对肝脏分段的结果预测。

但目前基于MRI的自动化肝脏分段研究较少,仍采用传统的算法分步骤实现(Lebre M A,Vacavant A,Grand-Brochier M,et al.Automatic segmentation methodsfor liver and hepatic vessels from CT and MRI volumes,applied to the Couinaudscheme[J].Computers in Biology and Medicine,2019,110(7):42-51),即肝脏分割、血管中心线提取和重建肝脏分段。

由于现有的肝脏分段技术集中在两个方面:基于深度学习的CT肝脏分段和基于传统算法的MRI肝脏分段。然而,相对于CT,MRI能够提供多序列成像、多种图像模态等影像信息,它对疾病的诊断具有很大的潜在优越性,而深度学习相对传统算法能够自动化挖掘更潜在的影像信息。

因此,希望提供一种基于深度学习的自动化肝脏分段模型的构建方法,其能够获得准确且高效的自动化肝脏分段结果。

发明内容

本发明的目的是为了克服上述现有技术中的缺点,提供能够获得准确且高效的自动化肝脏分段结果的基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质。

为达到以上目的,在本发明的第一方面,提供一种基于深度学习的自动化肝脏分段模型的构建方法,其特点是,包括以下步骤:

(1)获取样本肝脏三维影像,并获取所述样本肝脏三维影像的肝脏分段标签;

(2)将所述样本肝脏三维影像和所述肝脏分段标签作为训练集,对肝脏分段模型迭代进行深度学习训练,得到经过训练的肝脏分段模型,其中所述肝脏分段模型采用的深度学习网络是基于UNet/VNet和通道注意力机制相结合的分段网络。

较佳地,在所述步骤(1)中,所述样本肝脏三维影像是肝脏MRI三维影像、肝脏B超三维影像、肝脏CT三维影像或肝脏MRS三维影像。

较佳地,在所述步骤(1)中,所述的获取样本肝脏三维影像的步骤具体包括:

对原始样本肝脏三维影像进行预处理得到所述样本肝脏三维影像,所述预处理包括直方图均衡化、标准化和归一化处理中的一种或几种。

较佳地,在所述步骤(2)中,所述UNet是UNet2.5D、UNet2D、UNet3D、UNet++、Res-UNet、Dense U-Net、MultiResUNet、R2U-Net或Attention UNet。

较佳地,在所述步骤(2)中,所述深度学习网络包括卷积层、池化层、反卷积层、级联层和批标准化层,所述卷积层通过所述池化层信号连接所述反卷积层,所述级联层分别信号连接所述卷积层、所述池化层、所述反卷积层和所述批标准化层,所述卷积层提取所述样本肝脏三维影像的特征图,所述池化层对所述特征图进行下采样操作,所述反卷积层对所述特征图填补后做卷积操作来扩大所述特征图的尺寸,所述级联层将不同层级输出的所述特征图进行组合,所述批标准化层对所述特征图的数值进行标准化。

较佳地,在所述步骤(2)中,所述深度学习训练包括编码过程和解码过程,所述编码过程和所述解码过程均采用所述UNet/VNet和所述通道注意力机制,所述解码过程还采用多层级融合操作和全监督操作中的一种或几种。

更佳地,在所述步骤(2)中,所述全监督操作采用的损失函数为多分类交叉熵损失函数。

在本发明的第二方面,提供一种基于深度学习的自动化肝脏分段模型的构建装置,其特点是,包括:

肝脏分段模型训练模块,采用基于UNet/VNet和通道注意力机制相结合的分段网络,用于以样本肝脏三维影像和所述样本肝脏三维影像的肝脏分段标签作为训练集,对肝脏分段模型迭代进行深度学习训练,得到经过训练的肝脏分段模型。

在本发明的第三方面,提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特点是,所述处理器执行所述计算机程序时实现上述的基于深度学习的自动化肝脏分段模型的构建方法。

在本发明的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,其特点是,所述计算机程序被处理器执行时实现上述的基于深度学习的自动化肝脏分段模型的构建方法。

采用了本发明的基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质,由于采用UNet/VNet和通道注意力机制相结合,通过UNet/VNet更多挖掘样本肝脏三维影像的影像信息,通过通道注意力机制对重要通道信息赋予更高的权重,这有利于提取对最终预测结果贡献更大的特征,在解码过程还不仅采用多层级融合方式,而且利用全监督方式对多层级特征进行优化,得到更准确的预测结果,可以为医生提供准确且高效的肝脏分段结果。

附图说明

图1是本发明的基于深度学习的自动化肝脏分段模型的构建方法的一具体实施例的流程示意图。

图2是图1所示的具体实施例中肝脏分段模型深度学习训练的方法示意图。

图3是图1所示的具体实施例中验证经过训练的肝脏分段模型的人工标注肝脏分段标签示意图。

图4是图1所示的具体实施例中验证经过训练的肝脏分段模型的模型预测结果示意图。

图5是本发明的基于深度学习的自动化肝脏分段模型的构建装置的一具体实施例的框架示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容,特举以下实施例详细说明。应当理解,此处描述的具体实施例仅仅用以解释本发明,并不用于限制本发明。

请参见图1~图2所示,在本发明的一具体实施例中,本发明的基于深度学习的自动化肝脏分段模型的构建方法包括以下步骤:

(1)获取样本肝脏三维影像,并获取所述样本肝脏三维影像的肝脏分段标签;

(2)将所述样本肝脏三维影像和所述肝脏分段标签作为训练集,对肝脏分段模型迭代进行深度学习训练,得到经过训练的肝脏分段模型,其中所述肝脏分段模型采用的深度学习网络是基于UNet/VNet和通道注意力机制(Jie Hu,Li Shen,et al.Squeeze-and-Excitation Networks.[J].IEEE transactions on pattern analysis and machineintelligence[J].2020,42(8):2011-2023)相结合的分段网络。

其中,肝脏分段模型,是用于进行肝脏分段处理的机器学习模型。可以通过深度学习训练,得到经过训练的肝脏分段模型。

也就是说,将上述训练集中的样本肝脏三维影像输入深度学习网络中,得到肝脏分段预测数据,然后将肝脏分段预测数据与训练集中的肝脏分段标签进行差异对比,根据该差异迭代地更新深度学习网络,直到满足迭代终止条件,得到肝脏分段模型。

在所述步骤(1)中,肝脏三维影像,是对肝脏拍摄的三维影像。

在所述步骤(1)中,所述样本肝脏三维影像可以是任何合适类型的肝脏三维影像,例如肝脏MRI(Magnetic Resonance Imaging,磁共振成像)三维影像、肝脏B超(type-Bultrasonic,B型超声检查)三维影像、肝脏CT(Computed Tomography,电子计算机断层扫描)三维影像或肝脏MRS(Magnetic Resonance Spectroscopy,磁共振波谱)三维影像,在本发明的一具体实施例中,所述样本肝脏三维影像是肝脏MRI三维影像。

在所述步骤(1)中,所述的获取样本肝脏三维影像的步骤具体可以采用任何合适的方法,在本发明的一具体实施例中,在所述步骤(1)中,所述的获取样本肝脏三维影像的步骤具体包括:

对原始样本肝脏三维影像进行预处理得到所述样本肝脏三维影像,所述预处理包括直方图均衡化、标准化和归一化处理中的一种或几种。

其中,原始样本肝脏三维影像,是未经过预处理的样本肝脏三维影像。直方图均衡化处理,使得图像灰度的动态范围得到增强,进而提高图像的对比度;标准化是将数据变换为均值为0,标准差为1的分布,归一化是将数据变化到某个固定区间,这里区间为[0,1],使得在模型训练梯度下降过程中加快求解过程,也避免了梯度爆炸等不利因素。

在所述步骤(2)中,所述UNet可以是任何合适的UNet,例如UNet2.5D、UNet2D、UNet3D、UNet++、Res-UNet、Dense U-Net、MultiResUNet、R2U-Net或Attention UNet,请参见图2所示,在本发明的一具体实施例中,所述UNet是UNet2.5D。

在所述步骤(2)中,所述深度学习网络可以包括任何合适的构成,在本发明的一具体实施例中,在所述步骤(2)中,所述深度学习网络包括卷积层、池化层、反卷积层、级联层和批标准化层,所述卷积层通过所述池化层信号连接所述反卷积层,所述级联层分别信号连接所述卷积层、所述池化层、所述反卷积层和所述批标准化层,所述卷积层提取所述样本肝脏三维影像的特征图,所述池化层对所述特征图进行下采样操作,所述反卷积层对所述特征图填补后做卷积操作来扩大所述特征图的尺寸,所述级联层将不同层级输出的所述特征图进行组合,所述批标准化层对所述特征图的数值进行标准化。

其中,所述卷积层通过设置卷积核大小和步长来提取所述样本肝脏三维影像的特征图,所述批标准化层对所述特征图的数值进行标准化来提高梯度的收敛速度加快训练并缓解梯度消失问题。

在所述步骤(2)中,所述深度学习训练可以包括任何合适的训练过程,请参见图2所示,在本发明的一具体实施例中,在所述步骤(2)中,所述深度学习训练包括编码过程和解码过程,所述编码过程和所述解码过程均采用所述UNet/VNet和所述通道注意力机制,所述解码过程还采用多层级融合操作和全监督操作中的一种或几种。

在所述步骤(2)中,所述全监督操作采用的损失函数可以是任何合适的损失函数,在本发明的一具体实施例中,在所述步骤(2)中,所述全监督操作采用的损失函数为多分类交叉熵损失函数。

如图2所示,是通过深度学习训练,得到经过训练的肝脏分段模型的过程示意图。从图2中可知,整体训练过程是这样的:将原始医学影像(即样本肝脏三维影像)输入到深度学习网络中,得到深度学习网络预测结果,然后将预测结果(即肝脏分段预测数据)和人工标注(即肝脏分段标签)作对比,并反馈给深度学习网络,以人工标注作为目标,根据反馈的对比信息不断更新深度学习网络,直到预测结果与人工标注接近,即得到本实施例中的经过训练的肝脏分段模型。

以下,以500份原始样本肝脏MRI三维影像为例,具体说明本发明的基于深度学习的自动化肝脏分段模型的构建方法。

1、MRI数据预处理

读取500份原始样本肝脏MRI三维影像的DICOM数据,采用直方图均衡化、标准化和归一化的方式进行预处理。直方图均衡化处理使得图像灰度的动态范围得到增强,进而提高图像的对比度。标准化将数据变换为均值为0,标准差为1的分布。归一化将数据变化到固定区间[0,1]。其中,标准化和归一化处理,使得在模型训练梯度下降过程中加快求解过程,也避免了梯度爆炸等不利因素。获得500份样本肝脏MRI三维影像,将其中350份(70%)样本肝脏MRI三维影像和对应的肝脏分段标签作为训练集,150份(30%)肝脏MRI三维影像和对应的肝脏分段标签作为验证集。

2、肝脏分段模型构建

将训练集输入图2所示的基于UNet2.5D和通道注意力机制相结合的分段网络,具体地,编码过程包括3个层级的UNet2.5D和通道注意力机制,所述解码过程也包括3个层级的UNet2.5D和通道注意力机制,训练过程设置batch大小、学习率、核初始化参数,采用Adam优化器进行训练,损失函数采用多分类交叉熵损失函数。

(1)设置编码过程和解码过程的模型参数:卷积层,其卷积核的尺寸大小为3*3,核初始化采用LeCun均匀初始化器;激活函数使用线性整流函数(Rectified Linear Unit,ReLU),又称修正线性单元;反卷积层的卷积核尺寸大小为3*3。

(2)设置网络模型输出参数:卷积层,其卷积核的尺寸大小为1*1;激活函数采用Sigmoid函数,将输出值映射在0到1之间。

(3)设置模型训练过程参数:batch设置为8;采用Adam优化器,其使用动量和自适应学习率来加快收敛速度,初始学习率设置为0.0001;损失函数采用多分类交叉熵损失函数;epoch设置为300。

(4)开始训练直至模型收敛,保留最优训练模型。即获得经过训练的肝脏分段模型。

3、肝脏分段模型验证

将验证集输入上述获得的经过训练的肝脏分段模型,将模型预测结果与肝脏分段标签进行定量和定性比较。其中,定量时采用Dice系数衡量验证集的平均效果(验证集Dice系数在0.81)。验证集上二维切片的定性预测效果如图3和图4所示。

从而,本发明首次将深度学习应用于MRI的肝脏分段,探索多模态影像信息,自动化挖掘影像中更多的潜在信息,提出一种端到端的自动化肝脏分段方法。

现有技术所应用的深度学习算法中,基于2D的卷积神经网络会忽视MRI上下层级之间空间信息,导致准确率降低,而基于3D的卷积神经网络会造成内存消耗等问题。因此,本发明采用UNet2.5D作为基础网络对MRI实现高效的自动化肝脏分段,主要的优势:相对UNet2D和UNet3D基础网络,本发明采用UNet2.5D不仅能够挖掘MRI影像上下层的空间信息,而且能够避免内存消耗等不利因素。此外,现有技术采用多层感知机的注意力机制,没有关注到通道特征的重要性和对最终预测结果的贡献,本发明的网络模型设计中利用通道注意力机制来充分挖掘通道特征信息,完成在通道维度上对原始特征的重新标定,即对通道特征的重要性进行加权。最后,为充分利用不同层级的特征信息,在解码过程采用全监督的方式进行多层级优化,并最终进行多层级融合实现准确且高效的端到端的肝脏分段任务。

因此,本发明的基于深度学习的自动化肝脏分段模型的构建方法主要包括数据预处理和肝脏分段模型构建。肝脏分段模型构建包括编码过程和解码过程,编码过程和解码过程均采用UNet/VNet和通道注意力机制相结合,解码过程除了多层级融合之外,对每个层级都进行全监督操作,即每个层级的输出都与肝脏分段标签计算损失,并一起参与到训练过程中。全监督使得网络解码过程的不同层级输出由粗到细不断优化,提高模型的预测准确率。训练过程设置batch大小、学习率、核初始化参数,采用Adam优化器进行训练,损失函数采用多分类交叉熵损失函数。深度学习网络是单输入多输出的结构,训练时解码过程采用全监督模式,测试时解码过程只输出多层级融合的最终预测结果。

请参见图5所示,在本发明的一具体实施例中,本发明还提供一种基于深度学习的自动化肝脏分段模型的构建装置,包括:

肝脏分段模型训练模块,采用基于UNet/VNet和通道注意力机制相结合的分段网络,用于以样本肝脏三维影像和所述样本肝脏三维影像的肝脏分段标签作为训练集,对肝脏分段模型迭代进行深度学习训练,得到经过训练的肝脏分段模型。

所述的基于深度学习的自动化肝脏分段模型的构建装置还可以包括其它任何合适的构成,请参见图3所示,在本发明的一具体实施例中,所述的基于深度学习的自动化肝脏分段模型的构建装置还包括预处理模块,所述预处理模块信号连接所述肝脏分段模型训练模块并用于对原始样本肝脏三维影像进行预处理得到所述样本肝脏三维影像,所述预处理包括直方图均衡化、标准化和归一化处理中的一种或几种。

所述的基于UNet/VNet和通道注意力机制相结合的分段网络可以包括任何合适的构成,在本发明的一具体实施例中,所述的基于UNet/VNet和通道注意力机制相结合的分段网络包括卷积层、池化层、反卷积层、级联层和批标准化层,所述卷积层通过所述池化层信号连接所述反卷积层,所述级联层分别信号连接所述卷积层、所述池化层、所述反卷积层和所述批标准化层,所述卷积层提取所述样本肝脏三维影像的特征图,所述池化层对所述特征图进行下采样操作,所述反卷积层对所述特征图填补后做卷积操作来扩大所述特征图的尺寸,所述级联层将不同层级输出的所述特征图进行组合,所述批标准化层对所述特征图的数值进行标准化。

所述肝脏分段模型训练模块可以包括任何合适的构成,较佳地,所述肝脏分段模型训练模块包括编码模块和解码模块,所述编码模块信号连接所述解码模块,所述编码模块和所述解码模块分别包括若干依次信号连接的UNet/VNet+通道注意力机制模块,所述编码模块的最下游的所述UNet/VNet+通道注意力机制模块信号连接所述解码模块的最上游的所述UNet/VNet+通道注意力机制模块,所述解码模块还包括多层级融合模块和全监督模块中的一种或几种,所述多层级融合模块分别信号连接所述解码模块的所述UNet/VNet+通道注意力机制模块并用于将该所述解码模块的所述UNet/VNet+通道注意力机制模块输出的特征图进行融合,所述全监督模块分别信号连接所述解码模块的所述UNet/VNet+通道注意力机制模块并用于将该所述解码模块的所述UNet/VNet+通道注意力机制模块输出的所述特征图与所述肝脏分段标签计算损失并优化所述特征图。请参见图2和图3所示,在本发明的一具体实施例中,所述UNet/VNet+通道注意力机制模块为UNet2.5D+通道注意力机制模块,所述编码模块包括3个层级的所述UNet2.5D+通道注意力机制模块,所述解码模块也包括3个层级的所述UNet2.5D+通道注意力机制模块。

所述全监督模块采用的损失函数可以是任何合适的损失函数,在本发明的一具体实施例中,所述全监督模块采用的损失函数为多分类交叉熵损失函数。

关于基于深度学习的自动化肝脏分段模型的构建装置的其它具体限定可以参见上文中对于基于深度学习的自动化肝脏分段模型的构建方法的限定,在此不再赘述。上述基于深度学习的自动化肝脏分段模型的构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在本发明的一具体实施例中,本发明还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的基于深度学习的自动化肝脏分段模型的构建方法。

在本发明的一具体实施例中,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于深度学习的自动化肝脏分段模型的构建方法。

由此,采用了本发明的基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质,由于采用UNet/VNet和通道注意力机制相结合,通过UNet/VNet更多挖掘样本肝脏三维影像的影像信息,通过通道注意力机制对重要通道信息赋予更高的权重,这有利于提取对最终预测结果贡献更大的特征,在解码过程还不仅采用多层级融合方式,而且利用全监督方式对多层级特征进行优化,得到更准确的预测结果,可以为医生提供准确且高效的肝脏分段结果。

由此可见,本发明的目的已经完整并有效的予以实现。本发明的功能及结构原理已在实施例中予以展示和说明,在不背离所述原理下,实施方式可作任意修改。所以,本发明包括了基于权利要求精神及权利要求范围的所有变形实施方式。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号