公开/公告号CN114841951A
专利类型发明专利
公开/公告日2022-08-02
原文格式PDF
申请/专利权人 浙江卡易智慧医疗科技有限公司;
申请/专利号CN202210458741.9
申请日2022-04-28
分类号G06T7/00(2017.01);G06T7/11(2017.01);G06V10/80(2022.01);G06K9/62(2022.01);G06V10/764(2022.01);G06V10/774(2022.01);G06V10/82(2022.01);G06N3/04(2006.01);G06N3/08(2006.01);
代理机构杭州杭诚专利事务所有限公司 33109;
代理人邱顺富
地址 325024 浙江省温州市龙湾区温州经济技术开发区兰江路188号B幢2013、2015室
入库时间 2023-06-19 16:14:25
法律状态公告日
法律状态信息
法律状态
2022-08-19
实质审查的生效 IPC(主分类):G06T 7/00 专利申请号:2022104587419 申请日:20220428
实质审查的生效
技术领域
本发明涉及医疗诊断技术领域,尤其涉及一种胸部CT序列多病种综合检查系统及方法。
背景技术
随着医疗技术的不断发展,日常医疗检查产生的图像数据体量越来越大,单个检查的图像数量也不断增加,使得医生的日常阅片工作量不断加重,导致人工阅片效率低下。基于深度学习技术的自动病灶检测装置可以给医生的日常工作带来巨大的帮助,能大幅加快医生对单个检查的处理速度,省去医生在数百张检查图像中寻找微小病灶的烦恼。可以大幅提高医院的日处理影像检查量,减少病人等待时间。
有资料显示,现有技术通过对每项检查分别建立不同的模型进行检查,同一份CT检查需分三次传入不同的模型才能得到相应检查结果,需要在不同模型之间进行切换,同时存在许多重复的计算步骤,整体耗时相对较长。不同的检查项目之间结果也可能存在冲突。单个检查项目也存在假阳性较高的问题。
中国专利文献CN113781403A公开了一种“胸部CT影像处理方法与装置”。采用方法包括:S01、针对待处理的胸部影像图像,采用训练后的Unet++模型对所述待处理的胸部影像图像进行分割处理,获取肺实质区域的第一图像;S02、采用训练后的nnUnet模型对所述第一图像进行分割处理,获取肺血管区域的图像分割结果。上述技术方案仅实现单一检查结果,面对多种检查结果需求耗时长。
发明内容
本发明主要解决原有的技术方案存在许多重复的计算步骤,整体耗时长,且存在假阳性较高的技术问题,提供一种胸部CT序列多病种综合检查系统及方法,通过CDS深度神经网络模型可以同时处理多项胸部检查,并且提出了RMA模块,通过多项任务之间的特征融合以及结果相互作用,充分利用了卷积神经网络的特性,实现了病灶部位的准确检出,大幅降低了假阳性,同时对胸部CT进行肺结节,肺炎以及肋骨的多维度检测,快速检查整套CT图像序列,同时得出三项检查结果,实现更加高效的处理效率,得到更加准确的处理结果,相较于现有技术拥有更高效的检查处理能力。
本发明的上述技术问题主要是通过下述技术方案得以解决的:
一种胸部CT序列多病种综合检查系统,包括:
CT数据预处理模块,用于对传入的CT检查进行数据的预处理,与CDS模型相连;
CDS模型,用于进行卷积操作后得到数据块,通过对每个像素点所属标签的分类完成对目标物体的分割任务,与RMA模块相连;
RMA模块,用于接收CDS网络输出结果,生成每个检测结节的外接矩形区域mask以对nodule-out数据进行筛选,并对分割任务的梯度进行截断以进行重点训练。
CT数据预处理模块对传入的CT检查进行数据的预处理后,数据通过Input传入模型之后经过一些列Down-Sample操作再经由三个分支分别进行同样次数的Up-Sample操作后,可得到3个原始数据尺寸大小相同的数据块,通过对每个像素点所属标签的分类完成对目标物体的分割任务,分别得到ribs-out(肋骨分割结果 ),pneumonia-out(肺炎分割结果)和nodule-out(肺结节分割结果),CDS模型通过对特征收集的Down-Sample操作的参数共享,赋予模型同时进行多项病症检查的能力,同时保证了各项检查的独立性,方便后期对单个病症检查进行维护升级而不会影响其他检查结果,提升了模型的检查效率。
作为优选,所述的RMA模块包括拼接筛选模块和结果后处理模块,所述拼接筛选模块用于提取数据进行拼接并对目标检测结果进行假阳性的筛选,与结果后处理模块相连;所述结果后处理模块用于对各个分支的模型结果进行综合汇总,使各分支的计算结果相互作用,进一步提升病灶检测的准确率。拼接筛选模块从Detection-out中提取heat-map数据与本层conv-block输出进行拼接,再传入之后流程中,可有效提升分割任务分支的分割效果,同时可在后续分割操作中对目标检测结果进行假阳性的筛选,可有效提升模型的分割精度和降低结果假阳性率。RMA(Result mutual assistance)模块另一部分,结果后处理模块独立与模型之外。
一种胸部CT序列多病种综合检查系统的工作方法,包括以下步骤:
S1传入CT检查数据;
S2对传入的CT检查进行数据的预处理;
S3 对预处理数据进行数据处理后得到3个数据块;
S4通过对每个像素点所属标签的分类完成对目标物体的分割任务;
S5提取数据进行拼接并对目标检测结果进行假阳性的筛选;
S6对各个分支的模型结果进行综合汇总;
S7输出最终检查结果。
作为优选,所述的步骤S2具体包括:
S2.1选中检查图像中的胸部CT序列;
S2.2从选中的胸部CT序列中筛选出清晰度高,层间距小的序列;
S2.3对CT图像进行窗宽窗位的截取,归一化操作。
作为优选,所述的步骤S3对预处理数据进行数据处理具体包括:
S3.1 conv-block对传入数据进行特征提取;
S3.2 Down-Sample对数据进行步长为2的3D卷积操作,在缩小数据尺寸的同时提取重要特征;
S3.3 Up-Sample对数据进行步长为2的3D 转置卷积操作,在放大数据尺寸的同时还原局部特征;
S3.4 Layer-Connect将两组数据在指定维度进行拼接;
S3.5使用1x1卷积核对数据进行卷积;
S3.6 Detection-Head-Convolution对数据进行3D卷积操作,生成目标检测的结果Detection-out。
作为优选,所述的Detection-out中包括三部分数据,第1部分为检测目标的heat-map,是和本层数据结构尺寸大小相同的热力图,映射至原始数据空间坐标系中能够覆盖检测目标的外接矩形,越接近检测目标的三维中心点值越大,呈高斯分布;第2部分为与本层数据结构尺寸大小相同的3通道数据块,三个通道分别代表heat-map对应中心点映射回原始数据坐标系时所指向的外接矩形的长宽高;第3部分为中心点偏置量,和本层数据结构尺寸大小相同,为单通道数据,每个点的值代表映射回原始数据坐标系中相应检测框中心在x,y,z轴方向的偏移量。
作为优选,所述的步骤S4通过对每个像素点所属标签的分类完成对目标物体的分割任务,分别得到ribs-out肋骨分割结果,pneumonia-out肺炎分割结果和nodule-out肺结节分割结果。
作为优选,所述的步骤S5具体包括,RMA模块接收Detection-out输出结果和nodule-out输出结果,首先对Detection-out结果数据进行解码操作,将数据映射至原始数据三维空间坐标系内,生成每个检测结节的外接矩形区域mask,再通过mask对nodule-out数据进行筛选,剔除目标检测结果中的假阳性外接矩形框。由于肋骨形状特殊,两根肋骨的外接矩形重合度过大,不适用此种方法,固肋骨分支并未采用这项操作。
作为优选,通过得到的mask对分割任务的梯度进行截断以进行再模型训练,重点训练结节周边区域,以解决分割任务训练时因为目标太小导致的样本不均衡问题,提升模型分割的精度。以肺结节检测分支为例说明,RMA模块接受该分支的Detection-out输出结果和nodule-out输出结果,首先对Detection-out结果数据进行解码操作,将数据映射至原始数据三维空间坐标系内,生成每个检测结节的外接矩形区域mask,再通过mask对nodule-out数据进行筛选,这项操作可以剔除目标检测结果中的假阳性外接矩形框,进一步提升模型的准确率。
本发明的有益效果是:通过CDS深度神经网络模型可以同时处理多项胸部检查,并且提出了RMA模块,通过多项任务之间的特征融合以及结果相互作用,充分利用了卷积神经网络的特性,实现了病灶部位的准确检出,大幅降低了假阳性,同时对胸部CT进行肺结节,肺炎以及肋骨的多维度检测,快速检查整套CT图像序列,同时得出三项检查结果,实现更加高效的处理效率,得到更加准确的处理结果,相较于现有技术拥有更高效的检查处理能力。
附图说明
图1是本发明的一种原理连接结构图。
图2是本发明的一种流程图。
图3是本发明的一种CDS模型结构图。
图4是本发明的一种RMA模块工作流程图。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案作进一步具体的说明。
实施例:本实施例的一种胸部CT序列多病种综合检查系统及方法,如图1所示,包括依次相连的CT数据预处理模块、CDS模型和RMA模块,所述RMA模块包括拼接筛选模块和结果后处理模块。CT数据预处理模块用于对传入的CT检查进行数据的预处理。CDS模型,用于进行卷积操作后得到数据块,通过对每个像素点所属标签的分类完成对目标物体的分割任务。RMA模块用于接收CDS网络输出结果,生成每个检测结节的外接矩形区域mask以对nodule-out数据进行筛选,并对分割任务的梯度进行截断以进行重点训练。拼接筛选模块用于提取数据进行拼接并对目标检测结果进行假阳性的筛选,与结果后处理模块相连。结果后处理模块用于对各个分支的模型结果进行综合汇总,使各分支的计算结果相互作用,进一步提升病灶检测的准确率。
如图2所示,首先对传入的CT检查进行数据的预处理:1.选中检查图像中的胸部CT序列;2.从选中的胸部CT序列中筛选出清晰度较高,层间距较小的序列;3.对CT图像进行窗宽窗位的截取,归一化操作。
将经过预处理的数据传入CDS模型。
图2为CDS模型结构图,Input为经过预处理的CT图像数据。conv-block为卷积模块,可对传入数据进行特征提取。红色箭头代表Down-Sample操作,是对数据进行步长为2的3D卷积操作,可在缩小数据尺寸的同时提取重要特征。橙色箭头代表Up-Sample操作,是对数据进行步长为2的3D 转置卷积操作,可在放大数据尺寸的同时还原局部特征。蓝色箭头代表Layer-Connect操作,用于将两组数据在指定维度进行拼接。黑色箭头代表使用1x1卷积核对数据进行卷积。绿色箭头代表Detection-Head-Convolution操作,是对数据进行3D卷积操作,生成目标检测的结果Detection-out。Detection-out中包括三部分数据,第1个是检测目标的heat-map,是和本层数据结构尺寸大小相同的热力图,映射至原始数据空间坐标系中可覆盖检测目标的外接矩形,越接近检测目标的三维中心点值越大,呈高斯分布。
第2个是和本层数据结构尺寸大小相同的3通道数据块,三个通道分别代表heat-map对应中心点映射回原始数据坐标系时所指向的外接矩形的长宽高。第三个是中心点偏置量,和本层数据结构尺寸大小相同,为单通道数据,每个点的值代表映射回原始数据坐标系中相应检测框中心在x,y,z轴方向的偏移量。通过这解码这三个数据就能在原始数据的相应坐标找到检测目标的外接矩形,从而完成目标检测的任务。
本模型结构如图3所示,数据通过Input传入模型之后经过一系列Down-Sample操作再经由三个分支分别进行同样次数的Up-Sample操作后,可得到3个原始数据尺寸大小相同的数据块,通过对每个像素点所属标签的分类完成对目标物体的分割任务,分别得到ribs-out(肋骨分割结果 ),pneumonia-out(肺炎分割结果)和nodule-out(肺结节分割结果)
本模型通过对特征收集的Down-Sample操作的参数共享,赋予模型同时进行多项病症检查的能力,同时保证了各项检查的独立性,方便后期对单个病症检查进行维护升级而不会影响其他检查结果,对比现有技术有效的提升了模型的检查效率。
RMA(Result mutual assistance)模块分为两部分,其中第一部分为图2中红框部分。其操作内容为,从Detection-out中提取heat-map数据与本层conv-block输出进行拼接,再传入之后流程中,可有效提升分割任务分支的分割效果,同时可在后续分割操作中对目标检测结果进行假阳性的筛选,可有效提升模型的分割精度和降低结果假阳性率。其中由于肋骨形状特殊,两根肋骨的外接矩形重合度过大,不适用此种方法,固肋骨分支并未采用这项操作。
RMA(Result mutual assistance)模块另一部分独立与模型之外,在本发明中的主要作用是对各个分支的模型结果进行一个综合汇总,使各分支的计算结果相互作用,进一步提升病灶检测的准确率。具体流程如下图所示。
如图4所示,以肺结节检测分支为例说明,RMA模块接受该分支的Detection-out输出结果和nodule-out输出结果,首先对Detection-out结果数据进行解码操作,将数据映射至原始数据三维空间坐标系内,生成每个检测结节的外接矩形区域mask,再通过mask对nodule-out数据进行筛选,这项操作可以剔除目标检测结果中的假阳性外接矩形框,进一步提升模型的准确率。
同时,再模型训练时可通过得到的mask对分割任务的梯度进行截断,重点训练结节周边区域,可有效解决分割任务训练时因为目标太小导致的样本不均衡问题,可有效提升模型分割的精度,再模型训练之后输出最终检查结果。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了CT数据预处理模块、CDS模型等术语,但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质;把它们解释成任何一种附加的限制都是与本发明精神相违背的。
机译: 一种产生ct-图像的方法,该ct-图像是至少部分周期性移动的待检查物体,以及一种ct-装置,用于执行该方法
机译: 一种借助ct系统的ct检查和图像评估单元检测和标记进入肺血管的造影剂的方法
机译: 一种通过ct设备重建图像的方法,该ct设备通过对所获取的检查对象的测量值进行螺旋扫描来实现,并且ct是用于执行该方法的设备