基于多模态融合的对比增强能谱乳腺摄影分类方法及系统

摘要

本发明属于医疗影像处理技术领域，提供了一种基于多模态融合的对比增强能谱乳腺摄影分类方法及系统。其中，该方法包括获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像；预处理对比增强能谱乳腺摄影图像；提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像；提取融合图像的特征；将提取的特征输入到分类器中，输出图像分类结果。

说明书

技术领域

本发明属于医疗影像处理技术领域，尤其涉及一种基于多模态融合的对比增强能谱乳腺摄影分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

乳腺癌是女性中最常见的癌症，严重影响女性健康。建立可靠的筛查方法对乳腺癌的早期诊断至关重要。乳腺癌检查的措施主要有乳腺X射线摄影、乳腺超声检查、乳腺MRI和对比增强能谱乳腺摄影等。对比增强能谱乳腺摄影(又称乳腺对比增强摄影)是一种新兴的乳腺癌检测技术。这种图像是通过数字双能乳腺对比增强摄影设备采集的。该设备的原型是乳腺X射线摄影系统，经过改造后可实现双能曝光。这种方法可以同时得到多个模态的乳腺图像，所以能够获得肿瘤不同形态的特征。同时它克服了乳腺造影中的组织重叠现象，提供了高图像分辨率的肿瘤信息，是一种很有前景的成像技术。

在临床实践中，临床专家对乳腺图像的检测一般都是人工操作，耗时耗力，成本高。此外，放射科医生可能会因为致密组织的重叠或肿块形状、大小、边界的变化而漏掉原发病变。基于机器学习的图像分析方法可以提高乳腺图像分类的准确性。影像处理技术可以从临床图像中提取有用的信息，以提高乳腺图像分类的精度和准确性。然而，发明人发现，现有的基于人工智能的方法大部分是将处理自然图像直接用在医学图像中，而没有考虑到医学图像的具体特征，从而影响乳腺图像分类的精度和准确性。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于多模态融合的对比增强能谱乳腺摄影分类方法及系统，其能够综合利用乳腺对比增强摄影图像的特点，提高对比增强能谱乳腺摄影图像分类的精准性。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于多模态融合的对比增强能谱乳腺摄影分类方法。

一种基于多模态融合的对比增强能谱乳腺摄影分类方法，其包括：

获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像；

预处理对比增强能谱乳腺摄影图像；

提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像；

提取融合图像的特征；

将提取的特征输入到分类器中，输出图像分类结果。

本发明的第二个方面提供一种基于多模态融合的对比增强能谱乳腺摄影分类系统。

一种基于多模态融合的对比增强能谱乳腺摄影分类系统，其包括：

图像获取模块，其用于获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像；

预处理模块，其用于预处理对比增强能谱乳腺摄影图像；

多模态融合模块，其用于提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像；

特征提取模块，其用于提取融合图像的特征；

特征分类模块，其用于将提取的特征输入到分类器中，输出图像分类结果。

本发明的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于多模态融合的对比增强能谱乳腺摄影分类方法中的步骤。

本发明的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于多模态融合的对比增强能谱乳腺摄影分类方法中的步骤。

与现有技术相比，本发明的有益效果是：

本发明提供了一种基于多模态融合的对比增强能谱乳腺摄影分类方法及系统，其首先对采集到的对比增强能谱乳腺摄影图像进行预处理，其中，预处理操作包括裁剪、图像增强、归一化以及尺度调整处理，然后将预处理后的多模态的对比增强能谱乳腺摄影图像输入至融合网络模型中进行特征融合，其中，融合网络模型采用生成对抗网络来实现，将融合后的图像输入到分类网络中提取图像特征再进行分类。通过这种方式，可以获得融合了两种不同模态特征的图像，从而为精确的分类提供更多有用的信息，提高了对比增强能谱乳腺摄影图像分类的精度。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例的基于多模态融合的对比增强能谱乳腺摄影图像分类方法流程图；

图2是本发明实施例的基于多模态融合的对比增强能谱乳腺摄影图像分类系统结构示意图；

图3(a)是本发明实施例的能谱低能图像；

图3(b)是本发明实施例的能谱对比增强图像；

图3(c)是本发明实施例通过融合的方法合成的具有两种模态特征的融合图像。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

如图1所示，本实施例的一种基于多模态融合的对比增强能谱乳腺摄影分类方法，其包括：

步骤S101：获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像。

在本实施中，多模态是指两种模态的对比增强能谱乳腺摄影图像，即能谱低能图像和能谱对比增强图像。

具体地，对比增强能谱乳腺摄影图像指的是病人在注射碘对比剂后，对同一体位的乳房进行高能(45-49kVp)和低能(26-31kVp)图像采集，通过融合和减影获得能谱低能图像和能谱对比增强图像。

两种模态的对比增强能谱乳腺摄影图像，包括：同侧乳腺的CC位能谱低能图像和同侧乳腺的CC位能谱对比增强图像；或者同侧乳腺的MLO位的能谱低能图像和MLO位的能谱对比增强图像。

两种模态的对比增强能谱乳腺摄影图像必须同为左侧或者同为右侧乳房的影像。具体地，如图3(a)和图3(b)所示，为对比增强能谱乳腺摄影图像的实例图，图3(a)为能谱低能图像，图3(b)为能谱对比增强图像。对比增强能谱乳腺摄影图像可以预先存储在计算机设备的存储器中，当需要对其进行处理时，处理器直接从计算机设备的存储器中读取图像。当然，处理器也可以从外部设备中获取图像。比如，将待检测对象的对比增强能谱乳腺摄影图像存储在云端，当需要进行处理操作时，处理器从云端获取待检测对象的图像。本实施例对处理器获取对比增强能谱乳腺摄影图像的具体方式不做限定。

步骤S102：预处理对比增强能谱乳腺摄影图像。

在具体实施中，预处理对比增强能谱乳腺摄影图像的过程包括：

步骤S1021：对获取的对比增强能谱乳腺摄影图像进行裁剪，得到裁剪后的对比增强能谱乳腺摄影图像。

具体地，步骤S1021包括：

将每个对比增强能谱乳腺摄影图像转换成灰度图像；

对每一幅灰度图像，判断每一列或每一行的像素值是否是全部黑色像素，如果某一列或每一行全部是黑色背景，则将该列或该行裁剪掉。

示例性的，由于采集到的图像黑色边缘背景对特征的提取会产生一定的影响，所以在预处理时选择去除黑色边缘背景。将对比增强能谱乳腺摄影图像转成灰度图，通过遍历的方法判断某一列或每一行是不是空白内容，即计算这一列或这一行中的像素值是否是全黑色背景。而在灰度图里，像素的灰度值为0代表像素为纯黑色，255代表像素为纯白色，所以我们可以设置一个接近0的阀值：如果一个像素的灰度值低于这个阀值，我们就可以判定这个像素为黑色。

步骤S1022：对裁剪后的对比增强能谱乳腺摄影图像进行图像增强处理；

具体地，对裁剪后的对比增强能谱乳腺摄影图像进行图像增强处理，所采用的方式为：

对裁剪后的对比增强能谱乳腺摄影图像进行翻转、旋转、平移、增加噪声或增加对比度等。

此处应理解的是，图像增强处理可以有目的地强调图像的整体或局部特性，扩大图像中不同物体特征之间的差别。同时通过对图像进行旋转、翻转、平移、增加噪声等操作，可以增加图像的数量，防止网络发生过拟合，也可以增强分类网络的鲁棒性，从而提高模型的性能。

步骤S1023：对图像增强后的图像进行图像归一化处理；

在具体实施中，对增强后的图像进行全局对比度归一化处理。

示例性的，对增强后的图像进行全局对比度归一化处理，具体方法为：

对于M×N像素大小的图像，令X

步骤S1024：对图像归一化处理后的图像进行尺度调整处理。

具体地，步骤S1024包括：将归一化之后的图像调整到224×224像素大小，以满足分类网络的输入要求。

步骤S103：提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像。

其中，通过特征融合网络来实现特征融合，即根据选定的融合策略，完成两种模态图像间的融合。

在本实施例中，采用图像融合网络形成具有综合特征的融合图像，所述图像融合网络包括生成器和判别器，生成器包括特征提取子网络和融合网络，判别器用来区分融合图像和能谱对比增强图像。

所述融合网络用于根据加权平均融合进行图像融合。

特征提取子网络用来提取能谱低能图像和能谱对比增强图像的特征，而融合网络用来把特征提取子网络提取的特征图选择合适的融合策略进行融合。判别器由八层卷积层构成，用来区分融合图像和能谱对比增强图像。

能谱低能图像和能谱对比增强图像融合所述生成器损失函数具体为以下形式：

L

其中，L

生成器损失函数中的内容损失函数L

其中，H和W是输入图像的高和宽，I

生成器损失函数中的对抗损失函数L

其中

能谱低能图像和能谱对比增强图像融合所述判别器损失函数具体为以下形式：

其中L

在融合网络的训练过程中，将能谱低能图像和能谱对比增强图像进行随机裁剪成88*88并输入生成器中，形成能谱低能图像和能谱对比增强图像特征图。将特征图输入融合网络，根据加权平均融合进行图像融合，得到初始融合图像。将融合图像和能谱对比增强图像输入判别器，若判别器区分融合图像和能谱对比增强图像的精度达到设定要求，则停止训练。

具体地，利用特征提取子网络分别提取输入图像的特征，得到能谱低能图像的特征图和能谱对比增强图像的特征图。利用加权平均融合策略得到特征映射图。根据得到的特征映射图放入融合网络的融合卷积层中，得到融合图像。通过融合的方法合成的具有两种模态特征的融合图像，如图3(c)所示。

步骤S104：提取融合图像的特征。

在具体实施中，采用多层卷积神经网络提取融合图像的特征。网络的前几层学习的是相对泛化的特征，比如边缘、颜色等，而靠后几层的网络学习到的特征更高层。

将融合的图像输入到特征提取网络中，将模型的第一个全连接层的输出作为提取的深度特征。

所述特征提取网络由多层卷积神经网络为骨干网路，以最常用的Res2Net 50为例，使用前4个卷积块作为特征提取网络，则输入的原始图像大小为(w，h，3)，经过4个卷积网络块会下采样16倍，即输出的特征映射是(w/16，h/16，3)。其骨干网络也可以采用其他架构，例如VGGNet，ResNet，SeResNet，ResNext，WideResNet，Res2Net等。在本申请的实施例中并不进行具体限定。表1为利用本发明方法对对比增强能谱乳腺摄影图像进行分类的精确度。

步骤S105：将提取的特征输入到分类器中，输出图像分类结果。

在本实施例中，分类器为softmax分类器。

基于一般的深度学习分类模型，本发明提出了多模态融合的对比增强能谱乳腺摄影图像分类模型，在输入两种模态的图像后；模型根据图像融合模块获得综合两种模态特征的融合图像，之后融合图像输入特征提取网络，提取多种特征并进行分类。本发明能够获得多个模态的乳腺图像信息，提取有效的图像特征进行再分类，从而获得更精确的分类结果。

表1利用不同特征提取网络分类精确度统计比较

实施例二

如图2所示，本实施例提供了一种基于多模态融合的对比增强能谱乳腺摄影分类系统，其包括：

图像获取模块，其用于获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像；

预处理模块，其用于预处理对比增强能谱乳腺摄影图像；

多模态融合模块，其用于提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像；

特征提取模块，其用于提取融合图像的特征；

图像分类模块，其用于将提取的特征输入到分类器中，输出图像分类结果。

此处需要说明的是，本实施例的基于多模态融合的对比增强能谱乳腺摄影分类系统中的各个模块，与实施例一中的基于多模态融合的对比增强能谱乳腺摄影分类方法中的各个步骤一一对应，其具体实施过程相同，此处不再累述。

实施例三

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于多模态融合的对比增强能谱乳腺摄影分类方法中的步骤。

实施例四

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于多模态融合的对比增强能谱乳腺摄影分类方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。