一种T2加权影像特征生成动态增强影像特征的方法

摘要

一种T2加权影像特征生成动态增强影像特征的方法，包括：采集乳腺癌T2加权影像；对采集得到的T2加权影像进行乳房分割处理，得到乳房影像；对乳房影像利用训练好的卷积神经网络提取T2加权影像特征；基于T2加权影像特征，利用训练好的深度生成对抗网络，生成动态增强影像特征；基于新生成的动态增强影像特征进行乳腺癌病理信息分类，病理信息分类包含：良恶性分类、分子分型分类等。相对于传统的直接基于T2加权影像特征的病理信息分类方法，本发明生成的动态增强影像特征具有更高的灵敏度，相对于基于动态增强影像特征的病理信息分类方法，本发明成像成本低，扫描时间快，是一种更加低廉快捷的诊断方法。

说明书

技术领域

本发明属于图像处理技术领域，特别是涉及一种T2加权影像特征生成动态增强影像特征的方法。

背景技术

乳腺癌的早诊断、早治疗能够有效的降低患者的死亡率，提升其远期生存率。磁共振成像(Magnetic Resonance Imaging，MRI)检查是最普及的乳腺癌诊断方式之一，具有多种成像参数，包含动态增强影像(Dynamic Contrast Enhancement Magnetic ResonanceImaging，DCE-MRI)，T2加权影像(T2Weighted Imaging，T2WI)，弥散加权成像(DiffusionWeighted Imaging，DWI)等，不同参数的成像有各自的特点。其中，DCE-MRI通过获得多组注入造影剂前后的高质量影像，获得病变的形态和血流动力学信息，对乳腺癌的诊断具有较高的灵敏度，临床上常用于乳腺癌的分期评估和分子分型的评估。

然而，DCE-MRI拍摄成本高，扫描时间长，需要增强注射造影剂，给造影剂不耐受的患者带来较大的风险。T2WI是标准MRI检查中另一种基础常规扫描，拍摄简易快捷，无需注射对比增强剂，常用于排除囊肿、乳房内淋巴结和其他良性乳腺病变，在临床应用中对医生进行乳腺癌的诊断有重要作用，但其相对于包含更丰富的病灶信息的DCE-MRI，敏感度较低。

因此，研究基于深度对抗网络的T2加权影像特征生成动态增强影像特征方法，基于T2加权(T2WI)影像特征生成新的动态增强(DCE-MRI)影像特征，利用新生成的动态增强影像特征进行乳腺癌病理信息预测，提升T2加权影像的病理诊断价值，对于推广其在乳腺癌诊断上的应用，降低就医成本具有重要实用价值和意义。

发明内容

本发明的目的是提出一种基于深度对抗网络的T2加权影像特征生成动态增强影像特征的方法，包括以下步骤：

S1：构建由乳腺癌影像组成的乳腺癌数据集，乳腺癌数据集中的每个样本包含3种类型的数据：DCE-MRI影像，T2WI影像，样本的类别标签；

S2：对乳腺癌数据集中乳腺癌影像进行数据预处理，针对每一张DCE-MRI和T2WI影像，利用乳房分割技术对乳房进行分割，去除影像中的胸腔和皮肤部分，仅保留有病灶的单侧乳房；

S3：对于S2分割完成后获得的乳房数据集，将DCE-MRI影像的六个序列的图像在通道维度上进行拼接，获得6通道的DCE-MRI影像，将T2WI影像在通道维度上复制三份，获得3通道的T2WI影像；

S4：数据划分，通过分层抽样，将乳房数据集划分为训练集和测试集；

S5：基于训练集中的数据，利用基于卷积神经网络的影像分类方法，进行乳腺癌分类预训练,得到DCE-MRI影像特征提取器和T2WI影像特征提取器；

S6：对于S3获得的6通道DCE-MRI影像和3通道T2WI影像，利用S5中获得的DCE-MRI影像特征提取器和T2影像特征提取器分别提取DCE-MRI影像特征和T2WI影像特征；

S7：对于S6获得的DCE-MRI影像特征数据集和T2WI影像特征数据集，利用基于生成对抗网络的特征生成方法，进行DCE-MRI影像特征生成训练，基于T2WI影像特征生成DCE-MRI影像特征；

S8：在测试集上，测试基于T2WI影像特征生成的新DCE-MRI影像特征的病理信息诊断性能。

作为优选，所述S5中的卷积神经网络是ResNet，其中特征提取器为ResNet的骨干网络，分类器为ResNet的全连接层分类器。

作为优选，所述乳腺癌分类预训练的具体步骤如下：

A1：向特征提取器传入图像，推理获得图像的特征z；

A2：将图像的特征z，传入分类器，获得图像的预测值

A3：结合图像的真实标签y，计算模型的分类损失，其损失函数为：

A4：根据分类损失L，利用梯度下降的方法对特征提取器和分类器里的参数进行更新；

A5：重复上述步骤A1-A4，并利用早停机制保留模型训练过程中的参数；

A6：乳腺癌影像数据集存样本不均衡性，采用AUC为模型的评价指标对模型进行评价。

作为优选，所述AUC的评价方式为：

其中i为一个属于阳性(恶性)的样本，rank

作为优选，所述步骤S5包括如下步骤：

S51：基于DCE-MRI影像数据，使用基于卷积神经网络的影像分类方法，训练DCE-MRI影像分类网络，获得DCE-MRI影像的特征提取器和分类器；

S52：基于T2WI影像数据，使用基于卷积神经网络的影像分类方法，训练T2WI影像分类网络，获得T2WI影像的特征提取器和分类器。

作为优选，所述S7中的生成对抗网络包括编码器，解码器，生成器和鉴别器，所述编码器和解码器构成一组自编码器，所述生成器和鉴别器构成了生成对抗网络网络。

作为优选，所述生成对抗网络的具体训练步骤如下：

S71：将T2WI影像特征输入到自编码器结构中，训练自编码器，其损失函数为

L

其中MSE为均方误差，Dec为解码器网络，Enc为编码器网络，x为T2影像的特征，基于损失函数L

S72：对于T2WI影像特征，利用编码器对其进行编码，获得隐变量z；

S73：将隐变量z输入生成器中，生成新的伪DCE-MRI影像特征X

S74：将真实的DCE-MRI影像特征X

L

其中D为鉴别器，基于损失函数L

S75：固定鉴别器D的参数，将隐变量z输入到生成器中生成伪DCE-MRI影像特征X

L

其中G为生成器，基于损失函数L

S76：重复上述步骤S71～S75，对特征生成模块的编码器，解码器，生成器，鉴别器的参数进行更新，直到所有参数收敛并不再更新，生成对抗网络到此训练完成。

作为优选，所述S1中的样本的类别标签为乳腺癌良恶性标签。

本发明采用深度学习中的卷积神经网络提取影像特征，设计生成对抗网络基于T2加权影像特征生成DCE-MRI影像特征方法，并利用新生成的DCE-MRI影像特征进行病理信息分类。

相对于传统的直接基于卷积神经网络对T2加权影像进行病理信息分类的方法，本方法具有更高的灵敏度；相对于传统的直接基于卷积神经网络对DCE-MRI影像进行病理信息分类的方法，本方法不依赖DCE-MRI影像，成像成本低，扫描时间快，是一种更加低廉快捷的诊断方法。

附图说明：

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。

图1为本发明的结构框图；

图2为本发明中基于卷积神经网络的影像分类方法的网络结构图；

图3为本发明中基于生成对抗网络生成DCE-MRI影像特征方法的网络结构图；

图4为本发明中测试阶段基于深度对抗网络的T2加权影像乳腺癌病理信息诊断的数据流图；

图5为本发明具体实施案例中三种乳腺癌分类方法的ROC曲线，分别是基于深度对抗网络的T2加权影像乳腺癌分类结果(图例GAN指示的曲线)，基于卷积神经网络的T2WI影像乳腺癌分类结果(图例T2指示的曲线)和基于卷积神经网络的DCE-MRI影像乳腺癌分类结果(图例DCE指示的曲线)。

具体实施方式

以下结合本发明的附图和具体实施案例对本发明进行详细说明：

如图1所示，基于深度对抗网络的T2加权影像特征生成动态增强影像特征方法，一共包含六个模块，分别为：数据收集模块1、影像数据预处理模块2、影像分类预训练模块3、影像特征提取模块4、深度特征生成模块5和影像病理信息预测模块6。

影像收集模块1收集患者乳腺癌影像数据，每个样本包含三种类型的数据：DCE-MRI影像，T2WI影像，和样本的类别标签，本实施案例选取良恶性病理信息作为样本标签。DCE-MRI影像一共有6个序列，分别为注射增强造影剂前后的六个时间段扫描获得的影像，T2WI影像包含一个序列。

影像预处理模块2对模块1中收集的乳腺癌影像数据集进行数据预处理，主要包含乳房分割和通道拼接等预处理过程。

影像分类预训练模块3分别对DCE-MRI影像和T2WI影像基于卷积神经网络做分类训练。通过分类预训练，为后续深度特征生成模块提供DCE-MRI影像特征提取器、DCE-MRI影像特征分类器、T2WI影像特征提取器，T2WI影像特征分类器。

影像特征提取模块4提取影像特征。使用模块3中提供的DCE-MRI影像的特征提取器和T2WI影像的特征提取器分别提取对应影像的数据特征，结合样本的标签获得影像特征数据集。

深度特征生成模块5利用GAN进行DCE-MRI影像特征生成训练，利用GAN的生成能力，基于T2WI影像特征生成新的DCE-MRI影像特征，向T2WI影像特征迁入DCE-MRI影像域的先验知识，提升T2WI影像特征的病理信息诊断性能。

影像病理信息预测模块6，对基于T2WI影像特征生成的新DCE-MRI影像特征进行病理信息诊断测试，并与模块3中直接使用卷积神经网络的分类性能进行对比，评估生成对抗方法的有效性。

本实施案例选取的样本标签为良恶性标签，结合具体实施案例，本发明的实施步骤如下：

步骤1：收集数据构建乳腺癌良恶性数据集，本实例一共包含246例样本，其中良性样本139例，恶性样本107例，每个样本包含DCE-MRI和T2WI两种参数的MRI影像，其中DCE-MRI影像包含6个序列，分别为注射增强造影剂之前的蒙片序列S0和注射增强造影剂之后每隔1分钟扫描获得的增强序列S1～S5，T2WI影像包含一个序列。针对每个序列的影像，仅保留肿块最大径所在位置的图像，DCE-MRI影像和T2WI影像的分辨率均为448×448；

步骤2：对乳腺癌影像数据集进行数据预处理，利用乳房分割技术对乳房进行分割，去除图像中的胸腔和皮肤，仅保留有病灶的单侧乳房；

步骤3：对于分割后的乳房影像数据集，将所有裁剪后的乳房影像，通过在图像四周添加黑色边框的方式，统一图像大小到224×224，再将图像放大两倍到448×448，将DCE-MRI影像的六个序列的图像在通道维度上进行拼接，获得6通道的DCE-MRI影像，其数据形状为448×448×6，将T2WI图像在通道维度上复制三份，获得3通道的T2WI影像，其数据形状为448×448×3，将良性样本的标签值置0，恶性样本的标签值置1。此时，一个样本一共有三类数据：一张6通道的DCE-MRI影像，一张3通道的T2WI影像，样本的良恶性标签；

步骤4：根据分层抽样的原则，将分割后的乳房数据按照6：4的比例将数据集随机划分为训练集和测试集，划分结束后，训练集共包含147个样本，测试集共包含99个样本；

步骤5：基于训练集中的数据，按照图2中的基于卷积神经网络的图像分类方法，进行乳腺癌分类预训练，为后续深度特征生成过程提供训练好的特征提取器和分类器，选择的卷积神经网络为ResNet，其中特征提取器为ResNet的骨干网络，分类器为ResNet的全连接层分类器。训练的具体步骤如下：

步骤A1：向特征提取器传入图像，推理获得影像特征z；

步骤A2：将影像特征z，传入分类器，获得图像的预测值

步骤A3：结合图像的真实标签y，利用交叉熵计算模型的分类损失，其损失函数为：

步骤A4：根据分类损失L，利用Adma优化器对特征提取器和分类器里的参数进行更新，设定Adam优化器的初始的学习率为1e-5，参数β

步骤A5：重复上述步骤A1-A4，一共重复3000次，每训练50个epoch将学习率调整为原来的0.9倍，采用早停机制保留模型训练过程中的参数；

步骤A6：以AUC为模型的评价指标对模型进行评价，AUC的计算方式为：

其中i为一个属于恶性的样本，rank

步骤6：利用图2的分类训练方法，选取ResNet50作为分类模型，基于DCE-MRI影像数据进行分类预训练，训练结束后，获得DCE-MRI影像的特征提取器和分类器。基于ResNet50，直接对DCE-MRI影像进行乳腺癌良恶性分类的AUC为0.903；

步骤7：利用图2的分类训练方法，选取ResNet34作为分类模型，基于T2WI影像数据进行分类预训练，训练结束后，获得T2WI影像的特征提取器和分类器，基于ResNet34，直接对T2WI影像进行乳腺癌良恶性分类的AUC为0.797，约比DCE-MRI影像的分类性能低0.1。

步骤8：对于所有乳房影像数据，利用预训练好的特征提取器分别提取DCE-MRI影像和T2WI影像的特征，DCE-MRI影像的特征维度是2048维，T2WI影像特征的维度为512维。；

步骤9：基于乳房影像特征数据集，利用基于生成对抗对抗网络的特征生成方法，进行DCE-MRI影像特征生成训练，基于T2WI影像特征生成DCE-MRI影像特征。

如附图3所示，整个深度特征生成网络一共有四个模块，分别是编码器，解码器，生成器和鉴别器，编码器和解码器构成一组自编码器，生成器和鉴别器构成了生成对抗网络。整个网络的具体训练步骤如下：

步骤B1：将T2WI影像特征输入到自编码器结构中，训练自编码器，其损失函数为

L

其中MSE为均方误差，Dec为解码器网络，Enc为编码器网络，x为T2的特征。基于损失函数L

步骤B2：对于T2WI影像特征，利用编码器对其进行编码，获得隐变量z；

步骤B3：将隐变量z输入生成器中，生成新的伪DCE-MRI影像特征X

步骤B4：将真实的DCE-MRI影像特征X

L

其中D为鉴别器，基于损失函数L

步骤B5：固定鉴别器D的参数，将隐变量z输入到生成器中生成伪DCE-MRI影像特征X

L

其中G为生成器，基于损失函数L

步骤B6：重复上述步骤B1～步骤B5，对特征生成模块的编码器，解码器，生成器，鉴别器的参数进行更新，直到所有参数收敛并不再更新，特征生成方法到此训练完成；

步骤10：按照附图4的结构，基于测试集对深度特征生成方法的有效性进行测试。对于测试集中一个样本的T2WI影像特征，利用编码器提取其隐变量z，将隐变量输入生成器生成伪DCE-MRI影像特征X

附图5为本发明具体实施案例中三种乳腺癌分类方法的ROC曲线和对应的AUC值，分别是基于GAN的T2WI影像特征生成DCE-MRI影像特征的乳腺癌分类结果(GAN指示的曲线)，基于卷积神经网络的T2WI影像乳腺癌分类结果(T2指示的曲线)和基于卷积神经网络的DCE-MRI影像乳腺癌分类结果(DCE指示的曲线)。可以看出，利用基于GAN生成的DCE-MRI影像特征进行乳腺癌分类，其ROC曲线相比较于直接使用卷积神经网络进行分类的模型，更加逼近DCE-MRI影像的ROC曲线。用Bootstrap方法对GAN模型和卷积分类模型的AUC进行显著性检验，得到的P值为0.0239，即GAN模型的AUC显著大于卷积模型的AUC，利用新生成的DCE-MRI影像特征进行良恶性分类相对于直接使用T2WI影像特征进行分类，其分类效果提升显著。

本发明采用基于深度对抗网络的T2加权影像特征生成动态增强影像特征方法，较大幅度的提升了T2WI影像的乳腺癌病例信息诊断性能，进一步提升T2WI影像在乳腺癌临床诊断上的价值，进而形成更低价，更快捷的乳腺癌诊断模式。

上述具体实例方式用来解释本发明，而不是对本发明进行限制。在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。