一种基于非随机掩盖数据增强方式的黑色素瘤分类方法

摘要

一种基于非随机掩盖数据增强方式的黑色素瘤分类方法，包括以下步骤：步骤1.首先原始训练集中的皮肤镜图像进行数据增强，增强方式为非随机掩盖；步骤2.将原始数据分别和不同掩盖位置的数据进行混合然后放入网络中进行训练，最后根据模型在验证集上的表现选择出效果相对好的4个模型，然后将这4个模型的增强样本和原始数据放在一起作为最终的黑色素瘤分类模型的训练样本，然后进行训练从而得到黑色素瘤分类模型；步骤3.训练模型；步骤4.将步骤3中提取的特征放入到softmax分类器中进行分类。本发明提供一种可靠性高的黑色素瘤分类方法，可以有效的对患者皮肤镜检图像来进行分类，达到辅助最终诊断的效果。

说明书

技术领域

本发明属于计算机视觉领域，基于深度学习中的卷积神经网络构建了一个对于皮肤癌黑色素瘤的分类模型。

背景技术

黑色素瘤是一种由黑素细胞引起的恶性皮肤癌。在所有的因皮肤癌而导致死亡的病例中，黑色素瘤约占75％。在皮肤癌疾病中，黑色素瘤是最致命的皮肤癌病变。随着计算机技术和人工智能的迅速发展，深度学习技术在诸多领域，尤其计算机视觉等领域得到广泛使用，成为人工智能领域最为活跃的研究领域。其中图像分类作为视觉范围中一块极其有影响力的课题方向，受到广大深度学习研究者们的青睐。基于深度学习技术对此开展深入研究，将具有非常重要的理论价值和较好的应用发展前景。对于皮肤病以及恶性黑色素瘤的研究将有利于医生们更好诊断患者病情。

发明内容

为了克服已有黑色素瘤分类方法的可靠性较低的不足，本发明提供一种可靠性高的黑色素瘤分类方法，可以有效的对患者皮肤镜检图像来进行分类，达到辅助最终诊断的效果。

本发明解决其技术问题所采用的技术方案是：

一种基于非随机掩盖数据增强方式的黑色素瘤分类方法，包括以下步骤：

步骤1.非随机掩盖数据增强：首先原始训练集中的皮肤镜图像进行数据增强，增强方式为非随机掩盖；

步骤2.选择表现好的模型：使用非随机掩盖的数据增强方式，先将原始数据分别和不同掩盖位置的数据进行混合然后放入网络中进行训练，最后根据模型在验证集上的表现选择出效果相对好的4个模型，然后将这4个模型的增强样本和原始数据放在一起作为最终的黑色素瘤分类模型的训练样本，然后进行训练从而得到黑色素瘤分类模型；

步骤3.训练模型：将训练数据放入到深度卷积残差50层的网络中进行特征提取；训练过程中，使用残差50层在ImageNet数据集上预训练的模型来对网络参数进行初始化，在此基础上进行微调网络参数；

步骤4.将步骤3中提取的特征放入到softmax分类器中进行分类。

进一步，所述步骤1中，非随机掩盖数据增强的步骤如下：

1.1依次从训练集中取图片img，并获取img的宽img_w和高img_h；

1.2初始化掩盖区域的宽w＝img_w/3，高h＝img_h/3；

1.3确定掩盖区域的左上角坐标分别为(x₁，y₁)＝(0，0)，(x₂，y₂)＝(w，0)，(x₃，y₃)＝(2w，0)，(x₄，y₄)＝(0，h)，(x₅，y₅)＝(w，h)，(x₆，y₆)＝(2w，h)，(x₇，y₇)＝(0，2h)，(x₈，y₈)＝(w，2h)，(x₉，y₉)＝(2w，2h)；

1.4确定掩盖区域为M_i＝(x_i，y_i，x_i+w，y_i+h)，其中i＝1，2，3…9；

1.5将掩盖区域M_i的像素值置为0；

1.6保存增强后的图片。

再进一步，所述步骤2中，卷积残差50层网络训练的过程如下：

2.1：每张原始图片I经过非随机掩盖增强后会产生新的9张图片，分别对应掩盖区域为M1、M2、M3、M4、M5、M6、M7、M8、M9的图片，然后将原始图片分别和这九种不同掩盖区域的图片进行组合成9个训练集，比如训练集1＝原始图片I+增强的I_M1训练出9个模型；

2.2：对于步骤2.1中训练出来的的9个模型使用验证集的数据来进行验证，评估模型在AC、AP、AUC、SE、SP上的表现，选择出表现最好的4个模型；

2.3：将原始未增强的样本和该四个模型中使用到的增强样本组合到一起，组成一个新的训练集；

2.4：将新的训练集放入到卷积残差50层的网络中进行训练，训练过程中最后一层的输出为2，同时在网络残差初始化的时候使用在ImageNet预训练的参数作为初始化参数，然后将最后一层的输出作为softmax分类器的输入。

本发明的有益效果主要表现在：有效的对患者皮肤镜检图像来进行分类，达到辅助最终诊断的效果。

附图说明

图1为本发明中非随机掩盖增强方式的示意图。

图2为本发明中使用的卷积残差50层的网络结构示意图。

图3为本发明中整个分类模型的示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种基于非随机掩盖数据增强方式的黑色素瘤分类方法，包括以下步骤：

步骤1.非随机掩盖数据增强：首先原始训练集中的皮肤镜图像进行数据增强，增强方式为非随机掩盖；

步骤2.选择表现好的模型：使用非随机掩盖的数据增强方式，先将原始数据分别和不同掩盖位置的数据进行混合然后放入网络中进行训练，最后根据模型在验证集上的表现选择出效果相对好的4个模型，然后将这4个模型的增强样本和原始数据放在一起作为最终的黑色素瘤分类模型的训练样本，然后进行训练从而得到黑色素瘤分类模型；

步骤3.训练模型：将训练数据放入到深度卷积残差50层的网络中进行特征提取；训练过程中，使用残差50层在ImageNet数据集上预训练的模型来对网络参数进行初始化，在此基础上进行微调网络参数；

步骤4.将步骤3中提取的特征放入到softmax分类器中进行分类。

进一步，所述步骤1中，非随机掩盖数据增强的步骤如下：

1.1依次从训练集中取图片img，并获取img的宽img_w和高img_h；

1.2初始化掩盖区域的宽w＝img_w/3，高h＝img_h/3；

1.3确定掩盖区域的左上角坐标分别为(x₁，y₁)＝(0，0)，(x₂，y₂)＝(w，0)，(x₃，y₃)＝(2w，0)，(x₄，y₄)＝(0，h)，(x₅，y₅)＝(w，h)，(x₆，y₆)＝(2w，h)，(x₇，y₇)＝(0，2h)，(x₈，y₈)＝(w，2h)，(x₉，y₉)＝(2w，2h)；

1.4确定掩盖区域为M_i＝(x_i，y_i，x_i+w，y_i+h)，其中i＝1，2，3…9；

1.5将掩盖区域M_i的像素值置为0；

1.7保存增强后的图片。

再进一步，所述步骤2中，卷积残差50层网络训练的过程如下：

2.1：每张原始图片I经过非随机掩盖增强后会产生新的9张图片，分别对应掩盖区域为M1、M2、M3、M4、M5、M6、M7、M8、M9的图片，然后将原始图片分别和这九种不同掩盖区域的图片进行组合成9个训练集，比如训练集1＝原始图片I+增强的I_M1训练出9个模型；

2.2：对于步骤2.1中训练出来的的9个模型使用验证集的数据来进行验证，评估模型在AC、AP、AUC、SE、SP上的表现，选择出表现最好的4个模型；

2.3：将原始未增强的样本和该四个模型中使用到的增强样本组合到一起，组成一个新的训练集；

2.4：将新的训练集放入到卷积残差50层的网络中进行训练，训练过程中最后一层的输出为2，同时在网络残差初始化的时候使用在ImageNet预训练的参数作为初始化参数，然后将最后一层的输出作为softmax分类器的输入。

本实施例中，对于原始训练集中存在两类皮肤镜图像样本，一类为黑色素瘤，另一类为脂溢性角化病和痣的混合图像即非黑色素瘤。

本实施例的基于非随机掩盖数据增强方式的黑色素瘤分类方法，包括以下步骤：

步骤1对于非随机掩盖数据增强，我们依次从原始训练集中取出样本，每次取一张进行增强，原图备份保存。

1.1:从训练集中取到样本ISIC_0000074.jpg，先获取该张图像的宽img_w＝1022，高img_w＝767；

1.2：初始化确定掩盖区域的宽w＝1022/3＝340(取整)，h＝767/3＝255；

1.3：确定掩盖区域的左上角坐标分别为(0，0)，(340，0)，(680，0)，(0，255)，(340，255)，(680，255)，(0，510)，(340，510)，(680，510)；

1.4：确定掩盖区域分别为M1为(0，0，340，255)M2为(340，0，680，255)，M3为(680，0，1020，255)，M4为(0，255，340，510)，M5为(340，255，680，510)，M6为(680，255，1020，510)，M7为(0，510，340，765)，M8为(340，510，680，765)，M9为(680，510，1020，765)；

1.5：将掩盖区域M1、M2、M3、M4、M5、M6、M7、M8、M9的像素值这是为0；

1.6：保存掩盖后的样本分别命名为Mask1_0000074.jpg、Mask2_0000074.jpg、Mask3_0000074.jpg、Mask4_0000074.jpg、Mask5_0000074.jpg、Mask6_0000074.jpg、Mask7_0000074.jpg、Mask8_0000074.jpg、Mask9_0000074.jpg；

最后增强后的样本如图1所示。

步骤2将训练集中的所有样本均进行随机掩盖进行扩充，然后将原始样本分别和不同掩盖位置的数据进行混合组成训练集然后放入残差50层网络中进行训练，训练时依然使用预训练模型作为参数初始化，拿单张图片举例来说将ISIC0000074.jpg分别和Mask1_0000074.jpg、Mask2_0000074.jpg、Mask3_0000074.jpg、Mask4_0000074.jpg、Mask5_0000074.jpg、Mask6_0000074.jpg、Mask7_0000074.jpg、Mask8_0000074.jpg、Mask9_0000074.jpg分别组成训练集1-9，然后分别将训练集1-9放入到残差50层网络中进行训练优化，最后根据各个训练集的表现选择出表现好的训练集，将其训练数据放在一起组成模型的最终训练集。

步骤3.将确定的最终训练集的数据放入到深度卷积残差50层的网络中进行特征提取。训练过程中，使用残差50层在ImageNet数据集上预训练的模型来对网络参数进行初始化，在此基础上进行微调网络参数。

步骤4.将3中提取的特征放入到softmax分类器中进行分类。

深度卷积残差50层网络结构如图2所示，整体的模型流程如图3所示。模型的最终的结果参照表1：

表1。