一种基于域自适应的跨域医疗图像分类系统及分类方法

摘要

本发明公开了一种基于域自适应的跨域医疗图像分类系统及分类方法，涉及图像分类领域，该方法包括跨域编码器，将输入医疗图像通过域共享编码器编码为共享特征，通过域私有编码器编码为私有特征；共享解码器，将共享特征和私有特征结合后输入，解码为重构的医疗图像；目标域分类器，将共享特征输入，输出预测结果，本发明通过跨域编码器在源域和目标域上的共同训练，实现跨域的知识共享，可在一定程度上提高图像分类算法的准确率，并广泛适用于跨域医疗图像的分类预测当中。

说明书

技术领域

本发明涉及图像分类技术领域，具体涉及一种基于域自适应的跨域医疗图像分类系统及分类方法。

背景技术

现如今，人工智能算法广泛应用于各个领域当中，人工智能已被用于医学图像领域，基于深度神经网络算法的医疗图像预测可以对影像提供辅助决策建议，帮助医生进行临床决策，因此受到人们的关注。

由于深度神经网络算法存在的基本问题是其无法像人类一样高效地学习，需要不断地用训练样本对其进行训练学习，训练样本越完善越多，则训练得到的人工智能模型的结果就越好。医疗图像通常由于数据安全、病人隐私等原因，可用图像数据较少。

因此，基于深度神经网络算法的医疗图像预测存在着数据量少导致的建议不准确，预测不稳定，存在着安全隐患。迁移学习是解决少样本学习问题的一种有效方法，其可以通过迁移数据标注、迁移模型、自适应学习、领域知识迁移等手段，将其他领域的数据用来辅助特定领域学习。然而，如何有效结合迁移学习方法和医疗图像预测方法，仍然是一种挑战。总而言之，目前的基于深度神经网络算法的医疗图像预测方法无法很好地利用跨域知识缓解样本少带来的性能问题，也就限制了其在诸多应用场景的应用。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于域自适应的跨域医疗图像分类系统及分类方法，本发明通过跨域编码器在源域和目标域上的共同训练，实现跨域的知识共享，可在一定程度上提高图像分类算法的准确率，并广泛适用于跨域医疗图像的分类预测当中。

为实现上述目的，本发明采用了以下技术方案：

一种基于域自适应的跨域医疗图像分类系统，包括：

跨域编码器模块，用于将输入医疗图像通过域共享编码器编码为共享特征，通过域私有编码器编码为私有特征；

共享解码器模块，用于将共享特征和私有特征结合后输入，解码为重构的医疗图像；

目标域分类器模块，用于将共享特征输入，输出预测结果。

优选的，跨域编码器的损失函数的计算公式为：

L＝L

其中L

优选的，所述重构误差损失函数L

该公式中，x

其中k为输入向量x中的像素个数，1

优选的，所述跨域差异损失函数L

其中

优选的，所述跨域相似损失函数L

其中κ(·,·)是核函数，计算输入的一对向量的距离。N

优选的，共享解码器的损失函数公式为:

该公式中，其中x

其中k为输入向量x中的像素个数，1k是长度为k的单位向量。

优选的，目标域分类器模块输入目标域共享特征向量

其中D

一种基于域自适应的跨域医疗图像分类系统的分类方法，其特征在于，包括以下步骤:

步骤(1)、初始化：随机初始化共享解码器参数、跨域编码器参数以及目标域分类器参数；

步骤(2)、数据采样：从源域中采样图像及标签，从目标域中采样图像；

步骤(3)、训练集网络训练：将源域和目标域图像输入跨域编码器，输出共享特征向量和私有特征向量；将共享特征向量和私有特征向量输入共享解码器网络，输出重构的源域和目标域图像；将源域共享特征向量输入目标域分类器，得到源域图像的标签；

步骤(4)、更新网络参数：根据源域共享特征向量输入目标域分类器，得到的源域图像的标签和真实的源域标签计算误差，计算梯度，更新网络参数(包括共享解码器参数、跨域编码器参数以及目标域分类器参数)，直到网络参数收敛；

步骤(5)、目标域预测：将目标域图像输入收敛后的目标域分类器，得到目标域图像的标签。

本发明的有益效果是：首先，提出了一种新的一种基于域自适应的跨域医疗图像分类，通过跨域编码器在源域和目标域上的共同训练，实现跨域的知识共享，可在一定程度上提高图像分类算法的准确率，并广泛适用于跨域医疗图像的分类预测当中；此外，通过设计跨域相似损失函数，跨域差异损失函数，将图像分开编码为域共享和私有特征向量，从而有效利用共享特征向量实现跨域知识共享；此外，通过步骤3和4的跨域训练、参数更新策略，使得网络向着损失函数最小的方向更新，从而保证模型效果。

附图说明

图1是根据本发明的一种基于域自适应的跨域医疗图像分类模型示意图。

图2是实验用的肺炎图像图例。

图3是实验用的糖尿病性视网膜病变图像图例。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

一种基于域自适应的跨域医疗图像分类系统，包括：

跨域编码器模块，用于将输入医疗图像通过域共享编码器编码为共享特征，通过域私有编码器编码为私有特征；

共享解码器模块，用于将共享特征和私有特征结合后输入，解码为重构的医疗图像；

目标域分类器模块，用于将共享特征输入，输出预测结果。

跨域编码器的损失函数的计算公式为：

L＝L

其中L

重构误差损失函数L

该公式中，x

其中k为输入向量x中的像素个数，1

优选的，跨域差异损失函数L

其中

跨域相似损失函数L

其中κ(·,·)是核函数，计算输入的一对向量的距离。N

共享解码器的损失函数公式为:

该公式中，其中x

其中k为输入向量x中的像素个数，1k是长度为k的单位向量。

目标域分类器模块输入目标域共享特征向量

其中D

一种基于域自适应的跨域医疗图像分类系统的分类方法，其特征在于，包括以下步骤:

步骤(1)、初始化：随机初始化共享解码器参数、跨域编码器参数以及目标域分类器参数；

步骤(2)、数据采样：从源域中采样图像及标签，从目标域中采样图像；

步骤(3)、训练集网络训练：将源域和目标域图像输入跨域编码器，输出共享特征向量和私有特征向量；将共享特征向量和私有特征向量输入共享解码器网络，输出重构的源域和目标域图像；将源域共享特征向量输入目标域分类器，得到源域图像的标签；

步骤(4)、更新网络参数：根据源域共享特征向量输入目标域分类器，得到的源域图像的标签和真实的源域标签计算误差，计算梯度，更新网络参数(包括共享解码器参数、跨域编码器参数以及目标域分类器参数)，直到网络参数收敛；

步骤(5)目标域预测：将目标域图像输入收敛后的目标域分类器，得到目标域图像的标签。

实验例：

本申请人采用了大量的实验，包括糖尿病性视网膜病变图像分类任务，肺炎胸部X射线图像分类任务。

医疗图像分类任务及数据集介绍如下：

申请人使用两个典型的医学分类任务上的公共数据集。第一个是糖尿病性视网膜病变(diabetic retinopathy,DR)分类任务的眼底镜检查图像数据集，它由3,663幅高分辨率眼底图像组成。每张图片都被标记为从“无病”到“中等/中上/重度/扩散”五个级别之一。该图像的任务为预测给定的无标签图片的标签是“无病”到“中等/中上/重度/扩散”五个级别中的哪一个。

第二个是肺炎分类任务的胸部X射线数据集，其中包含5,863张标有“肺炎”或“正常”的X射线图像。

申请人将两个数据集分为三个子集：训练集，验证集和测试集。并将糖尿病性视网膜病变图像作为源域，肺炎图像作为目标域的实验称为“DR(s)vs X(t)”，将肺炎图像作为源域，糖尿病性视网膜病变图像作为目标域的实验称为“X(s)vs DR(t)”。

对于每个数据集，我们随机选择80％的样本作为训练集来训练模型，并将剩下的样本中的一半(即总样本的10％)视为验证集，另一半(即总样本的10％)为测试集。然后，我们使用训练集训练模型，并通过验证集上的结果来判断模型收敛情况，将验证集上测试最优的模型，放到测试集上进行测试，以评估模型效果。

实验结果：

实施在糖尿病性视网膜病变图像预测任务上的实验“DR(s)vs X(t)”如表一所示，实施在肺炎图像预测任务上的实验“X(s)vs DR(t)”如表二所示，表一和表二说明了本方案的方法和其他基线方法在预测准确率(Accuracy)方面的性能，其中每种情况下的最高值用黑体突出显示。结果表明，我们所提出的方法(Ours)在所有情况下都达到了最佳性能。更具体地说，没有考虑跨域信息、跨域自适应的传统的方法如ResNet18，VGG19等都无法取得最优的性能。

而考虑了跨域信息，进行域自适应的本方案的方法，在两个不同的医疗图像预测任务上都取得了最优的性能。这是由于跨域编码器有效共享不同域的信息，减少了两个域之间的域偏移，从而提高了泛化能力。

表一

表二

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。