基于无监督迁移图片分类的结肠病变智能识别方法、系统及介质

摘要

本发明公开了一种基于无监督迁移图片分类的结肠病变智能识别方法、系统及介质，通过构建包括结构相同的两个子网络模块、难度量化模块、领域对齐模块、噪声适应性模块和多样性模块的模型对结肠病变的智能识别，无需带标注的结肠显微图像样本，且对错误标注的鲁棒性高，克服了现有的结肠病变智能识别技术中，非常依赖难以取得的结肠显微图像的数量和标注的质量，使得成本非常高的缺陷。同时，本发明提出的结肠病变智能识别方法基于无监督迁移学习，成本低，鲁棒性强，灵活性高。

说明书

技术领域

本发明属于无监督迁移学习、智能医疗图片分类的技术领域，具体涉及一种基于无监督 迁移图片分类的结肠病变智能识别方法、系统及介质。

背景技术

近年来，人工智能及相关产业正迅速发展壮大，成为学术界、工业界关注的焦点。在结 肠病变智能识别领域，结肠显微图像样本不容易获得，而且标注这些样本难度非常大，需要 专业和资深的医生人工标注，且不可避免地存在标注错误。现有的方法非常依赖高质量的带 标注的结肠显微图像样本，导致成本巨大且难以应用到现实医疗领域。因此，如何减小对带 标注的结肠显微图像的依赖是结肠病变智能识别亟待解决的难题。

发明内容

本发明的主要目的在于克服现有技术存在的不足，提供一种基于无监督迁移图片分类的 结肠病变智能识别方法、系统及介质。

为了达到上述目的，本发明采用以下技术方案：

本发明提供了一种基于无监督迁移图片分类的结肠病变智能识别方法，包括下述步骤：

定义目标领域结肠显微图像的类别；收集并处理源领域结肠数字切片图像，使其标注与 目标领域结肠显微图像的类别一致；

构建结肠病变智能识别模型，包括：结构相同的两个子网络模块、难度量化模块、领域 对齐模块、噪声适应性模块和多样性模块；

利用处理后的源领域结肠数字切片图像作为样本训练结肠病变智能识别模型，具体为：

将样本输入所述两个子网络模块，得到样本的分类预测结果和特征向量；

将所述样本的分类预测结果输入难度量化模块，得到样本的难度系数；

所述领域对齐模块、噪声适应性模块和多样性模块用于构建结肠病变智能识别模型的最 终损失函数；其中，所述领域对齐模块利用样本的特征向量和难度系数构建领域对齐损失； 所述噪声适应性模块采用建模人工标注错误概率法对预测结果进行处理，并构造分类损失； 所述多样性模块采用KL散度以度量两个子网络模块间的相似性，构造多样性损失；所述最 终损失函数用于迭代优化结肠病变智能识别模型；

模型部署及预测，将目标领域结肠显微图像输入训练好的结肠病变智能识别模型，根据 模型输出结果预测是否发生病变。

作为一种优选的技术方案，所述定义目标领域结肠显微图像的类别包括：正常、腺瘤、 腺癌和黏液性腺癌。

作为一种优选的技术方案，训练过程中，设第i个训练样本为x

所述样本经过两个子网络模块的特征提取器，得到特征向量P

作为一种优选的技术方案，所述难度量化模块采用量化公式得到训练样本x

其中，

作为一种优选的技术方案，所述领域对齐模块采用重加权法对齐损失，得到领域对齐损 失，具体如下式：

其中，d

作为一种优选的技术方案，所述采用建模人工标注错误概率法对预测结果进行处理具体 为：当训练阶段模型预测正确而标注错误时，转化预测结果与标注一致，而预测阶段则使用 未转化的预测结果，其中，人工标注错误概率法的模型如下式：

其中，{w

所述分类损失具体如下式：

其中，

作为一种优选的技术方案，所述多样性损失，具体如下式：

其中，D

作为一种优选的技术方案，所述训练过程采用梯度下降法进行迭代优化；所述最终损失 函数由领域对齐损失、分类损失和多样性损失加权构建，具体如下式：

L＝max(-αL

其中，α为领域对齐损失的权重，η为多样性损失的权重。

本发明还提供了一种基于无监督迁移图片分类的结肠病变智能识别系统，应用于上述的 基于无监督迁移图片分类的结肠病变智能识别方法，包括预处理模块、模型构建模块、模型 训练模块和模型预测模块；

预处理模块用于定义目标领域结肠显微图像的类别；收集并处理源领域结肠数字切片图 像，使其标注与目标领域结肠显微图像的类别一致；

模型构建模块构建结肠病变智能识别模型，包括：结构相同的两个子网络模块、难度量 化模块、领域对齐模块、噪声适应性模块和多样性模块；

模型训练模块利用处理后的源领域结肠数字切片图像作为样本训练结肠病变智能识别模 型，具体为：

将样本输入所述两个子网络模块，得到样本的分类预测结果和特征向量；

将所述样本的分类预测结果输入难度量化模块，得到样本的难度系数；

所述领域对齐模块、噪声适应性模块和多样性模块用于构建结肠病变智能识别模型的最 终损失函数；其中，所述领域对齐模块利用样本的特征向量和难度系数构建领域对齐损失； 所述噪声适应性模块采用建模人工标注错误概率法对预测结果进行处理，并构造分类损失； 所述多样性模块采用KL散度以度量两个子网络模块间的相似性，构造多样性损失；所述最 终损失函数用于迭代优化结肠病变智能识别模型；

模型预测模块部署模型以及进行预测，将目标领域结肠显微图像输入训练好的结肠病变 智能识别模型，根据模型输出结果预测是否发生病变。

本发明还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的基 于无监督迁移图片分类的结肠病变智能识别方法。本发明与现有技术相比，具有如下优点和 有益效果：

(1)本发明提出的结肠病变智能识别方法不需要带标注的结肠显微图像样本，且对错误 标注的鲁棒性高，它使用容易获得的带标注的结肠数字切片图像训练模型，并将训练好的模 型用于结肠显微图像预测，克服了现有的结肠病变智能识别技术中依赖难以取得的结肠显微 图像的数量和标注的质量，成本非常高，且在标注存在错误时性能大大降低等缺陷。

(2)本发明提出的结肠病变智能识别方法基于无监督迁移学习，成本低，鲁棒性强，灵 活性高。

附图说明

图1是本发明实施例所述基于无监督迁移图片分类的结肠病变智能识别方法整体流程示 意图；

图2是本发明实施例所述结肠病变智能识别模型训练过程示意图；

图3是本发明实施例所述克服错误标注影响的示意图；

图4是本发明实施例所述结肠显微图像病变预测示意图；

图5是本发明实施例所述基于无监督迁移图片分类的结肠病变智能识别系统的结构示意 图；

图6是本发明实施例所述的存储介质的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图， 对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请 一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出 创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

如图1所示，本实施例提供了一种基于无监督迁移图片分类的结肠病变智能识别方法， 包括以下步骤：

S1、定义目标领域结肠显微图像的类别；收集并处理源领域结肠数字切片图像，使其标 注与目标领域结肠显微图像的类别一致；

更为具体地，步骤S1中，所述定义目标领域结肠显微图像的类别包括“正常”、“腺瘤”、 “腺癌”和“黏液性腺癌”。

S2、构建结肠病变智能识别模型，包括：结构相同的两个子网络模块、难度量化模块、 领域对齐模块、噪声适应性模块和多样性模块；

更为具体地，步骤S2中，子网络模块包括特征提取器和分类器；所述难度量化模块用于 得到难度系数；所述领域对齐模块、噪声适应性模块和多样性模块用于构建模型的最终损失 函数；领域对齐模块相当于判别器，两个子网络模块相当于生成器，这两个部分之间形成一 个生成对抗网络。

S3、利用处理后的源领域结肠数字切片图像作为样本训练结肠病变智能识别模型，如图 2所示；

更为具体地，步骤S3中，设第i个训练样本为x

S3.1、将样本经过两个子网络模块的特征提取器，得到特征向量P

S3.2、将所述样本的分类预测结果输入难度量化模块，并采用本发明提出的量化公式得 到训练样本x

其中，

S3.3、将样本的特征向量和难度系数输入领域对齐模块的生成对抗网络，采用本发明提 出的重加权法对齐损失，构建领域对齐损失，对齐领域特征空间，具体如下式：

其中，d

S3.4、噪声适应性模块采用本发明提出的建模人工标注错误概率法对预测结果进行处理， 如图3所示，并构造分类损失；

所述采用建模人工标注错误概率法对预测结果进行处理可减小人工标注错误的损害，具 体为：当训练阶段模型预测正确而标注错误时，转化预测结果与标注一致，而预测阶段则使 用未转化的预测结果，其中，人工标注错误概率法的模型如下式：

其中，{w

所述分类损失具体如下式：

其中，

S3.5、多样性模块采用KL散度以度量两个子网络模块间的相似性，以保证两个子网络集 成的效果，构造多样性损失，具体如下式：

其中，D

S3.6、利用最终损失函数迭代优化结肠病变智能识别模型，训练过程采用梯度下降法进 行迭代优化，所述最终损失函数由领域对齐损失、分类损失和多样性损失加权构建，具体如 下式：

L＝max(-αL

其中，α为领域对齐损失的权重，η为多样性损失的权重。

S4、模型部署及预测，如图4所示，将目标领域结肠显微图像输入训练好的结肠病变智 能识别模型进行预测，根据模型输出结果预测是否发生病变。

如图5所示，本实施例提供了一种基于无监督迁移图片分类的结肠病变智能识别系统， 包括预处理模块、模型构建模块、模型训练模块和模型预测模块；

所述预处理模块用于定义目标领域结肠显微图像的类别；收集并处理源领域结肠数字切 片图像，使其标注与目标领域结肠显微图像的类别一致；

所述模型构建模块构建结肠病变智能识别模型，包括：结构相同的两个子网络模块、难 度量化模块、领域对齐模块、噪声适应性模块和多样性模块；

所述模型训练模块利用处理后的源领域结肠数字切片图像作为样本训练结肠病变智能识 别模型，具体为：

将样本输入所述两个子网络模块，得到样本的分类预测结果和特征向量；

将所述样本的分类预测结果输入难度量化模块，得到样本的难度系数；

所述领域对齐模块、噪声适应性模块和多样性模块用于构建结肠病变智能识别模型的最 终损失函数；其中，所述领域对齐模块利用样本的特征向量和难度系数构建领域对齐损失； 所述噪声适应性模块采用建模人工标注错误概率法对预测结果进行处理，并构造分类损失； 所述多样性模块采用KL散度以度量两个子网络模块间的相似性，构造多样性损失；所述最 终损失函数用于迭代优化结肠病变智能识别模型；

所述模型预测模块用于部署模型以及进行预测，将目标领域结肠显微图像输入训练好的 结肠病变智能识别模型，根据模型输出结果预测是否发生病变。

在此需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在 实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成 不同的功能模块，以完成以上描述的全部或者部分功能，该系统是应用于上述实施例的基于 无监督迁移图片分类的结肠病变智能识别方法。

如图6所示，本实施例还提供了一种存储介质，存储有程序，所述程序被处理器执行时， 实现基于无监督迁移图片分类的结肠病变智能识别方法，具体为：

S1、定义目标领域结肠显微图像的类别；收集并处理源领域结肠数字切片图像，使其标 注与目标领域结肠显微图像的类别一致；

S2、构建结肠病变智能识别模型，包括：结构相同的两个子网络模块、难度量化模块、 领域对齐模块、噪声适应性模块和多样性模块；

S3、利用处理后的源领域结肠数字切片图像作为样本训练结肠病变智能识别模型，具体 为：

S3.1、将样本输入所述两个子网络模块，得到样本的分类预测结果和特征向量；

S3.2、将所述样本的分类预测结果输入难度量化模块，得到样本的难度系数；

S3.3、所述领域对齐模块、噪声适应性模块和多样性模块用于构建结肠病变智能识别模 型的最终损失函数；其中，所述领域对齐模块利用样本的特征向量和难度系数构建领域对齐 损失；所述噪声适应性模块采用建模人工标注错误概率法对预测结果进行处理，并构造分类 损失；所述多样性模块采用KL散度以度量两个子网络模块间的相似性，构造多样性损失； 所述最终损失函数用于迭代优化结肠病变智能识别模型；

S4、模型部署及预测，将目标领域结肠显微图像输入训练好的结肠病变智能识别模型， 根据模型输出结果预测是否发生病变。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施 方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件 来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术 中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻 辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门 阵列(FPGA)等。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制， 其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应 为等效的置换方式，都包含在本发明的保护范围之内。