一种基于图像复原的动脉斑块超声图像自监督分割方法

摘要

本发明提供了一种基于图像复原的动脉斑块超声图像自监督分割方法，包括以下步骤：(1)动脉超声图像训练数据集预处理，(2)训练基于图像复原的自监督辅助任务网络，(3)将(2)获得的辅助任务模型迁移至动脉斑块超声图像分割任务，(4)训练动脉斑块超声图像分割卷积神经网络，(5)利用(4)得到的模型分割动脉斑块超声测试图像，并输出结果。本发明首次公开了基于图像复原的动脉斑块超声图像自监督分割方法，实现在少量标签样本情况下动脉斑块超声图像分割，提升动脉斑块自动测量的准确性。可应用于动脉超声图像辅助诊断系统，监测斑块的生长和消退情况，对心脑血管发生预警有重要意义。

说明书

技术领域

本发明涉及属于人工智能与医学影像的交叉领域，尤其涉及一种基于图像复原的动脉斑块超声图像自监督分割方法。

背景技术

颈动脉斑块的破裂导致心脑血管疾病发生的主要原因之一，对动脉斑块负荷的自动测量对心脑血管发生预警有重要意义，动脉斑块负荷测量需要自动分割斑块轮廓。传统的方法用于动脉斑块超声图像分割，如：水平集、snake模型、贝叶斯模型等。这些方法往往需要预先得到一个初始轮廓，导致方法对人工经验或者图像质量比较敏感，限制了该类方法在临床的应用。随着深度学习方法的广泛发展，许多研究都显示，深度学习方法在自动医学图像分割时相比传统的机器学习方法具有更高的准确性和更高的效率。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

现有用于动脉斑块超声图像分割的深度学习方法都是基于有监督的学习方法，往往需要大量的有准确标签且多样性的样本进行网络模型训练才能保证算法的准确性。但在临床中要获得充足具有标签的样本非常困难。一方面，手动勾勒血管和斑块的轮廓的过程非常耗时和繁琐，将增加临床医生相当大的工作量和工作难度；另一方面，由于超声图像的对比度低、噪声大等特点，人工标记大量样本的一致性非常依赖于观测者的经验，往往需要经验丰富的专家才能完成。

发明内容

本发明提出一种基于图像复原的动脉斑块超声图像自监督分割方法，用于解决或者至少部分解决现有技术中无法在少量标签样本情况下实现动脉斑块超声图像分割技术问题。

为了解决上述技术问题，本发明提供了一种基于图像复原的动脉斑块超声图像自监督分割方法，包括：

S1：对获取的动脉超声图像训练数据集进行预处理；

S2：对预处理后的训练数据集中的样本进行分块，对每个分块随机翻转变换并打乱顺序，重新组合成新图像，然后将组合成的新图像输入编码-解码网络ED-CNN进行图像复原，最小化ED-CNN输出的复原后图像与输入的新图像之间的误差，训练ED-CNN，将训练好的ED-CNN作为辅助任务模型H(x)；

S3：将辅助任务模型H(x)迁移至动脉斑块超声图像分割卷积神经网络；

S4：训练动脉斑块超声图像分割卷积神经网络，建立斑块分割模型G(x)；

S5：将待分割图像输入所述斑块分割模型G(x)，输出分割结果。

在一种实施方式中，步骤S1中的训练数据集中包括N个样本，其中N

S1的预处理包括图像尺寸归一化和灰度归一化，具体包括：将所述训练数据集中所有样本，通过图像缩放归一化到同一尺寸，灰度范围归一化为[0，1]。

在一种实施方式中，步骤S2中新图像的获得过程包括：

通过分块操作将原图像I等分为n×n块，I＝[I

将分块后的图像进行随机翻转变换，其中，随机翻转变换包括随机上下翻转和随机左右翻转，随机翻转后的图像块为[I′

重新组合成新的图像为I′＝[I′

在一种实施方式中，步骤S2中的编码-解码网络U-Net网络为基础，包括编码器和解码器两部分，编码器包括5个卷积池化模块，每个卷积池化模块包括两个堆叠的3×3卷积层和2×2最大值池化层，解码器包括4个反卷积模块，每个反卷积模块包括一个2×2的反卷积层、一个特征连接操作和两个堆叠的3×3卷积层，解码器的最后一层为线性卷积层；

其中，在最小化ED-CNN输出的复原后图像与输入的新图像之间的误差时，使用cosine损失函数作为误差度量：

L＝1-sim(I，H(I′))

sim(u，v)为cosine相似度量函数，I为原始图像，即输入的新图像，H(I′)是ED-CNN输出的复原后图像，u和v表示要进行相似度计算的两个图像向量。

在一种实施方式中，步骤S3中的动脉斑块超声图像分割卷积神经网络与步骤S2中H(x)模型具有相同的网络结构和参数数量，采用全部参数迁移并微调的策略，将步骤S2中的辅助任务模型作为分割网络的初始化模型。

在一种实施方式中，步骤S4中输入为预处理后的N

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明提出了一种基于图像复原的动脉斑块超声图像自监督分割方法，所提出的图像复原辅助任务是对经过分块、随机翻转、随机乱序后图像的复原，可以学习到动脉斑块图像位置、图像块顺序关系等信息表示，更适用于斑块分割任务。该方法中所使用的编码-解码网络是以U-Net网络为基础的改进。所提出方法不仅可以适用于少量标签样本下动脉斑块超声图像分割，且对提升斑块超声图像分割准确性有较好效果。可应用于动脉超声图像辅助诊断系统，监测斑块的生长和消退情况，对心脑血管发生预警有重要意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的基于图像复原的动脉斑块超声图像自监督分割方法流程图；

图2为具体实施例中斑块分割结果示意图。

具体实施方式

本申请发明人通过大量的研究与实践发现：

如何在少量有标签样本情况下，利用无标签样本提升分割的准确率、一致性和泛化能力，已成为深度学习在动脉斑块超声图像分割的应用中亟待解决的一个关键问题。而自监督学习被提出可用于少标签样本的学习，其利用无标签样本构建自监督辅助学习任务，挖掘样本内在的特性表征及隐藏在数据背后的规律性，用于后续少标签样本的学习任务。自监督学习可以应用于图像识别、图像分割、语音识别等领域，但由于动脉斑块超声图像的特殊性，对比度低、噪声大等特点，目前尚没有适用于动脉斑块超声图像的自监督分割算法。如何构建辅助任务是动脉斑块超声图像的自监督分割算法的关键。

针对如何构建动脉超声图像自监督分割辅助任务，本发明提供了一种基于图像复原的动脉斑块超声图像自监督分割方法，其目的在于利用图像复原辅助任务，挖掘斑块图像的特征表示，实现在少量标签样本情况下动脉斑块超声图像分割，达到比现有的有监督分割方法更优的性能。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，本发明实施例提供了一种基于图像复原的动脉斑块超声图像自监督分割方法，包括：

S1：对获取的动脉超声图像训练数据集进行预处理；

S2：对预处理后的训练数据集中的样本进行分块，对每个分块随机翻转变换并打乱顺序，重新组合成新图像，然后将组合成的新图像输入编码-解码网络ED-CNN进行图像复原，最小化ED-CNN输出的复原后图像与输入的新图像之间的误差，训练ED-CNN，将训练好的ED-CNN作为辅助任务模型H(x)；

S3：将辅助任务模型H(x)迁移至动脉斑块超声图像分割卷积神经网络；

S4：训练动脉斑块超声图像分割卷积神经网络，建立斑块分割模型G(x)；

S5：将待分割图像输入所述斑块分割模型G(x)，输出分割结果。

在一种实施方式中，步骤S1中的训练数据集中包括N个样本，其中N

S1的预处理包括图像尺寸归一化和灰度归一化，具体包括：将所述训练数据集中所有样本，通过图像缩放归一化到同一尺寸，灰度范围归一化为[0，1]。

具体实施过程中，步骤S1动脉超声图像训练数据集来自临床，该数据集包括365幅颈动脉斑块超声图像样本，其中120个为有标签样本和245个为无标签样本。图像预处理包括图像尺寸归一化和灰度归一化，将所述训练数据集中所有样本，通过图像缩放归一化到同一尺寸(长：96像素，宽：144像素)，灰度范围归一化为[0，1]。

在一种实施方式中，步骤S2中新图像的获得过程包括：

通过分块操作将原图像I等分为n×n块，I＝[I

将分块后的图像进行随机翻转变换，其中，随机翻转变换包括随机上下翻转和随机左右翻转，随机翻转后的图像块为[I′

重新组合成新的图像为I′＝[I′

在一种实施方式中，步骤S2中的编码-解码网络U-Net网络为基础，包括编码器和解码器两部分，编码器包括5个卷积池化模块，每个卷积池化模块包括两个堆叠的3×3卷积层和2×2最大值池化层，解码器包括4个反卷积模块，每个反卷积模块包括一个2×2的反卷积层、一个特征连接操作和两个堆叠的3×3卷积层，解码器的最后一层为线性卷积层；

其中，在最小化ED-CNN输出的复原后图像与输入的新图像之间的误差时，使用cosine损失函数作为误差度量：

L＝1-sim(I，H(I′))

sim(u，v)为cosine相似度量函数，I为原始图像，即输入的新图像，H(I′)是ED-CNN输出的复原后图像，u和v表示要进行相似度计算的两个图像向量。

具体来说，u和v统指要进行相似度计算的两个图像向量，本实施方式中u和v分别为I，H(I′)。

在一种实施方式中，步骤S3中的动脉斑块超声图像分割卷积神经网络与步骤S2中H(x)模型具有相同的网络结构和参数数量，采用全部参数迁移并微调的策略，将步骤S2中的辅助任务模型作为分割网络的初始化模型。

具体来说，H(x)模型为训练好的ED-CNN，即辅助任务模型H(x)是步骤S2中训练得到的最优模型，动脉斑块超声图像分割卷积神经网络与ED-CNN的网络结构相同，包括编码器和解码器，分割卷积神经网络的编码器中最后一层为softmax分类层。

将步骤S2中的辅助任务模型作为分割网络的初始化模型，是将辅助任务模型H(x)的参数作为分割网络参数的初始化值。

在一种实施方式中，步骤S4中输入为预处理后的N

下面通过一个具体示例来进行说明，测试所述基于图像复原的动脉斑块超声图像自监督分割方法，并用临床数据评价所建立模型的准确性，具体如下：

利用Dice相似系数评价所建立模型分割结果的准确性，结果如表1所示，该结果表明本发明所提出的基于图像复原的动脉斑块超声图像自监督分割方法，对原始有监督分割卷积神经网络有较大提升。

表1原始分割卷积神经网络与所提出的自监督分割网络结果对比

图2显示了基于图像复原的动脉斑块超声图像自监督分割方法得到的颈动脉斑块轮廓。

本发明的保护范围不限于上述的实施例，显然，本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的范围和精神。倘若这些改动和变形属于本发明权利要求及其等同技术的范围，则本发明的意图也包含这些改动和变形在内。