超声图像去噪神经网络、去噪方法及超声诊断设备

摘要

本发明提供一种超声图像去噪神经网络，基于Unet网络，包括一个初始层结构和若干个下层结构；初始层结构和各下层结构中均包含卷积层，其主要改进之处在于：每一层结构中的至少一个卷积层采用混合深度卷积层。所述混合深度卷积层中，卷积层的通道分为数组，每组采用不同尺寸的卷积核。所述混合深度卷积层中，第i组卷积核的尺寸为(2i+1)x(2i+1)。本发明能够将带有标记的超声图像中的标记去除，以获得“干净”的超声图像。

说明书

技术领域

本发明涉及超声诊断技术领域，尤其涉及一种用于去除超声图像中标记的去噪神经网络。

背景技术

对于常见的医学超声图像1，如图1所示，常常会出现图1中所示的标记2符号；这些标记2有时被认为对于超声图像是一种噪声；因为标记通常用于标出病灶的位置，如果标记不经去除就将超声图像用于分类或识别的训练任务，对于神经网络通过标记位置去寻找病灶显然更容易学得；

但这对于超声诊断设备而言并不是想要的结果，研究者或超声诊断设备的生产商更希望超声诊断设备的神经网络能够通过图像本身的特征去识别病灶的种类及其位置；额外加入的标记可以认为是一种噪声，会一定程度影响后期分类或识别网络的训练；医学图像不像自然图像，本身采集不易，数量少且珍贵，更应该充分利用每一张现有的医学图像，所以去除标记从而获得更原始的图像这一工作就更加重要。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种超声图像去噪神经网络，能够将带有标记的超声图像中的标记去除，以获得“干净”的超声图像。

本发明实施例采用的技术方案是：

一种超声图像去噪神经网络，基于Unet网络，包括一个初始层结构和若干个下层结构；初始层结构和各下层结构中均包含卷积层，其主要改进之处在于：

每一层结构中的至少一个卷积层采用混合深度卷积层。

进一步地，所述混合深度卷积层中，卷积层的通道分为数组，每组采用不同尺寸的卷积核。

更进一步地，所述混合深度卷积层中，第i组卷积核的尺寸为(2i+1)x(2i+1)。

更进一步地，所述混合深度卷积层中，卷积层的通道分组采用等分分组。

更进一步地，所述下层结构的数量为2个；

初始层结构中包括前部结构与后部结构；第一个下层结构中包括前部结构与后部结构；第二个下层结构是一个整体结构；

初始层结构的前部结构与后部结构中分别包括若干个卷积层；第一个下层结构的前部结构与后部结构中分别包括若干个卷积层；第二个下层结构中包括若干个卷积层；其中，初始层结构和各下层结构中的至少一个卷积层采用混合深度卷积层

在初始层结构的前部结构中，输入图像通过若干卷积层进行卷积操作，得到的最后一个特征图通过一个平均池化层进行下采样操作，所得到的特征图进入第一个下层结构中的前部结构，通过若干卷积层进行卷积操作，得到的最后一个特征图再通过一个平均池化层进行下采样操作，所得到的特征图再进入第二个下层结构，在第二个下层结构中通过若干卷积层进行卷积操作；

第二个下层结构输出的最后一个特征图通过一个反卷积层进行上采样操作，所得到的特征图与第一个下层结构前部结构输出的最后一个特征图通过一个串联层串联，所得到的特征图在第一个下层结构的后部结构中通过若干卷积层进行卷积操作，得到的最后一个特征图再通过一个反卷积层进行上采样操作，所得到的特征图与初始层结构前部结构输出的最后一个特征图通过一个串联层串联，所得到的特征图在初始层结构的后部结构中通过若干卷积层进行卷积操作，最后输出一个特征图。

更优地，初始层结构的后部结构输出的最后一个特征图与原始输入图像相减，最后得到输出图像。

更进一步地，初始层结构的前半结构和后半结构中各有至少一个卷积层采用混合深度卷积层。

更进一步地，第一个下层结构的前半结构和后半结构中各有至少一个卷积层采用混合深度卷积层。

本发明实施例还提出一种超声图像去噪方法，包括以下步骤：

带有标记的超声图像输入至上述的超声图像去噪神经网络，输出去除标记的超声图像。

本发明实施例还提出一种超声诊断设备，包括：

存储器，存储有计算机程序；

处理器，用于执行所述计算机程序以实现上述的超声图像去噪方法的步骤。

本发明的优点在于：

1）通过替换混合深度卷积层可以丰富卷积核的感受野，在只有两层的Unet结构中可以适应更多类型的噪声标记，增加特征的丰富度。

2）通过初始层结构的后部结构输出的最后一个特征图与原始输入图像相减，将原来需要预测整张图像去噪的任务变为只需预测噪声点的变化，可加速收敛，减少训练时间。

附图说明

图1为现有的带有标记的超声图像示意图。

图2为本发明实施例中的无标记超声图像和相应的绘制有标记超声图像示意图。

图3为现有技术中的Unet网络示意图。

图4为本发明实施例中的混合深度卷积层中通道分组示意图。

图5为本发明实施例中的超声图像去噪神经网络示意图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

本发明的实施例提出一种超声图像去噪神经网络的构建与训练方法，包括以下步骤：

步骤S1，获取带有标记的超声图像，采集这些超声图像中的标记2；然后在无标记超声图像3中随机绘制这些标记2；得到多组无标记超声图像3和相应的绘制有标记超声图像4，用于构建训练集；如图2所示；

图2中的左图为无标记超声图像3，右图为在在无标记超声图像3上绘制了标记2后得到的绘制有标记超声图像4；

带有标记的超声图像可通过超声诊断设备在医院等使用场所的历史数据获得，这些标记可能有多种，对于带有各种实际可能使用标记的超声图像均进行收集；无标记超声图像3也可以通过超声诊断设备在医院等使用场所的历史数据获得，或者通过超声诊断设备重新拍摄相应的超声图像并且不做任何标记获得；

步骤S2，构建超声图像去噪神经网络的架构，包括：采用Unet网络作为基础神经网络架构，Unet网络包括一个初始层结构与若干个下层结构，将Unet网络中每一层结构中的至少一个卷积层替换为混合深度卷积层；

如图3所示，Unet网络包括一个初始层结构和二个下层结构；初始层结构中包括前部结构与后部结构；第一个下层结构中包括前部结构与后部结构；第二个下层结构是一个整体结构；

初始层结构的前部结构与后部结构中分别包括若干个卷积层a；第一个下层结构的前部结构与后部结构中分别包括若干个卷积层a；第二个下层结构中包括若干个卷积层a；

在初始层结构的前部结构中，输入图像（例如绘制有标记超声图像4）通过若干卷积层a进行卷积操作，得到的最后一个特征图通过一个平均池化层b进行下采样操作，所得到的特征图进入第一个下层结构中的前部结构，通过若干卷积层a进行卷积操作，得到的最后一个特征图再通过一个平均池化层b进行下采样操作，所得到的特征图再进入第二个下层结构，在第二个下层结构中通过若干卷积层a进行卷积操作；

第二个下层结构输出的最后一个特征图通过一个反卷积层c进行上采样操作，所得到的特征图与第一个下层结构前部结构输出的最后一个特征图通过一个串联层d串联，所得到的特征图在第一个下层结构的后部结构中通过若干卷积层a进行卷积操作，得到的最后一个特征图再通过一个反卷积层c进行上采样操作，所得到的特征图与初始层结构前部结构输出的最后一个特征图通过一个串联层d串联，所得到的特征图在初始层结构的后部结构中通过若干卷积层a进行卷积操作，最后得到输出图像，也就是去除标记的超声图像；

上述每一次上采样操作后，特征图的通道数减半；

在神经网络中，一个卷积层中卷积核的数量等于该卷积层输出特征图的通道数；

在一些实施例中，初始层结构的前部结构中，第一个卷积层包括16个卷积核，第二个卷积层包括16个卷积核；初始层结构的后部结构中，第一个卷积层包括16个卷积核，第二个卷积层包括16个卷积核，第三个卷积层包括3个卷积核；

第一个下层结构的前部结构中，第一个卷积层包括32个卷积核，第二个卷积层包括32个卷积核；第一个下层结构的后部结构中，第一个卷积层包括32个卷积核，第二个卷积层包括32个卷积核；

第二个下层结构中第一个卷积层包括64个卷积核，第二个卷积层包括64个卷积核；

在上述Unet网络中，各卷积层中所有卷积核的尺寸都是相同的，均为3x3；

将上述Unet网络中每一层结构中的至少一个卷积层替换为混合深度卷积层；

更佳地，对于初始层结构，其前半结构和后半结构中各有至少一个卷积层替换为混合深度卷积层；

更佳地，对于第一个下层结构，其前半结构和后半结构中各有至少一个卷积层替换为混合深度卷积层；

对于第二个下层结构，其中至少一个卷积层替换为混合深度卷积层；

混合深度卷积层中，把卷积层的通道（卷积层的通道数与该卷积层输出特征图的通道数相同）分为数组，对每组采用不同尺寸的卷积核；如图4所示；

对于卷积层的通道分组，优选采用等分分组；

对于各组卷积核的尺寸，从3x3开始，每一组增加2，即第i组卷积核的尺寸为(2i+1)x(2i+1)；

上述混合深度卷积层，可以在同一个卷积层中运用多种不同尺寸的卷积核，获取更丰富的特征组合；

如图5所示，所得到的超声图像去噪神经网络，包括一个初始层结构和二个下层结构；初始层结构中包括前部结构与后部结构；第一个下层结构中包括前部结构与后部结构；第二个下层结构是一个整体结构；

初始层结构的前部结构与后部结构中分别包括若干个卷积层a；第一个下层结构的前部结构与后部结构中分别包括若干个卷积层a；第二个下层结构中包括若干个卷积层a；图5中，a上方的数字代表该卷积层中卷积核的尺寸数量；例如3代表包括3种尺寸（3x3、5x5、7x7）的卷积核；1代表包括一种尺寸的卷积核（即现有的3x3尺寸的卷积核）；

每一层结构中的至少一个卷积层采用混合深度卷积层；

更佳地，对于初始层结构，其前半结构和后半结构中各有至少一个卷积层采用混合深度卷积层；

更佳地，对于第一个下层结构，其前半结构和后半结构中各有至少一个卷积层采用混合深度卷积层；

对于第二个下层结构，其中至少一个卷积层采用混合深度卷积层；

在初始层结构的前部结构中，输入图像通过若干卷积层a进行卷积操作，得到的最后一个特征图通过一个平均池化层b进行下采样操作，所得到的特征图进入第一个下层结构中的前部结构，通过若干卷积层a进行卷积操作，得到的最后一个特征图再通过一个平均池化层b进行下采样操作，所得到的特征图再进入第二个下层结构，在第二个下层结构中通过若干卷积层a进行卷积操作；

第二个下层结构输出的最后一个特征图通过一个反卷积层c进行上采样操作，所得到的特征图与第一个下层结构前部结构输出的最后一个特征图通过一个串联层d串联，所得到的特征图在第一个下层结构的后部结构中通过若干卷积层a进行卷积操作，得到的最后一个特征图再通过一个反卷积层c进行上采样操作，所得到的特征图与初始层结构前部结构输出的最后一个特征图通过一个串联层d串联，所得到的特征图在初始层结构的后部结构中通过若干卷积层a进行卷积操作，输出的最后一个特征图与原始输入图像相减，最后得到输出图像，即去除标记的超声图像；

上述超声图像去噪神经网络，学习的是标记噪声部分的变化，更易于加快收敛；

在另一个可行的实施例中，初始层结构的后部结构中通过若干卷积层a进行卷积操作，输出的最后一个特征图就是输出图像，即去除标记的超声图像；则无需将初始层结构的后部结构输出的最后一个特征图与原始输入图像相减；

步骤S3，构建超声图像去噪神经网络的损失函数；

这里，采用的损失函数为超声图像去噪神经网络的输出图像与输入图像两者的L2损失，也就是两者的MSE；

步骤S4，训练所述超声图像去噪神经网络；

利用训练集中多组无标记超声图像和相应的绘制有标记超声图像，对上述超声图像去噪神经网络进行训练；初始学习速率设为0.001，并每隔一定步骤后，学习速率缩小为上一过程的1/10；当训练达到预定步骤，或损失函数收敛时，则停止训练。

本发明的另一实施例提出一种超声图像去噪方法，包括：带有标记的超声图像输入至训练好的上述超声图像去噪神经网络，输出去除标记的超声图像。

本发明的另一实施例提出一种超声诊断设备；超声诊断设备包括处理器和存储器；所述处理器用于加载并执行所述存储器中的程序指令。所述存储器中存储有至少一条程序指令，所述至少一条程序指令用于被处理器加载并执行以实现如前文所述的超声图像去噪方法。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。