一种基于卷积神经网络的肝癌超声图自动识别方法和装置

摘要

本发明公开了一种基于卷积神经网络的肝癌超声图自动识别方法及装置，所述方法包括：生成多尺度的肝脏超声图像，对生成的多尺度肝脏超声图像进行数据增强，将数据增强后的肝脏超声图像进行多尺度图像特征的抽取，将得到的多尺度图像特征进行卷积融合。本发明具有识别准确和丰富，训练速度快，内存占有小的优点。

说明书

技术领域

本发明涉人工智能技术领域，尤其是涉及一种基于卷积神经网络的肝癌超声图自动识别方法和装置。

背景技术

肝癌是一种有害疾病，5年生存率低于30％。肝癌的治疗策略非常有限，研究相关治疗预测患者的方法也十分困难。为了了解患者之间的肝癌异质性，已进行了大量工作来确定肝癌分子亚型。鉴定了多种亚型，范围从2到6，基于各种组学数据类型，驱动假设和计算方法。除了最常用的mRNA基因表达数据，最近的一项研究综合了拷贝数变异(CNV)，DNA甲基化，mRNA和miRNA表达以鉴定256个TCGA样品中的5种HCC分子亚型17。但是，大多数这些研究探索了分子亚型过程中十分困难。

超声成像是临床实践中检测疾病的最常见方案之一。超声成像具有许多优点，例如安全性，便利性和低成本。为了支持临床医生的诊断并减轻医生的负担，提出了许多超声计算机辅助诊断系统，帮助医生进行临床诊断，但超声读图仍然是工作量十分大的工作，且与医生经验十分相关。因此自动识别诊断技术变的突出。机器学习通过人工提取特征从而实现到达自动识别的效果，但提取特征的过程往往耗费十分巨大的人力，自动识别效果的好坏往往依赖提取特征专家的经验；近年来，深度学习的崛起，特别是2012年Imagenet比赛表现出的优异效果，引起人们极大关注，随后随着深度学习卷积神经网络的发展，开始统治图像识别领域，广泛应用在图像识别、定位、分割、目标跟踪、人脸识别等各个领域，自然而然就会应用到超声自动识别中。

超声读图工作量十分大，且与医生经验十分相关，所以，急需一种自动识别超声图像的方法和装置。

发明内容

本发明的目的在于提供一种基于卷积神经网络的肝癌超声图自动识别方法和装置，旨在解决肝癌超声图像的自动识别问题，减轻医生工作量，提高准确力。

本发明实施例提供了一种基于卷积神经网络的肝癌超声图像自动识别方法，包括如下步骤，

S1、生成多尺度的肝脏超声图像；

S2、对生成的多尺度肝脏超声图像进行数据增强；

S3、将数据增强后的肝脏超声图像通过卷积神经网络进行多尺度图像特征的抽取；

S4、将得到的多尺度图像特征进行卷积融合，得到肝癌超声图像自动识别结果。

所述S1包括，

S11、生成肝脏超声原图；

S12、将生成的肝脏超声原图缩放不同的尺度，生成多尺度肝脏超声图像。

所述S2包括，

S21、将生成的多尺度肝脏超声图像采用不同方式进行在线增强，其中，所述不同方式具体包括：增加高斯噪音、随机剪切、翻转、旋转、和/或颜色抖动。

所述S3包括，

S31、通过ImageNet进行ResNet网络的预训练，将预训练的ResNet网络作为多尺度图像特征提取的网络，其中，所述ResNet网络去掉了ResNet四个池化层中最后一个池化层，保留序列图像多尺度的图像的空间结构；

S32、将数据增强后的肝脏超声图像通过预训练的ResNet网络进行多尺度图像特征的抽取。

所述S4包括，

S41、采用先Depthwise卷积、后1X1的卷积方式融合抽取到的特征超声图像。

本发明实施例还提供了一种基于卷积神经网络的肝癌超声图像自动识别的装置，包括，

生成模块，用于生成多尺度的肝脏超声图像。

数据增强模块，用于对生成的多尺度肝脏超声图像进行数据增强。

抽取模块，将数据增强后的肝脏超声图像通过卷积神经网络进行多尺度图像特征的抽取；

融合模块，将得到的多尺度图像特征进行卷积融合，得到肝癌超声图像自动识别结果。

所述数据增强模块的不同方式具体包括：增加高斯噪音、随机剪切、翻转、旋转、和/或颜色抖动。

所述抽取模块使用ResNet网络，所述ResNet网络去掉了ResNet四个池化层中最后一个池化层，保留序列图像多尺度的图像的空间结构；

本发明实施例还提供了一种基于卷积神经网络的肝癌超声图像自动识别的装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述基于卷积神经网络的肝癌超声图像自动识别方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述所述基于卷积神经网络的肝癌超声图像自动识别方法的步骤。

综上所述，本发明实施例通过生成多尺度的肝脏超声图像，把数据增强后的肝脏超声图像进行多尺度图像特征的抽取，将得到的多尺度图像特征进行卷积融合。具有识别准确和丰富，训练速度快，内存占有小的优点。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的基于卷积神经网络的肝癌超声图像自动识别方法的流程图；

图2是本发明实施例的基于卷积神经网络的肝癌超声图像自动识别方法的详细处理的流程图；

图3是本发明实施例的基于卷积神经网络的肝癌超声图像自动识别装置结构示意图；

图4是本发明实施例的电子设备结构示意图。

附图标记说明：

30:生成模块；32:数据增强模块；34:抽取模块；35:融合模块；40：存储器；42：处理器。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

方法实施例

根据本发明实施例，提供了一种基于卷积神经网络肝癌超声图自动识别方法，图1是本发明实施例的流程图，如图1所示，基于卷积神经网络肝癌超声图自动识别方法包括：

步骤一、生成多尺度的肝脏超声图像，具体包括，

S11、生成肝脏超声原图；

S12、将生成的肝脏超声原图缩放不同的尺度，生成多尺度肝脏超声图像。

步骤二、对生成的多尺度肝脏超声图像进行数据增强，具体包括，

S21、将生成的多尺度肝脏超声图像采用不同方式进行在线增强，其中，所述不同方式具体包括：增加高斯噪音、随机剪切、翻转、旋转、和/或颜色抖动。

步骤三、将数据增强后的肝脏超声图像通过卷积神经网络进行多尺度图像特征的抽取，具体包括，

S31、通过ImageNet进行ResNet网络的预训练，将预训练的ResNet网络作为多尺度图像特征提取的网络，其中，所述ResNet网络去掉了ResNet四个池化层中最后一个池化层，保留序列图像多尺度的图像的空间结构；

S32、将数据增强后的肝脏超声图像通过预训练的ResNet网络进行多尺度图像特征的抽取。

步骤四、将得到的多尺度图像特征进行卷积融合，得到肝癌超声图像自动识别结果，具体包括，

S41、采用先Depthwise卷积、后1X1的卷积方式融合抽取到的特征超声图像。

生成肝脏超声原图，但原图的特征描述不容易被检测网络捕捉，所以需要对原图进行放大不同的尺寸，在测试阶段也可引入多尺度，超声原图的大小为56X56，由于在后续操作中，以原图大小尺度输入ResNet网络中会导致图像中小目标区域无法识别，同时会造成网络与图像尺寸不搭，本发明缩放图像尺度至112X112、224X224、448X448，这样既能提升对小物体特征抽取的效果，也能兼顾运行速度。

得到多尺度超声图像后，需要对图像进行数据增强，采用在线增强的方式，即一边训练一边增强，即在训练的时候将每一批次的数据进行数据增强，获取不同数据增强方式的图片，数据总量保持不变，这种方式不会因为数据增强而影响模型训练速度，同时更能保证数据多样性。本发明使用在线数据增强方式，增强方式为加高斯噪音，随机剪切，翻转、旋转，颜色抖动。

数据增强完成后，通过ImageNet进行ResNet网络的预训练，将预训练的ResNet网络作为多尺度图像特征提取的网络，为了后续的特征融合模块，本发明去掉了ResNet四个池化层中的最后一个，保留序列图像多尺度的图像的空间结构，保证特征融合时能融合序列图像的尽可能多的信息。

得到特征超声图像后，采用先Depthwise卷积，但是由于Depthwise卷积是每一层进行单独的卷积，并没有融合所有层的特征，在本发明中会导致抽取的序列图像特征无法融合，因此需要后接一个1X1的卷积核，在深度上融合各特征，保证最后获得特征同时兼顾显存占用、运行速度及测试效果的作用。

最后得到肝癌超声图像自动识别结果。

采用本发明实施例，用多尺度的序列图像进行肝癌图像识别，增加精度。采用高斯噪音、随机剪切、翻转、旋转和颜色抖动进行数据在线增强，扩充数据样本，使模型拥有更好的泛化能力，而且这种方式不会因为数据增强而影响模型训练速度，同时更能保证数据多样性。采用ImageNet上预训练的ResNet作为多尺度图像特征提取网络，选用预训练模型的好处在于不用完全重新训练模型，提高模型收敛效率。去掉了ResNet最后一个池化层，保留序列图像多尺度的图像的空间结构，保证特征融合时能融合序列图像的尽可能多的信息。采用先Depthwise卷积、后1X1的卷积方式融合抽取到的特征，降低了显存占用及运算量，提升了运算速度，1X1的卷积核，在深度上融合各特征，保证最后获得特征同时兼顾显存占用、运行速度及测试效果的作用。

装置实施例一

根据本发明实施例，提供了一种基于卷积神经网络的肝癌超声图像自动识别的装置，图3是本发明实施例的装置结构示意图，如图3所示，包括，

生成模块30，用于生成多尺度的肝脏超声图像。

数据增强模块32，用于对生成的多尺度肝脏超声图像进行数据增强，其特征在于，数据增强模块的不同方式具体包括：增加高斯噪音、随机剪切、翻转、旋转、和/或颜色抖动。

抽取模块34，将数据增强后的肝脏超声图像通过卷积神经网络进行多尺度图像特征的抽取，具体地，抽取模块使用ResNet网络，所述ResNet网络去掉了ResNet四个池化层中最后一个池化层，保留序列图像多尺度的图像的空间结构；

融合模块35，将得到的多尺度图像特征进行卷积融合，得到肝癌超声图像自动识别结果。

本发明实施例是与上述方法实施例对应的装置实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。

装置实施例二

本发明实施例提供一种基于乳腺癌分子分型超声图像多模态自动识别装置，如图4所示，包括：存储器40、处理器42及存储在所述存储器40上并可在所述处理器42上运行的计算机程序，所述计算机程序被所述处理器42执行时实现如下方法步骤：

S1、生成多尺度的肝脏超声图像；

S2、对生成的多尺度肝脏超声图像进行数据增强；

S3、将数据增强后的肝脏超声图像通过卷积神经网络进行多尺度图像特征的抽取；

S4、将得到的多尺度图像特征进行卷积融合，得到肝癌超声图像自动识别结果。

S1具体包括，

S11、生成肝脏超声原图；

S12、将生成的肝脏超声原图缩放不同的尺度，生成多尺度肝脏超声图像。

S2具体包括，

S21、将生成的多尺度肝脏超声图像采用不同方式进行在线增强，其中，所述不同方式具体包括：增加高斯噪音、随机剪切、翻转、旋转、和/或颜色抖动。

S3具体包括，

S31、通过ImageNet进行ResNet网络的预训练，将预训练的ResNet网络作为多尺度图像特征提取的网络，其中，所述ResNet网络去掉了ResNet四个池化层中最后一个池化层，保留序列图像多尺度的图像的空间结构；

S32、将数据增强后的肝脏超声图像通过预训练的ResNet网络进行多尺度图像特征的抽取。

S4具体包括，

S41、采用先Depthwise卷积、后1X1的卷积方式融合抽取到的特征超声图像。

最后得到肝癌超声图像自动识别结果。

装置实施例三

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器42执行时实现如装置实施例二所述的方法步骤，在此不再赘述。

本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。