一种基于卷积神经网络的多尺寸细胞核识别装置及方法

摘要

本发明公开了一种基于卷积神经网络的多尺寸细胞核识别装置及方法，该装置包括四个卷积神经网络模型，用于对不同尺寸的细胞图像进行特征提取，然后在每个卷积神经网络模型提取完特征之后进行平均池化，得到包含若干个神经元的全连接层，然后将四个卷积神经网络模型提取出的全连接层拼接成一个全连接层，再连接若干全连接层进行融合学习和分类，从而让模型可以同时对细胞核和细胞核周边信息进行学习。

说明书

技术领域

本发明涉及深度学习技术领域，特别是涉及一种基于卷积神经网络的多尺寸细胞核识别装置及方法。

背景技术

在传统方法上细胞核分类，大多数是使用人工设计的方法对细胞核图像进行特征提取，然后用传统的机器学习算法对提取到的特征进行训练分类。Dalle等人和Cosatto等人使用细胞核的形状，纹理和大小对乳腺癌图像中的核多态性进行分级。Malon等人使用颜色，纹理和形状信息来训练卷积神经网络分类模型，对有丝分裂和非有丝分裂细胞进行分类。Yuan等人根据H&E染色的乳腺癌图像的形态特征将对细胞核分类，分为癌细胞、淋巴细胞、基质细胞三类。Sharma等人提出了使用密度、形态和纹理特征来训练AdaBoost分类器，对细胞核进行分割和分类。

对比传统方法，深度学习方法在对病理图像的识别上取得了更加好的效果。Gao等人已经使用深层卷积神经网络将人类epithelial-2细胞图像分为六类。同时，他们实验还证明，在较大的数据集上进行预训练，然后在较小的相关数据集上进行微调的卷积神经网络，与在较小数据集上从头训练的卷积神经网络相比，可以提供更高的准确性。这个策略对于这种数据量比较少的医学数据，有着比较好的提升效果。Shao等人设计了一个新的神经网络-对约束正则化深度卷积神经网络，他们先是标注一部分数据，训练出这个网络，接着用这个网络在没有标注的数据挑选出一部分数据出来给医生继续标注，然后将继续标注得到的数据和之前的数据继续进行混合在一起来更新这个网络的参数，再让这个网络来挑选没有标注的数据，以此循环，这样节省了医生40％的时间，而且得到的结果要比其他方法要好。而Hou等人提出一个稀疏卷积自动编码器来进行核检测和特征提取，仅是用标注全部数据的5％的成本，却实现了和其他方法基本一样的效果。

近年来，细胞核图像分类已经取得了很大的突破，但是目前对比不同输入尺寸的细胞核图像对卷积神经网络模型的影响还缺乏系统的研究。细胞核图像的尺寸大小对卷积神经网络分类模型影响的研究还有待开展。之前为了防止周边不同类别的细胞核会对卷积神经网络分类模型的识别判断造成影响，所以研究人员都是截取相对尺寸较小的细胞核图像。但是经过试验发现，细胞核图像输入尺寸变大不仅没有降低模型的识别判断，相反识别效果还可以有较大的提升。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于卷积神经网络的多尺寸细胞核识别装置及方法，以提高多尺寸细胞核识别的识别效果。

为达上述及其它目的，本发明提出一种基于卷积神经网络的多尺寸细胞核识别装置，包括四个卷积神经网络模型，用于对不同尺寸的细胞图像进行特征提取，然后在每个卷积神经网络模型提取完特征之后进行平均池化，得到包含若干个神经元的全连接层，然后将四个卷积神经网络模型提取出的全连接层拼接成一个全连接层，再连接若干全连接层进行融合学习和分类，从而让模型可以同时对细胞核和细胞核周边信息进行学习。

优选地，所述卷积神经网络模型采用InceptionV3卷积神经网络模型。

优选地，在每个卷积神经网络模型提取完特征进行平均池化后，得到包含2048个神经元的全连接层。

优选地，在利用四个IncepionV3模型对不同尺寸的细胞图像进行特征提取后，通过一个全连接层将四个IncepionV3模型提取的特征拼接起来，再通过两个全连接层进行融合学习。

优选地，最后再通过一个四个神经元的softmax层融合学习，并进行分类。

优选地，所述特征融合的公式如下：

其中，x

为达到上述目的，本发明还提供一种基于卷积神经网络的多尺寸细胞核识别方法，包括如下步骤：

步骤S1，利用四个卷积神经网络模型对不同尺寸的细胞图像进行特征提取；

步骤S2，对每个卷积神经网络模型提取完特征之后进行平均池化，得到若干个神经元的全连接层；

步骤S3，将四个卷积神经网络模型提取出的全连接层拼接成一个全连接层，再连接若干全连接层进行融合学习和分类，从而让模型可以同时对细胞核和细胞核周边信息进行学习。

优选地，于步骤S2中，在每个卷积神经网络模型提取完特征进行平均池化后，得到包含2048个神经元的全连接层。

优选地，于步骤S3中，在利用四个IncepionV3模型对不同尺寸的细胞图像进行特征提取后，通过一个全连接层将四个IncepionV3模型提取的特征拼接起来，再通过两个全连接层进行融合学习。

优选地，于步骤S3中，最后再通过一个四个神经元的softmax层融合学习，并进行分类。

与现有技术相比，本发明一种基于卷积神经网络的多尺寸细胞核识别装置及方法通过把不同尺寸的细胞核图像用卷积神经网络进行特征提取，再把特征进行融合，再接上全连接层网络对特征进行分类，经过试验证明不同尺寸的细胞核图像特征融合模型相对于单尺寸的分类模型有着不小的准确率的提升。

附图说明

图1为不同细胞核图像尺寸对比示意图；

图2为本发明中单尺寸细胞核图像深度学习模型架构图；

图3为不同细胞核图像尺寸的类激活图可视化示意图；

图4为一种基于卷积神经网络的多尺寸细胞核识别装置的结构示意图；

图5为本发明一种基于卷积神经网络的多尺寸细胞核识别方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

为了防止周边不同类别的细胞核会对模型识别判断有影响，之前的研究人员都是截取相对尺寸较小的细胞核图像。但是经过试验发现，细胞核图像输入尺寸变大不仅没有降低模型的识别判断，还可以有较大的提升。联系到实际，人类医生，他们对病理图的细胞核识别，肯定也会受到周边环境的影响。但目前来说对于分类细胞的尺寸的截取问题，也缺少了一个系统性的研究，于是本发明采用不同尺寸的细胞核图像训练深度卷积神经网络得到的效果进行了对比，以验证不同的细胞核图像尺寸对模型训练预测的影响。

本发明对细胞尺寸的大小进行了各种调整和实验，最后选用了27×27，36×36，45×45，54×54这四个细胞核图像尺寸作为本发明的实验结果展示，其中细胞图像尺寸为27×27的模型的效果作为参照项。本发明将该四个尺寸的图片都放在图1中，可以很明显地看出细胞图像尺寸越大，里面包含的细胞核越多。有的54×54尺寸的细胞核图像已经包含了7个细胞核，这样就会出现在一个细胞核图像里却有着不同种类的细胞核的情况。本发明以截取的细胞核图像中心对应的细胞核类别作为这个图片的标签。

本发明对不同图像尺寸的单尺寸细胞核图像进行试验，具体地，本发明采用InceptionV3模型作为深度学习分类模型，卷积层提取完特征之后进行平均池化，得到2048个神经元的全连接层，然后再接一层128个神经元的全连接层，注意每个全连接层都会接上dropout，最后接上四个神经元的softmax层来对模型提取得到的特征进行分类，模型结构如图2。

为了方便看出细胞核图像尺寸对模型训练预测的影响，模型架构、训练方式、增强方法都是采取一样的，控制唯一的变量是不同的细胞核图像尺寸。本发明在实验中，所有的输入细胞图像都会缩放(resize)成(139,139)作为模型的输入来训练模型的权重。

实验结果如表1所示，可以明显观察到，不同尺寸的细胞图像训练同一个深度学习网络模型得到的效果是不一样的，随着细胞图像尺寸的增大，效果则越来越好。

表1单尺寸效果对比表

为清楚说明为什么细胞核图像尺寸变大可以增强模型的识别效果，本发明涉及到一类技术叫做类激活图(CAM)可视化，该技术可用于了解给定图像的哪些部分使卷积网络做出最终分类决定，这有助于调试卷积网络的决策过程，特别是在分类错误的情况下，它也能允许在图像中定位特定的对象。

类激活图(CAM)可视化的其中一个功能是可以在输入图像上生成类激活的热力图。类激活热力图可以帮助人们知道模型是针对图片的哪些位置来判断这张图片的所属类别。例如把一张图片输入到猫狗识别的卷积神经网络模型，CAM可视化技术就可以产生一张猫类的热力图，热力图的哪个位置越能帮助模型判断类别，它对应的激活颜色越深。这对于模型的研究有着极大的好处。

类激活图(CAM)可视化的方法有很多，本发明采用的是Grad-CAM的方法。这个方法非常简单，它先获取卷积层的输出特征图，给定输入图像，并通过类别相对于通道的梯度对该特征图中的每个通道进行加权。直观上，一种理解此技巧的方法是，通过“每个通道对类别的重要性”来加权“输入图像激活不同通道的强度”的空间图，从而得到一张“输入图像激活类别的强度”的空间图。

本发明使用Grad-CAM的方法来得到模型对不同尺寸细胞核输入图像的判断点在哪里。查看训练好的InceptionV3模型对每张图片所属类别的判断点在哪里，有利于后面对模型的优化，为了方便对比，本发明把得到的结果整理的结果整合成表格形式，如图3所示。

可以看到，在27×27到54×54的范围内，随着细胞图像的尺寸越大，在图片中心细胞核的周边的激活值就越大，说明InceptionV3模型对这个细胞图像的判断越来越依赖于细胞图像的中心细胞核的周边的信息，充分证明了这些周边信息不仅没有让模型造成识别上的困扰，相反给模型提供了很大的识别作用。

基于上述理论，本发明提出一种基于卷积神经网络的多尺寸细胞核识别装置，如图4所示，本发明一种基于卷积神经网络的多尺寸细胞核识别装置，包括四个卷积神经网络模型，用于对不同尺寸的细胞图像进行特征提取，然后在每个卷积神经网络模型提取完特征之后进行平均池化，得到2048个神经元的全连接层，然后将四个卷积神经网络模型提取出的全连接层拼接成一个全连接层，再连接若干全连接层进行融合学习和分类，从而让模型可以同时对细胞核和细胞核周边信息进行学习。

在本发明具体实施例中，卷积神经网络模型采用InceptionV3卷积神经网络模型，利用四个InceptionV3模型的卷积层，外加三层全连接层，即用四个IncepionV3模型对不同尺寸的细胞图像进行特征提取，通过一个全连接层把四个IncepionV3模型提取的特征拼接融合起来，再通过两个全连接层进行融合学习和分类，最后再通过一个四个神经元的softmax层融合学习，并进行分类，本发明模型可以同时对细胞核和细胞核周边信息进行学习，提高模型对细胞图像的识别准确率，但需说明的是，本发明对全连接层的个数不以此为限。

在本发明具体实施例中，特征融合公式如下：

其中，x

图5为本发明一种基于卷积神经网络的多尺寸细胞核识别方法的步骤流程图。如图5所示，本发明一种基于卷积神经网络的多尺寸细胞核识别方法，包括如下步骤：

步骤S1，利用四个卷积神经网络模型对不同尺寸的细胞图像进行特征提取。在本发明具体实施例中，卷积神经网络模型采用InceptionV3卷积神经网络模型。

步骤S2，对每个卷积神经网络模型提取完特征之后进行平均池化，得到2048个神经元的全连接层。

步骤S3，将四个卷积神经网络模型提取出的全连接层拼接成一个全连接层，再连接若干全连接层进行融合学习和分类，从而让模型可以同时对细胞核和细胞核周边信息进行学习。

在本发明具体实施例中，特征融合公式如下：

其中，x

本发明进行了充分的实验，实验数据对比如表2所示。

表2单尺寸模型、多尺寸模型效果对比表

相对于细胞图像尺寸是(54,54)的InceptionV3单尺寸模型，特征融合模型的预测效果有着比较好的提升，除了miscellaneous类别，另外三个类别的细胞核预测效果都有着提升效果。

综上所述，本发明一种基于卷积神经网络的多尺寸细胞核识别装置及方法通过把不同尺寸的细胞核图像用卷积神经网络进行特征提取，再把特征进行融合，再接上全连接层网络对特征进行分类，经过试验证明不同尺寸的细胞核图像特征融合模型相对于单尺寸的分类模型有着不小的准确率的提升。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。