一种高分辨率图像的分类方法及分类装置

摘要

本发明公开了一种高分辨率图像的分类方法及分类装置，用以提升高分辨率图像的分类精度。该分类方法包括：将所述高分辨率图像分割为若干预设尺寸的子图像，且使得相邻的至少两个子图像之间存在重叠区域；将每一所述子图像均输入卷积神经网络中，使得每一所述子图像对应生成多张子特征图；将各所述子图像对应生成的所述多张子特征图按照预设的先后顺序放置，形成待分类特征图；将所述待分类特征图通过神经网络中的全连接层进行分类，并输出分类结果。

说明书

技术领域

本发明涉及图像分类、深度学习技术领域，尤其涉及一种高分辨率图像的分类方法及分类装置。

背景技术

深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，目前，深度学习在学术界和工业界有着广泛的应用。

卷积神经网络(Convolution Neural Networks，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，包括卷积层和池层。在很长时间里，CNN虽然在小规模的问题上，如手写数字，取得了当时世界上最好的结果，但一直没有取得巨大成功。主要原因是，CNN在大规模图像上效果不好，如：CNN在像素较多的自然图片内容理解上效果不好。

但是，随着网络结构的加深，算法的提升，以及图形处理器(Graphics ProcessingUnit，GPU)带来的计算能力提升和更多的训练数据等，深度学习模型被成功应用于一般图片的识别和理解，不但大大提升了准确性，而且避免了人工特征抽取的时间消耗，从而大大提高了在线计算效率。

近年来，随着大数据时代的到来，深度学习技术在各个领域均有应用，其应用场景得到了延伸，但是目前深度学习在图像上的应用仍局限于尺寸较小图像的输入，对于高分辨率的医学图像，目前一般的解决方法是先将其压缩为尺寸较小图像，然后将尺寸较小的图像输入CNN中进行处理，处理后进行图像的分类；然而现有技术由于压缩图像会使得图像扭曲，从而难以准确区分图像类别。

发明内容

有鉴于此，本发明实施例提供了一种高分辨率图像的分类方法及分类装置，用以提升高分辨率图像的分类精度。

本发明实施例提供的一种高分辨率图像的分类方法，所述分类方法包括：

将所述高分辨率图像分割为若干预设尺寸的子图像，且使得相邻的至少两个子图像之间存在重叠区域；

将每一所述子图像均输入卷积神经网络中，使得每一所述子图像对应生成多张子特征图；

将各所述子图像对应生成的所述多张子特征图按照预设的先后顺序放置，形成待分类特征图；

将所述待分类特征图通过神经网络中的全连接层进行分类，并输出分类结果。

由本发明实施例提供的高分辨率图像的分类方法，由于在对高分辨率图像进行分类时，首先将高分辨率图像分割为若干预设尺寸的子图像；接着将每一子图像均输入卷积神经网络中进行处理，处理后每一子图像对应生成了多张子特征图；接着将各子图像对应生成的多张子特征图按照预设的先后顺序放置，形成待分类特征图；最后将待分类特征图通过神经网络中的全连接层进行分类，与现有技术相比，本发明实施例在对高分辨率图像进行分类时，不需要对高分辨率图像进行大尺度的裁剪或压缩，因此不会导致图像扭曲，从而使得原始的高分辨率图像得到保护，特征提取更加充分，进而能够提升高分辨率图像的分类精度。

较佳地，所述将所述高分辨率图像分割为若干预设尺寸的子图像之前，该分类方法还包括：

对所述高分辨率图像进行图像预处理，所述图像预处理包括：裁剪所述高分辨率图像的边缘，以及调整所述高分辨率图像的尺寸为预设尺寸。

较佳地，所述对所述高分辨率图像进行图像预处理之后，以及所述将所述高分辨率图像分割为若干预设尺寸的子图像之前，该分类方法还包括：

对所述高分辨率图像进行图像扩充处理，使得一张所述高分辨率图像形成多张高分辨率图像，并将每一张所述高分辨率图像分割为若干预设尺寸的子图像，且对于同一所述高分辨率图像形成的子图像，相邻的至少两个所述子图像之间存在重叠区域。

较佳地，所述对所述高分辨率图像进行图像扩充处理，使得一张所述高分辨率图像形成多张高分辨率图像，包括：

调节所述高分辨率图像的色彩饱和度、亮度和对比度，使得一张所述高分辨率图像形成色彩饱和度、亮度、对比度至少之一不同的多张高分辨率图像；以及

对所述高分辨率图像进行不同角度的旋转，使得一张所述高分辨率图像形成多张高分辨率图像。

较佳地，所述神经网络还包括与所述全连接层连接的分类层，所述将所述待分类特征图通过神经网络中的全连接层进行分类，包括：

将所述待分类特征图通过所述全连接层送入到所述分类层进行分类。

本发明实施例还提供了一种高分辨率图像的分类装置，所述分类装置包括：

图像划分单元，用于将所述高分辨率图像分割为若干预设尺寸的子图像，且使得相邻的至少两个子图像之间存在重叠区域，并将各所述子图像依次输出给特征提取单元；

特征提取单元，用于将每一所述子图像均输入卷积神经网络中，使得每一所述子图像对应生成多张子特征图，并将生成的子特征图输出给特征图生成单元；

特征图生成单元，用于将各所述子图像对应生成的所述多张子特征图按照预设的先后顺序放置，形成待分类特征图，以及将所述待分类特征图输出给分类单元；

分类单元，用于将所述待分类特征图通过神经网络中的全连接层进行分类，并输出分类结果。

较佳地，还包括图像预处理单元，用于在所述图像划分单元工作之前，对所述高分辨率图像进行图像预处理，所述图像预处理包括：裁剪所述高分辨率图像的边缘，以及调整所述高分辨率图像的尺寸为预设尺寸。

较佳地，还包括图像扩充单元，用于在所述图像预处理单元对所述高分辨率图像进行图像预处理之后，且在所述图像划分单元工作之前，对所述高分辨率图像进行图像扩充处理，使得一张所述高分辨率图像形成多张高分辨率图像，并将每一张所述高分辨率图像分割为若干预设尺寸的子图像，且对于同一所述高分辨率图像形成的子图像，相邻的至少两个所述子图像之间存在重叠区域。

较佳地，所述图像扩充单元具体用于，调节所述高分辨率图像的色彩饱和度、亮度和对比度，使得一张所述高分辨率图像形成色彩饱和度、亮度、对比度至少之一不同的多张高分辨率图像；以及对所述高分辨率图像进行不同角度的旋转，使得一张所述高分辨率图像形成多张高分辨率图像。

较佳地，所述神经网络还包括与所述全连接层连接的分类层，分类单元具体用于，将所述待分类特征图通过所述全连接层送入到所述分类层进行分类。

附图说明

图1为本发明实施例提供的一种高分辨率图像的分类方法流程图；

图2为本发明实施例提供的对高分辨率图像进行分割后的示意图；

图3为本发明实施例提供的对医学高分辨率图像分类时的结构示意图；

图4为本发明实施例提供的一种高分辨率图像的分类装置框图；

图5为本发明实施例提供的另一高分辨率图像的分类装置框图。

具体实施方式

本发明实施例提供了一种高分辨率图像的分类方法及分类装置，用以提升高分辨率图像的分类精度。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面结合附图详细介绍本发明具体实施例提供的高分辨率图像的分类方法。

如图1所示，本发明具体实施例提供了一种高分辨率图像的分类方法，该分类方法包括：

S101、将所述高分辨率图像分割为若干预设尺寸的子图像，且使得相邻的至少两个子图像之间存在重叠区域；

S102、将每一所述子图像均输入卷积神经网络中，使得每一所述子图像对应生成多张子特征图；

S103、将各所述子图像对应生成的所述多张子特征图按照预设的先后顺序放置，形成待分类特征图；

S104、将所述待分类特征图通过神经网络中的全连接层进行分类，并输出分类结果。

本发明具体实施例在对高分辨率图像进行分类时，首先将高分辨率图像分割为若干预设尺寸的子图像；接着将每一子图像均输入卷积神经网络中进行处理，处理后每一子图像对应生成了多张子特征图；接着将各子图像对应生成的多张子特征图按照预设的先后顺序放置，形成待分类特征图；最后将待分类特征图通过神经网络中的全连接层进行分类，与现有技术相比，本发明具体实施例在对高分辨率图像进行分类时，不需要对高分辨率图像进行大尺度的裁剪或压缩，因此不会导致图像扭曲，从而使得原始的高分辨率图像得到保护，特征提取更加充分，进而能够提升高分辨率图像的分类精度。

具体地，将高分辨率图像分割为若干预设尺寸的子图像之前，本发明具体实施例提供的高分辨率图像的分类方法还包括：对高分辨率图像进行图像预处理，图像预处理包括：裁剪高分辨率图像的边缘，如：裁剪掉不需要进行分类的边缘部分(即裁剪掉高分辨率图像的无用边缘)，以及调整高分辨率图像的尺寸为预设尺寸，这里的预设尺寸与现有技术中压缩后的图像的尺寸相比，这里的预设尺寸相对较大。本发明具体实施例中的图像预处理过程能够将需要分类的不同的高分辨率图像进行统一，以便提高卷积神经网络的识别精度，图像预处理的具体过程与现有技术类似，这里不再赘述。

具体地，对高分辨率图像进行图像预处理之后，以及将高分辨率图像分割为若干预设尺寸的子图像之前，本发明具体实施例提供的高分辨率图像的分类方法还包括：对高分辨率图像进行图像扩充处理，使得一张高分辨率图像形成多张高分辨率图像，并将每一张所述高分辨率图像分割为若干预设尺寸的子图像，且对于同一所述高分辨率图像形成的子图像，相邻的至少两个所述子图像之间存在重叠区域。这样，本发明具体实施例将一张高分辨率图像扩充成多张高分辨率图像，能够有效的防止拍摄高分辨率图像时拍摄角度等的不同对形成的高分辨率图像的影响。

具体实施时，本发明具体实施例对高分辨率图像进行图像扩充处理，使得一张高分辨率图像形成多张高分辨率图像，包括：调节高分辨率图像的色彩饱和度、亮度和对比度，使得一张高分辨率图像形成色彩饱和度、亮度、对比度至少之一不同的多张高分辨率图像；以及，对高分辨率图像进行翻转或不同角度的旋转，使得一张高分辨率图像形成多张高分辨率图像。当然，在实际设计时，还可以通过其它方式将一张高分辨率图像扩充成多张高分辨率图像，图像扩充对识别性能和泛化能力有着非常重要的作用，即图像扩充可以通过已有的样本，对其进行变化，人工增加训练样本，能够有效的避免由于没有大量的训练数据而造成的过拟合问题，因此能够使得训练出的模型得到较好的应用。本发明具体实施例对高分辨率图像进行图像扩充处理的具体方法与现有技术类似，这里不再赘述。

具体实施时，本发明具体实施例上述步骤S101中，预设尺寸以能够输入到卷积神经网络的尺寸进行设定，如：预设尺寸可以设定为卷积神经网络允许输入的最大尺寸；另外，本发明具体实施例中由于相邻的子图像之间存在重叠区域，因此能够更充分的提取高分辨率图像的边缘信息。

具体实施时，本发明具体实施例上述步骤S102中，将每一子图像均输入卷积神经网络中进行特征抽取，可使用Inception-ResNet，GoogLeNet V3等最新的CNN模型；当然，也可以根据CNN模型的原理自行搭建CNN网络进行训练与预测，在训练过程中，CNN模型的初始参数可设置为ImageNet等已标注图像数据库的训练好的参数，训练过程中使用欧式距离损失函数：其中，N表示图像数量，为模型输出，y_t为目标输出。本发明具体实施例上述步骤S102中将每一子图像对应生成多张子特征图的具体方法与现有技术类似，这里不再赘述。

具体实施时，本发明具体实施例上述步骤S103中，将各子图像对应生成的多张子特征图按照预设的先后顺序放置，本发明具体实施例中预设的先后顺序可以根据实际需要设定，如：可以设定为从左到右的顺序，也可以设定为从上到下的顺序，只要保证训练时的顺序与测试过程中的顺序保持不变即可。这样，本发明具体实施例能够将各子图像对应生成的多张子特征图的特征结合在一起。

具体实施时，本发明具体实施例上述步骤S104中，将待分类特征图通过神经网络中的全连接层进行分类的具体分类方法与现有技术类似，这里不再赘述。

另外，本发明具体实施例中的神经网络还包括与全连接层连接的分类层，本发明具体实施例上述步骤S104中将待分类特征图通过神经网络中的全连接层进行分类，包括：将待分类特征图通过全连接层送入到分类层进行分类，分类层的具体分类方法与现有技术类似，这里不再赘述。

下面以高分辨率图像为医学图像为例具体介绍高分辨率图像的分类方法。

首先，由于不同医院设备的医学图像质量不一，为了统一标准，提高CNN模型的识别精度，对不同的医学图像进行图像预处理，包括：无用边缘的裁剪，图像尺寸大小的统一等。

接着，由于医疗数据的高度不平衡性，需要使用复制、采样等方式将特殊症状的案例数量增多，具体地，对医学图像进行图像扩充处理，包括；调节医学图像的色彩饱和度、亮度和对比度，形成多张医学图像；或，对医学图像进行翻转或不同角度的旋转，形成多张医学图像。

接着，如图2所示，将任一医学图像均分割为若干预设尺寸的子图像，具体实施时，这里的预设尺寸根据实际生产需要、以及根据CNN模型允许的输入图像的尺寸进行设定，本发明具体实施例以将一医学图像分割为图2中标号为1到9的九个医学子图像为例，图2中相邻的医学子图像之间虚线之间的区域表示相邻的医学子图像之间的重叠区域。

接着，如图3所示，将每一医学子图像均输入CNN模型中，使得每一医学子图像对应生成多张医学子特征图，如：将标号为1的医学子图像输入CNN模型中，通过CNN模型的处理，标号为1的医学子图像生成多张尺寸较小的医学子特征图11，本发明具体实施例仅以生成三张医学子特征图为例介绍。

接着，将各医学子图像对应生成的多张医学子特征图按照预设的先后顺序放置，形成待分类特征图，如图3所示，假设每一医学子图像均生成了三张医学子特征图，则图3中总共可生成27张医学子特征图，本发明具体实施例可以按照训练时的顺序将这27张医学子特征图放置在一起，形成待分类特征图。当然，具体实施时，可以先将每一医学子图像生成的三张医学子特征图按照预设的先后顺序放置在一起形成一特征图，然后再将图3中形成的九个特征图按照预设的先后顺序放置在一起形成待分类特征图。

具体实施时，如图3所示，首先，先将标号为1的医学子图像生成的三张医学子特征图11按照预设的先后顺序放置在一起形成特征图A1、将标号为2的医学子图像生成的三张医学子特征图按照预设的先后顺序放置在一起形成特征图A2、......、标号为8的医学子图像生成的三张医学子特征图按照预设的先后顺序放置在一起形成特征图A8、标号为9的医学子图像生成的三张医学子特征图按照预设的先后顺序放置在一起形成特征图A9；然后，将特征图A1、特征图A2、......、特征图A8和特征图A9按照预设的先后顺序放置在一起形成待分类特征图。本发明具体实施例中将标号为1的医学子图像生成的三张医学子特征图11按照预设的先后顺序放置在一起形成特征图A1的具体形成方式与现有技术相同，这里不再赘述。

最后，将待分类特征图通过神经网络中的全连接层进行分类，分类后输出分类结果。

本发明具体实施例将高分辨率医学图像输入训练好的CNN模型中，得出深度学习识别的分类结果，辅助医生做出诊断，以达到降低误诊率，节省医疗资源的目的。

基于同一发明构思，本发明具体实施例还提供了一种高分辨率图像的分类装置，如图4所示，该分类装置包括：

图像划分单元41，用于将所述高分辨率图像分割为若干预设尺寸的子图像，且使得相邻的至少两个子图像之间存在重叠区域，并将各所述子图像依次输出给特征提取单元42；

特征提取单元42，用于将每一所述子图像均输入卷积神经网络中，使得每一所述子图像对应生成多张子特征图，并将生成的子特征图输出给特征图生成单元43；

特征图生成单元43，用于将各所述子图像对应生成的所述多张子特征图按照预设的先后顺序放置，形成待分类特征图，以及将所述待分类特征图输出给分类单元44；

分类单元44，用于将所述待分类特征图通过神经网络中的全连接层进行分类，并输出分类结果。

具体地，如图5所示，本发明具体实施例中的高分辨率图像的分类装置还包括图像预处理单元51，用于在图像划分单元41工作之前，对高分辨率图像进行图像预处理，图像预处理包括：裁剪高分辨率图像的边缘，以及调整高分辨率图像的尺寸为预设尺寸。

具体地，如图5所示，本发明具体实施例中的高分辨率图像的分类装置还包括图像扩充单元52，用于在图像预处理单元51对高分辨率图像进行图像预处理之后，且在图像划分单元41工作之前，对高分辨率图像进行图像扩充处理，使得一张所述高分辨率图像形成多张高分辨率图像，并将每一张高分辨率图像分割为若干预设尺寸的子图像，且对于同一高分辨率图像形成的子图像，相邻的至少两个子图像之间存在重叠区域。

具体实施时，本发明具体实施例中的图像扩充单元52具体用于，调节高分辨率图像的色彩饱和度、亮度和对比度，使得一张高分辨率图像形成色彩饱和度、亮度、对比度至少之一不同的多张高分辨率图像；以及对高分辨率图像进行不同角度的旋转，使得一张高分辨率图像形成多张高分辨率图像。

具体地，本发明具体实施例中的神经网络还包括与全连接层连接的分类层，分类单元44具体用于，将待分类特征图通过全连接层送入到分类层进行分类。

综上所述，本发明具体实施例提供一种高分辨率图像的分类方法，该方法包括：将高分辨率图像分割为若干预设尺寸的子图像，且使得相邻的至少两个子图像之间存在重叠区域；将每一子图像均输入卷积神经网络中，使得每一子图像对应生成多张子特征图；将各子图像对应生成的多张子特征图按照预设的先后顺序放置，形成待分类特征图；将待分类特征图通过神经网络中的全连接层进行分类，并输出分类结果。由于本发明具体实施例在对高分辨率图像进行分类时，首先将高分辨率图像分割为若干预设尺寸的子图像；接着将每一子图像均输入卷积神经网络中进行处理，处理后每一子图像对应生成了多张子特征图；接着将各子图像对应生成的多张子特征图按照预设的先后顺序放置，形成待分类特征图；最后将待分类特征图通过神经网络中的全连接层进行分类，与现有技术相比，本发明具体实施例在对高分辨率图像进行分类时，不需要对高分辨率图像进行大尺度的裁剪或压缩，因此不会导致图像扭曲，从而使得原始的高分辨率图像得到保护，特征提取更加充分，进而能够提升高分辨率图像的分类精度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。