一种基于整体嵌套边缘检测的中西方绘画图像分类方法

摘要

本发明属于图像分类技术领域，针对传统图像分类方法存在的问题，公开了一种基于整体嵌套边缘检测的中西方绘画图像分类方法。具体为：将绘画图像输入整体嵌套边缘特征提取网络模型中，取第一个分支的输出内容作为绘画图像的边缘特征图；然后搭建中西方绘画图像分类网络模型，模型包括两个分支输入，一个为图像的边缘特征图，另一个为绘画图像原图，两个分支网络均采用单通道卷积网络，在倒数第三个全连接层处将两个分支网络的信息合并，经由最后的全连接层得到绘画图像分类结果。该方法不仅能够更加全面地提取中西方绘画图像的特征，很好的保留绘画图像的颜色和纹理特征，又能有效提高整个绘画分类系统的运算效率，从而得到较为准确的分类结果。

说明书

技术领域

本发明属于图像分类技术领域，具体为一种基于整体嵌套边缘检测的中西方绘画图像分类方法。

背景技术

绘画作品是承载人类文明发展的一种重要载体。对绘画的研究有助于人们更好地了解人类历史和文化。随着西方油画，东方山水画等绘画作品数字化进程的加速，以及绘画电子图书馆的建立，使得研究者们拥有海量的数字化绘画图像资源。若要充分利用这些资源，就需要计算机能够准确地对绘画图像资源进行分类，以方便研究者使用。

随着科学技术的快速发展，卷积神经网络已在图像分类领域取得了很好的效果，但在中西方绘画作品分类领域，目前研究较少。在绘画作品的分类研究中，国内外大部分研究者是从美术绘画角度进行分析与评估，主要研究对象为中国传统水墨画。使用传统的机器学习，通过人工经验总结特征，将其存储为数据，通过这些数据产生模型。利用传统方法对绘画作品进行分类，存在许多问题，例如：传统的图像分类方法在进行图像分类时未考虑绘画作品的主观性特征，并且大多数特征需要人工进行提取，不仅耗时耗力，细节特征极易丢失。且传统的分类方法中，模型的泛化能力不足。因此，提出一种能够解决上述传统方法缺陷的中西方绘画图像分类方法很有必要。

发明内容

针对上述传统图像分类方法存在的问题本发明提供了一种基于整体嵌套边缘检测的中西方绘画图像分类方法。

为了达到上述目的，本发明采用了下列技术方案：

本发明提供一种基于整体嵌套边缘检测的中西方绘画图像分类方法，包括以下具体步骤：

步骤1，获取中西方绘画图像的边缘特征图；

步骤2，搭建中西方绘画图像分类网络模型；

步骤3，对搭建好的中西方绘画图像分类网络模型进行训练优化；

步骤4，将中西方绘画图像的边缘特征图和中西方绘画图像的原图输入训练优化好的中西方绘画图像分类网络模型，得到中西方绘画图像分类结果。

进一步，所述步骤1中获取中西方绘画图像的边缘特征图的具体过程为：将中西方绘画图像输入整体嵌套边缘特征提取网络中，选取整体嵌套边缘特征提取网络的第一个分支的输出，作为图像的边缘特征图。

进一步，所述步骤2中搭建中西方绘画图像分类网络模型的具体过程为：

步骤2.1，设计单通道卷积网络，具体为：单通道卷积网络网络包含5个卷积层和2个全连接层，网络的输入图像大小设定为227×227×3；卷积层的结构参数采用AlexNet的设定，激活函数采用RELU；最后一个全连接层的激活函数为Softmax；

步骤2.2，搭建中西方绘画图像分类网络模型，具体为：将2个步骤2.1中搭建好的单通道卷积网络作为中西方绘画图像分类网络模型的两个分支网络，分别用于输入中西方绘画图像的边缘特征图和中西方绘画图像的原图，将2个分支网络即2个单通道卷积网络的最后一个全连接层合并，并在合并后再加入两个全连接层，维度分别为1024和2，最后一个全连接层的激活函数为Softmax。

进一步，所述步骤3中对搭建好的中西方绘画图像分类网络模型进行训练优化的具体过程为：

步骤3.1，设置参数：batch_size为128，学习率为0.0001，Dropout为0.5，优化器为“RMSprop”，对搭建好的中西方绘画图像分类网络模型进行训练优化；

步骤3.2，在训练过程中采用数据增强的方法，对用于训练优化的图像进行几何变换，来提高所搭建的中西方绘画图像分类网络模型的泛化能力，具体包括：翻转、旋转、裁剪、变形、缩放各类操作。

更进一步，所述步骤2.1中单通道卷积网络的结构为：第1层为卷积层，卷积核个数为96，大小为11×11，步长为4；第2层为卷积层，卷积核个数为256，大小为5×5，步长为1；第3层为卷积层，卷积核个数为384，大小为3×3，步长为1；第4层为卷积层，卷积核个数为384，大小为3×3，步长为1；第5层为卷积层，卷积核个数为256，大小为3×3，步长为1；第6、7层均为全连接层，维度分别为1000和2。

与现有技术相比本发明具有以下优点：

1、本发明将中西方绘画图像输入整体嵌套边缘特征提取网络中，选取网络的第一个分支的输出结果作为图像的边缘特征图，与传统Canny算法相比，获取到的边缘特征图清晰且线条不间断，效果明显优于Canny算子。

2、AlexNet网络模型是目前已有图像分类模型中较为简洁的一个网络结构，本发明单通道卷积网络部分采用AlexNet的设定，因此其网络模型较为简洁。使用传统的图像分类方法进行图像分类时大多数特征需要人工进行提取，与传统的图像分类方法相比，本发明方法将图像输入卷积神经网络中自动提取特征，不仅省时省力，而且不易丢失细节特征。

3、本发明在单通道卷积网络的基础上搭建了中西方绘画图像分类网络模型，该分类网络模型具有两个输入分支，一个用于输入中西方绘画图像的边缘特征图，另一个用于输入中西方绘画图像原图，两个分支网络结构均采用单通道卷积网络的结构，两列输入在卷积层和部分全连接层是完全独立的，二者互不影响，最终在倒数第三个全连接层处将两个分支网络的信息合并，将绘画图像原图与整体嵌套边缘特征提取网络提取到的边缘特征图组合，不仅能够更加全面地提取中西方绘画图像的特征，很好的保留绘画图像的颜色和纹理特征，又能有效提高整个绘画分类系统的运算效率，从而得到较为准确的分类结果。

附图说明

图1为本发明中西方绘画图像数据集样本；图中a为中国画样本，b为西方画样本。

图2为本发明中西方绘画图像样本对应的边缘特征图；图中a、b分别为中国画样本、西方画样本对应的整体嵌套边缘特征提取网络生成的边缘特征图；c、d分别为中国画样本、西方画样本对应的Canny算法生成的边缘特征图。

图3为本发明单通道卷积网络模型。

图4为本发明中西方绘画图像分类网络模型。

图5为本发明中西方绘画图像分类预测框架。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，下面结合实施例和附图，对本发明的技术方案进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

一种基于整体嵌套边缘检测的中西方绘画图像分类方法，包括以下具体步骤：

步骤1，获取中西方绘画图像的边缘特征图；

步骤2，搭建中西方绘画图像分类网络模型；

步骤3，对搭建好的中西方绘画图像分类网络模型进行训练优化；

步骤4，将中西方绘画图像的边缘特征图和中西方绘画图像的原图输入训练优化好的中西方绘画图像分类网络模型，得到中西方绘画图像分类结果。

所述步骤1中获取中西方绘画图像的边缘特征图的具体过程为：将中西方绘画图像输入整体嵌套边缘特征提取网络中，选取网络的第一个分支的输出，作为图像的边缘特征图。

所述步骤2中搭建中西方绘画图像分类网络模型的具体过程为：

步骤2.1，设计单通道卷积网络，具体为：单通道卷积网络包括5个卷积层，卷积层结构参数采用AlexNet的设定，激活函数采用RELU，网络输入图像大小为227×227×3；在卷积层之后增加两个全连接层，分别包含1000和2个输出，最后一层的激活函数为Softmax；

步骤2.2，搭建中西方绘画图像分类网络模型，具体为：将2个步骤2.1中搭建好的单通道卷积网络作为中西方绘画图像分类网络模型的两个分支网络，分别用于输入中西方绘画图像的边缘特征图和中西方绘画图像的原图，在2个单通道卷积网络第6层全连接层后将两个分支网络合并，并在合并后再加入两个全连接层，维度分别为1024和2，最后一个全连接层的激活函数为Softmax。

所述步骤3中对搭建好的中西方绘画图像分类网络模型进行训练优化的具体过程为：

步骤3.1，设置参数：batch_size为128，学习率为0.0001，Dropout为0.5，优化器为“RMSprop”，对搭建好的中西方绘画图像分类网络模型进行训练优化；

步骤3.2，在训练过程中采用数据增强的方法，对用于训练优化的图像进行几何变换，来提高中西方绘画图像分类网络模型的泛化能力，具体包括：翻转、旋转、裁剪、变形、缩放等各类操作。

所述步骤2.1中单通道卷积网络的结构为：第1层为卷积层，卷积核个数为96，大小为11×11，步长为4；第2层为卷积层，卷积核个数为256，大小为5×5，步长为1；第3层为卷积层，卷积核个数为384，大小为3×3，步长为1；第4层为卷积层，卷积核个数为384，大小为3×3，步长为1；第5层为卷积层，卷积核个数为256，大小为3×3，步长为1；第6、7层为全连接层，维度分别为1000和2。

实施例2

选取来自公开网站的绘画，进行中西方绘画图像分类

S1：所选中西方绘画数据集中的绘画图像2863幅，其中包括中国画1099幅，西方画1764幅。手动将图像分为训练集和测试集，中国画和西方画的训练集、测试集所包含的图像数目分别为800、299和1400、364。图1为中西方绘画图像数据集样本的示意图。

S2：将全部图像依次输入整体嵌套边缘特征提取网络中，取其第一个分支的输出内容作为该图像的边缘特征图。具体步骤如下：

S21：整体嵌套边缘特征提取网络的主干网络采用VGGNet，共包含5个卷积模块，每一个卷积模块与一个分支输出和一个分类器相连。

S22：整体嵌套边缘特征提取网络利用每层网络预测图像边缘信息，利用各个层的预测结果加权获得最终的预测结果。假设X代表输入图像，各个分支的预测结果以及由各个分支融合得到的结果表示如下：

其中，CNN(·)表示网络输出的特征图，W表示主干网络需要学习的参数，w表示分支网络的参数，h表示网络各个分支的预测结果的加权值。

图2为中西方绘画图像样本对应的边缘特征图；图中a、b分别为中国画样本、西方画样本对应的整体嵌套边缘特征提取网络生成的边缘特征图(本发明方法)；c、d分别为中国画样本、西方画样本对应的Canny算法生成的边缘特征图。从图中可以看出利用本发明的整体嵌套边缘特征提取网络提取的边缘特征图比利用Canny算法生成的边缘特征图清晰且线条不间断。

S3：设计单通道卷积网络，图3为单通道卷积网络模型。具体步骤如下：

S31：单通道卷积网络的输入图像大小为227×227×3，网络共包含5个卷积层和2个全连接层，卷积层部分激活函数采用RELU。

S32：前5个卷积层的结构参数采用AlexNet的设定。具体为：第1层为卷积层，卷积核个数为96，大小为11×11，步长为4；第2层为卷积层，卷积核个数为256，大小为5×5，步长为1；第3层为卷积层，卷积核个数为384，大小为3×3，步长为1；第4层为卷积层，卷积核个数为384，大小为3×3，步长为1；第5层为卷积层，卷积核个数为256，大小为3×3，步长为1；第6、7层为全连接层，分别包含1000和2个输出，最后一层的激活函数为Softmax。

S4：搭建中西方绘画图像分类网络模型，分类网络包括两个输入分支和一个输出。图4为分类网络模型。具体步骤如下：

S41：将2个单通道卷积网络作为分类网络的两个分支网络。其中，一个分支网络的输入为绘画图像的原图，另一个分支网络的输入为绘画图像的边缘特征图。

S42：将两个分支网络即两个单通道卷积网络最后一个全连接层合并。

S43：在合并后的全连接层后再加入两个全连接层，维度分别为1024和2，最后一层的激活函数为softmax。

S5：设置参数：batch_size为128，学习率为0.0001，Dropout为0.5，优化器为“RMSprop”，采用训练集图像对搭建好的中西方绘画图像分类网络模型进行训练优化；

为了充分利用有限的训练图像，我们通过一系列随机变换对数据进行提升，采用数据增强的方法，对训练集图像进行几何变换，具体包括：翻转、旋转、裁剪、变形、缩放等各类操作。这样有利于抑制过拟合，使得模型的泛化能力更好。

S6：将中西方绘画图像测试集图像输入到上述分类网络中，最终会将输入的图像分为中国画和西方画两类。图5为中西方绘画图像分类预测框架。

(1)为充分验证本发明方法的有效性和适用性，我们对输入绘画图像原图、输入图像的边缘特征图、输入绘画图像的原图和对应边缘特征图结合，五种情况的绘画分类准确率进行了比较，实验结果如表1所示。

注：边缘特征图的不同是由于采用了整体嵌套边缘特征提取网络(HED)的不同分支的输出结果。即：HED(out1)为HED网络第一个分支的输出内容；HED(out2)为HED网络第二个分支的输出内容；HED(out3)为HED网络第三个分支的输出内容。

表1：不同情况下的绘画分类准确率

从表1可以看出：本发明采用绘画原图像和HED(out1)特征图组合的方式，得到的准确率是最高的，准确率为87.66％。

(2)本发明还对单通道卷积网络中全连接层的维度和层数对中西方绘画图像分类的影响进行了探讨，实验结果如表2所示。

表2：单通道卷积网络中全连接层的维度和层数对中西方绘画图像分类的影响

从表2结果可以看出：全连接层采用两层且维度为4096和2的时候，对中西方绘画图像原图的分类准确率为82.65％；全连接层采用两层且维度为1000和2的时候，对中西方绘画图像边缘特征图(HED out1)的分类准确率为82.96％。考虑到准确性与算法的复杂性，本发明采用全连接层数为2且维度分别为1000和2。

(3)探讨分类网络中全连接层的维度对中西方绘画图像分类的影响。实验结果如表3所示。

表3：分类网络中全连接层的维度对中西方绘画图像分类的影响

从表3结果可以得出：全连接层的维度分别为2000，1024，2时，对中西方绘画图像的分类准确率较高，为87.66％。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。