一种基于交叉熵损失函数的细粒度布料图像检索方法

摘要

本发明公开了一种基于交叉熵损失函数的细粒度布料图像检索方法，涉及布料检索领域，针对现有技术中存在计算复杂度高且识别准确率无法保证的问题，现提出如下方案，包括以下步骤：S1、图像预处理；S2、设计特征表征器；S3、计算模型损失；S4、梯度传播训练获取模型；S5、取出特征提取网络，作为特征表征器；S6、提取待检索的纺织品面料图的特征以及面料库的特征并存储为特征数据库；S7、待检索特征与布料库特征向量计算欧式距离均值，对距离进行排序，获得检索结果。本发明对图像特征提取进行有效表示，具有尺度不变性、旋转不变性和平移不变性，相比于传统手动特征检索方法提高了准确率和效率。

说明书

技术领域

本发明涉及布料检索领域，尤其涉及一种基于交叉熵损失函数的细粒度布料图像检索方法。

背景技术

随着科技和网络的发展，人们对服用纺织品的需求不仅对质量、外观、舒适度的要求不断提升，同时在追求流行趋势的大前提下，对纺织品需求的时效性也越来越高。计算机技术应用于纺织品检索系统已经成为趋势，而对未形成花纹图案的平素纺织品搜索系统的深度发明，将给网络时代的纺织品行业带来突破性的发展，在面料检索阶段大大减少人力、物力，效率以级数级提升。

与现有技术下的纺织品检索系统相比，基于交叉熵损失函数的细粒度纺织品面料图像检索方法明显在自动检索和识别系统中应用更好，利用高效的SeResnet卷积神经网络的高参数量以及有监督学习的优势，并对训练图像进行图像增强操作，保证具有尺度不变性、旋转不变性和平移不变性，提高了细粒度图像识别的准确率和鲁棒性，减小了计算复杂度。

发明内容

本发明的目的是为了解决现有技术中存在计算复杂度高且识别准确率无法保证的缺点，而提出的一种基于交叉熵损失函数的细粒度布料图像检索方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于交叉熵损失函数的细粒度布料图像检索方法，包括以下步骤：

S1、对采集到的布料图像库进行缩放到固定尺寸472*472，并进行归类，作为训练样本集；

S2、设计特征表征器；

S3、利用交叉熵损失函数计算网络输出值与类别标签的误差；

S4、将上述误差对网络中的参数进行梯度反向传播，并多次迭代训练获取模型；

S5、模型训练完成后，取出特征提取网络，作为特征表征器；

S6、利用训练好的网络特征提取器提取待检索的纺织品面料图的特征以及面料库的特征并存储为特征数据库；

S7、待检索特征与布料库特征向量计算欧式距离均值，对距离进行排序，获得检索结果。

进一步的，S1具体为以下步骤：

S11、采用双线性插值算法对布料图像进行缩放到472*472大小；

S12、按照布料类别进行归类，归类类型为布料品号，构建20万张的训练集；

S13、对图像进行预处理，这里首先对图像所有像素缩放到0-1 之间，再对rgb通道进行0均值单位方差归一化操作，

再对图像进行颜色、亮度、饱和度按照0.5的概率随机增强操作。

进一步的，S2中的特征表征器是一种卷积神经网络，该网络采用多个卷积、池化、dropout和SE-Resnet block方式堆叠，SE-Resnet block块结构由多个SE block和残差网络构成：SE block，对每个输出通道，预测一个常数权重，对每个通道进行加权，特征图先经过 1个1*1卷积，再经过1个3*3，接着经过1个1*1卷积，最后将第一层的输入加到第三层输出中，构成残差连接。

进一步的，S3具体为以下步骤：

S31、具体采用交叉熵损失函数进行计算，计算前先设计线性分类层，用于与损失函数进行衔接，分类层为一个线性全连接层，神经元个数等于训练数据的类别数目；

S32、所有的训练图像经过网络计算输出结果，再经过一个 softmax函数输出类别概率y

S33、根据下面的公式，计算与标签

进一步的，步骤S31中的交叉熵损失函数为ArcFace损失函数或加性角度间隔交叉熵损失函数。

进一步的，S4具体操作为：采用学习率0.001，Adam的梯度优化方法，batch_size＝32，对模型进行10k次迭代训练，最后一个step 分类精度达到0.98，存储模型。

进一步的，S5具体操作为：去除固化后的模型最后ArcFace softmax分类层，保留剩下的层，作为特征提取器。

进一步的，S6具体包括以下步骤：

S61、对已有布料图进行扫描缩放并提特征建库，作为检索的特征数据库，每一个布料通过特征提取器后输出2048维的float向量，存储到服务器硬盘中；

S62、对于待检索的布料，也需要通过卷积特征提取器输出2048 维向量。

进一步的，S7具体包括以下步骤：

S71、对待检索的布料图特征向量，与库中的所有待检索图进行计算欧式距离；

S72、对所有的欧式距离进行升序排序，取前15个结果作为最终的参考检索结果，将对应的库中布料型号返出。

本发明的有益效果为：

1、本发明对纺织品面料图像进行预处理，采用双线性插值进行缩放图像，并进行归一化等预处理操作，提高了后续特征提取的准确度；

2、本发明中利用能够获得更具辨别力深度特征的ArcFace或加性角度间隔损失函数，以及梯度反向传播迭代训练该神经网络，获得特征提取器，对检索图以及面料库进行特征提取获得2048维特征向量，采用L2度量方法计算两个特征向量的相似度，并进行排序，实现细粒度平素纹纺织品面料图像检索的识别，提高了对难以区分的细粒度平素纹的布料图像的识别，进一步提升了平素纹纺织品面料查找的准确率和效率，能够更广泛的满足实际应用需求；

3、本发明提供的基于交叉熵损失函数的细粒度布料图像检索方法在细粒度纹理图上，可以对图像特征提取进行有效表示，具有尺度不变性、旋转不变性和平移不变性，相比于传统手动特征检索方法提高了准确率和效率。

附图说明

图1为本发明中细粒度布料图像检索方法的具体流程图；

图2为本发明中SeResnet卷积神经网络构造原理图；

图3为本发明中SE-resnet block模块内部网络原理图；

图4为本发明在平素纹面料图像的检索结果图；

图5为本发明在3张布料图上的特征提取向量的特征曲线图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例一

一种基于交叉熵损失函数的细粒度布料图像检索方法，具体包括以下步骤：

S1、对采集到的纺织品面料图像库进行缩放到固定尺寸472*472，并进行归类，作为训练样本集，具体操作为：S11、采用双线性插值算法对纺织品面料图像进行缩放到472*472大小；S12、按照纺织品面料类别进行归类，归类类型为最小面料型号，构建20万张的训练集；S13、对图像进行增强，这里首先对图像所有像素缩放到0-1之间，再对RGB通道进行零均值单位方差归一化操作，

再对图像进行水平和垂直方向翻转以及亮度增强操作；

S2、设计SE-resnet卷积神经网络分类模型，具体操作为：S21、本发明的卷积神经网络采用多个卷积、池化、dropout和SE block 方式堆叠，最后用全连接层做为分类层；整个卷积网络的构造如图2 所示；S22、SE-Resnet block块结构由多个SE block和残差网络构成：SE block，对每个输出通道，预测一个常数权重，对每个通道进行加权。特征图先经过1个1*1卷积，再经过1个3*3，接着经过1 个1*1卷积，最后将第一层的输入加到第三层输出中，构成残差连接； SE-Resnet block模块内部结构如图3所示；

S3、利用ArcFace交叉熵损失函数来计算网络输出值与类别标签的误差，具体操作为：S31、所有的训练图像经过网络计算输出结果，再经过一个ArcFace softmax函数输出类别概率y

S32、根据下面的公式，计算与标签

S4、将上述误差对网络中的参数进行梯度反向传播，并多次迭代训练获取模型，具体采用学习率0.001，Adam的梯度优化方法， batch_size＝32，对模型进行10k次迭代训练，最后一个step分类精度达到0.98，存储模型；

S5、取模型的最后一个全连接层的输出作为最后网络输出节点，把输入到该节点的网络作为特征提取器；

S6、利用训练好的网络特征提取器提取待检索的纺织品面料图的特征以及面料库的特征并存储为特征数据库，具体操作为：S61、对已有纺织品面料图进行扫描缩放并提特征建库，作为检索的特征数据库，每一个纺织品面料通过特征提取器后输出2048维的float向量，存储到服务器硬盘中；S62、对于待检索的纺织品面料，也需要通过卷积特征提取器输出2048维向量；

S7、待检索特征与面料库特征向量计算欧式距离均值，对距离进行排序，获得检索结果，具体包括：S71、对待检索的纺织品面料图特征向量v＝[v

实施例二

一种基于交叉熵损失函数的细粒度布料图像检索方法，具体包括以下步骤：

S1、对采集到的布料图像库进行缩放到固定尺寸472*472，并进行归类，作为训练样本集，具体操作为：S11、采用双线性插值算法对布料图像进行缩放到472*472大小；S12、按照布料类别进行归类，归类类型为布料品号，构建20万张的训练集；S13、对图像进行预处理，这里首先对图像所有像素缩放到0-1之间，再对rgb通道进行0 均值单位方差归一化操作，

S2、对训练数据进行图像增强，具体操作为：对训练数据进行颜色、亮度、饱和度按照0.5的概率随机增强操作；

S3、设计特征表征器，本质是一个超参的卷积神经网络，采用多个卷积、池化、dropout和SE block方式堆叠，最后用全连接层做为分类层；整个卷积网络的构造如图2所示，SE-Resnet block块结构由多个SE block和残差网络构成：SE block，对每个输出通道，预测一个常数权重，对每个通道进行加权，特征图先经过1个1*1卷积，再经过1个3*3，接着经过1个1*1卷积，最后将第一层的输入加到第三层输出中，构成残差连接；SE-Resnetblock模块内部结构如图3所示；

S4、设计线性分类层，用于与损失函数进行衔接，具体操作为：分类层为一个线性全连接层，神经元个数等于训练数据的类别数目；

S5、利用加性角度间隔交叉熵损失函数，来计算网络输出值与类别标签的误差，具体操作位：S51、所有的训练图像经过网络计算输出结果，再经过一个arcface softmax函数输出类别概率y

S6、将上述误差对网络中的参数进行梯度反向传播，并多次迭代训练获取模型，具体操作为：采用学习率0.01，Adam的梯度优化方法，batch_size＝32，对模型进行100k次迭代训练，最后一个step 分类精度达到0.99，存储模型；

S7、模型训练完成后，取出特征提取网络，作为特征表征器，具体操作为：去除固化后的模型最后arcface softmax分类层，保留剩下的层，作为特征提取器；即图2中最后一层softmax层不保留。

用一个20万数据库，该库中共有3大类纺织品面料图：平素纹、小提花、大提花，44个小类的图像经过卷积神经网络特征提取器建立混合库。

采用实施例一中的检索方法，为纺织品面料检索系统设计2个任务，具体见表1：

表1：形状匹配和目标识别系统任务说明

如图1所示，纺织品面料图像检索算法过程如下：对纺织品面料图像进行预处理，采用双线性插值进行缩放图像，并进行归一化等预处理操作；设计卷积神经网络，作为分类器；利用分类的损失函数，以及梯度反向传播迭代训练该神经网络，获得特征提取器；对检索图以及面料库进行特征提取获得2048维特征向量；采用L2度量方法计算两个特征向量的相似度，并进行排序，实现纺织品面料图像检索的识别。

任务1中，模型分类精度在训练10k个step后保持0.99，波动范围小于0.01。

如图4所示，给出一张平素纹的纺织品面料图，在特征库中进行检索，给出前10相似的检索结果，可以发现前9个检索结果都是该型号的平素纹，需要说明的是检索的特征库中只有9张该型号布料，全部命中，前9都是该种类的布料图，且相似度较高。

任务3：采用实施例二中的方法，在3张面料图上的特征提取向量的特征曲线图，其中第1行与第2行是同一品种，不同颜色的布料，第3行为不同品种的布料，特征提取对比图见图5。

可以明显看出，该表征器输出的结果，在类间差异是比较大的，而类内差异很小。这说明该方法对细粒度布料有较好的区分能力。

从上述三组任务可以看出，本发明中的细粒度布料图像检索方法能有效自动提取纺织品面料图的纹理、全局结构等特征，实现了目标的特征描述，获得较高的识别率，可在目标检索的工程领域中能得到广泛应用。

综上，本发明提供的基于交叉熵损失函数的细粒度布料图像检索方法在细粒度纹理图上，可以对图像特征提取进行有效表示，具有尺度不变性、旋转不变性和平移不变性，相比于传统手动特征检索方法提高了准确率和效率。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。