一种基于残差网络与特征差拟合的异纤分类方法

摘要

本发明公开了一种基于残差网络与特征差拟合的异纤分类方法，涉及棉花异纤分类领域，针对现有原棉中的异纤在图像特征上与棉花非常相似导致分类识别困难的问题，现提出如下方案，包括如下步骤：S1、设计异纤分类基础网络CottonNet，用于在图像特征上对异纤和棉花进行分类识别；S2、在S1中的CottonNet基础上引入残差网络，并定义残差模块，得到改进后的网络结构CottonNet‑Res；S3、针对复杂环境下的异纤分类，通过特征差拟合得到改进算法CottonNet‑Fusion。本发明提出的异纤分类方法分类准确率提升到97.4％，在复杂环境的异纤数据上仍能保持90.3％的Top‑1分类准确率。

说明书

技术领域

本发明涉及棉花异纤分类领域，尤其涉及一种基于残差网络与特征差拟合的异纤分类方法。

背景技术

棉花是国家重要战略物质之一，与人民的日常生活密切相关，在国民经济中占有重要地位。在棉花的种植、运输和生产环节不可避免地会混入各类异纤，如果不及时清理这些异纤，不仅会引起纺织机械的设备损坏等问题，还会导致最终棉纺织产品质量下降，造成经济损失。

基于机器视觉的棉花异性纤维检测识别方法已得到非常多的关注，从机器视觉的角度来看，异性纤维分类是一个典型的图像分类问题。

目前，深度学习中的图像分类技术得到了越来越广泛的关注，该方法可以自行通过给定算法进行特征提取和数学建模，从原始训练数据中以端到端的方法学习特征。与经典图像处理算法的人工设计特征不同，深度学习网络的浅层结构会检测到边缘、纹理等低阶特征，而随着网络的加深，图像特征中的更抽象信息也会被学习到。

实际环境下的异性纤维识别分类任务并不简单，相当比例的异纤图片由于复杂环境扰动，噪声干扰多，清洁不到位引起的图像弱化，出现了人工设计特征难以准确描述目标等问题。使用传统方法设计异纤目标特征提取算子时，遇到了较大的挑战，较难建立一种非常通用的算子提取到各种背景下的异纤图像特征。如果为了满足应用，就必须设计过多的超参数用于实际场景下的异纤分类调整，大大降低了算法的应用能力。

对于异纤中的地膜、丙纶丝等类别，因为伪异纤中的黄棉、棉秆等杂质的图像特征与它们非常接近，需要关注图像中的目标细微特征，对网络的深度有一定的要求。一般来说，网络越深，提取的高级语义特征越多，对细节的区分也更有意义。但是网络的加深也会带来计算量增大、梯度消失、预测准确率下降等问题。为解决上述问题，我们设计出一种基于残差网络与特征差拟合的异纤分类方法。

发明内容

本发明的目的是为了解决现有技术中存在原棉中的异纤在图像特征上与棉花非常相似导致分类识别困难的缺点，而提出的一种基于残差网络与特征差拟合的异纤分类方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于残差网络与特征差拟合的异纤分类方法，包括如下步骤：

S1、设计异纤分类基础网络CottonNet，用于在图像特征上对异纤和棉花进行分类识别；

所述CottonNet包含6个卷积层，其参数使用塔式结构，所述CottonNet前面两层主要用于底层特征的提取，再使用四层卷积层提取图像的高层特征，其最后的卷积层没有进行池化，在每个所述卷积层的输出部分都增加非线性激活函数LeakyReLU；

所述CottonNet的分类模型使用Softmax作为分类器，假设输入样本为I，输入样本为图像或向量，经过卷积神经网络操作，得到输出向量为f＝[a

S2、在S1中的CottonNet基础上引入残差网络，并定义残差模块，得到改进后的网络结构CottonNet-Res，所述CottonNet-Res采用后四层卷积层增强高层特征提取能力，提高异纤分类准确率；

所述残差模块将模块输入特征与最终的输出特征级联，其中选择两层卷积作为基础残差模块，两层卷积分别定义为Layer1与Layer2，输入特征经过两层处理后的输出分别为ω

S3、针对复杂环境下的异纤分类，在S2中CottonNet-Res的基础上，通过特征差拟合得到改进算法CottonNet-Fusion；

所述CottonNet-Fusion将复杂环境下的样本设计额外的网络分支训练，在训练过程中与正常图片训练分支进行特征融合，在输出阶段，计算主网络与分支网络特征输出均方误差，作为特征差来拟合两分支输出特征向量，通过一个卷积层对两分支的输出进行特征融合，最终的分类结果使用正常样本的标签，即整体网络使用了特征差与分类损失来约束训练，实现复杂环境下分类准确率的提升。

优选的，所述CottonNet-Res中，假定无残差模块的级联分支，正常单层网络的输出可以表示为式(2-2)：

其中，H是单层网络的卷积相关运算，g代表单层的输出激活函数，卷积神经网络由式(2-2)组成，通过增加式(2-2)可得到更多关于图像的特征算子，即加深神经网络；网络的参数训练是通过基于梯度的反向传播算法优化，具体训练过程如下：当前层使用前向传播输入信号，然后反向传播误差并使用函数求导方法得到梯度，进而更新当前层参数，当前层l的参数更新需要计算损失∈的导数，定义误差项为：

按照反向传播的链式法则，δ

定义传播梯度：

当γ

z

其中F(a

优选的，所述CottonNet-Fusion的网络输入是图片对，由正常环境下的样本与复杂环境下样本组成，假定输入的图像对(s，c)，其中s为正常样本，c为复杂样本图像，由s通过一系列随机的图像模糊，图像噪声扰动方法生成，两组网络学习的特征输出向量为(f

最后的损失函数定义为式(2-8)及(2-9)：

其中α与β为两类标签的权重。

本发明的有益效果为：本发明设计了一种兼顾性能与效率的基础异纤分类网络CottonNet，在验证集上的分类准确率达到94.2％；为了增强高层特征提取能力，在残差网络特征融合方法基础上，本发明改进了异纤分类网络并提出CottonNet-Res，提升分类准确率到95.1％；再针对复杂环境下的异纤分类问题，提出了一种基于特征差拟合的分类模型CottonNet-Fusion，分类准确率提升到97.4％，在复杂环境的异纤数据上仍能保持90.3％的Top-1分类准确率。

附图说明

图1为本发明的异纤分类基础网络结构示意图；

图2为本发明的残差模块示意图；

图3为本发明基于残差模块的CottonNet-Res网络结构示意图；

图4为本发明基于特征差拟合的CottonNet-Fusion网络结构示意图；

图5为本发明的伪异纤图像示例cnf_0：黄棉；cnf_1：碎棉叶；cnf_2：棉秆；

图6为本发明不同权重的CottonNet-Fusion模型分类准确率示意图；

图7为本发明不同方差的高斯噪声对正常样本影响的示意图；

图8为本发明不同方差的高斯噪声准确率比对的示意图；

图9为本发明不同等级的图像模糊的示意图；

图10为本发明不同等级的模糊操作对分类准确率影响的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

一种基于残差网络与特征差拟合的异纤分类方法，包括如下步骤：

S1、设计异纤分类基础网络CottonNet，用于在图像特征上对异纤和棉花进行分类识别；

S2、在S1中的CottonNet基础上引入残差网络，并定义残差模块，得到改进后的网络结构CottonNet-Res，所述CottonNet-Res采用后四层卷积层增强高层特征提取能力，提高异纤分类准确率；

S3、针对复杂环境下的异纤分类，在S2中CottonNet-Res的基础上，通过特征差拟合得到改进算法CottonNet-Fusion；

参照图1，本发明设计了异纤分类基础网络CottonNet，CottonNet主要包含6个卷积层，相关参数使用塔式结构，适合动态调整。前面两层主要用于底层特征的提取，再使用四层卷积层提取图像的高层特征，为了保留更多高层信息，最后的卷积层没有进行池化。在每个卷积层的输出部分都增加了非线性激活函数LeakyReLU，相对于传统的ReLU，解决了在卷积输出为负值时，神经元死亡的现象

所述CottonNet的分类模型使用Softmax作为分类器，假设输入样本为I，输入样本为图像或向量，经过卷积神经网络操作，得到输出向量为f＝[a

参照图2，本发明定义了一个残差模块一般来说，网络层数越深，非线性表达能力越强，可以学习到更复杂的表达函数，从而拟合更精细的特征。但是网络加深会带来梯度不稳定、网络退化问题。残差网络的引入很好的解决了因网络加深导致的梯度消失问题，同时也增强了网络学习能力。可以借助残差网络的思想来学习更全面、更细微的图像特征，提高分类准确率，解决棉纺织工业环境下的检测分类需求。

残差模块主要思路是将模块输入特征与最终的输出特征级联。模块中的卷积层理论上堆叠数量不受限制，但是考虑到计算量，选择两层卷积作为基础残差模块组成。两层卷积分别定义为Layer1与Layer2，输入特征经过两层处理后的输出分别为ω

假定无残差模块的级联分支，正常单层网络的输出可以表示为式(2-2)：

其中，H是单层网络的卷积相关运算，不同的卷积模块有不同的运算法则。g代表单层的输出激活函数。卷积神经网络由式(2-2)组成，如果希望得到更多关于图像的特征算子，增加式(2-2)即可，也就是加深神经网络。网络的参数训练是通过基于梯度的反向传播算法优化，具体训练过程如下：当前层使用前向传播输入信号，然后反向传播误差并使用函数求导方法得到梯度，进而更新当前层参数。当前层l的参数更新需要计算损失∈的导数，定义误差项为：

按照反向传播的链式法则，δ

定义传播梯度：

当γ

z

其中F(a

参照图3，改进后的网络结构命名该网络为CottonNet-Res。该网络的底层特征提取网络(Lowlevel-CONV)不变，主要是将高层特征提取部分融合了残差模块。由于常规的异纤输入图片尺度较小，采用插值放大之后容易引起图像失真，丢失细节。故发明模型在训练和推理的过程中直接使用了原尺度异纤图片。

实际生产环境中，有相当多的异纤图像在较复杂的光路环境下采集得到，如清洁不到位，补光灯老化，相机老化等场景下的异纤图片。

清洁不到位一般是指在棉纺织产线上的采集设备由于实际环境中粉尘的影响，工人清洁不及时，引起图像模糊，导致细节丢失甚至完全不可识别。采集设备的补光灯一般是普通日光灯，随着工作时间的增加，光强会衰减，从而导致图像背景整体偏暗。采集相机作为电子器件，同样存在老化现象，导致相机增益过大，底噪增加，对目标细节造成严重干扰。

在异纤分类网络的训练算法中，复杂环境下的异纤图像与正常图像都是在网络中进行训练，通过完善样本的多样性，解决复杂环境下的图像准确率下降问题。但是在很多情况下，复杂环境的图像由于细节过于模糊，导致网络训练困难，分类准确率提升不多，甚至由于复杂环境下异纤图片对分类网络的误导，会影响正常样本的识别。

针对复杂环境下的异纤分类问题，本发明提出了一种基于特征差拟合的模型改进算法。该算法的主要策略是将复杂环境下的样本设计额外的网络分支训练，在训练过程中与正常图片训练分支进行特征融合。在输出阶段，计算主网络与分支网络特征输出均方误差，作为特征差来拟合两分支输出特征向量；通过一个卷积层对两分支的输出进行特征融合。最终的分类结果使用正常样本的标签，即整体网络使用了特征差与分类损失来约束训练，实现复杂环境下分类准确率的提升。

参照图4，基于特征差拟合的网络结构命名为CottonNet-Fusion，改进后的网络输入是图片对，由正常环境下的样本与复杂环境下样本组成，假定输入的图像对为(s，c)，其中s为正常样本，c为复杂样本图像，由s通过一系列随机的图像模糊，图像噪声扰动方法生成。两组网络学习的特征输出向量为(f

最后的损失函数定义为式(2-8)及(2-9)。

其中α与β为两类标签的权重。

CottonNet-Fusion本身没有对网络模块进行改进，核心的网络结构仍然是CottonNet-Res。基于特征差拟合的方法主要是受到半监督学习的启发，通过正常样本分类这种“老师”模型来监督复杂环境样本的“学生”模型，进一步融合两种模型特征，以期提高复杂环境下的分类准确率。

为证明上述异纤分类方法的准确性，发明人进行了大量实验，实验数据和过程如下所述；

如图5所示，在原棉中还有大量的伪异纤杂质，它们本身不构成对棉花质量的影响，但是它们在图像中与真实的异纤较为接近，如果没有好的图像分类算法，容易造成各类异纤分拣设备误检过多，导致原棉浪费较多。因此收集大量的伪异纤图片，设计合理的分类算法，去除伪异纤杂质对真实异纤的图像干扰是非常有必要的。图5是采集的伪异纤样本图片，主要由黄棉，碎棉叶，棉秆等组成。

与传统算法对比

为了验证本发明算法的有效性，发明人选择了国内外较有代表性的基准异纤分类方法进行比对。这些异纤分类方法都基于经典机器学习算法，通过人工特征设计模式去建立异纤数据知识库，完善知识库的同时，算法分类能力也得到增强。常规的异纤人工特征包括颜色特征，形状特征与纹理特征信息。

颜色特征综合考虑了异纤图像中每个像素的色彩数据，在经典图像处理领域中，属于全局特征信息提取算子。常见的颜色特征提取方法为直方图统计与色彩矩计算。直方图以RGB空间为基础，统计每一个颜色区间中的像素点个数。色彩矩是弥补普通颜色直方图中分布信息不全面的缺陷，计算RGB空间的每一个通道一阶与二阶矩，来反应图像中的色彩分布信息。色彩矩计算公式如式(2-12)及式(2-13)所示。

其中，i代表为图像中的色彩通道(RGB)，j表示为图像中的像素位置，L

图像的纹理特征反应的是目标的粗糙度，在图像上的方向特性以及某种分布的有序性。纹理特性使用图像的灰度值来描述，常见的描述算子包括灰度值直方图统计、低阶灰度矩、灰度分布熵信息等。计算公式如式(2-14)，式(2-15)，式(2-16)，式(2-17)所示，

其中，L

图像的形态特征描述方法较为容易，一般通过计算目标的轮廓与周长来统计。另外还可根据目标的分布特征，统计异纤目标的连通性等。常见的形状特征提取算子如式(2-18)，式(2-19)，式(2-20)。

其中P是样本目标像素周长，A是目标像素面积，F代表形态系数。

其中c代表目标中心点到目标质心的距离，a代表中心点与目标角度矩形框的顶点距离。计算的结果E

E

其中H代表目标异纤中出现孔洞的个数(某些块状异纤)，计算得到的E

基于卷积神将网络的分类算法在所有类别上均超过传统算法，在布块，纸屑等色彩特征比较明显的类别上，传统算法SVM还可以保持80％以上的分类准确率，但是在黄棉、地膜、棉秆等特征较难提取的类别中，传统算法已不能满足应用需求。

与传统算法的比对结果符合目前图像处理领域中的趋势，在一定规模的数据集上，如果存在易混淆的图像类别，基于卷积神经网络的处理算法往往优于传统处理算法。

与经典网络对比

在表2-1中，列出了本发明网络及其改进，与经典网络AlexNet，VGG16，ResNet18，ResNet50，DenseNet201等之间的比对结果，包括模型大小，参数计算量，分类准确率等。其中参数计算量主要是统计卷积神经网络中的乘加运算次数(MACs)。本发明使用的网络包括基础结构CottonNet，由普通的塔式卷积层串联而成，共6层卷积神经网络。CottonNet-Add：在基础结构上添加了两层额外的高层网络，其核数目为1024，与前一层构成塔式结构，用于评估加深网络对分类准确率的影响。Cotton-Res：在基础网络CottonNet上改进了高层结构，使用残差模块增强网络对图像细节的提取能力。

表2-1异纤数据集上的分类结果比对(最好的结果加粗显示)

由表2-1得到结论如下：(1)相对于大型经典网络，基于残差网络设计的异纤分类模型CottonNet-Fusion准确率最高，超过AlexNet 9.6％，达到97.4％的Top-1准确度。(2)层数越深不代表模型准确率能够上升，例如VGG16与CottonNet，后者层数仅为VGG16的1/4，但是准确率超过其3.7％。(3)残差或旁路特征融合的思想可以提升分类准确率，如ResNet与DenseNet系列，相对于传统的单卷积层叠加，准确程度高出许多。(4)CottonNet-Add增加了高层特征提取器，但是简单的加深网络并不能提升准确率，可视化分析加深的网络层并没有关注到异纤目标本身。(5)添加残差网络增强了模型对目标细节的关注程度，这是最后准确率提升的关键。(6)本发明的基础网络结构CottonNet参数量最小，相对于经典网络，有更高的计算效率，添加了残差模块后的CottonNet-Res满足异纤分类需求。

复杂环境下的模型抗干扰能力测试与对比

为了评估复杂环境下本发明模型的性能与鲁棒性，发明人设计了复杂环境下的模型抗干扰能力测试实验。实验用数据集包含真实的复杂环境下异纤图像，包括图像变暗，图像模糊，底噪异常增加等场景；还包含正常样本使用图像模糊，加噪处理得到的模拟复杂环境数据。通过两种数据集的测试来综合评估模型抗干扰性能。

基于特征差拟合的模型CottonNet-Fusion包含两个超参数α与β，用于衡量正常样本与复杂样本之间的分类损失权重。本发明通过复杂环境下异纤样本数据集上的分类准确率来评估两个超参数对网络性能的影响。我们使用了五种组合来代表实际情况下可能定义的超参数值：α＝0，β＝1，代表去掉复杂环境下异纤样本的分类；α＝0.3，β＝0.7，代表增加一部分复杂样本权重，保留较多的正常样本分类结果，即监督信息主要来自于正常样本；α＝0.5，β＝0.5，复杂样本与正常样本保持同等权重；α＝0.7，β＝0.3，监督信息主要来自于复杂样本；α＝1，β＝0，代表不再使用任何正常样本的分类结果。

从图6可以看出：(1)β的减少(正常样本分类权重)对分类准确率影响较大，当α＝0.3，β＝0.7时准确率最高(90.3％)，分类模型偏重于正常样本的分类标签，也就是正常样本起到了网络监督的作用。(2)α＝1，β＝0时准确率最低，此时的分类模型完全以复杂样本的标签和特征作为监督信息，导致分类模型的性能下降。完全去掉复杂样本的分类标签准确率略低(84.5％)，说明复杂样本的分类特征融合对于准确率的提升是有意义的。根据实验结论，本发明后续的研究将以α＝0.3，β＝0.7为默认超参数。

模型对比实验主要是针对CottonNet-Res与CottonNet-Fushion两种模型，前者使用的是传统训练方法，后者增加了特征差拟合方法，经典网络使用的是综合性能表现优秀的ResNet18。

(1)真实复杂环境下异纤数据集测试

分类准确率比对结果如表2-2。

表2-2复杂环境下的异纤数据分类结果比对(最好的结果加粗显示)

从表2-2可以看到，复杂环境下的异纤分类结果相对于之前的所有数据而言，准确率都有所下降。使用了特征差回归训练的CottonNet-Fusion性能最好，超出第二名经典网络Resnet18近10个百分点。在全数据集下，CottonNet-Res的分类性能是CottonNet-Fusion的97.6％，而复杂环境下的数据集测试表明，其性能已经下降为后者的89％。由此可见，CottonNet-Fusion的特征差拟合训练方法，在复杂环境下的异纤数据集上具有更高的抗干扰能力。

(2)正常样本添加噪声测试

图像加噪方式通常为高斯噪声，符合相机底噪分布规律。通过不同等级的高斯噪声来评估各模型分类准确率。该测试仅限于正常样本场景。

高斯噪声的计算公式为：

参照图7，其中I(i，j)代表输入位置为(i，j)的图像像素点值，μ以及δ分别代表高斯分布函数的均值以及方差，其中方差对于正常样本影响较大。图7显示了不同方差的高斯噪声对正常样本的影响。δ为8时图像已经出现了较明显的失真，本发明设定δ从1到12个等级，观察模型的抗噪能力。

图8是不同方差等级的高斯噪声对模型分类准确率的影响。可以看出，CottonNet-Fusion曲线下降最为缓慢，即使高斯噪声方差等级调整到12，仍然拥有接近80％的分类准确率(77.8％)，而其他模型已降低到70％以下。该模型抗噪性能远超过其他模型。

(3)正常样本模糊测试

图像模糊方法使用半径为R的高斯核与图像计算内积得到，计算公式如式(2-22)与式(2-23)所示。

其中R为高斯核计算半径，σ是高斯核标准差，一般为1.0。x与y是横向与纵向上的高斯核半径内索引值，i与j是原始图像对应位置索引。I(i，j)为对应位置的像素亮度值。

当模糊半径为3时，视觉上已基本不可见，这对分类模型的抗干扰能力提出了挑战，图9是分类模型在不同模糊等级下的准确率比对。

从图10得到结论如下：(1)图像模糊对分类模型的准确率影响极大，半径为1.5的高斯模糊就可以造成所有分类模型准确率低于80％。所有模型在半径为3的高斯模糊操作下已基本不可用(低于60％)。(2)CottonNet-Fusion在模糊测试下依然保持比较平滑的下降，在半径为2的模糊等级下还可以保持71％的分类准确率，是第二名Resnet18准确率(61.3)的1.16倍。

综上所述，根据复杂环境下的实验对比分析，CottonNet-Fusion在抗干扰能力上有更为突出的表现。通过基于特征差拟合的方式，将特征差与分类结果同时约束网络训练，利用回归损失联合训练特征，进一步提升了分类准确率，同时在抗干扰能力上也超过常规方法训练的模型(CottonNet-Res)。

本发明结合异纤图像特点以及应用场景，需要对经典卷积神经网络进行优化与改进。通过基于类激活热力图映射算法，实现了卷积神经网络每层特征图的可视化，观察经典网络对异纤目标的特征提取能力，对其调整裁剪，设计了一种兼顾性能与效率的基础异纤分类网络CottonNet，在验证集上的分类准确率达到94.2％。

为了增强高层特征提取能力，本发明参考残差网络思想，改进了异纤分类网络并提出CottonNet-Res，提升分类准确率到95.1％。

针对复杂环境下的异纤分类问题，本发明提出了一种基于特征差拟合的分类模型CottonNet-Fusion，分类准确率提升到97.4％，在复杂环境的异纤数据集上仍能保持90.3％的准确率。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。