基于卷积神经网络与注意力机制相结合的特征检测方法

摘要

本发明公开了一种基于卷积神经网络与注意力机制相结合的特征检测方法，将yolov3网络与注意力机制进行结合，构建新的特征图谱，然后采用自采集图像作为训练样本，对所述特征图谱进行训练，利用训练后的所述特征图谱对图像进行检测，能提高检测精度。

说明书

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种基于卷积神经网络与注意力机制相结合的特征检测方法。

背景技术

目前的目标检测分为传统方法目标检测与深度学习方法目标检测。传统目标检测方法主要分为三部分：滑动窗口，特征提取与分类器分类。但传统目标检测存在两个主要问题，基于滑动窗口的区域选择策略时间复杂度高，候选框冗余，手工设计的特征使得分类器鲁棒性差，无法适应多样性变化。随着深度学习在各个领域的不断发展与应用，卷积神经网络也逐渐应用在图像处理领域中。卷积神经网络在图像分类与图像特征的提取方面有着很好的效果，相对于传统目标检测方法卷积神经网络在检测准确率与精细度上有大幅的提升，其中yolov3就是其中一个优秀的神经网络。并且yolov3与其他检测网络相比，检测速度有很大的提升，但检测精度相对较低。

发明内容

本发明的目的在于提供一种基于卷积神经网络与注意力机制相结合的特征检测方法，提高检测精度。

为实现上述目的，本发明提供了一种基于卷积神经网络与注意力机制相结合的特征检测方法，包括以下步骤：

将yolov3网络与注意力机制进行结合，构建新的特征图谱；

采用自采集图像作为训练样本，对所述特征图谱进行训练；

利用训练后的所述特征图谱进行检测，并输出检测结果。

其中，将yolov3网络与注意力机制进行结合，构建新的特征图谱，包括：

将获取的原始特征图输入yolov3网络进行多次下采样，并将卷积得到的特征图进行挤压，得到对应的全局特征。

其中，将yolov3网络与注意力机制进行结合，构建新的特征图谱，还包括：

对所述全局特征进行激励，并学习各个通道的关系和计算不同通道的权重，然后与所述原始特征图进行乘积，得到特征图谱。

其中，采用自采集图像作为训练样本，对所述特征图谱进行训练，包括：

获取多张自采集图像，并将多张所述自采集图像划分为训练集和测试集，所述训练集和所述测试集的比例为4:1。

其中，采用自采集图像作为训练样本，对所述特征图谱进行训练，还包括：

对所述训练集进行采集和勾画，输入所述特征图谱，对所述特征图谱进行训练。

本发明的一种基于卷积神经网络与注意力机制相结合的特征检测方法，将yolov3网络与注意力机制进行结合，构建新的特征图谱，然后采用自采集图像作为训练样本，对所述特征图谱进行训练，利用训练后的所述特征图谱对图像进行检测，能提高检测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于卷积神经网络与注意力机制相结合的特征检测方法的步骤示意图。

图2是本发明提供的yolov3网络结构。

图3是本发明提供的注意力机制结构图。

图4是本发明提供的注意力机制原理。

图5是本发明提供的构建的新的神经网络与传统yolov3网络性能对比。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1，本发明提供一种基于卷积神经网络与注意力机制相结合的特征检测方法，包括以下步骤：

S101、将yolov3网络与注意力机制进行结合，构建新的特征图谱。

具体的，选取yolov3作为特征提取与检测主网络，将yolov3网络与注意力模块组合起来搭建新的神经网络，yolov3特征提取层采用五次下采样，每次特征提取将之前的特征图缩小为二分之一，在卷积层下面添加注意力机制模块(SE模块)，SE模块首先对卷积得到的特征图进行挤压操作，得到通道级的全局特征，挤压部分既是将原来的特征图大小如H*W*C,其中H为高度，W为宽度，C为通道数，使用全局池化层将特征层挤压到1*1*C，相当于压缩到一维，压缩到一维后，这一维参数获得了原来的感受野，感受区域更广。然后对全局特征进行激励操作，学习各个通道间的关系，也得到不同通道的权重，激励部分即是将挤压后得到的1*1*C特征部分后加入一个全连接层，对每个通道的重要性进行预测，得到不同通道的重要性权值后再作用(激励)到原来的H*W*C特征图对应的通道上，进行后续操作。最后乘以原来的特征图得到最终特征，然后经过全局平均池化、全连接层和特征加权后，输出最终结果。本质上，SE模块是在通道维度上做注意力或者门操作，这种注意力机制让模型可以更加关注信息量最大的通道特征，而抑制那些不重要的通道特征。以darknet53(yolov3特征提取网络)与注意力模块结合后的新网络提取更完全的特征图谱(feature map)，作为检测网络的输入。

如图2所示，yolov3使用预训练的daknet53t模型来进行初始特征图的生成，之后通过特征金字塔结构来整合上下文信息，将不同层特征图通过卷积层来生成最终的预测图。如图3和图4所示，图3即是对一次挤压与激励操作的示意图，先是进行挤压操作，即是将原来的特征图大小如H*W*C,其中H为高度，W为宽度，C为通道数，使用全局池化层将特征层挤压到1*1*C，相当于压缩到一维，压缩到一维后，这一维参数获得了原来的感受野，感受区域更广。再是进行激励操作，即是将挤压后得到的1*1*C特征部分后加入一个全连接层，对每个通道的重要性进行预测，得到不同通道的重要性权值后再作用(激励)到原来的H*W*C特征图对应的通道上，进行后续操作。通道注意力机制将特征提取层中的输出重新进行权值分配，使得提取到的特征更完全，更有利于检测网络检测。

S102、采用自采集图像作为训练样本，对所述特征图谱进行训练。

具体的，采用自采集图像作为训练样本，对搭建的新的神经网络进行训练，并将多张所述自采集图像划分为训练集和测试集，对训练数据进行采集与勾画，使用图像用于训练与测试，对于训练数据做归一化处理。本发明中数据包括4500张数据，其中训练集包括3600张数据，测试集包括900张数据。训练的过程即是对参数调整的过程，通过不断的训练寻找适合的参数以达到更好的预测效果，本专利与普通方法所不同的地方在于其他训练不关心通道的权值，本专利会同时对通道的权值进行训练，以提高预测准确率。

S103、利用训练后的所述特征图谱进行检测，并输出检测结果。

在相同的训练与测试数据以及相同的训练参数情况下对获取的数据集进行检测，将本方法中使用的神经网络检测效果与yolov3检测效果进行对比与分析，比较两种网络的map值，召回率，如图5所示，其中(a)是yolov3的map值，(b)是本发明网络map值，(c)是yolov3召回率，(d)是本网络召回率；图中可以看出使用本发明中的新型神经网络的map值，召回率两种衡量方式的值都比单独使用yolov3的训练时要高，提高检测精度。map是ap的平均值，即mean average presion，在机器学习中，可以将预测分为四种情况，True Positive(TP)：正实际为正实际为正，预测对了，False Negative(FN)：预测为负实际为正，预测错了，False Positive(FP)：预测为负实际为正，预测错了，True Negative(TN)：预测为负实际为负，预测对了。Presion(准确率)＝TP/(TP+FP)，Recall(召回率)＝TP/(TP+FN)，在多类别目标检测中，每个类别都可以根据presion和recall画出一条曲线，曲线下的面积就是AP值，所有类别的AP平均值就是mAP。

本发明利用现有的神经网络yolov3与注意力机制模块来搭建新的神经网络，yolov3的优势在于使用特征金字塔结构，融合多尺度特征，达到更好检测效果；注意力机制优势在于可以提取更完全的特征，将其提取到的feature map输入检测网络中，提高检测精度。为了充分结合两者的优势，新的神经网络结构保留了特征金字塔结构并将新网络的输出送入检测网络中。本发明相对于yolov3在检测效果以及各项性能度量值中都有一定的提升。

本发明的一种基于卷积神经网络与注意力机制相结合的特征检测方法，将yolov3网络与注意力机制进行结合，构建新的特征图谱，然后采用自采集图像作为训练样本，对所述特征图谱进行训练，利用训练后的所述特征图谱对图像进行检测，能提高检测精度。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。