一种基于椭圆特征金字塔的烟草甲虫识别方法

摘要

本发明公开了一种基于椭圆特征金字塔的烟草甲虫识别方法，包括如下步骤：搭建Faster R‑CNN网络；搭建由Resnet50作为骨干网络的特征金字塔网络，作为Faster R‑CNN的特征提取网络；结合椭圆表达式构建椭圆特征提取模块，并嵌入到由Resnet50作为骨干网络的特征金字塔网络中形成椭圆特征金字塔网络；在烟草甲虫数据集上以椭圆特征金字塔网络进行烟草甲虫识别检测。本发明以FPN网络作为Faster R‑CNN的特征提取网络，使用多层次特征图，以解决单一层次特征图不能同时获取小目标检测所需要的细节和语义特征信息的问题。在FPN网络中加入了椭圆特征提取模块，显著提高烟草甲虫的检测精度。本发明针对卷烟厂中的烟草甲虫进行检测，提高了检测精度，更具实用性。

说明书

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于椭圆特征金字塔的烟草甲虫识别方法。

背景技术

烟草在储存和卷烟生产过程中难免会被烟草甲虫所侵蚀，使得烟草品质下降，然而在卷烟车间烟草甲虫的防治一般通过人工干预，不仅费时费力，而且虫情监测效果极易受到工人主观因素的影响。本发明通过使用视觉目标检测方法可以实现虫情智能监测，解放人力。

烟草甲虫是一种典型的小目标，在自建数据集中，烟草甲虫所占像素平均在40×40像素，只占整幅图像大小的0.077％左右。小目标检测是目标检测领域中的难点，因为基于深度学习的目标检测算法为了检测更多复杂的特征往往会加深或加宽网络，同时为了减少计算量以及增加位移不变特性，网络中常常增加池化层，然而小目标所包含的像素点极少，池化层的下采样过程不可避免地会丢失部分或者全部小目标特征信息，但浅层特征语义信息不足，使得小目标检测精度低；同时目标框的定位精度也会影响检测精度，相对于中、大目标，目标的预测框产生偏移时给小目标检测指标交并比(Intersection-over-Union,IoU)带来的影响要大得多，小目标预测框偏移一点，IoU就会下降很多。

解决小目标检测精度低的问题首先是对数据进行处理，B Singh等人在2018年提出图像金字塔的尺度归一化(Scale normalization for image pyramid，SNIP)，SNIP搭建了3个感兴趣区域提取网络(Region Proposal network，RPN)作为分支，各自预测指定范围内的目标并且只回传指定范围内的目标检测损失，通过降低数据集内目标尺寸的分布差异，使用尺度归一化的方式提高小目标的检测精度，但是训练与测试数据的分辨率不一致时性能会下降很多；而单阶段多框检测器(Single Shot MultiBox Detector，SSD)系列算法以不同步长特征图作为检测层分别检测不同尺度的目标，一般使用低层的特征进行较小目标的检测，但低层特征图感受野较小，上下文信息缺乏，容易引入误检，并不适用于烟草甲虫这类小目标的数据集；Li等人在2019年提出的TridentNet，使用空洞卷积来增大感受野，通过使用不同空洞率的空洞卷积来搭建网络的3个分支，分别负责检测不同尺寸的目标，使得检测结果得到很大的提升，这种分治思想最初体现在He K等人提出的特征金字塔网络(Feature Pyramid Network，FPN)中，在FPN中，通过融合不同尺度的特征，利用不同层特征来检测对应尺度的目标。

综上，在进行小目标检测时，要通过特征融合的方法来提高上下文信息，增强小目标的特征表达能力，本发明使用鲁棒性较强的Faster R-CNN网络作为框架，使用FPN网络作为特征提取网络，并且基于对数据集的观察，在FPN网络中嵌入烟草甲虫椭圆特征，使得更深层次的特征既包含丰富的细节信息，又包含烟草甲虫的外观特征，保证深层次特征同时包含足够多的细节和语义信息。

发明内容

本发明提供了一种基于椭圆特征金字塔的烟草甲虫识别方法，以解决上述技术问题。

本发明采用的技术方案是：提供一种基于椭圆特征金字塔的烟草甲虫识别方法，包括如下步骤：

步骤1、搭建Faster R-CNN网络；

步骤2、搭建由Resnet50作为骨干网络的特征金字塔网络，作为Faster R-CNN的特征提取网络；

步骤3、结合椭圆表达式构建椭圆特征提取模块，并嵌入到由Resnet50作为骨干网络的特征金字塔网络中形成椭圆特征金字塔网络；

步骤4、在烟草甲虫数据集上以椭圆特征金字塔网络进行烟草甲虫识别检测。

作为基于椭圆特征金字塔的烟草甲虫识别方法的一种优选方式，所述搭建由Resnet50作为骨干网络的特征金字塔网络的方法包括：

在骨干网络中，将具有相同尺寸特征图的一段网络设为一个块，每两个块之间都采用步长为2的降采样，每一个块所输出的特征图尺寸为前一个块的1/2，每个块由个数不同的残差块结构堆叠而成，将Resnet50第一到第四个残差块的最后一个卷积层的输出表示为{R1，R2，R3，R4}，特征图通道数分别为64、512、1024和2048，将改进的特征融合网络对应层输出表示为{F1，F2，F3，F4}，由Resnet50作为骨干网络的特征金字塔网络则融合每一层的特征图。

作为基于椭圆特征金字塔的烟草甲虫识别方法的一种优选方式，步骤3所述的椭圆特征提取模块是基于烟草甲虫形状接近椭圆的事实，根据笛卡尔坐标系下的椭圆方程提取椭圆特征图E：

通过椭圆特征提取模块可以获得兼具高层语义信息和椭圆外观细节信息的特征图，具体方法为：

(1)将高层特征图R4经过两组卷积操作分别得到特征图x和y，两个特征图分别平方获得x

(2)

a＝f

f

(3)将x

(4)将椭圆特征图E与椭圆特征提取模块输入特征图R4进行通道连接获得特征图T，再经过一组卷积操作对T进行降维，最终获得输出特征图Output。

本发明的有益效果是：

1)本发明以FPN网络作为Faster R-CNN的特征提取网络，使用多层次特征图，以解决单一层次特征图不能同时获取小目标检测所需要的细节和语义特征信息的问题。

2)在FPN网络中加入了椭圆特征提取模块(EFEM)，显著提高烟草甲虫的检测精度。

3)本发明针对卷烟厂中的烟草甲虫进行检测，提高了检测精度，更具实用性。

附图说明

图1为本发明公开的烟草甲虫检测过程流程图。

图2、为本发明公开的Faster R-CNN网络的网络框架图。

图3、为本发明公开的网络整体结构图。

图4、为本发明公开的椭圆特征提取模块网络结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步详细描述，但本发明的实施方式不限于此。

一个完整的烟草甲虫检测过程包括：FPN网络(即由Resnet50作为骨干网络的特征金字塔网络)提取烟草甲虫特征、感兴趣区域(Region of interest，ROI)提取、烟草甲虫的检测和定位；针对烟草甲虫的检测问题，为提高检测精度，经过对数据集的大量观察与分析，在FPN网络中嵌入烟草甲虫椭圆特征提取模块，使得深层次特征加入烟草甲虫的外观细节特征。特征提取网络提取到的特征作为RPN网络的输入特征，提取感兴趣区域，对此区域进行ROI Pooling操作后提取得到ROI特征，再送入后续网络进行烟草甲虫的识别和边界框的回归。图1为烟草甲虫检测过程流程图。

步骤1，搭建Faster R-CNN网络。

Faster R-CNN网络由特征提取网络、感兴趣区域提取网络(RPN)以及包含分类和回归两个分支的检测头网络组成，如图2是Faster R-CNN网络的网络框架图，图片输入特征提取网络，提取的特征再输入RPN网络生成大量的目标候选框，再将所生成的目标候选框映射到原特征图中，此区域即为感兴趣区域，ROI Pooling层对大小不一的感兴趣区域进行池化操作，将感兴趣区域池化后的特征送入检测头网络中进行分类和目标边界框的回归，边界框回归可以调整目标的检测框，使得边界框可以很好地包围目标，对于烟草甲虫这类小目标，边界框的回归可以很好地缓解由边界框偏移而造成的检测精度下降的问题。

步骤2，搭建由Resnet50作为骨干网络的特征金字塔网络(Feature PyramidNetwork，FPN)，作为Faster R-CNN的特征提取网络。

图3为网络的整体结构图，整个网络中的特征提取网络是由Resnet50作为骨干网络的特征金字塔网络，在骨干网络中，具有相同尺寸特征图的一段网络称为一个块，每两个块之间都采用步长为2的降采样，每一个块所输出的特征图尺寸为前一个块的1/2，每个块由个数不同的残差块结构堆叠而成，本实施例将Resnet50第一到第四个残差块(分别对应图3中Res1、Res2、Res3、Res4)的最后一个卷积层的输出表示为{R1，R2，R3，R4}，特征图通道数分别为64、512、1024和2048，将改进的特征融合网络对应层输出表示为{F1，F2，F3，F4}，FPN则融合每一层的特征图。例如图3中的椭圆特征金字塔网络中的F4是由Resnet50网络第四个残差块(Res4)的输出特征图(R4)经过横向的1×1卷积改变特征图通道数、再融合R4经过椭圆特征提取模块提取到的特征图得到的，F3则是通过F4进行2倍上采样后融合Res3的输出特征图、再经过1×1卷积后得到的特征图，以此类推，F2、F1都是通过类似操作得到的。

FPN骨干网络由Resnet50网络搭建，代替传统的Faster R-CNN的特征提取网络，使用FPN网络可以融合多层次特征图的语义信息，弥补网络下采样过多而引起的小目标细节信息丢失的问题，为检测头网络提供具有更多目标信息的特征图。

步骤3，结合椭圆表达式构建椭圆特征提取模块(Ellipse Feature ExtractionModule，EFEM)，并嵌入到FPN中形成椭圆特征金字塔网络(Ellipse Feature PyramidNetwork，E-FPN)。

椭圆特征提取模块(EFEM)结构如图4，其中，

其中

a＝f

这里的f

为了使得深层次特征包含更多的细节信息，在得到椭圆特征之后将椭圆特征图和EFEM输入特征图R4进行通道上的拼接，使得拼接后的特征图T既包含深层的语义信息，又包含烟草甲虫的椭圆外观细节信息，再使用一组卷积操作对特征图T进行降维，得到EFEM模块的输出特征图Output与后续特征图在通道数上保持相等，便于下一步的特征融合操作。输出特征图Output计算如公式(3)：

Output＝Conv[Concat(R4,E)] (3)

Conv为卷积操作，Concat为通道上的拼接操作，Concat(R4,E)代表输入特征图R4和E进行通道上的拼接得到特征图T。

步骤4，在烟草甲虫数据集上以椭圆特征金字塔网络进行烟草甲虫识别检测。

将本方法与目前先进的检测算法在自建烟草甲虫数据集上的结果进行比较分析。通过标准化、缩放、剪裁等操作后将图片大小调整为1344×786，并且使用水平翻转和垂直翻转对数据进行增强，将提出的基于椭圆特征金字塔网络的烟草甲虫检测方法与FasterR-CNN(采用传统的FPN和使用神架构搜索得到的NasFPN作为特征提取网络)进行对比，在交并比(Intersection-over-Union,IoU)为0.5、0.6和0.7时本发明方法指标均达到了最高，实验结果如表1，其中E-FPN是提出的融入椭圆特征的金字塔网络。

为了验证本发明提出方法的泛化性能，将本发明所提出的方法应用于Cascade R-CNN框架下进行实验，同样是将本方法与采用FPN和NasFPN两种特征提取网络的Cascade R-CNN网络框架进行对比，实验结果如表2所示。

表1 FasterR-CNN框架实验结果对比

表2 Cascade R-CNN框架实验结果对比

根据表1和表2中的实验结果可知本发明提出的方法在Faster R-CNN和CascadeR-CNN两种框架下都取得了更好的结果，因此所提出的椭圆特征模块可以很好地提取到烟草甲虫的椭圆外观细节特征，并且通过融合更深层次的语义特征，使得更深层次的特征兼具语义信息细节信息，网络具有更好的特征表达能力，可以有效地提高烟草甲虫的检测精度，相比目前主流算法检测精度都有所提高，验证了本方法的有效性。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。