一种基于改进可变形卷积的Faster RCNN火灾烟雾检测方法

摘要

本发明公开了一种基于改进可变形卷积的Faster RCNN火灾烟雾检测方法，属于图像处理技术领域，该方法包括以下步骤：获取火灾烟雾检测数据集，并进行数据集扩充，将改进的可变形卷积方式应用到Faster RCNN特征提取主干网络中，将扩充后的数据集输入到具有改进的可变形卷积方式的Faster RCNN特征提取主干网络中将进行特征提取，得到不同卷积块对应的特征图，对不同卷积块对应的特征图进行融合；将融合后的特征图输入到RPN网络中进行初步的烟雾识别，得到烟雾检测数据集中每个图片的烟雾候选框；分类回归网络基于烟雾候选框和提取到烟雾特征，对烟雾进行最终的识别和定位；通过特征融合的操作将浅层的细节特征和高层的语义特征进行融合，提高了网络对于小目标的检测能力。

说明书

技术领域

本发明涉及图像处理技术领域尤其涉及一种基于改进可变形卷积的Faster RCNN火灾烟雾检测方法。

背景技术

一般而言，火灾的演变分为四个阶段：不可见阶段、可见烟雾阶段、明火阶段和扩散阶段。为了将火灾造成的损失降到最低，火灾预警工作通常集中在前两个阶段。传统的火灾检测主要使用温度传感器、气体传感器等传感器来分析环境温度、烟雾颗粒等参数来判断是否发生火灾。但是这些检测方法局限性十分明显，这些传感器必须很靠近火点的情形下才能发出预警，所以这就需要大面积高密度的安装传感器，使得整个系统过于复杂，性价比低。随着科技的进步，基于视频和图像的火灾烟雾检测算法成为研究热门。烟雾具有明显的颜色、纹理、边缘、动态等视觉特征。所以基于视频和图像的检测算法都是通过对烟雾的上述特征进行提取和分类达到烟雾检测的目的；但是这些特征的设定是基于特定的场合，鲁棒性差；深度学习在图像领域的迅速发展，摆脱了手工设置特征，使得鲁棒性更强，所以目前主要采用基于深度学习的方法进行烟雾检测，通过神经网络的自主学习烟雾的特征，有效的提高烟雾检测的准确率，降低漏检率和误检率。

YOLO模型有较快的检测速度，但是检测精度较低；Faster RCNN有较高的检测精度；可变形卷积适应对象几何变化的能力可能远远超出了感兴趣区域，而我们的方法可以有效的限制自由采样的偏移范围，使得采样区域更好的集中在目标区域。

CN110197255A一种基于深度学习的可变形卷积网络，可变形卷积模块简单的将二维偏移量添加到标准卷积中的常规网格采样的位置，使得采样网格可以自由变形，偏移量是从前一层特征映射中通过卷积层得到；可变形ROI池化模块为池化层中每一个小分区位置添加一个偏移量，偏移量能从前面的特征映射和感兴趣区域中学习。

目前火灾烟雾数据集还不完善，给基于深度学习的火灾烟雾检测技术带来了困难，我们通过图像合成等技术扩充火灾烟雾数据集。现有火灾烟雾检测技术对于稀薄烟雾和远距离小目标烟雾还存在较大的漏检，我们的改进方法可以有效的降低漏检率。

发明内容

根据现有技术存在的问题，本发明公开了一种基于改进可变形卷积的FasterRCNN火灾烟雾检测方法，包括以下步骤：

S1:获取火灾烟雾检测数据集，并进行数据集扩充；

S2:根据火灾烟雾特有的非刚性形态，将改进的可变形卷积方式应用到FasterRCNN特征提取主干网络中，将扩充后的数据集输入到具有改进的可变形卷积方式的FasterRCNN特征提取主干网络中将进行特征提取，得到不同卷积块对应的特征图，对不同卷积块对应的特征图进行融合；

S3:将融合后的特征图输入到RPN网络中进行初步的烟雾识别，得到烟雾检测数据集中每个图片的烟雾候选框；

S4：分类回归网络基于烟雾候选框和提取到的烟雾特征，对烟雾进行最终的识别和定位。

进一步地：所述改进的可变形卷积方式应用到特征提取主干网络中的过程如下：

所述Faster RCNN特征提取主干网络中可变形卷积模块是将二维偏移量加入到标准卷积中的常规网格采样的位置，使得采样网格自由变形；

对于二维偏移量超出烟雾目标区域的情况，引入对数函数进行调制，使得要提取的特征集中在烟雾目标区域内。

进一步地，其特征在于：所述具有改进的可变形卷积方式采用的公式如下：

其中：标准卷积核大小为3×3，W

进一步地，公式(1)中的偏移量△P

进一步地，所述Faster RCNN特征提取主干网络包括可以采用：ResNet、VGG或MobileNet任意一种网络。

由于采用了上述技术方案，本发明提供的一种基于改进可变形卷积的FasterRCNN火灾烟雾检测方法，建立了一个改进可变形卷积的Faster RCNN火灾烟雾检测模型，首先通过改进的可变形卷积来增强网络对于像烟雾这种形变目标的空间建模能力，使用额外的偏移量来增加模块中的空间采样位置，并加入了调制参数限制了偏移范围，避免超出目标区域，从目标任务中不断学习偏移量和调制参数，并且可以通过标准的反向传播进行端到端的训练，提高了检测精度；然后通过特征融合的操作将浅层的细节特征和高层的语义特征进行融合，提高了网络对于小目标的检测能力；最后通过收集大量的火灾烟雾图片以及人工合成烟雾图片扩充烟雾数据集，提高了烟雾检测模型的泛化能力。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供基于改进可变形卷积的Faster RCNN模型的结构框图；

图2为本发明所提供的残差块示意图Ⅰ；

图3为本发明所提供的残差块示意图Ⅱ；

图4为本发明提供的可变形卷积结构示意图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

一种基于改进可变形卷积的Faster RCNN火灾烟雾检测方法，包括以下步骤：

S1、使用labelimg标注工具，制作火灾烟雾检测数据集，并通过图像合成技术进行数据集扩充；

S2、运用ResNet50作为Faster RCNN特征提取的主干网络，图1为本发明所提供基于改进可变形卷积的Faster RCNN模型的结构框图；根据火灾烟雾特有的非刚性形态，将改进的可变形卷积方式应用到Faster RCNN特征提取主干网络中，将扩充后的数据集输入到具有改进的可变形卷积方式的特征提取主干网络中进行特征提取，得到不同卷积块对应的特征图，对不同卷积块对应的特征图进行融合；

其中，ResNet50包含一个单独的卷积层、四组卷积块以及最后一个全连接层；每组卷积块分别包含图2所示的残差块，包含残差块数量分别为3个、4个、6个和3个；不同卷积块之间使用图3所示的残差块；将ResNet50网络的最后三个卷积块中的3×3的标准卷积方式替换成本发明提出的改进的可变形卷积。

所述Faster RCNN特征提取主干网络中的特征融合是利用了浅层的细节信息和深层的语义信息，充分利用了不同层之间所包含的信息。

S3:将融合后的特征图输入到RPN网络中进行初步的烟雾识别，得到烟雾检测数据集中每个图片的烟雾候选框；

S4：分类回归网络基于烟雾候选框和提取到烟雾特征，对烟雾进行最终的识别和定位。

进一步地，所述改进的可变形卷积方式应用到特征提取主干网络中的过程如下：Faster RCNN特征提取主干网络中可变形卷积模块是将二维偏移量加入到标准卷积中的常规网格采样的位置，使得采样网格可以自由变形；对于偏移量可能超出烟雾目标区域的情况，引入对数函数进行调制，使得要提取的特征集中在烟雾目标区域内。

进一步地，所述具有改进的可变形卷积方式采用的公式如下：

其中：标准卷积核大小为3×3，W

图4所示为改进可变形卷积模块，公式(1)中的偏移量△P

进一步地，得到具有改进的可变形卷积方式采用的公式的过程如下：

S2-1:在输入的特征图上使用标准的卷积进行采样：

S2-2:在标准卷积方式中加入偏移量之后的采样方式为：

S2-3:针对S2-2采样方式可能超出目标区域，本发明提出的调制函数为：

S2-4：加入调制函数之后的可变形卷积采样方式为：

进一步地，对不同卷积块得到的特征图进行特征融合，主要包括以下步骤：

S2-1-1：不同层得到的特征图包含信息不同，深层语义特征丰富，但是分辨率低；浅层分辨率高，适用于小目标检测；本发明融合了多层次的特征，这样不仅保留了浅层的细节特征，也包含了深层的语义特征。

S2-1-2：将ResNet50最后一个卷积块的输出进行反卷积操作，得到与第三个卷积块的输出相同的尺度大小；

S2-1-3：将ResNet50倒数第二个卷积块的输出进行反卷积操作，得到与第三个卷积块的输出相同的尺度大小；

S2-2-4：将上述两个步骤S2-1-2和S2-1-3得到的特征图与第三个卷积块得到的特征图进行对应相加操作进行融合；

S2-2-5：将融合后的特征图作为输入，输入到RPN网络中，生成烟雾目标区域候选框。

S2-2-6：将融合后的特征图和RPN网络中生成的候选框信息输入到分类回归网络中，进行烟雾的识别和定位。

进一步地，所述Faster RCNN特征提取主干网络包括可以采用：ResNet、VGG或MobileNet等任意一种网络。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。