一种融合红外和可见光图像的目标检测方法

摘要

本发明公开了一种融合红外和可见光图像的目标检测方法，包括如下步骤：S1、将红外图像和可见光图像分别输入到密集卷积网络的输入通道，通过密集卷积网络对所述红外图像和可见光图像的特征进行提取；S2、通过门控融合机制对红外图像的特征和可见光图像的特征进行全局特征融合得到融合后的特征图；S3、采用CSP检测器对融合后的特征图进行目标检测。

说明书

技术领域

本发明涉及融合红外和可见光图像的目标检测技术，主要用于电力应急机器人灭火作业中环境感知与侦测。

背景技术

近年来，自然灾害频发多发，世界多地陆续发生大面积停电事故，且在进行电力应急灭火作业过程中发生了人员伤亡事故，造成了巨大的人员和财产损失，电力应急管理体系建设和智能电力应急灭火作业越来越受到重视。电力故障应急处理有着特殊的危险性，如不可预知的二次爆炸、火灾产生的高温和有毒有害气体等，应急人员往往无法在保证人身安全的前提下第一时间深入现场，对变电站、开关站、配电房等室内故障进行迅速处置，进而延误了应急消防作业的最佳时机。

随着人工智能的快速发展，制造业的生产方式也在逐步发生变革。近些年，环境感知技术在应急作业机器人领域大放异彩，基于机器视觉的感知技术可以获取机器人周边环境的二维或三维图像信息，进而可以对作业环境进行感知。

因此，本发明以目标检测为主体展开研究，应急机器人携带红外摄像机和可见光摄像机，通过前端数据采集，将厂房图像传回中央处理器，通过目标检测技术，对厂房内负责的环境进行目标检测，从而感知应急作业机器人周围环境。传统的图像融合方法包括基于多尺度变换的方法(多尺度变换可以将原始图像分解为不同尺度的分量，其中每个分量代表每个尺度的子图像)、基于稀疏表示的方法、基于神经网络的方法、基于子空间方法、基于显著性方法等。近年来，随着深度学习的发展和计算能力的提升，神经网络在图像融合方面展现他的优势，基于卷积神经网络的方法成功应用于图像融合领域。传统的目标检测方法通过在整个图像上滑动一个小窗口，并检查创建的每个窗口中是否有对象确保检测到所有这些对象。滑动窗口实施起来非常慢，但是你选择的步长使每个窗口都能覆盖图像的一个新区域并且没有重叠的话，速度会更快。受到此方法的启发，YOLO使用网格而不是滑动窗口。本发明采用DenseBlock进行特征提取，并通过门融合机制，对红外图像和可见光图像进行全局特征融合，在通过CSP检测模块后得到目标检测结果。本发明有效地解决了受光照强度、天气情况导致的可见光图像在目标检测时效果变差的问题，另外将目标检测模块中目标的分类问题和检测框的回归问题转化成物体中心位置与背景的分类问题和物体尺度大小的回归问题，有效地实现了检测准确率和速度上的提升。

发明内容

本发明的目的是提供一种融合红外和可见光图像的目标检测方法，可以快速的对作业环境进行感知。

为了实现以上目的，本发明是通过以下技术方案实现的：

一种融合红外和可见光图像的目标检测方法，其特点是，包括如下步骤：

S1、将红外图像和可见光图像分别输入到密集卷积网络的输入通道，通过密集卷积网络对所述红外图像和可见光图像的特征进行提取；

S2、通过门控融合机制对红外图像的特征和可见光图像的特征进行全局特征融合得到融合后的特征图；

S3、采用CSP检测器对融合后的特征图进行目标检测。

步骤S2.1、采用门控融合机制进行图像融合，F

步骤S2.2、通过卷积核K∈R

通过一个sigmoid层对相关性矩阵归一化处理，得到归一化后相关性矩阵G：

步骤S2.3、令可见光图像相关性矩阵G

f′

f′

f′

⊙代表点积操作，当G

所述的步骤S3包括：采用CSP检测器将目标检测问题转化为物体中心位置与背景的分类问题和物体尺度大小的回归问题。

所述的步骤S3中通过一3×3卷积层将输入特征图的维度压缩到256，然后接上两个并联的1×1卷积层产生目标中心点热图和目标尺度预测图。

本发明与现有技术相比，具有以下优点：

采用DenseBlock进行特征提取，解决了深层网络的梯度消失问题，加强了特征的传播，实现了特征重用，更有效地利用了特征图，减少了模型参数。

采用了门融合机制，针对提取特征的不同特性，采取一种自适应的特征融合策略。

采用基于CSP的目标检测改进算法，把目标检测问题转化为物体中心位置与背景的分类问题和物体尺度大小的回归问题，有效地实现了检测准确率和速度上的提升。

附图说明

图1为本发明一种融合红外和可见光图像的目标检测方法的流程图；

图2为本发明密集卷积网络(DenseBlock)的算法流程图；

图3为本发明中门融合机制流程图；

图4为基于CSP检测器的目标检测图。

具体实施方式

以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。

如图1所示，一种融合红外和可见光图像的目标检测方法，包括如下步骤：

S1、将红外图像和可见光图像分别输入到密集卷积网络的输入通道，通过密集卷积网络对所述红外图像和可见光图像的特征进行提取；

S2、通过门控融合机制对红外图像的特征和可见光图像的特征进行全局特征融合得到融合后的特征图；

S3、采用CSP(Center and Scale Prediction，中心和规模预测)检测器对融合后的特征图进行目标检测。

如图2所示，进行特征融合的前提是特征提取。将一张可见光图像和一张红外图像(假定两张图像已经过数据对准)输入到双通道，分别记为I_A和I_B。Dense block架构可以在特征提取中尽可能保留较深的特征，并且可以确保融合策略中使用了所有显着特征。

第一步，在Dense连接结构中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。如果记x

x

其中[x

x

其中*代表卷积操作，w

在反向传播过程中权重得到更新，权重更新可以描述为

w′

w′

w′

w′

其中f代表权重更新函数，g

第二步，对DenseBlock结构微调，解决在反向传播过程中，DenseBlock反复学习复制的梯度信息的问题，通过截留梯度流，防止过多的重复梯度信息，并可以在降低计算代价的同时，提升准确率。通过将基本层的特征图分成两部分，然后通过一个跨阶段的层次结构合并它们来实现的。分割梯度流使梯度流通过不同的网络路径传播。

在DenseBlock中，通过通道x

前馈过程和权值更新方程分别如式(4)和(5)所示。

x

x

x

w′

w′

w′

w′

通过分块归并策略，可以使梯度路径的数量增加一倍。由于采用了跨阶段策略，可以减轻使用显式特征图copy进行拼接所带来的弊端。

如图3所示，所述的步骤S2包括：

步骤S2.1、采用门控融合机制进行图像融合，F

步骤S2.2、通过卷积核K∈R

通过一个sigmoid层对相关性矩阵归一化处理：

步骤S2.3、令可见光图像相关性矩阵G

f′

f′

f′

⊙代表点积操作，当G

所述的步骤S3包括：采用CSP检测器将目标检测问题转化为物体中心位置与背景的分类问题和物体尺度大小的回归问题。

所述的步骤S3中通过一3×3卷积层将输入特征图的维度压缩到256，然后接上两个并联的1×1卷积层产生目标中心点热图和目标尺度预测图。

如图4所示，最后对融合图像进行基于CSP的目标检测，通过一3×3卷积层将输入特征图的维度压缩到256，然后接上两个并联的1×1卷积层产生目标中心点热图和目标尺度预测图。

Yolov3借鉴了金字塔特征图思想，小尺寸特征图用于检测大尺寸物体，而大尺寸特征图检测小尺寸物体。共输出3个特征图，第一个特征图下采样32倍，第二个特征图下采样16倍，第三个下采样8倍。金字塔特征表示法(FPN)是解决目标检测尺度变化挑战的常用方法。但是，对于基于FPN的单级检测器来说，不同特征尺度之间的不一致是其主要限制。它们都多用concatenation或者element-wise这种直接衔接或者相加的方式，这样并不能充分的利用不同尺度的特征，所以使用自适应特征融合方式(ASFF)。自适应特征融合方式学习了在空间上过滤冲突信息以抑制梯度反传的时候不一致的方法，从而改善了特征的比例不变性，并且推理开销降低。

传统特征融合多采用直接相加或拼接的形式，而ASFF使用的是学习不同特征图的融合权重。三个特征图中的下采样倍数分别是32、16和8。ASFF_3的融合结构同时由三个特征图决定，表示为：

其中α、β、γ是可学习参数，

传统YOLO使用的损失函数可以分为三个部分，预测框的位置损失+预测框预测的类别的类别损失+预测框置信度损失。为了解决一阶段检测网络正负样本数量不平衡问题，RetinaNet使用Focalloss。CSP把目标检测问题转化为物体中心位置与背景的分类问题和物体尺度大小的回归问题。以更自然的方式实现目标检测，从而也规避了锚点框超参数的各种组合配置，简化了检测器的训练困难。

损失函数包含两个部分，第一部分是预测中心点位置的损失，第二部分是预测维度大小的损失。将预测中心点位置视为一个分类问题。由于预测一个准确的像素点是很难的，在训练中正样本点附近的点就会带来较多误差，不利于网络的训练。为了减少这种不确定性，采用在正样本点是添加二维高斯掩膜：

其中，K代表图片中目标数量,(xk,yk,wk,hk)代表k物体的中心点坐标、宽度和高度。方差

中心点的损失函数为：

其中，r为下采样因子，

在上述公式中，借鉴了Focalloss思想，有效解决了二分类问题中正负样本数量极不均衡问题。p

对于维度大小的预测，作者将其视为回归任务，具体损失计算如下：

其中，s

下采样特征图的缺点就是位置信息不准确，为了减少误差，可选择稍微调整中心位置，在上述两个并行的分支加上额外的偏移量预测分支。如果添加了偏移量预测分支，其损失计算也是使用SmoothL1损失函数，标记为L

最终的损失函数为：

L＝λ

设置λ

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。