融合可见光与红外两波段图像目标特征的目标识别方法

摘要

本发明公开一种融合可见光与红外两波段图像目标特征的目标识别方法，所述方法包括对可见光与中、远红外两波段图像进行目标配准阶段和对可见光与中、远红外两波段图像进行目标识别阶段。该方法是一种以目标整体区域为出发点，在配准可见光与红外两波段图像同一目标区域的基础上实现融合可见光与红外两波段图像目标特征的目标识别方法。

说明书

技术领域

本发明涉及一种融合可见光与红外两波段图像目标特征的目标识别方法，属于目标识别技术领域。

背景技术

现代化战争迫切需求能够全天候将战场目标从复杂背景中识别出来。飞机、火箭弹、巡航导弹等重要军事目标的热辐射波长大多集中在3～5微米的中红外波段和8～10微米的远红外波段内；在不同的大气环境下，中红外波段和远红外波段辐射的透射率不同。可见光图像具有丰富的颜色信息、纹理信息，能够捕捉战场目标的细节。红外图像能全天候成像，很好地保留了目标的边缘信息，结构信息完整。中红外图像比远红外图像的纹理细节丰富、包含的信息多，尤其是在目标的高温热辐射集中区域；远红外图像比中红外图像整体偏亮。为了更高质量的全天候识别目标，融合可见光与红外两波段图像目标特征的目标识别成为关键技术。

目前，多源图像融合的研究大都是基于特征点匹配的像素级融合，当不同源图像数量增加且图像背景复杂化时，特征点匹配效果差，存在大量的误匹配特征点对，最终导致像素级融合图像存在重影现象，不利于后期的目标识别。

发明内容

针对上述技术问题，本发明旨在提供一种以目标整体区域为出发点，在配准可见光与红外两波段图像同一目标区域的基础上实现融合可见光与红外两波段图像目标特征的目标识别方法。

为实现上述目的，本发明采用如下技术方案：

一种融合可见光与红外两波段图像目标特征的目标识别方法，所述方法包括对可见光与中、远红外两波段图像进行目标配准阶段和对可见光与中、远红外两波段图像进行目标识别阶段。

在所述对可见光与中、远红外两波段图像进行目标配准阶段，先对波段进行粗分类后进行精配准；

首先将可见光图像进行中值滤波，中红外、远红外图像进行先中值滤波后直方图均衡，建立目标区域成像模型，提取图像目标区域，然后提取目标区域的空间灰度直方图特征，对所述目标区域进行在其所属光源下进行粗分类；其次根据各类包含的目标数量以及类与类之间的显著特征差异判定哪些可见光图像目标类、中红外图像目标类和远红外图像目标类属于同一类目标；当某类目标数大于或等于2时，提取该类各个目标在可见光、中红外和远红外图像中的空间边缘方向直方图特征，计算目标可见光图像与目标远红外图像之间的相似度，以及目标中红外图像与目标远红外图像之间的相似度，各自最大相似度对应的两种光源图像目标是同一个目标，以目标远红外图像为中间变量实现同类目标在3种光源下图像目标配准。

在所述对可见光与中、远红外两波段图像进行目标识别阶段，基于目标配准结果，建立目标可见光与红外两波段图像样本库，计算得到融合特征，将其输入到softmax分类器中，实现融合可见光与中、远红外两波段图像目标特征的目标识别。

另外还有Logistic、SVM、K-Means、Random Forest、KNN等分类器。Softmax 分类器识别的类别不局限于两类，可实现多类目标识别。Softmax分类器以互熵损失函数为代价函数，计算测试样本属于每个类别的概率，最大概率对应的类别即是该测试样本的类别。Softmax分类器看的是分类的准确率，对错误的分类敏感程度更高，它的损失函数值始终存在，是一个永不满足的分类器。因此，在深度学习领域我们使用的更多的是Softmax分类器。

所述对可见光与红外两波段图像进行目标配准阶段的具体过程为：

步骤1.1，对图像预处理，可见光图像进行中值滤波，中红外、远红外图像进行中值滤波和直方图均衡；

步骤1.2，根据可见光、中红外和远红外图像成像特点，确定图像目标区域与背景区域的特征差异，建立图像目标区域成像模型，提取多源图像中的目标区域；

步骤1.3，针对各单源图像，提取其每个目标区域的空间灰度直方图特征，计算每个目标区域之间的相似性，将各单源图像目标区域粗分类；

步骤1.4，比较可见光图像、中红外图像以及远红外图像中各类目标包括的目标数量，将所含目标数相同的可见光图像目标类、中红外图像目标类和远红外图像目标类对应起来，称之为同类型的可见光图像目标、中红外图像目标和远红外图像目标。若各单源图像中不同类目标包括的目标数量一致，则需要通过各类之间区分度大的目标特征(比如面积)来确定哪类可见光图像目标、中红外图像目标和远红外图像目标是属于同一类型的。

步骤1.5，当粗分类中某类目标数量大于或等于2时，提取该类各个目标在可见光、中红外和远红外图像中的空间边缘方向直方图特征；先进行目标远红外图像与目标中红外图像比较，再进行目标远红外图像与目标可见光图像比较；

步骤1.6，针对同类型的两种光源图像目标，计算目标的空间边缘方向直方图相似度。以远红外图像目标为中间变量，最大相似度对应的中红外图像目标与该远红外图像目标是同一个目标，实现同类目标中远红外图像目标和中红外图像目标配准；最大相似度对应的可见光图像目标与该远红外图像目标是同一个目标，实现同类目标中远红外图像目标和可见光图像目标配准。最终实现同类目标中可见光图像目标、中红外图像目标和远红外图像目标配准。

在所述对可见光与中、远红外两波段图像进行目标识别阶段的具体过程为：

步骤2.1，在所述步骤1.6中得到的配准过的目标基础上，目标建立目标可见光与中、远红外两波段图像样本库，一半作为训练集，一半作为测试集；

步骤2.2，用卷积神经网络自动提取可见光与中、远红外两波段图像目标的有效特征，得到融合特征，将其作为softmax分类器的输入，最终实现融合可见光与红外两波段图像目标特征的目标识别。

本发明具有如下创新：

1、融合了目标的可见光、中红外与远红外三波段图像特征进行目标识别，充分利用了目标不同源图像之间的互补信息。

2、在可见光与红外两波段图像目标配准阶段，提出先在单源图像上进行目标粗分类，再在同类目标中进行可见光图像目标、中红外图像目标与远红外图像目标的精配准，可提高目标配准速率。同时，目标粗分类阶段是在单源图像内进行的，可减小不同源图像成像特性不同造成的影响。

3、目标识别阶段用到了卷积神经网络，它可以自动提取目标可见光图像、目标中红外图像与目标远红外图像的融合特征，可减小人为提取特征带来的误差。

附图说明

图1是本发明可见光与红外两波段图像目标配准方法流程框图；

图2是本发明融合可见光与红外两波段图像目标特征的目标识别方法流程框图。

具体实施方式

该方法分为可见光与红外两波段图像目标配准和可见光与红外两波段图像目标识别两部分，具体步骤如下：

(1)可见光与红外两波段图像目标配准

当目标数量很大时，基于盲搜索机制的可见光与红外两波段图像目标配准方法的时间复杂度也大，所以本发明提出了基于先粗分类后精配准的可见光与红外两波段图像目标配准方法：

①图像预处理，可见光图像进行中值滤波，中红外、远红外图像进行中值滤波和直方图均衡；

②研究可见光、中红外和远红外图像成像特点，明确图像目标区域与背景区域的特征差异，建立图像目标区域成像模型；

③依据可见光、中红外和远红外图像目标区域成像模型，提取多源图像中的目标区域；

④针对各单源图像，提取其每个目标区域的空间灰度直方图特征，计算每个目标区域之间的相似性，认为相似度大于0.5的为同一类目标，实现各单源图像目标区域的粗分类(单源图像内目标先粗分类可减小不同源图像成像原理的差异对配准精度的影响)；

⑤比较可见光图像、中红外图像以及远红外图像中各类目标包括的目标数量，将所含目标数相同的可见光图像目标类、中红外图像目标类和远红外图像目标类对应起来，称之为同类型的可见光图像目标、中红外图像目标和远红外图像目标。若各单源图像中不同类目标包括的目标数量一致，则需要通过各类之间区分度大的目标特征(比如面积)来确定哪类可见光图像目标、中红外图像目标和远红外图像目标是属于同一类型的。

⑥当粗分类中某类目标数量大于或等于2时，提取该类各个目标在可见光、中红外和远红外图像中的空间边缘方向直方图特征；先进行目标远红外图像与目标中红外图像比较，再进行目标远红外图像与目标可见光图像比较；

⑦针对同类型的远红外图像目标和中红外图像目标，计算某个远红外图像目标与所有中红外图像目标的空间边缘方向直方图相似度，最大相似度对应的中红外图像目标与该远红外图像目标是同一个目标，实现同类目标中远红外图像目标和中红外图像目标配准。同理，实现同类目标中远红外图像目标和可见光图像目标配准，最终实现快速的可见光与红外两波段图像目标配准。

先进行远红外图像与中红外图像比较，再进行远红外图像与可见光图像比较，将远红外图像作为中间量。这里大于或等于2是指对应的可见光图像目标类、中红外图像目标类和远红外图像目标类包括的目标数量大于或等于2，这种情况下才需要利用目标图像的空间边缘方向直方图进行进一步的配准，如果对应的三源图像目标类包含的目标个数为1，那么这个目标对应的可见光图像、中红外图像与远红外图像就已经配准上了，不需要进一步的利用空间边缘方向直方图进行配准。每个目标均包括可见光、中红外与远红外3种光源的图像。比对都是基于两种光源属于同类型目标间的比对，都是两个两个比，3种光源的对比是通过将远红外图像作为中间量实现的。

(2)可见光与红外两波段图像目标识别

现已完成可见光与红外两波段图像中同一个目标的配准，在此基础上提取同一个目标的可见光与红外两波段图像特征用于目标识别。可见光与红外两波段图像目标识别的具体步骤为：

①建立目标可见光与红外两波段图像样本库，一半作为训练集，一半作为测试集；

②用卷积神经网络自动提取可见光与红外两波段图像目标的有效特征，得到融合特征，将其作为softmax分类器的输入，最终实现融合可见光与红外两波段图像目标特征的目标识别。本实施例采用的是softmax分类器，另外还有Logistic、 SVM、K-Means、RandomForest、KNN等分类器。Softmax分类器识别的类别不局限于两类，可实现多类目标识别。Softmax分类器以互熵损失函数为代价函数，计算测试样本属于每个类别的概率，最大概率对应的类别即是该测试样本的类别。 Softmax分类器看的是分类的准确率，对错误的分类敏感程度更高，它的损失函数值始终存在，是一个永不满足的分类器。因此，在深度学习领域我们使用的更多的是Softmax分类器。

该思路具有可行性，将本发明方法用于研究人体行为目标识别过程当中，对数据进行处理，作为输入数据输入到卷积神经网络中卷积神经网络进行局部特征分析，得到特征输出项，直接输入到Softmax分类器中，可识别走路、跑步、上下楼梯、站立等5种动作，识别率可达84.8％。同样，也可以将本发明方法应用到指纹纹型识别领域，特征提取的能力从大量指纹数据中学习到纹型特征，输入到Softmax分类器，得到指纹图像类别，在国际公开指纹数据集NISTDB4上测得纹型四分类准确率达94.2％。另外，将本发明方法应用于实地拍摄的可见光与中、远红外两波段图像目标识别中，目标包括轿车、摩托车，男生和女生，目标识别率可达96.8％

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。