一种无人机多机协同侦察下的目标实时检测方法

摘要

本发明涉及一种无人机多机协同侦察下的目标实时检测方法，属于目标检测、计算机视觉领域。该方法包括：将多路可见光战场图像分别输入训练后的无人机侦察目标检测网络，获得各无人机单机视角下的无人机侦察目标信息；对可见光战场图像进行粗校正，对各无人机侦察目标进行粗匹配，得到近似无人机侦察目标；进行无人机侦察目标的精确配准，确定多视角下同一类无人机侦察目标；引用综合置信度算法，对每个目标多机侦察下的检测结果进行融合，确定目标的最终检测结果。本发明技术方案提升网络结构对小目标的检测效果，并提升了多机协同检测效果。

说明书

技术领域

本发明属于目标检测、计算机视觉领域，具体涉及一种无人机多机协同侦察下的目标实时检测方法。

背景技术

在新兴战争形式下，亟需全天时快速、有效获取战场目标信息，复杂战场环境存在侦察图像照度不均，烟雾遮挡、清晰度不足等问题，导致战场目标检测识别精度较低，现有无人机感知技术难以全面满足现代战场侦察需求。因此，为进一步提升无人机系统装备作战效能，满足战场态势实时感知、情报快速获取与目标精确侦察定位的迫切需求，基于无人机集群协同侦察的目标实时检测技术必将成为无人机多机协同侦察作战领域的研究热点。

目标自动识别技术能够直接的将数据资源转化为可用的情报信息，可有效提高战场作战响应能力，同时也是武器装备自动化的前提条件。无人机拍摄目标存在面积小，特征不明显的特点，因此如何稳定的对微弱目标的检测和识别，仍是亟需解决的问题。

发明内容

本发明采用一种基于深度学习的多机协同侦察目标检测技术，构建深层检测网络结构，在分类目标种类的同时，确定目标位置信息，结合基于残差融合补偿的无人机侦察目标提取技术，提升网络结构对小目标的检测效果；通过检测目标匹配技术，提取检测目标特征，进一步通过对比特征确定相同目标；设计多机检测决策模型，有效融合多机目标检测信息，提升多机协同检测效果。

根据本发明技术方案，提供一种无人机多机协同侦察下的目标实时检测方法，其特征在于，所述目标实时检测方法包括：

步骤1：将无人机采集的多路可见光战场图像分别输入训练后的无人机侦察目标检测网络，获得各无人机单机视角下的无人机侦察目标信息；

步骤2：提取处理当前可见光战场图像对应的无人机姿态信息对该可见光战场图像进行粗校正，根据无人机侦察目标粗定位经纬度信息，对各无人机侦察目标进行粗匹配，得到粗匹配后的近似无人机侦察目标；

步骤3：提取各无人机侦察目标的显著特征，进行无人机侦察目标的精确配准，确定多视角下同一类无人机侦察目标；

步骤4：根据多无人机拍摄视角下同一类无人机侦察目标的匹配结果，引用综合置信度算法，对每个目标多机侦察下的检测结果进行融合，确定目标的最终检测结果。由此纠正单机无人机侦察目标分类错误情况，提升目标检测准确率。

进一步的，所述步骤1具体包括：

步骤11：无人机集群系统搭载光电载荷，进行多路可见光战场图像的采集，并通过链路回传；

步骤12：将采集的多路可见光战场图像分别输入训练后的无人机侦察目标检测网络；

步骤13：将可见光战场图像划分成均匀的网格，针对每个网格预测多个边框信息，并由此预测出多个目标窗口；

步骤14：根据(阈值<0.5)去除可能性较低的目标窗口，并基于非极大值抑制(Non-maximum suppression，NMS)算法去除冗余窗口；

步骤15：获得目标位置及类别。

进一步的，步骤12中，采用无人机实拍视频建立训练数据集，对无人机侦察目标检测框架进行训练及优化，构建单机目标检测网络。

进一步的，步骤12中，采用多尺度特征融合算法进行特征提取，在特征融合过程中，将大尺度的特征图进行缩放后与小尺度的特征图融合，并在最后一层对四个尺度特征图进行合并，得到最终的高层特征。

进一步的，步骤13中，所述边框信息包括每个边框是目标的置信度以及每个边框区域在多个类别上的概率。

进一步的，针对无人机侦察目标检测框架，对网络最后层的卷积通道数缩减，最后一个模块的卷积核数量为512个。

进一步的，所述步骤2具体包括：

步骤21：根据无人机姿态信息，通过采集地面控制点的方式，对该可见光战场图像进行图像几何校正，实现粗校正；

进一步的，步骤21中，所述无人机姿态信息为载荷角、俯仰角等位置信息。

步骤22：根据无人机下传的图像复接数据，解析出无人机侦察目标中心点处的经纬度信息，根据所述经纬度信息进行无人机侦察目标中心点之间实际距离的计算，当无人机侦察目标之间距离小于预设阈值(0.5～2米)时，得到粗匹配后的近似无人机侦察目标。

进一步的，所述步骤3具体包括：

步骤31：提取出粗匹配后的各个近似无人机侦察目标的目标图像区域；

步骤32：将所述目标图像区域输入目标匹配网络，进行特征提取；

步骤33：通过提取的特征计算各个近似目标之间差异性进行精确配准，当差异性小于阈值(0.1～0.3)时，确定为多视角下的同一类无人机侦察目标。

进一步的，所述步骤4具体包括：

步骤41：根据各无人机单机视角下的无人机侦察目标信息，得到各个无人机侦察目标的检测类别；

步骤42：根据匹配后的同一类无人机侦察目标，获取每个目标在多机侦察下的检测结果；

步骤43：引入综合置信度，对每个目标多机侦察下的检测结果进行融合，确定目标的最终检测结果。

进一步的，所述步骤43具体包括：

假设共有n架无人机对同一区域进行拍摄，场景中共有K类目标，第i架飞机检测过程用f

对目标O而言，同一次拍摄过程中，检测到目标O是k类的综合置信度用C

以目标O的综合置信度最大的类别作为检测的最终类别K

本发明与现有技术相比具有如下优点：

1)本发明采用改进的YOLO-v3网络结构，重整多尺度特征图，缩减网络结构的卷积通道数，对无人机集群回传图像进行目标检测，提升了检测速度，解决了无人机视觉下微弱目标检测效果差的问题；

2)本发明采用无人机实时参数信息对图像进行校正，并根据目标定位的经纬度信息，进行目标的粗匹配，提升了目标匹配效率及准确率；

3)本发明采用综合置信度算法，对多机协同侦察下的目标检测结果进行融合决策，极大提高了复杂场景下无人机集群实时目标检测精度。

附图说明

说明书附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

在附图中：

图1为本发明无人机集群协同侦察下的目标实时检测算法总体流程图；

图2为本发明目标检测流程图；

图3为本发明深度网络结构示意图；

图4为本发明目标特征提取结构示意图；

图5为本发明图像组件分割可视化示意图；

图6为本发明多机协同目标匹配网络结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

多个，包括两个或者两个以上。

和/或，应当理解，对于本发明中使用的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本发明采用一种无人机多机协同侦察下的目标实时检测方法来快速获取复杂战场环境下的侦察目标信息，为指挥决策提供高精细情报信息。以无人机光电载荷拍摄的可见光图像为例，首先，基于改进的YOLO-v3目标检测模型，对无人机集群中各单机回传的侦察图像进行多类关注目标的检测，获取目标位置与类别信息；然后，根据无人机飞行参数对图像进行粗矫正，根据目标粗定位结果经纬度信息，对多机检测目标进行粗匹配，然后通过学习物体具有显著性差别的特征，进行精确配准，完成多机侦察目标的匹配；最后，引用综合置信度算法，对多机协同侦察下的相同目标信息进行融合，提高目标检测精度。算法总体流程如图1所示。

算法可归纳为以下步骤：

1)无人机集群系统搭载光电载荷，进行多路可见光战场图像的采集，并通过链路回传；

2)将各路视频图像分别输入目标检测框架，获得各无人机单机视角下的侦察目标信息；

3)提取当前处理视频图像对应的无人机参数信息对图像进行粗校正，根据目标粗定位经纬度信息，对各无人机侦察目标进行粗匹配；

4)提取各无人机侦察目标的显著特征，进行目标的精确配准，确定多视角下同一目标的侦察信息；

5)根据多无人机拍摄视角下相同目标的匹配结果，引用综合置信度算法，纠正单机目标分类错误情况，提升整个无人机集群系统的目标检测精度。

由此，本发明的技术解决问题：基于无人机集群侦察图像特点和国内现有技术在无人机集群侦察下目标实时检测方面的缺陷，统筹算法性能和适应性，提出了一种无人机多机协同侦察下的目标实时检测算法，解决了无人机集群侦察系统中战场目标检测精度低的问题。主要包括：

1)尺度多样性，航空遥感图像从几百米到近万米的拍摄高度都有，且地面目标即使是同类目标也大小不一，对目标检测器的通用性要求较高；

2)视角特殊性，航空遥感图像的视角基本都是高空俯视，但常规目标检测场景大部分还是地面水平视角，所以同一目标的模式是不同的，在常规数据集上训练的很好的检测器，使用在航空遥感图像上可能效果很差；

3)受光照、气候条件和成像机理的限制，无人机单机拍摄的图像具有局限性，不能完全体现战场目标信息问题；

4)目标尺寸问题，根据无人机飞行经验，无人机侦察图像中目标尺寸通常在50×50以下，造成目标特征不明显，分类准确率较低；

5)背景复杂度高，视野中可能包含各种各样的背景，会对目标检测产生较强的干扰。

下面结合流程图对算法实施过程中涉及的关键技术进行详细说明。

无人机侦察目标检测模型构建

本发明基于改进的YOLO-v3网络实现无人机视觉下的目标检测，将目标候选区域选择、特征提取、目标定位及识别综合到一个神经网络中。

给定一幅输入图像，首先将图像划分成均匀的网格；对于每个网格，都预测多个边框(包括每个边框是目标的置信度以及每个边框区域在多个类别上的概率)；获得预测出的目标窗口后，根据阈值去除可能性较低的目标窗口，最后基于非极大值抑制(Non-maximumsuppression，NMS)算法去除冗余窗口即可。可以看到，整个过程非常简单，不需要中间的候选区域提取过程，直接进行网络回归便可完成位置和类别的判定。本文的检测方法包括三个部分：候选框获取、多尺度融合检测、目标分类，在目标检测的过程中，将部分预测框的置信度置为零，以降低网络学习的难度。检测流程如图2所示。

针对无人机视觉下，目标一般较为弱小、及其要求实时性较高等特点，在YOLOv3网络的基础上，重组多尺度特征图，提升小目标识别精度，同时缩减卷积通道数使网络变窄，提高检测速度。深度网络结构示意图如图3所示。

特征提取方面采用多尺度特征融合算法，在特征融合过程中，并不是对大尺度的特征图做最大值池化后与小尺度的特征图做融合，而是采用将大尺度的特征图进行缩放然后和小尺度的特征图融合的方式。在最后一层对四个尺度特征图进行合并，得到最终的高层特征。

同时，为了提升网络检测速度，对网络最后层的卷积通道数进行缩减。首先，网络越深且越宽一般而言效果也会越好，但同时计算量和参数量也会随之增加，这样就导致算法速度变慢，因此需要做一个平衡。首先是更窄：在YOLO v3算法中，最后的几个卷积层都比较宽(比如卷积核数量是1024)，在前面引入特征融合后就不大需要这么多的卷积核了，于是对这些层的卷积核数量做了缩减。最后一个模块的卷积核数量只有512个，相比Yolo算法的最后卷积层，卷积通道数减少一倍，极大减少了网络参数，从而进一步提高检测速度。

多机协同检测目标匹配技术

通过学习物体具有显著性差别的特征进行多机拍摄下的图像目标物体匹配。通过构建的深度网络将图像均匀划分为多个组件，提取图像目标的各组件特征，对不同的组件使用不同的损失函数训练，并根据目标类型将图像物体的各组件重新划分，从而使物体的各组件符合实际分布情况。

本发明构建的目标特征提取网络，采用常见的GoogLeNet，VGG-Net，ResNet和DesNet等网络作为特征提取的基础。具体网络结构如图4所示。

在上述网络结构中，其中卷积网络以ResNet50作为卷积的基础网络为例。在ResNet50网络中全均值池化层被抛弃，并将提取的特征分为P个水平条纹。在各条纹上采用全局均值池化的操作，得到P个2048维度的向量。再用1*1卷积核进行降维操作，将每个条纹特征变为256维。最后，对每个条纹对应的特征向量，分别采用n类别的softmax多分类损失函数训练得到P个n分类器。在测试阶段，P个特征向量会串接为一个描述子用于匹配目标物体。另外，用作测试的特征向量可以来自于2048维，也可以采用来自256维的特征向量串接。

由于采用均匀分割的方法将使组件的边缘信息丢失，造成特征提取不够准确。本发明提出了一种新的分割方法，该方法主要是将之前均匀分割的图像组件，再次重新进行调整，是一种软分割的方法。

由图5可知，对目标区域进行均匀分割会导致组件分割不准确。图中的part1到part6分别代表分割目标第一个组件至第6个组件，可以看到各组件在边缘轮廓处确实会有交叉，所以需要新的方法进行组件的重新划分。使用本发明的方法，能够使某个组件边缘部分的轮廓点重新划分到临近的组件上，保持一个组件内的连续性，使得应用组件的模型性能得到增强。通过重定位外围像素点到它更适合的组件中，精调原来均匀分割的组件，使各组件内具有连贯性。

本发明将重新分割组件的方法融入到构建的神经网络中，如图6所示。通过加入重新划分组件的方法，对各组件精确划分，使用全局均值池化操作，使各组件内部保持连续性，保证了各组件的完整性。更加有利于特征的提取，完成目标匹配的过程。

实际使用时，首先根据无人机飞行参数对图像进行粗矫正(图像几何校正)，根据目标粗定位结果经纬度信息，对多机检测目标进行粗匹配，再通过上述特征精确配准各无人机拍摄目标，获取对应关系。

多机协同检测决策技术

实际飞行时，可以通过多机协同检测的方式提升检测准确率。多架无人机多角度对侦察区域进行侦察时，拍摄角度不同，但拍摄时间近似相同，因此检测过程是相互独立的，因此本发明设计如下决策模型对多机协同检测结果进行决策。

假设共有n架飞机对同一区域进行拍摄，场景中共有K类目标，第i架飞机检测过程用f

对目标O而言，同一次拍摄过程中，检测到目标O是k类的综合置信度用C

实际使用时，以目标O的综合置信度最大的类别作为检测的最终类别K

此时，定义检测目标O的类别为K

由于每个检测过程是相互独立的，于是集合M中的无人机均检测到目标O属于类别k时，检测错误的概率可以表示为

Π表示连乘符号。那么检测正确的概率为

实际情况下，通过综合置信度的引用，能够纠正由于拍摄角度或其他条件影响导致单机分类错误的情况，提升分类准确率。同时，由于多机协同检测结果的作用，会提升图像最终检测正确率。根据单机目标检测的经验，实际检测时单机检测目标的置信度通常在0.6左右，那么如果两架无人机同时检测到目标属于同一类时，检测正确的概率由式(4)可以计算得到P＝1-0.4*0.4＝0.86。那么如果三架飞机同时检测到某一目标属于同一类别时，准确率可以提升到P＝1-0.4*0.4*0.4＝0.936。实际情况下单机检测的置信度通常由拍摄角度和画面清晰程度等指标综合决定。

综上，本发明所提供的一种无人机多机协同侦察下的目标实时检测方法，主要包含深度检测模型构建技术、多机协同检测目标匹配技术和多机协同检测决策技术三部分内容。

深度检测模型构建部分主要进行单无人机拍摄图像的目标检测，获取单视角图像中战场目标的位置和类别信息。以YOLO-v3网络为基础，改进其网络结构，重整多尺度特征图，提升无人机视觉下弱小目标的检测能力，缩减网络结构的卷积通道数，提升检测速度。并根据无人机实拍视频建立训练数据集，完成深度网络模型的训练及优化，构建单机目标检测框架。

多机协同检测目标匹配部分主要进行多视角图像下，同一目标的匹配。首先根据无人机飞行参数对图像进行粗矫正，根据目标粗定位结果经纬度信息，对多机检测目标进行粗匹配，然后通过学习物体具有显著性差别的特征，进行精确配准，完成多拍摄视角下的目标匹配。

多机协同检测决策部分主要对匹配后的多视角目标信息进行融合决策。通过综合置信度的引用，纠正由于拍摄角度或其他条件影响导致单机分类错误的情况，提升分类准确率。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。