联合ADS-B信息的基于深度学习的机场场面运动目标识别方法

摘要

本发明公开了一种联合ADS‑B信息的基于深度学习的机场场面运动目标识别方法，方法结合了变化检测运动静止判断的思想和目标检测中特征提取以及分类、回归模块，同时对变化检测算法中基于时间直方图的背景建模方法进行改进，以获得更精确的背景图像；采用航空器已有的ADS‑B技术进行辅助训练，增强特征提取能力，改善检测结果。综合变化检测算法和目标检测算法的思想和优点。

说明书

技术领域

本发明涉及机场目标识别领域，具体涉及一种联合ADS-B信息的基于深度学习的机场场面运动目标识别方法。

背景技术

近年来，全球民航载客量持续增加，机场结构日益复杂，机场场面愈加拥挤，管理员对场区地面运动目标的目视监视难度逐渐增加，人工指挥与管理的安全隐患越加明显。为了满足自动化场面监视的需求，通过多个摄像头拍摄，覆盖整个机场场面区域的监控系统被应用到现代机场场面监视中。相比于其他的传感器而言，计算机视觉技术拥有得天独厚的优势，原因在于视频的传播信息的方式更加直观和真实，人眼能够直观的捕捉展示在视频中的关键信息。于是基于计算机视觉技术的机场智能化应用逐渐成为自动化场面监视技术的主流。基于计算机视觉技术获取的视频数据信息量非常丰富，在此基础上可以开发诸如非法入侵提醒，撞击预警等智能应用。作为许多基于视频的智能应用的基础，变化检测和目标检测算法已在近些年有了很大进展，但在机场场面监视应用时存在一定的局限性。

变化检测算法的目的是将图像序列或视频中发生空间位置变化的前景物体呈现并标记出来，传统的变化检测算法主要是利用背景减法技术，利用少量的输入视频帧估计出初始干净的背景图像，然后在估计的背景和输入视频帧之间进行像素分割，并不断更新背景模型。在方法ViBe中，提出了三种背景模型更新策略:随机背景样本替换来代表短期和长期历史，无记忆更新策略和通过背景样本传播的空间扩散策略，这些策略已被最新的最先进的变化检测技术广泛采用，但传统的方法是无监督的，算法的性能取决于所建立的背景模型的质量，在机场场景中，由于光照、阴影等因素导致背景频繁变化，影响检测结果。近年来，大量的基于卷积神经网络(CNN)的有监督变化检测技术被提出。基于卷积神经网络的变化检测算法通过对输入图像多尺度特征进行编码，然后使用转置卷积神经网络进行解码，实现特征到前景像素的概率映射，并逐一判断每个像素属于前景还是背景，虽然基于卷积神经网络的变化检测算法精度相较于传统方法有了很大的提升，并在AGVS(机场场面监控数据集)中取得了良好的精度，但这些方法比较复杂，速度很慢，很难在机场场面视频实时监控中发挥作用。

作为计算机视觉中的经典任务，目标检测任务一直是该领域的研究热点。目标检测的目的是找到具有不同几何形状的对象，以及为每个检测到的对象分配一个准确的标签。这是一项具有挑战性的任务，因为对象可以在自然图像中以任何比例、形状和位置出现，而且同一类对象的外观可能非常不同。传统的目标检测算法通常用滑动窗口的方式，通过SIFT，HOG等特征提取算法对每个窗口进行特征提取，之后对提取的特征利用机器学习算法，比如支持向量机等进行分类，最终得到该窗口是否包含某一类物体。这就导致传统目标检测算法存在计算量比较大，运算速度慢，常常会产生多个正确识别的结果的缺点；在深度学习快速发展的推动下，研究人员设计了更加有效的目标检测算法，目标检测算法可分为两阶段和一阶段两种方法，两阶段的目标检测算法首先生成可能包含物体的候选区域，然后对候选区域做进一步的分类和校准，得到最终的检测结果。而一阶段的没有生成候选区域的步骤，直接生成结果。因此，前者工作速度较慢，但检测精度较高。与像素级分割的变化检测算法相比，目标检测只需要找到当前目标的所在区域，计算成本大大降低。但在机场场面监视的特定场景中，常常会出现大部分飞机静止在停机坪，只有少部分飞机在运动。而其中，我们感兴趣的仅仅是运动的目标，而目标检测算法会将画面中所有的目标全部检测，这不仅会造成信息的冗余，算法的显示结果也不够直观。

机场场面不同于其它场景，大多数民用航空飞机都搭载了ADS-B系统，该系统是一种广播式自动相关监视系统。搭载了该系统的飞机，就可以通过数据链广播其自身的一些信息，这些信息包含了飞机的位置(四维坐标，精度、维度、高度、时间)，飞机的飞行速度以及呼号(飞机的身份信息)，还包含了一些其它信息。目前，已经有一些工作，可以根据ADS-B中的四维图像信息和相机位置，通过映射的方法，映射到二维图像坐标当中。而ADS-B信号正是运动飞机目标独有的信息，因此可以借助ADS-B信息，提出一种全新的机场场面运动目标识别策略，满足机场场面监视的特殊性和实时性要求，以实现基于计算机视觉技术的机场智能化应用。

发明内容

针对现有技术中的上述不足，本发明提供了一种联合ADS-B信息的基于深度学习的机场场面运动目标识别方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种联合ADS-B信息的基于深度学习的机场场面运动目标识别方法，包括如下步骤：

S1、对ADS-B信息进行解码，利用飞机返回的三维数据及相机得位置将ADS-B数据对应到二维图像中；

S2、对机场场面监控数据集中的场面监视视频序列进行标注，得到真实边界框，同时选取前十段视频序列为训练集，后十段视频序列为测试集；

S3、构建运动目标识别网络，利用所构建的运动目标识别网络输出所估计的背景图像；

S4、将步骤S3得到的所估计的背景图像与当前帧图像作为运动目标识别网络计算目标候选框的类别以及目标候选框的边界信息；

S5、将S4得到的目标候选框类别和目标候选框的边界信息与S2标注的真实边界框进行对比，并利用交叉熵损失函数和smooth

S6、将运动目标识别网络的损失函数反向传播进行学习，得到训练好的运动估计网络，并利用训练好的运动估计网络对机场场面进行运动目标识别。

进一步的，所述S3中构建的运动目标识别网络包括级联的运动判断模块和目标检测模块，其中，运动目标识别网络的输入为当前帧、当前帧ADS-B解码后的位置信息和标号信息、当前帧的历史前30帧图像。

进一步的，所述S3中所估计的背景图像的计算方法为：

将最近历史帧图像输入运动判断模块，连续通过多个多尺度特征接收快，每个特征快捕获大小为1×1、3×3和5×5感受野的最大响应，得到所估计的背景图像。

进一步的，所述目标检测模块包括依次级联的主干网络、特征金字塔网络以及回归和分类网络，其中，主干网络为ResNet网络，用于计算整个输入图像的卷积特征；特征金字塔网络通过自上而下的路径和横向连接增强所述目标检测模块；回归和分类网络均为多尺度卷积神经网络。

进一步的，所述S5中分类损失函数和回归损失函数分别表示为：

其中，t

本发明具有以下有益效果：

1、本方法解决了目标检测算法无法分辨目标运动与静止的问题，更适用于机场场面监视场景。

2、采用多尺度接受性特征块级联作为背景建模方法，能够更准确地识别出运动的目标，得到精确背景图像。

3、采用航空器特有的ADS-B技术，提高航空器检测精度，为机场提供更有效的场面监视方案。

附图说明

图1为本发明联合ADS-B信息的基于深度学习的机场场面运动目标识别方法流程示意图。

图2为本发明的运动估计模块网络结构。

图3为本发明的目标检测模块网络结构。

图4为本发明运动估计模块的输出与基于时间直方图方法得到估计背景的比较结果。

图5为本发明实现运动目标识别算法与RCNN目标检测算法比较结果。

图6为本发明实现运动目标识别算法与RCNN目标检测算法在AGVS数据集部分视频序列的mAP结果。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

一种联合ADS-B信息的基于深度学习的机场场面运动目标识别方法，如图1所示，包括如下步骤：

S1、对ADS-B信息进行解码，利用飞机返回的三维数据及相机得位置将ADS-B数据对应到二维图像中；

S2、对机场场面监控数据集中的场面监视视频序列进行标注，得到真实边界框，同时选取前十段视频序列为训练集，后十段视频序列为测试集；

对于基于深度学习的算法而言，数据集有着至关重要的作用。因此我们选取AGVS(机场场面监控数据集)中的部分机场场面监视视频序列，本实施例里通过labelme软件对每帧图片运动的飞机目标进行手工标注，并将前十段视频序列设定为训练集，后十段视频序列设定为测试集

S3、构建运动目标识别网络，利用所构建的运动目标识别网络输出所估计的背景图像；

根据所提出的运动判断模块以及目标检测模块的基础算法框架，我们将二者级联得到最终的运动目标识别网络，网络的输入为当前帧、当前帧ADS-B解码之后的位置信息及标号信息以及当前帧的历史前30帧图像，其中，当前帧的历史前30帧图像输入到如图2所示的运动估计网络，运动估计网络的输出为所估计的背景图像，输出的可视化结果与基于时间直方图的对比结果如图4所示，二者均采用30帧历史图像得到当前帧的背景图像。

基于时间直方图的背景估计方法被广泛的应用于变化检测算法中，时间直方图实现背景估计的方法如下。首先，在每个像素位置，获得时间直方图：

其中，I(m,n,t)代表第t帧图片(m,n)位置的像素值。由像素时间直方图，可以得到特定位置(m,n)的背景像素强度：

其中，argmax(.)是直方图点(m,n)处像素值l统计的最大值。图4给出了基于时间直方图方法的背景估计结果。然而，由于机场场景中运动目标的速度较慢，且往往存在着频繁的运动静止，基于时间直方图的方法不能产生良好的效果。因此，我们提出基于卷积神经网络的运动估计网络。结构如图2所示。网络的输入为最近历史帧图像，连续通过多个多尺度接受特征块，每个特征块捕获大小为1×1、3×3和5×5感受野的最大响应，最终得到估计的背景特征图。这使我们能够在获得背景统计信息的同时还能确保网络对不同变化场景的适应性。所提出的运动估计网络的可视化对比结果显示在图4中，由图可知，基于时间直方图的背景估计方法会因飞机目标运动缓慢而出现出现鬼影现象，所提出的运动估计网络得到背景更为准确。

目标检测模块由一个主干网络、特征金字塔网络和回归和分类网络组成，如图3所示。我们采用ResNet网络作为主干网络，主干网络负责计算整个输入图像的卷积特征图，为特征金字塔网络提供高维的图片特征。特征金字塔网络(FPN)通过自上而下的路径和横向连接增强了标准的卷积网络，可以被用来检测不同尺度的物体。在金字塔特征图的每一层，采取256个通道的输入特征图，并设置9个锚点。在得到特征图后，首先由ADS-B信号作为指导，选择一个概率区域，如图3所示，红色区域为概率区域，并且在此区域中用特征图上进行搜寻，最终由回归和分类生成目标候选框。

S4、将步骤S3得到的所估计的背景图像与当前帧图像作为运动目标识别网络计算目标候选框的类别以及目标候选框的边界信息；

S5、将S4得到的目标候选框类别和目标候选框的边界信息与S2标注的真实边界框进行对比，并利用交叉熵损失函数和smooth

所得到的背景估计图像与当前帧图像作为主干网络和特征金字塔网络的输入，由目标检测网络计算得出候选框的类别以及候选框的边界框信息(框的左上顶点坐标和宽高)，由这些参数与标注好的真实边界框(ground truth)对比，并且由交叉熵损失函数和smooth

其中t

S6、将运动目标识别网络的损失函数反向传播进行学习，得到训练好的运动估计网络，并利用训练好的运动估计网络对机场场面进行运动目标识别。

本实施例里，损失函数的反向传播也会通过运动估计模块，我使用初始学习率为1×10

通过对实验结果的数据分析判断最适合机场场景的历史帧数量选取。我们采用目标检测的评价指标mAP来评估检测结果的精度由于本发明首次提出运动目标识别这一概念，并无相关算法可供对比，因此选用目标检测算法RCNN作为对比。实验结果如图6所示，可以看到当历史帧选取为30帧时平均精度最高，且因RCNN算法无法分辨运动静止，精度较差。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。