基于FOD影像对飞机目标的识别方法、设备、存储介质

摘要

本发明公开了一种基于FOD影像对飞机目标的识别方法、设备、存储介质，方法包括以下步骤：步骤S1、采集机场的跑道图，所述跑道图包括了指示灯、跑道标识线及飞机轮胎痕迹，建立多个正样本图像集合；步骤S2、采集FOD图像，建立一负样本图像集合；步骤S3、以所述负样本图像集合与正样本图像集合、预先收集的实时跑道图为输入，将已标记FOD目标的跑道图像作为输出，对卷积神经网络进行训练；步骤S4、采集跑道的实时跑道图，对每张图像进行疑似目标探测，根据卷积神经网络标出图像中FOD目标。本方法通过构建正样本图像集合与负样本图像集合，通过卷积神经网络训练以自动识别出跑道内图像中FOD目标。

说明书

技术领域

本发明涉及图像识别技术领域，尤其涉及基于FOD影像对飞机目标的识别方法、电子设备、存储介质。

背景技术

随着现在民用机场航班客运量的大幅增加，外来物体(国际通称：Foreign ObjectDebris，FOD)掉落机场跑道的事件大量增加，外来物体的典型例子有：混凝土沥青碎块、金属器件、橡胶碎片、塑料制品、动植物。

当前主流探测FOD的方法是图像探测。图像探测的优势在于对和跑道道面外貌差异较大的物体有很好的探测能力，不论物体的形状和雷达波反射率。同时图像探测面临的技术难点主要来自跑道外观细节和FOD的多样性。首先，跑道本身有多种结构。跑道上有跑道标识线、跑道指示灯等结构；其次，FOD的种类繁多，常见的就涉及扳手、铁链、金属板、轮胎橡胶等十余个种类，因遗落姿态不同带来的外观差异更无法统计，甚至机场出现的一些FOD是不可预知的。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于FOD影像对飞机目标的识别方法，构建正样本图像集合与负样本图像集合，通过卷积神经网络训练以自动识别出跑道内图像中FOD目标。

本发明的目的之二在于提供一种电子设备，执行基于FOD影像对飞机目标的识别方法，构建正样本图像集合与负样本图像集合，通过卷积神经网络训练以自动识别出跑道内图像中FOD目标。

本发明的目的之三在于提供一种存储介质，执行上述基于FOD影像对飞机目标的识别方法，构建正样本图像集合与负样本图像集合，通过卷积神经网络训练以自动识别出跑道内图像中FOD目标。

本发明的目的之一采用如下技术方案实现：

基于FOD影像对飞机目标的识别方法，包括以下步骤：

步骤S1、采集机场的跑道图，所述跑道图包括了指示灯、跑道标识线及飞机轮胎痕迹，建立多个正样本图像集合；

步骤S2、采集FOD图像，建立一负样本图像集合；

步骤S3、以所述负样本图像集合与正样本图像集合、预先收集的实时跑道图为输入，将已标记FOD目标的跑道图像作为输出，对卷积神经网络进行训练；

步骤S4、采集跑道的实时跑道图，对每张图像进行疑似目标探测，根据卷积神经网络标出图像中FOD目标。

进一步地，所述步骤S3中对所述卷积神经网络进行训练包括以下步骤：

步骤S31、对所述实时跑道图与正样本图像集合、负样本图像集合预处理；

步骤S32、所述卷积神经网络包括了图像处理卷积神经网络及FOD目标卷积神经网络，将经预处理的正样本图像集合与负样本图像集合作为输入，将黑白二值图作为输出，训练图像处理卷积神经网络；将所述黑白二值图作为输入，将预先收集的已经圈定了FOD目标的图像作为输出，训练所述FOD目标卷积神经网络；

步骤S33、将所述正样本图像集合与负样本图像集合作为输入，预先收集的已经圈定了FOD目标的图像作为输出，对所述图像处理卷积神经网络、FOD目标卷积神经网络进行合并训练。

进一步地，所述预处理包括：步骤S311、所述实时跑道图与正样本图像集合、负样本图像集合均为彩色图像，通过转换矩阵将彩色图像的RGB分量转换为亮度-色度的方式表示，计算所述色度的绝对值；色度绝对值大于预设值的像素值为1，其余像素值为0，生成黑白二值图；

步骤S312、将所有图像中所有白色像素按照邻域相连法则分成若干集合，计算每个集合所有像素均能包括的最小椭圆轮廓，根据椭圆轮廓参数判断所述椭圆轮廓是否符合预设条件，若符合，则认定该椭圆轮廓圈定一FOD目标。

进一步地，所述椭圆轮廓参数为{Ea，Eb，Ex，Ey}；其中Ea、Eb分别表示椭圆的长轴和短轴长度，Ex、Ey分别表示椭圆的中心点的坐标；所述预设条件为短轴长度大于T1，长轴与短轴的乘积大于T2，且5≤T1≤20，200≤T2≤1000。

进一步地，所述步骤S4中对每张图像进行疑似目标探测为通过Canny边缘检测算法生成二进制边缘图像。

进一步地，还包括设置于所述图像处理卷积神经的循环神经网络，所述循环神经网络由若干神经元组成，用于检测输入的实时跑道图。

进一步地，还包括以下步骤：

步骤S5、对标出的跑道表面FOD目标根据位置信息、物理属性、运动状态，估算严重程度等级；根据所述严重程度等级判断所述FOD目标对跑道及飞机的威胁程度，当所述威胁程度大于阈值时，则发出告警信号，并记录所述FOD目标的物理属性与位置信息及告警信号的时间。

进一步地，所述步骤S5中估算严重程度等级为将所述FOD目标的位置信息、物理属性、运动状态的数据根据预设转换规则转换成数值，累加所述数值；根据累加数值大小判断得出物体的严重程度等级。

本发明的目的之二采用如下技术方案实现：

一种电子设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一所述基于FOD影像对飞机目标的识别方法。

本发明的目的之三采用如下技术方案实现：

一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上任一所述基于FOD影像对飞机目标的识别方法。

相比现有技术，本发明的有益效果在于：

本发明公开了基于FOD影像对飞机目标的识别方法、电子设备、存储介质，构建正样本图像集合与负样本图像集合，通过卷积神经网络训练以自动识别出跑道内图像中FOD目标。探测能力与适应性强，检测结果准确，能够有识别出跑道内的FOD目标，解决传统图像探测技术中的局限性。

附图说明

图1为本发明所提供实施例的流程示意图；

图2为本发明所提供实施例的步骤S3的流程示意图；

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

如图1所示，本发明提供了一种基于FOD影响对飞机目标的识别方法，可根据实时的跑道图像自动识别出FOD目标，解决传统图像探测的局限性问题，提高跑道的安全性。

具体的，本方法包括以下步骤：

步骤S1、采集机场的跑道图，所述跑道图包括了指示灯、跑道标识线及飞机轮胎痕迹，建立多个正样本图像集合；其中对跑道的指示灯、跑道标示线及飞机轮胎痕迹等多类图片进行局部与整体拍照，每类物品至少拍摄15个样本，从不同角度进行拍摄。更多的，为适应不同天气或光照的影响，还将收集多种天气条件下的跑道图，如晴天、阴天、雨天及白天、晚上等。将所有拍摄图像去除多余部分，保留被拍摄物体的区域。

步骤S2、采集FOD图像，建立一负样本图像集合；其中FOD图像包括常见的FOD目标，如金属零件、金属工具、轮胎橡胶、石块、塑料零件或塑料管道，而非FOD目标指的是指示灯、标识线、轮胎痕迹、跑道刀面等。

步骤S3、以所述负样本图像集合与正样本图像集合、预先收集的实时跑道图为输入，将已标记FOD目标的跑道图像作为输出，对所述卷积神经网络进行训练；

具体的，如图2所示，对所述卷积神经网络进行训练需要包括以下步骤：

步骤S31、对所述实时跑道图与正样本图像集合、负样本图像集合预处理；其中预处理包括：

步骤S311、将所述正样本图像集合与所述负样本图像集合中的所有彩色图像RGB分量转换为亮度-色度的方式表示，计算色度的绝对值。令色度绝对值大于预设值的像素值为1，代表白色，其余像素值为0，代表黑色，从而生成黑白二值图。

步骤S312、将所有图像中所有白色像素按照邻域相连法则分成若干集合，计算每个集合所有像素均能包括的最小椭圆轮廓，椭圆轮廓的参数为{Ea，Eb，Ex，Ey}；其中Ea、Eb分别表示椭圆的长轴和短轴长度，Ex、Ey分别表示椭圆的中心点的坐标；对每个椭圆轮廓如果同时满足以下条件：短轴长度大于T1，长轴与短轴的乘积大于T2，则认定为该椭圆圈定了一个FOD目标；其中T1的取值在5到20之间，T2的取值在200到1000之间。

步骤S32、所述卷积神经网络包括了图像处理卷积神经网络及FOD目标卷积神经网络，将所述正样本图像集合与负样本图像集合作为输入，将黑白二值图作为输出，训练图像处理卷积神经网络；将所述黑白二值图作为输入，将预先收集的已经圈定了FOD目标的图像作为输出，训练所述FOD目标卷积神经网络。

在本实施例中还包括设置于所述图像处理卷积神经的循环神经网络。所述循环神经网络由若干神经元组成，用于检测输入的实时跑道图，结合正样本图像集合与负样本图像集合作为输入，将黑白二值图作为输出。循环神经网络具有记忆性、参数共享并且图灵完备，因此在对序列的非线性特征进行学习时具有一定优势。

步骤S33、将所述正样本图像集合与负样本图像集合作为输入，预先收集的已经圈定了FOD目标的图像作为输出，对所述图像处理卷积神经网络、FOD目标卷积神经网络进行合并训练。训练过程耗时较长，可以在线下事先训练。在实际使用中，无需等待卷积神经网络训练的时间，只需将跑道图输入，可以直接通过卷积神经网络进行寻找FOD图像。

步骤S4、实时采集跑道的跑道图，对每张图像进行疑似目标探测，根据卷积神经网络标出图像中FOD目标。具体的，通过Canny边缘检测算法生成二进制边缘图像，对所述二进制边缘图像生成所有像素为1的坐标集合。历遍所有坐标集合，判断所述坐标集合与正样本图像集合、负样本图像集合的相似度，当相似度大于预设值时，则输入卷积神经网络以标出图像中的FOD目标。

步骤S5、对标出的跑道表面物体根据位置信息、物理属性，计算出严重程度等级；根据所述严重程度等级判断所述物体对跑道及飞机的威胁程度，当所述威胁程度大于阈值时，则发出告警信号，并记录所述物体的物理属性与位置信息及告警信号的时间。

从步骤S4标出的跑道表面物体中，获取所述物体的位置信息，从而计算所述物体与跑道之间的距离，以便于跟踪所述物体的运动。更多的，从多张实时图像中分析该物体的运动状态与物体属性。所述运动状态包括了物体是否在运动、物体的速度与物体的运动轨迹。在多张图像中，计算出物体与跑道之间的距离d

因此，根据物体的位置信息、物理属性，估算出严重程度等级。首先将非数值形的数据转化为数值，转换规则可以根据具体情况而设置。如，当物体处于运动状态时，其数值为10，运动速度越大，则数值在运动状态上所增加的数值越多，处于静止状态时数值为1。相应的，物体的形状越大数值也越大。累加所有数值，根据数值大小判断得出物体的严重程度等级。

数值越大，物体的严重程度等级越高，对跑道及飞机的威胁程度也越高。当物体对跑道及飞机的严重程度大于预设阈值时，则向工作人员发出告警信号，同时将所述物体的物理属性、位置信息及告警信号的时间保存进数据库及发送至工作人员，以便工作人员及时精准的清除所述物体。

本发明公开了基于FOD影像对飞机目标的识别方法构建正样本图像集合与负样本图像集合，通过卷积神经网络训练以自动识别出跑道内图像中FOD目标。探测能力与适应性强，检测结果准确，能够有识别出跑道内的FOD目标，解决传统图像探测技术中的局限性。

基于相同的发明构思，另外，本发明还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述基于FOD影像对飞机目标的识别方法的步骤。

其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可议介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

基于相同的发明构思，本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中的程序，所述程序被配置成由处理器执行，处理器执行所述程序时实现上述的基于FOD影像对飞机目标的识别方法的步骤。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。