一种基于光学图像分析的机场跑道异物检测方法

摘要

本发明公开了一种基于光学图像分析的机场跑道异物检测方法，通过对拍摄的机场跑道图像进行边缘处理，计算其边缘信息的分布，判定跑道所处图像区域；然后基于跑道所处区域，使用跑道边缘拟合计算跑道边缘处的直线方程，获取跑道边缘拟合直线，分割跑道；利用AC显著性检测和OSTU阈值分割对分割后的跑道图像进行处理，并保存异物的位置和尺寸信息；基于上述信息，按比例放大后将对应区域的图像提取出来，利用K‑Means算法对提取后的图像进行处理，并基于中心位置的图像像素信息进行图像二值化处理；最后通过将检测信息进行比对，结合跑道边缘的直线方程，剔除干扰，实现机场跑道异物的自动检测。

说明书

技术领域

本发明涉及一种机场跑道异物检测方法，特别是一种基于光学图像分析的机场跑道异物检测方法。

背景技术

机场跑道异物也称外来物(FOD)，即可对航空器造成损害的外来物质，如散落的飞机零部件、金属工具、混凝土块、行李部件等。机场跑道异物可能会导致航空器损害，甚至酿成安全事故，后果不堪设想。

目前机场的跑道异物探测主要依靠人工巡场，近距离发现，这种处理方法一方面增加了工作人员的工作负荷，同时影响跑道的使用效率，同时异物发现也不够及时，存在一定的安全隐患，因而越来越多的厂家开始通过雷达和光学成像方式来进行机场跑道异物探测工作，进而保障机场安全运营。

目前雷达探测方式存在设备成本高，维护难，为降低成本，且能够更加直观的探测跑道异物，部分厂家开始通过光学图像的方式进行机场跑道异物探测，但是其中多数都是通过固定场景结合图像历史信息进行异物检测，容易受天气、相机抖动、光照变换等影响，鲁棒性差，在探测时存在漏检情况，且在天气不佳或者光照变换情况下，误检率很高，不能够满足实际现场的工程化需求。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于光学图像分析的机场跑道异物检测方法。

为了解决上述技术问题，本发明公开了一种基于光学图像分析的机场跑道异物检测方法，包括如下步骤：

步骤1，拍摄机场跑道图像，并对机场跑道图像进行边缘处理，计算其边缘信息的分布，判定跑道所处图像区域；

步骤2，基于跑道所处图像区域，使用跑道边缘拟合计算跑道边缘处的直线方程，获取跑道边缘拟合直线，分割跑道，得到分割后的跑道图像；

步骤3，对异物进行初次检测：利用AC显著性检测和OSTU阈值分割对分割后的跑道图像进行处理，保存异物的位置和尺寸信息；

步骤4，对异物进行二次检测：基于步骤3中获取的异物的位置和尺寸信息，按比例放大后，将异物对应区域的图像提取出来，利用K-Means方法对提取后的图像进行处理，并基于中心位置的图像信息进行阈值分割；

步骤5，将两次异物的检测结果进行比对，结合跑道边缘处的直线方程，剔除干扰，完成基于光学图像分析的机场跑道异物检测。

进一步的，步骤1中所述的对机场跑道图像进行边缘处理，具体包括：

步骤1-1，使用Canny算法对机场跑道图像img_src进行边缘检测，获取包含边缘信息结果图img_canny，其中，机场跑道图像img_src的大小为M像素宽，N像素高；

步骤1-2，对步骤1-1中获取的的包含边缘信息结果图img_canny进行形态学处理，顺序进行开运算和闭运算两次，生成结果二值图img_result；

步骤1-3，设定步骤1-2中的结果二值图img_result的图像区域范围，其中上半区域取所述图像中的第0至m行，下半区域取上述图像中的第n至最后一行即第N行，列取满整列即M列，统计上半区域和下半区域像素值为255的像素点的个数，并分别计算其在统计区域内所占比例系数，具体方法如下：

其中P(i,j)为结果二值图img_result在第i行和第j列位置对应的像素值，为二值图像，该值为0或255，rateup为上半区域比例系数，ratedown为下半区域的比例系数；

步骤1-4，利用步骤1-3计算得到的上半区域比例系数rateup和下半区域比例系数ratedown，判定跑道在图像中的区域。

进一步的，步骤1-4中所述的判定跑道在图像中的区域，具体判定方式如下：

其中，rateval为设定比例系数阈值，L为跑道所处区域标志，表示如下：UP代表跑道位于图像整个上半部分区域，图像下半部分区域存在跑道外区域；MID代表跑道位于图像中间区域，图像上半部分区域和下半部分区域皆存在跑道外区域；DOWN代表跑道位于图像整个下半部分区域，图像上半部分区域存在跑道外区域；ALL代表跑道覆盖整个图像区域，不存在跑道外区域。

进一步的，步骤2中所述的分割跑道，具体包括：

步骤2-1，对步骤1-2生成的结果二值图img_result的像素分布进行分析，并据此生成第一位置信息表LocalUp和第二位置信息表LocalDown；

步骤2-2，使用最小二乘法分别对步骤2-1中生成的第一位置信息表LocalUp和第二位置信息表LocalDown中的位置点数据进行直线拟合，得到两条直线方程分别为：

y＝k

y＝k

其中，y为机场跑道图像的列坐标，x为机场跑道图像的行坐标，k

步骤2-3，结合步骤1-4求解的跑道区域标志，利用步骤2-2中得到的直线方程，求解机场跑道图像中跑道上下边缘的直线方程，计算方法如下：

跑道上边缘直线方程：

跑道下边缘直线方程：

步骤2-4，根据步骤2-3求解的跑道边缘线方程，求解跑道上下边缘直线与图像左右两个边缘的四个交点，分别为(0，y1)(M，y2)(0，y3)、(M，y4)，此时求解y1,y2,y3,y4中的最小值ymin及最大值ymax；

步骤2-5，设定矩形区域，其中左上位置点为(0，ymin)，右下位置点为(M，ymax)，截取步骤1-1中机场跑道图像img_src中对应的矩形区域，完成对跑道区域的分割，生成跑道区域分割图像img_runway。

进一步的，步骤2-1中所述的生成第一位置信息表LocalUp和第二位置信息表LocalDown，具体方法如下：

当结果二值图img_result在(x,y)位置的像素值为255时，其中x为img_result所在行位置，y为img_result所在列位置，分别统计结果二值图img_result中位置(x-1,y)至(x-index,y)中像素值为255及0的像素点个数num_up_white和num_up_black，同时分别统计结果二值图img_result中位置(x+1,y)至(x+index,y)中像素值为255及0的个数num_down_white和num_down_black，其中index为预设统计范围，计算其中像素占比，计算公式如下：

rate

rate

rate

rate

其中，rate

当rate

当rate

进一步的，步骤3中所述的对异物进行初次检测，具体包括：

步骤3-1，使用AC显著性检测算法处理步骤2-5生成的跑道区域分割图像img_runway，得到AC图像img_ac；

步骤3-2，对步骤3-1中的AC图像img_ac进行OSTU阈值处理，得到OSTU图像img_ostu；

步骤3-3，利用中值滤波对步骤3-2中的OSTU图像img_ostu进行降噪处理，得到降噪图像img_blur；

步骤3-4，将降噪图像img_blur向外膨胀n1个像素，得到膨胀图像img_dilate，然后再将图像img_dilate向内腐蚀n1个像素，得到腐蚀图像img_result；

步骤3-5，通过轮廓查找，对步骤3-4得到腐蚀图像img_result中异物进行检测和定位，获取异物在跑道区域分割图像中的初步尺度和位置信息rect_ac。

进一步的，步骤4中所述的对异物进行二次检测，具体包括：

步骤4-1：根据步骤3-5中获取的异物在跑道区域分割图像中的初步尺度和位置信息rect_ac，设定目标区域范围rect_roi，以异物中心位置为矩形中心，设定矩形宽高分别为异物宽度和高度的n2倍；

步骤4-2：将步骤2-5生成的跑道区域分割图像img_runway按照步骤4-1中设定的目标区域rect_roi进行提取分割，得到分割图像img_roi；

步骤4-3：使用K-Means算法处理步骤4-2得到的分割图像img_roi，得到分割图像img_kmeans；

步骤4-4：查询步骤4-3中的分割图像img_kmeans中心位置的像素值，并将该图像img_kmeans中与其像素值相同的位置像素值设定为255，不相同的设置为0，生成二值化图像img_bina；

步骤4-5：通过轮廓查找，对步骤4-4得到的二值化图像img_bina中异物进行检测和定位，获取异物在图像中的二次尺度和位置信息rect_kmeans。

进一步的，步骤5中所述的剔除干扰，具体包括：

步骤5-1：计算步骤3-5中获得的初步尺度和位置信息rect_ac和步骤4-5中获得的二次尺度和位置信息rect_kmeans的两次检测目标的IOU交并比rate

步骤5-2：判定步骤5-1符合要求的检测结果所在位置与步骤2-3求解的上下跑道边缘线的关系，当其位于两条边缘直线之间时，判定为真实异物，否则为干扰，进行剔除。

进一步的，步骤1-4中所述的比例系数阈值rateval，取值为0.15。

进一步的，步骤2-1中所述的预设统计范围index取值为50。

有益效果：

本发明解决了基于光电图像的跑道异物检测误检率高、漏挂率高、鲁棒性低等问题。首先通过对图像进行边缘处理，统计边缘信息分布规律，判定跑道所处图像区域；基于跑道区域，利用跑道所在区域的边缘像素分布规律，使用最小二乘法拟合跑道边缘直线，实现对跑道区域图像的分割；接着对分割后的跑道图像进行AC显著性检测和OSTU阈值分割，完成跑道异物的初次检测定位；然后基于初次检测定位信息，将异物所在区域等比例放大，提取放大区域对应的图像，利用K-Means对图像进行聚类分割处理，并且基于中心像素信息对图像进行二值化处理，实现对异物的二次检测；最后将初次检测和二次检测到的异物信息进行比对，剔除干扰信息，再结合跑道边缘直线方程，判定异物所处区域后，剔除误检信息，实现光学图像中跑道异物的自动检测。本发明在多种场景下进行了性能测试，可在黑夜、强光等环境下正确对图像中的异物进行检测定位，每张图像的平均检测时间在100ms，充分验证了本发明的有效性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明的系统流程示意图。

图2是本发明的跑道所处图像区域示意图。

图3是本发明的跑道区域分割效果图。

图4是本发明的跑道异物检测流程及效果图。

具体实施方式

本发明公开了一种基于光学图像分析的机场跑道异物检测方法，包括如下步骤：

步骤1，对拍摄的机场跑道图像进行边缘处理，计算其边缘信息的分布，判定跑道所处图像区域。

步骤2，基于跑道所处区域，使用跑道边缘拟合计算跑道边缘处的直线方程，获取跑道边缘拟合直线，分割跑道。

步骤3，利用AC显著性检测(ACHANTA R,HEMAMI S,ESTRADAF,et al.Frequency-tuned salient region detection[C].IEEE Computer Society Conference onComputer Vision and Pattern Recognition,San Francisco,USA,2010:2376-2383)和OSTU阈值(覃晓，元昌安，邓育林等，一种改进的OSTU图像分割算法[J].山西大学学报(自然科学版)，2013，36(4)：530-534)分割对分割后的跑道图像进行处理，实现对异物的初次检测，并保存异物的位置和尺寸信息。

步骤4，基于初次检测异物的位置和尺度信息，按比例放大后，将对应区域的图像提取出来，利用K-Mean(李曼，赵松林.K-means聚类算法分析应用研究[J].魅力中国，2011,000(007)：243-243)对提取后的图像进行处理，并基于中心位置的图像信息进行阈值分割，实现对异物的二次检测。

步骤5，将两次异物的检测信息进行比对，结合跑道边缘的直线方程，剔除干扰，实现机场跑道异物的自动检测。

步骤1包括：

步骤1-1，使用Canny算法(刘超，周激流，何坤.基于Canny算法的自适应边缘检测方法[J].计算机工程与设计，2010(18)：4-5)对大小为1920*1080的图像img_src进行边缘检测，获取包含边缘信息结果图img_canny。

步骤1-2，对步骤1-1中的img_canny进行形形态学处理(陆宗骐，朱煜.数字形态学腐蚀膨胀运算的快速算法[J].全国图像图形学术会议，2006(13):306-311)，顺序进行腐蚀运算和膨胀运算两次，生成结果二值图img_result。

步骤1-3，设定步骤1-2中的img_result的图像区域范围，其中上半区域取第0-m行，m一般取值300，下半区域取第n-1920行，n一般取值为1620，列取满整列，为第0-1080列，统计上半区域和下半区域像素值为255的个数，并分别计算其在统计区域内所占比例系数。

其中占比计算公式如下：

其中P(i,j)为img_result在第i行和第j列位置对应的像素值，其为二值图像，值为0或255，rateup为上半区域比例系数，ratedown为下半区域的比例系数。

步骤1-4，利用步骤1-3的比例系数计算公式计算上半区域比例系数rateup和下半区域比例系数ratedown，判定跑道在图像中的区域。

其中跑道区域判定方式如下：

其中rateval为设定比例系数阈值，一般取值为0.15，L为跑道所处区域标志，UP代表跑道位于图像整个上半部分区域，图像下半部分区域存在跑道外区域；MID代表跑道位于图像中间区域，图像上半部分区域和下半部分区域皆存在跑道外区域；DOWN代表跑道位于图像整个下半部分区域，图像上半部分区域存在跑道外区域；ALL代表跑道覆盖整个图像区域，不存在跑道外区域。

步骤2包括：

步骤2-1，对步骤1-2生成的img_result的像素分布进行分析，当img_result在(x,y)位置的像素值为255时，其中x为img_result所在行位置，y为img_result所在列位置，分别统计img_result中位置(x-1,y)～(x-index,y)像素值为255及0的像素点个数num_up_white和num_up_black，同时分别统计img_result中位置(x+1,n)～(x+index,y)像素值为255及0的个数num_down_white和num_down_black，其中index一般取值为50，计算其中像素占比，计算公式如下：

rate

rate

rate

rate

其中rate

步骤2-2，使用最小二乘法分别对步骤2-1中的位置信息表LocalUp和LocalDown中的位置点数据进行直线拟合，求解直线方程分别为y＝k

步骤2-3，结合步骤1-4求解的跑道区域标志，利用步骤2-2求解的直线方程，求解图像中跑道上下边缘的直线方程，计算公式如下：

跑道上边缘直线方程：

跑道下边缘直线方程：

步骤2-4，根据步骤2-3求解的跑道边缘线方程，求解跑道上下边缘直线与图像左右两个边缘四个交点，分别为(0，y1)(1920，y2)(0，y3)、(1920，y4)，此时求解y1,y2,y3,y4中的最小值ymin及最大值ymax。

步骤2-5，根据步骤2-4中求解的交点坐标，设定矩形区域，其中左上位置点为(0，ymin)，右下位置点为(1920，ymax)，截取步骤1-1图像img_src中对应的矩形区域，完成对跑道区域的分割，生成跑道区域分割图像img_runway。

步骤3包括：

步骤3-1，使用AC显著性检测算法(ACHANTA R,HEMAMI S,ESTRADA F,etal.Frequency-tuned salient region detection[C].IEEE Computer SocietyConference on Computer Vision and Pattern Recognition,San Francisco,USA,2010:2376-2383)处理步骤2-5生成的跑道区域图像img_runway，得到图像img_ac。

步骤3-2，对步骤3-1中的图像img_ac进行OSTU阈值(覃晓，元昌安，邓育林等，一种改进的OSTU图像分割算法[J].山西大学学报(自然科学版)，2013，36(4)：530-534)处理，得到图像img_ostu。

步骤3-3，利用中值滤波(高浩军，杜宇人.中值滤波在图像处理中的应用[J].信息化研究，2004,30(008)：35-36)对步骤3-2中图像img_ostu进行降噪处理，得到图像img_blur。

步骤3-4，将图像img_blur向外膨胀(陆宗骐，朱煜.数字形态学腐蚀膨胀运算的快速算法[J].全国图像图形学术会议，2006(13):306-311)n个像素，n一般取值为15，得到图像img_dilate，然后再将图像img_dilate向内腐蚀n个像素，得到图像img_result。

步骤3-5，通过轮廓查找，实现对步骤3-4得到图像img_result中异物的检测和定位，获取异物在图像中的尺度和位置信息rect_ac。。

步骤4包括：

步骤4-1：根据步骤3-5中异物位置和尺度信息rect_ac，设定图像感兴趣区域范围rect_roi，以异物中心位置为矩形中心，设定矩形宽高分别为异物宽度和高度的n倍，n一般取值为2或4；

步骤4-2：将步骤2-5生成的跑道区域分割图像img_runway按照步骤4-1中设定的感兴趣区域rect_roi进行提取分割，得到图像img_roi；

步骤4-3：使用K-Means算法(李曼，赵松林.K-means聚类算法分析应用研究[J].魅力中国，2011,000(007)：243-243)处理步骤4-2得到的图像img_roi，得到图像img_kmeans；

步骤4-4：查询步骤4-3图像img_kmeans中心位置的像素值，并将img_kmeans中与其像素值相同的位置像素值设定为255，不相同的设置为0，生成二值化图像img_bina；

步骤4-5：通过轮廓查找，实现对步骤4-4得到图像img_bina中异物的检测和定位，二次获取异物在图像中的尺度和位置信息rect_kmeans。

步骤5包括：

步骤5-1：计算步骤3-5中rect_ac和步骤4-5中rect_kmeans两次检测目标的IOU交并比rate

步骤5-2：判定步骤5-1符合要求的检测结果所在位置与步骤2-3求解的上下跑道边缘线的关系，当其位于两条边缘直线之间时，此时认为是真实异物，否则则为干扰，完成对机场跑道图像中异物的最终检测和定位。

实施例：

下面结合附图及实施例对本发明做进一步说明。

本发明公开了一种基于光学图像分析的机场跑道异物检测方法，如图1所示，包括以下步骤：

S1:判定跑道在图像中的区域：

判定跑道在图像中的区域是跑道图像区域分割的关键，只有自动判定跑道所处区域，才能保证跑道分割的准确性。首先对图像进行边缘检测，统计图像边缘信息的分布规律，然后计算上下半区的像素值为255的像素个数的占比，其核心公式为：

其中P(i,j)为img_result在第i行和第j列位置对应的像素值，其为二值图像，值为0或255，rateup为上半区域比例系数，ratedown为下半区域的比例系数，m、n为设定的图像终点和起始点的行值。然后根据所计算的占比系数，判断跑道在图像中所处的区域，判定结果为四种(分别对应图2a，图2b，图2c，图2d)，分别是UP，MID，DOWN，ALL，跑道所处区域及其对应结果示意图如图2所示。

S2：跑道区域分割：

跑道区域分割是异物检测的前提条件。找寻图像跑道上下边缘在各个列中的位置点，具体是获取边缘处理及形态学处理后输入图像的各个位置点的像素值，按照设定逻辑，计算其0像素值和255像素值分别的占比系数，当满足对应阈值要求后，则将该位置点的坐标放入对应指定的位置信息表中。然后对位置信息表中的数据进行数据直线拟合，获取上下边缘的直线方程，结合跑道在图像中的区域位置，获取图像中跑道上下边缘的直线方程，核心判定公式如下：

跑道上边缘直线方程：

跑道下边缘直线方程：

其中y为图像列坐标，x为图像行坐标，k

S3：异物初次检测：

异物初次检测是发现异物的首要步骤。使用AC显著性检测算法处理分割后的跑道图像；利用OSTU阈值处理完成异物图像前景目标的分割；利用中值滤波完成对图像的降噪处理；接着利用形态学操作完成图像断裂处的连接，并去除细小的噪声干扰，最后通过轮廓查找，完成图像中异物的检测与定位。

S4：异物二次检测：

异物二次检测是对异物检测的补充。基于第一次检测信息，，以检测目标中心为中心，等比例放大的宽高，设定二次待检测区域，提取对应图片区域，利用K-Means对提取的图片进行聚类分割，然后基于分割后的中心位置像素为基准，进行图片二值化处理，最后通过轮廓查找，实现图像中异物的二次检测与定位。

S5：异物确认：

通过两次异物检测位置信息的比对，主要通过IOU、面积比、中心位置距离的比较判定，确认所检测目标为真实异物还是干扰信息。最后将确认为异物的目标位置与跑道上下边缘的直线方程进行比对，判定目标是否处于跑道上，实现机场跑道图像异物的最终检测和定位，检测具体流程及效果如图4所示。

具体实现中，本申请提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的一种基于光学图像分析的机场跑道异物检测方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机，服务器，单片机，MUU或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本发明提供了一种基于光学图像分析的机场跑道异物检测方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。