一种停机坪上反光锥筒摆放的自动识别方法

摘要

本发明属于视频分析技术领域，尤其是涉及一种停机坪上反光锥筒摆放的自动识别方法。该方法基于反光锥筒与飞机关联部位的空间关系相对固定的判定，利用图像配准的方法来预测反光锥筒在待检测图片上的标准位置，可以有效避免背景技术中所提及的常规方法中存在的技术缺陷，并对相机拍摄角度、位置具有一定的鲁棒性。

说明书

技术领域

本发明属于视频分析技术领域，尤其是涉及一种停机坪上反光锥筒摆放的自动识别方法。

背景技术

在机场停机坪的运营管理中，对反光锥筒的摆放有一定规范，具体要求是：飞机停靠稳定后，机头，机尾、左右发动机、左右机翼的尾部各摆放一个反光锥筒。在运营管理中发现下面几个问题：1、反光锥筒摆放不到位；2、某些反光锥筒缺失。

目前主要采取下面两种方式来解决管理中的问题，人工巡视和视频浏览。人工巡视需要消耗大量的人力和时间，而且存在人为疏忽的问题；而视频浏览只能做到事后筛查，无法做到事前预警。

为此，有人提出，利用计算机视觉技术，来自动检测反光锥筒的违规问题。常规方法是：先通过目标检测的方法确定机头、机尾、发动机和机翼尾部在图片中的位置，再在上述各个位置的某个领域内检测是否有反光锥筒，这种做法的前提是：反光锥筒的标准摆放位置等同于飞机机头、机尾、发动机、机翼尾部等关键部位的位置，这显然是不合理的，尤其是当它的空间位置经过相机模型(透视变换)反应在图片上时，两者相差很大，基于这种假设的技术路线会带来很大的漏判和误判。经过实际的测试验证，其准确率不到60％。

发明内容

本发明的目的在于，针对现有技术中存在的不足，提供一种停机坪上反光锥筒摆放的自动识别方法。

为此，本发明的上述目的通过以下技术方案来实现：

一种停机坪上反光锥筒摆放的自动识别方法，所述方法包括以下步骤：

(101)针对每个监控摄像头所监控的停机坪，采集一张反光锥筒规范摆放的图像，存为模板，记为imageT；利用计算机视觉技术自动检测出模板图像imageT中飞机关键部位以及反光锥筒的位置坐标，飞机关键部位包括机头、左右发动机的几何中心、飞机前后轮的几何中心、飞机左右机翼的尾部以及机尾；飞机关键部位的坐标集合记为pointsT，反光锥筒的坐标记为pConeT；

(102)将待识别图像记为imageI，且待识别图像imageI到来后，利用计算机视觉技术自动检测待识别图像imageI中飞机关键部位以及反光锥筒的位置坐标，待识别图像imageI中飞机关键部位与模板图像imageT中飞机关键部位相同，并将待识别图像imageI中飞机关键部位的坐标集合记为pointI，反光锥筒的坐标记为pConeI；

(103)计算集合pointsT与pointsI之间的匹配关系，该匹配关系记为M，即：

pointsI＝M*pointsT

式中，pointsI与pointsT均采用齐次坐标进行表示，M为3*3的实数转换矩阵，该实数转换矩阵也是模板图像imageT与待识别图像imageI的转换矩阵；

其中，模板图像与待识别图像中飞机关键部位的坐标已知，转换矩阵中元素为待求解变量；

(104)利用(103)中计算得到的转换矩阵M，将模板图像imageT配准到待识别图像imageI上，通过模板图像imageT向待识别图像空间的转换，从而获得模板图像imageT上反光锥筒标准位置在待识别图像空间上的预测位置，该预测位置记为predPos；

predPos＝pConeT*M

(105)利用ICP法将点集predPos和(102)中检测得到的反光锥筒点集pConeI进行配准，以消除反光锥筒摆放的随机误差，消除图像配准的误差；ICP：Iterative ClosestPoint，最近点迭代算法。ICP法是通过迭代选择两组点集中点对，采用最小二乘法寻找最优的匹配关系的一个算法。待识别图像imageI与模板图像imageT之间存在旋转或者平移的关系，通过ICP法来消除两者之间的旋转与平移关系，以消除反光锥筒摆放的随机误差，消除图像配准的误差。

(106)利用KNN的方法来确定(105)中配准过程中，点集predPo中反光锥筒的预测位置和(102)中检测得到的反光锥筒点集pConeI中相应的反光锥筒之间的距离，并对距离超出设定阈值的情况，给出预警。KNN：K nearest neighbor search，最邻近搜索算法，是一种基于距离的空间聚类算法，通过不断自我迭代找到正确的类中心，达到类内距离最小，类间距离最大的算法，在本算法中用于找到最近距离的的点对匹配。

在采用上述技术方案的同时，本发明还可以采用或者组合采用以下进一步的技术方案：

作为优选地，步骤(103)中，通过最小二乘法求解转换矩阵M中元素的最优解。

作为优选地，步骤(104)中，具体过程如下：

其中，I为模板图像上的像素点矩阵，M为转换矩阵，I’为转换后的像素点矩阵；p＝[x,y,1]为模板图像上每一个像素点的坐标，增加第三维度并赋值为1。

作为优选地，步骤(104)中，若图像为彩色图像，则对RGB三个通道分别做上述转换运算，得到新的图像。

作为优选地，对于转换前后的图像，在新的图像空间中可能存在以下问题，1)新图像空间中某些像素位置没有从旧空间中转换而来的像素进行赋值；2)新图像空间中某些像素位置与大于两个以上从旧图像空间转换而来的像素重叠。在本发明中采用0值填充解决问题1)，采用最邻近采样解决问题2)。

作为优选地，步骤(105)中，具体过程如下：

对于已知的基准数据与待转换数据：选择pConeI为待转换数据，选择predPos为基准数据；通过最小化目标函数E，如公式：

其中，

T＝[t_x>y>z]^T

R为旋转矩阵，α、β、γ表示绕x、y、z轴旋转的角度，T为平移矩阵，三元素分别代表沿x、y、z轴平移的量，目标函数通过迭代运算进行收敛，具体过程为：

(1)在点集pConeI中选择点集P；

(2)在点集predPos中选择与点集P相对应的点集Q，最小化点集距离min(||q-p||)；

(3)计算旋转矩阵R和平移矩阵T，最小化目标函数E；

(4)对P使用R和T进行转换，得到P′，并计算P′与Q的距离d：

(5)d小于设定阈值或迭代次数超过设定阈值，则停止迭代；否则返回步骤(2)。

作为优选地，前文所指计算机视觉技术的自动检测方法包括SSD、yolo系列、Faster-rcnn系列的深度学习模型中的任意一种或者多种的组合。

本发明提供一种停机坪上反光锥筒摆放的自动识别方法，该方法基于反光锥筒与飞机关联部位的空间关系相对固定的判定，利用图像配准的方法来预测反光锥筒在待检测图像上的标准位置，可以有效避免背景技术中所提及的常规方法中存在的技术缺陷，并对相机拍摄角度、位置具有一定的鲁棒性。

附图说明

图1为本发明所提供的模板图像imageT。

图2为本发明所提供的待识别图像imageI。

图3为模板图像配准后的效果图。

图4为经ICP法和KNN法处理后的匹配效果图。

具体实施方式

参照附图和具体实施例对本发明作进一步详细地描述。

一种停机坪上反光锥筒摆放的自动识别方法，包括以下步骤：

(101)针对每个监控摄像头所监控的停机坪，采集一张反光锥筒规范摆放的图像，存为模板，记为imageT，如图1所示；利用计算机视觉技术自动检测出模板图像imageT中飞机关键部位以及反光锥筒的位置坐标，飞机关键部位包括机头、左右发动机的几何中心、飞机前后轮的几何中心、飞机左右机翼的尾部以及机尾；飞机关键部位的坐标集合记为pointsT，反光锥筒的坐标记为pConeT；

P^t＝[x^t,y^t,z^t]

其中P^t为模板图像imageT中飞机关键点的像素坐标，x^t、y>t分别代表模板图像imageT上关键点的图像坐标，由于是2D图像，z>t为1；P^t下标分别代表：h(head，机头)、le(leftengine，左发动机)、re(right>

模板图像imageT中反光锥筒的位置坐标记为pConeT，

分别表示机头、左右发动机、左右机翼和机尾位置的反光锥筒坐标。

(102)将待识别图像记为imageI，如图2所示，且待识别图像imageI到来后，利用计算机视觉技术自动检测待识别图像imageI中飞机关键部位以及反光锥筒的位置坐标，待识别图像imageI中飞机关键部位与模板图像imageT中飞机关键部位相同，并将待识别图像imageI中飞机关键部位的坐标集合记为pointI，反光锥筒的坐标记为pConeI；

Pⁱ＝[xⁱ,yⁱ,zⁱ]

其中Pⁱ为待识别图像中检测得到的飞机关键点坐标，下标与(101)中P^t含义相同，xⁱ、yⁱ为图像坐标，zⁱ为1。

待识别图像中反光锥筒的位置坐标点集记为pConeI：

其中为待识别图像中反光锥筒的位置坐标。

(103)计算集合pointsT与pointsI之间的匹配关系，该匹配关系记为M，即：

pointsI＝M*pointsT

式中，pointsI与pointsT均采用齐次坐标进行表示，M为3*3的实数转换矩阵，该实数转换矩阵也是模板图像imageT与待识别图像imageI的转换矩阵；

转换矩阵计算方式如下：

(1)对于pointsT和pointsI中对应的关键点，构建转换矩阵，建立转换方程：

建立转换矩阵：

则建立模板图像中点集pointsT与待识别图像中检测所得关键点的点集pointsI之间的转换方程：

key∈[h,le,re,fw,lrw,rrw,lw,rw,t]

其中，模板图像与待识别图像中飞机关键部位的坐标已知，转换矩阵中元素为待求解变量；

(2)通过(1)中构建转换矩阵与待解方程，本发明中飞机关键点个数为9个，转换矩阵为3*3实数矩阵，则所得方程为27个，待求解变量共9个。通过最小二乘法求解转换矩阵M中元素的最优解。

(104)利用(103)中计算得到的转换矩阵M，将模板图像imageT配准到待识别图像imageI上，通过模板图像imageT向待识别图像空间的转换，从而获得模板图像imageT上反光锥筒标准位置在待识别图像空间上的预测位置，该预测位置记为predPos；

predPos＝pConeT*M

(105)利用ICP法将点集predPos和(102)中检测得到的反光锥筒点集pConeI进行配准，以消除反光锥筒摆放的随机误差，消除图像配准的误差；ICP：Iterative ClosestPoint，最近点迭代算法。

(106)利用KNN的方法来确定(105)中配准过程中，点集predPo中反光锥筒的预测位置和(102)中检测得到的反光锥筒点集pConeI中相应的反光锥筒之间的距离，并对距离超出设定阈值的情况，给出预警。KNN：K nearest neighbor search，最邻近搜索算法。

步骤(104)中，具体过程如下：

其中，I为模板图像上的像素点矩阵，M为转换矩阵，I’为转换后的像素点矩阵；p＝[x,y,1]为模板图像上每一个像素点的坐标，增加第三维度并赋值为1。

步骤(104)中，若图像为彩色图像，则对RGB三个通道分别做上述转换运算，得到新的图像。

对于转换前后的图像，在新的图像空间中可能存在以下问题，1)新图像空间中某些像素位置没有从旧空间中转换而来的像素进行赋值；2)新图像空间中某些像素位置与大于两个以上从旧图像空间转换而来的像素重叠。在本发明中采用0值填充解决问题1)，采用最邻近采样解决问题2)。

步骤(105)中，具体过程如下：

对于已知的基准数据与待转换数据：选择pConeI为待转换数据，选择predPos为基准数据；通过最小化目标函数E，如公式：

其中，

T＝[t_x>y>z]^T

R为旋转矩阵，α、β、γ表示绕x、y、z轴旋转的角度，T为平移矩阵，三元素分别代表沿x、y、z轴平移的量，目标函数通过迭代运算进行收敛，具体过程为：

(1)在点集pConeI中选择点集P；

(2)在点集predPos中选择与点集P相对应的点集Q，最小化点集距离min(||q-p||)；

(3)计算旋转矩阵R和平移矩阵T，最小化目标函数E；

(4)对P使用R和T进行转换，得到P′，并计算P′与Q的距离d：

(5)d小于设定阈值或迭代次数超过设定阈值，则停止迭代；否则返回步骤(2)。

图3为模板图像imageT经过ICP法配准后的效果图。

经过ICP法和KNN法处理后的匹配效果图如图4所示。

图1中三角形标记为模板图像上反光锥筒的位置，图2、3中三角形代表图1模板图像中的反光锥筒经过配准和ICP校正后在待识别图像空间的预测位置；图2、4中正方形代表待识别图像上检测到的反光锥筒；图4中三角形与正方形之间的线段代表检测得到的反光锥筒位置与预测位置经过KNN方法处理后得到的一一对应关系。

前文所指计算机视觉技术的自动检测方法包括SSD、yolo系列、Faster-rcnn系列的深度学习模型中的任意一种或者多种的组合。

本文上下，采用了反光锥筒作为标记物，当然在其他的实施例中，也可以使用其他形式的标记物，且这些变化或者变型均应落在本发明的保护范围内。

上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改、等同替换、改进等，都落入本发明的保护范围。