基于深度学习图像方法的飞行轨迹点行为模式分析方法

摘要

本发明公开了基于深度学习图像方法的飞行轨迹点行为模式分析方法，包括以下步骤：步骤一、将飞行轨迹点的经纬度使用通用横向墨卡托Universal Transvers Mercator方法转换为图像上的x，y坐标；步骤二、使用rol‑traj‑yolov5算法自适应旋转框检测新算法来预测具体特定轨迹的位置与轨迹的模式识别；步骤三、通过分析轨迹的具体行为模式分析出形成该轨迹的飞机的具体型号，具体实行任务或航行路线。本发明通过识别出该飞行轨迹点的具体区域的轨迹模式可以分析出该飞机的型号与目前所执行的任务或航行路线等有用信息。

说明书

技术领域

本发明属于人工智能技术领域，特别是涉及基于深度学习图像方法的飞行轨迹点行为模式分析方法。

背景技术

在我国航空航天领域飞速发展的同时，无人机、飞机等的性能更是在不断提升，进而也加速了对飞行轨迹或时空轨迹的研究。

对时空轨迹的研究得益于空间定位技术、传感器网络的飞速发展。空间定位传感器在飞机、舰船、汽车以及手持设备上得到普遍使用，产生并积累了海量的移动目标时空轨迹数据。

在军事领域中，对轨迹点的分析尤为重要，海量的轨迹点信息看似杂乱无章，实则包含了大量在军事中可以加以分析的信息。在军事任务中，通常特定型号的战斗机在执行任务时会有自己特定的飞行轨迹，如8字绕飞，矩形绕飞，椭圆绕飞等，并且每种飞行轨迹可能预示着战斗机在执行着特定的战斗任务或演习任务，因此在某些军事领域中分析航空飞行轨迹点的模式可以得到更为具体的军事信息。

目前常用的轨迹运动模式识别方法主要依赖于特征工程和传统机器学习算法结合，例如通过全局最优解理论算法识别飞行动作，并结合粒子群优化算法进行实现，将飞行参数特征符号化，从而能够对维数较少的符号进行处理和分析，实现飞行动作轨迹特征的智能提取，从而进行分类等分析；基于传统的遗传算法，将飞行参数相关的属性进行编码，利用遗传变异和粗糙集理论建立动作识别的标准并提取出数据的属性，最后采用遗传算法得到飞行动作轨迹的识别特征；一种模糊支持向量机的飞行动作识别方法，将传统的支持向量机方法结合模糊逻辑理论，转化为多个两类问题进行求解并判断样本类别；使用LS-SVM方法可以提高模型的运算效率，有效地识别各种飞行动作轨迹。

但是特征工程和传统机器学习算法依赖于手动提取特征的精度，在轨迹数据处理中需要设计、和提取相应特征，过程较为繁琐。且当手动提取的特征不具有代表性，如仅依靠时间、速度以及距离等浅层特征，识别准确率将会受到限制；并且手动提取的特征，在特征质量上难以得到保证，最终检测的结果将会大大依赖于手动提取特征的质量。

使用深度学习可以有效弥补传统机器学习高度依赖手动提取特征并且识别准确率低的缺点。

深度学习算法基于大量数据集，使用网络自动提取目标特征进行训练，大大简化了训练的过程，并且也有效地提升了识别的准确率，因此使用深度学习算法对轨迹点进行检测分析一定是未来的大趋势。

在军事领域中，目前常用的对轨迹点形成的特定轨迹的模式识别常用手动提取特征，然后结合传统的机器学习算法对轨迹进行分类和检测位置，但是这种依赖传统机器学习方法的轨迹模式识别方法对于手动提取的特征具有依赖性并且识别准确率不够高，很难胜任轨迹点精确识别的任务。对于每次执行任务得到的轨迹点而言，数据是巨大的，然而值得用来分析其轨迹并且得到有用军事信息的轨迹点只占其中一小部分，这就造成了大量的轨迹点是多余且毫无意义的。

发明内容

本发明的目的在于提供一种基于深度学习图像方法的使用卷积神经网络对飞行轨迹点的行为模式识别及起始点检测技术，该技术能够针对军用飞机以及无人机在空中飞行所形成的轨迹点进行分析处理，通过使用通用横轴墨卡托投影(Universal TransversMercator)，飞行轨迹点的经纬度转换为图像，而后对生成的轨迹点图像进行处理，使用深度学习目标检测算法rol-traj-yolov5的旋转框检测网络对轨迹点图像中特定的轨迹模式进行训练，训练完成时即可以对轨迹点中的特定轨迹进行行为模式识别，通过识别出该军用飞行轨迹点的具体区域的轨迹模式可以分析出该战斗机的型号与目前所执行的任务。

本发明的目的是提供基于深度学习图像方法的飞行轨迹点行为模式分析方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了基于深度学习图像方法的飞行轨迹点行为模式分析方法，包括以下步骤：

步骤一、将飞行轨迹点的经纬度使用通用横向墨卡托Universal TransversMercator方法转换为图像上的x，y坐标；

步骤二、使用rol-traj-yolov5算法自适应旋转框检测新算法来预测具体特定轨迹的位置与轨迹的模式识别；

步骤三、通过分析轨迹的具体行为模式分析出形成该轨迹的飞机的具体型号与具体实行任务或航行路线等信息。

进一步的，使用通用横向墨卡托变换算法和归一化处理将轨迹点的经纬度坐标转换为图像上的x，y坐标，之后使用opencv将轨迹点生成的平面投影坐标在图上绘制以生成图像。

进一步的，所述步骤二中的rol-traj-yolov5算法是基于YOLOv5-DOTA-OBB算法进行改进的一个旋转目标框算法；该算法采用one-stage算法模型，以yolov5x为基准模型进行修改，rol-traj-yolov5算法由backbone，neck，yolo_head组成。

进一步的，所述backbone为rol-traj-yolov5算法主干部分，主体使用了CSPDarnet53结构，并且使用了focus结构，Focus层将w-h平面上的信息转换到通道维度，再通过卷积的方式提取不同特征，采用这种方式可以减少下采样带来的信息损失。

进一步的，在所述neck结构中，首先是将SPP换成了SPPF，两者的作用是一样的，但后者在保持同样特征提取效果的同时大大减少了模型的计算量，加速了模型的推理过程；

SPPF结构采用了感受野机制，将SPP结构中的三个不同尺寸的池化层并联转换为尺寸单一的5x5的池化层，SPPF结构通过三个5x5尺寸的池化层串联得到了与SPP结构通过5x5，9x9，13x13尺寸池化层相同大小的感受野，并且缩小了池化层尺寸因而减少了计算量；

在所述neck结构中还有New CSP-PAN，在特征融合模块PAN结构中加入了CSP网络残差模块使网络在计算特征梯度时不会有冗余信息，并且在搭建PAN的上采样中分别加入了CBAM注意力机制，在通道和空间两个独立维度依次推断图片的注意力，将注意图乘以输入特征图，使得rol-traj-yolov5算法在提取特征时更加聚焦于感兴趣的目标区域，更好的对背景噪声进行过滤。

进一步的，所述yolo_head为：

在网络的检测头部分使用Double-Head模块，此模块有一个专注于分类的全连接头和一个用于边界框回归的卷积头，因为fc-head比conv-head具有更高的空间敏感性，因此，fc-head具有更强的区分完整目标和部分目标的能力，但对回归整个目标并不鲁棒，因此使用Double-Head将坐标与类别分开预测可以使检测结果更加具有鲁棒性。

进一步的，所述步骤二具体为：

在网络预测阶段，网络会对输入预测出输入数据中需检测的目标信息的坐标信息、类别信息以及预测此类别的置信度；

其中坐标信息为网络对目标的预测框坐标x，y，w，h，θ，其中x，y，w，h为预测框的中心点坐标与预测框的宽和高，θ为预测框底边与水平坐标轴的旋转角度，其范围在0-180°之内；

在预测后处理时将预测坐标信息转换为目标框四个角的绝对坐标，最终预测结果为该输入轨迹的预测目标轨迹的类别以及预测框四个坐标的位置信息。

进一步的，所述步骤三包括：

通过分析输入数据中飞机轨迹点的状态，可以得出此轨迹点的目标位置信息、目标行为类别以及目标的置信度；

通过预先标注设定的目标的行为类别与飞机的型号与执行任务之间的关系，可以推断出此飞机的具体型号与具体执行任务；

在检测之后对检测结果进行处理，将检测出的目标的位置信息传入起始点检测算法计算出轨迹行为的开始点结束点。

本发明的技术效果为：

本发明的基于深度学习图像方法的飞行轨迹点行为模式分析及起始点检测技术的优点在于：

(1)在海量轨迹点数据集面前，相比于传统的机器学习算法来说，图像对于行为模式分析更为敏感，进行轨迹点转图像检测可以使用比神经网络更好的轨迹点形状等行为模式学习。

(2)通用横向墨卡托投影与其他经纬度坐标投影方法相比具有保角性，球面上的角度投影到平面上，不会发生变化，可以更精确的表示轨迹点的二维平面坐标。

(3)rol-traj-yolov5算法对yolo_head检测头使用Double-Head，Double-Head方法，它有一个专注于分类的全连接头和一个用于边界框回归的卷积头，将坐标与类别分开预测可以使检测结果更加具有鲁棒性。

(4)rol-traj-yolov5算法采用旋转框检测，相比与传统的yolo系列目标检测算法而言可以更贴近检测特定轨迹的位置，对轨迹点的分析和位置检测会更精确，对于特定轨迹的近似开始点与结束点计算可以更加精确，也为计算特定轨迹的起始点过滤了大量无用的轨迹点。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明实施例中的飞行轨迹点模式识别检测模块框图的示意图；

图2为本发明实施例中的轨迹点转图像算法1的示意图；

图3为本发明实施例中的目标检测算法2的示意图；

图4为本发明实施例中的起始点检测算法3的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

实施例一

如图1-4所示，本实施例中提供基于深度学习图像方法的飞行轨迹点行为模式分析方法：

本发明提供的基于深度学习图像方法的飞行轨迹点行为模式分析及起始点检测技术，如图1所示，其由轨迹点转图像算法1、目标检测算法2、起始点检测算法3构成。

所述轨迹点转图像算法模块1由通用横向墨卡托(utm)算法和全局归一化构成。如图1，所述目标识别检测技术中飞行轨迹点经轨迹点转图像算法模块1之后，变成了一张轨迹图像，然后进入目标检测算法2进行rol-traj-yolov5算法检测此轨迹图像的特定轨迹模式、置信度以及轨迹中检测目标的位置信息，最终将检测出的轨迹点的位置信息送入起始点检测算法3计算此轨迹中目标轨迹的起始点，最终返回输出为轨迹中目标轨迹的行为模式、置信度、坐标与起始点。

如图2所示，轨迹点转图像算法模块1包括通用横向墨卡托算法(utm)和全局归一化算法，全局归一化算法为以utm算法后形成x，y坐标的轨迹点的最左和最右为边界，对所有轨迹点以此边界求归一化的值，最终乘以图像的大小将轨迹点坐标转换到图像上，然后利用opencv的polylines算法将轨迹点坐标转换为轨迹点图像。

如图3所示，目标检测算法2对主干网络提取三个特征层，三个特征层经过上采样后与其他特征层拼接后来进行目标检测，输出针对大中小目标的三种尺度的候选框。

如图4所示，起始点检测算法3通过遍历算法遍历此轨迹中的所有轨迹点，使用is_in_poly算法，采用射线法判断一个点是否在多边形内，只需从点出发向右侧水平做出一条射线，如果跟多边形交点个数为奇数，则点在多边形内，否则在多边形外，来取出在预测目标框内的所有轨迹点，再将筛选后的轨迹点通过遍历其每个轨迹点的时间来取出最大时间与最短时间，即可取出此特定轨迹的起始点。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。