技术领域
本发明涉及一种ADS-B异常数据检测方法，特别涉及一种基于模糊聚类的ADS-B飞行轨迹数据清洗方法，用于对ADS-B地面站设备接受的飞行轨迹数据进行清洗，以便为航空公司分析航班运行、空中交通管制单位评估空域运行质量以及机场流量监控提供更准确的飞行轨迹数据，使得数据的分析与评估更加准确。
背景技术
随着我国经济和民航业的飞速发展，航空器的数量逐年增加，空域的负担愈发严重。空管部门对所管辖区域内的航空器也缺乏有效的监控和通信手段，这一点严重影响和制约了飞行安全与运行效率。在此背景下，基于低轨道卫星搭载接收机实施监控的ADS-B系统应时而生。
传统陆基ADS-B系统对地面设备的依赖性较强，地面设备布置一般只沿着飞行的航路航线、机场的终端区等陆地区域，对于沙漠、海洋、高山等地形复杂的区域，由于铺设地面设备的难度较大，很难做到全面覆盖。
星载ADS-B利用低轨道卫星搭载ADS-B接收机的方式对航班实施监控，通过机载GNSS或者INS输出航空器自身的三维位置、飞行速度以及其他与航空器飞行相关的数据，将这些数据上传给装载有ADS-B接收机的低轨道通信卫星，再通过低轨道通信卫星下传此ADS-B报文到地面接收站。由于不依赖于地面设备，所以可覆盖到陆基ADS-B系统未能覆盖到的区域，从而形成一个能够全面覆盖全球各个区域的ADS-B网络，达到对全球飞机的飞行追踪和实时监控的目的。与此同时，星载ADS-B在可靠性、经济型、使用寿命方面相较于陆基ADS-B均有一定程度的提升，其必将在未来发挥更加重要的作用。
但无论是陆基ADS-B还是星载ADS-B，其报文在传输过程中自身存在着漏洞和缺陷，其中地形环境、电磁干扰、信号覆盖面限制、信道堵塞、远距离传输等诸多因素不可避免地影响着ADS-B的数据质量，因此，在分析与应用ADS-B飞行轨迹之前，深入开展ADS-B数据处理方面的研究具有重要意义。
目前，有关ADS-B数据的研究工作主要集中在位置信息的准确性评估和质量分析上。在ADS-B的实际应用场景中，除了位置信息外，其他主要字段(时间戳和地面速度等)的数据质量也非常重要，需要有针对性的ADS-B飞行轨迹数据清洗方法来处理不同的异常。
现有的针对ADS-B飞行轨迹数据的清洗方法在异常航迹点检测方面多采用DBSCAN密度聚类等其他常用的聚类方法，对于DBSCAN密度聚类方法，如果样本的密度不均匀、聚类间距差之间差别很大，那么聚类的可靠性就会比较差，也就是说DBSCAN密度聚类算法并不是完全稳定算法。
其次现有的ADS-B数据清洗方法中针对时间戳修正前对经纬度位置与时间戳顺序冲突的点的排除方法多为简单的限制和判断，这样算法的容错度会增大，排除效果会比较差。
发明内容
基于现有技术的状况，本发明提供了一种基于模糊聚类的ADS-B飞行轨迹数据清洗方法，本方法选择特征域，使用模糊聚类在特征域中寻找离群值，同时检测和处理异常点；为了满足ADS-B数据应用的要求，再对经纬度位置和地面速度进行了时间戳修正，以便为航空公司分析航班运行、空中交通管制单位评估空域运行质量以及机场流量监控提供更准确的飞行轨迹数据，使得数据的分析与评估更加准确。
本发明采用的技术方案是：一种基于模糊聚类的ADS-B飞行轨迹数据清洗方法，基于ADS-B地面站数据接收平台，对其所接收的飞行轨迹数据进行清洗，步骤如下：
第一步，数据去重
为了减少异常检测和处理的误差，首先需要对ADS-B数据进行重复数据删除操作，对某一航班的历史飞行轨迹数据，有以下3个内容：
(1)根据时间先后的顺序对所有航迹点时间戳进行排序；
由于修正时间戳的时候需要以时间顺序为基点进行数据处理，且航班运行中的各项数据，例如经纬度、气压高度、低速和航迹角会伴随时间按一定规律变化，因此首先需要将所有航迹点按照时间戳顺序进行排序；
(2)删除带有重复时间戳的轨迹点；
由于ADS-B数据传输过程中易产生数据误差、字段重复情况，需要删除时间戳重复的航迹点；
(3)删除在航迹点数据中经度和纬度数据同时相同的点；
由于航班飞行轨迹数据的时间单向性，故在其运行过程中不会出现航迹点有相同的经度和纬度的情况，因此需要删除经度和纬度同时重复的相邻航迹点；
第二步，特征字段的筛选
(1)选取经度、纬度、气压高度作为特征字段
收集归属ADS-B数据依靠ICAO24位飞机地址即全球唯一机体代码，通过识别唯一代码可以将同一航班所对应的航迹点全部归属该航班，在观察大量飞行剖面后能得出规律：在ADS-B传回的各类数据中，经度、纬度剖面具有清晰易识别的变化趋势规律，出现的异常点与主要数据链存在明显的偏差；气压高度数据来源为飞机气压高度表，ADS-B精准记录了气压高度随时间戳的变化，可能的异常点为与时间戳更新滞后导致的个别点的漂移，因此，经度纬度气压高度可作为特征字段；
(2)计算地速、航迹角作为特征字段
通过两点之间经纬度变化与时间差关系计算出飞机地速，与实际飞行剖面相符；
航迹角剖面具有稳定良好的变化趋势，即符合航迹运行规律，出现少数个别异常航迹点原因为与时间戳的不同步导致；
(3)排除垂直速度作为特征字段
垂直速度来源于垂直速度仪表，这种随气流变化高度变化的仪表在飞行过程中极易受到高空气流影响，在长时间的时间戳上很难精确看出垂直速度与时间戳的趋势变化关系，故不考虑采用垂直速度作为特征字段；
(4)综上选择经度、纬度、气压高度、地速、航迹角作为特征字段；
第三步，异常数据检测和分析——模糊聚类方法
模糊聚类分析一般是指根据研究对象本身的属性来构造模糊矩阵，并再次基础上根据一定的隶属度来确定聚类关系，即用模糊数学的方法把样本之间的模糊关系定量的确定，从而客观且准确地进行聚类，ADS-B特征字段具有发生位置随机性和不连续地特点，且特征数值符合飞机性能规律，为了直观分析异常数据，选择模糊聚类方法进行数据监测，步骤如下：
(1)选择某一特征字段的数据集D＝{x
其中
(2)建立相似关系，具体方法有：
①主观分析，由专家打分，给出所有关系的值，再对专家的意见进行加权求和；
②对于离散的数值，采用绝对值减数法：
其中c根据意见分析适当选取，使得r
(3)使用传递闭包法：
求出模糊相似矩阵R的传递闭包t(R)，先对数据进行归一化处理得到特性矩阵，归一化具体操作为将每列的最大值与最小值找出，然后对这列每个数据进行如下运算得到
其中x
第四步，时间戳修正
在时间戳修正之前，首先将之前根据经纬度、高度大致绘制出的航迹点按照飞行阶段划分成三组：起飞爬升组CL、巡航组CR、下降进近组AP，划分成不同阶段的航迹点以便后续排除航迹点经纬度位置与时间戳顺序冲突的航迹点；
根据ADS-B样本中的位置即经纬度、高度和地速字段估算出飞行时间，再利用已有数据去修正时间戳，并且写入扩展字段，对于经过异常过滤后共有N个航迹点的航班ADS-B轨迹T＝{P
a)第一步，先去除经纬度位置与时间戳顺序冲突的航迹点；
(1)CL组冲突航迹点排除
由于民航客机需要综和考虑飞机性能、障碍物超障和旅客舒适度，所以飞机在起飞爬升阶段有一定的性能限制，起飞爬升的标准梯度为3.3％，考虑到实际飞行中的误差以及为提高算法的容错度，设置0.5％的梯度余度，即爬升阶段的爬升梯度范围应为(2.8，3.8)，根据经纬度和高度信息，可以求出相邻两个航迹点P
(2)CR组冲突航迹点排除
对于飞行的巡航阶段，存在方位角距离的限制，找到前一个航迹点P
FA(A
(3)AP组冲突航迹点排除
下降和进近阶段的限制因素与爬升阶段类似，但在梯度限制上略有不同；
①进场航段的下降梯度不超过8％；
②起始进近航段的最大下降梯度为8％；
③中间仅仅阶段多为平飞，不做梯度限制要求；
④有FAF的非精密进近程序最后进近航段最大下降梯度为：A、B类航空器不超过6.5％，C、D、E类航空器不超过6.1％；
在航迹分析中，无法辨别进近的不同阶段与进场的区别，故统一按照下降的最大梯度8％进行限制；同爬升阶段，根据经纬度和高度信息，求出相邻两个航迹点P
b)第二步，计算出P
采用质点运动学的计算方法，为准确计算两个相邻航迹点之间的飞行时长，需要根据不同飞行阶段采用不同的加速度来进行计算，各飞行阶段加速度可以参考本机型多次执飞的航空器机载快速存取记录(QAR)中各飞行阶段的最大加速度，这里设爬升阶段加速度为a
对于CL组航迹点，其匀变速时长为W
W
利用最大加速度计算，若S
T
时间戳修正值可通过多次迭代得出；
同上，CR组及AP组航迹点时间戳修正可通过以下方式迭代得出：
CR组：
W
AP组：
W
T
根据以上步骤得到修正时间戳，并写入扩展字段。
本发明的有益效果是：相比于DBSCAN密度聚类等“硬聚类”方法会将样本进行分类，本模糊聚类方法会计算每个样本对所有类别的隶属关系和隶属程度，这一点相比于其他聚类方法在飞行轨迹数据清洗方面更加可靠。
本方法考虑到真实飞行中的情况，利用飞机性能的理论，创新性地采用对飞行轨迹分段的方法，针对不同飞行阶段地航迹点数据采用不同地限制因素进行排除，本方法从真实飞行情况出发，对数据处理方面要求更严格进而使得清洗精确度较高，可以使得排除效果更好，清洗方法更加准确。
附图说明
图1为本发明的方法流程图；
图2为本发明中飞行不同阶段的示意图。
具体实施方式
如图1所示，一种基于模糊聚类的ADS-B飞行轨迹数据清洗方法，基于ADS-B地面站数据接收平台，对其所接收的飞行轨迹数据进行清洗，对数据处理方面要求更严格进而使得清洗精确度较高。
第一步，数据去重
为了减少异常检测和处理的误差，首先需要对ADS-B数据进行重复数据删除操作。对某一航班的历史飞行轨迹数据，有以下3个内容：
(1)根据时间先后的顺序对所有航迹点时间戳进行排序；
由于修正时间戳的时候需要以时间顺序为基点进行数据处理，且航班运行中的各项数据，例如经纬度、气压高度、低速和航迹角等会伴随时间按一定规律变化，因此首先需要将所有航迹点按照时间戳顺序进行排序。
(2)删除带有重复时间戳的轨迹点；
由于ADS-B数据传输过程中易产生数据误差、字段重复等情况，需要删除时间戳重复的航迹点。
(3)删除在同一时间经纬度重复的点。
由于航班飞行轨迹数据的时间单向性，故在其运行过程中不会出现航迹点有相同的经度和纬度的情况，因此需要删除经度和纬度同时重复的相邻航迹点。
第二步，特征字段的筛选
(1)选取经度、纬度、气压高度作为特征字段
收集归属ADS-B数据依靠ICAO24位飞机地址即全球唯一机体代码，通过识别唯一代码可以将同一航班所对应的航迹点全部归属该航班。在观察大量飞行剖面后能得出规律：在ADS-B传回的各类数据中，经度、纬度剖面具有清晰易识别的变化趋势规律，出现的异常点与主要数据链存在明显的偏差；气压高度数据来源为飞机气压高度表，ADS-B精准记录了气压高度随时间戳的变化，可能的异常点为与时间戳更新滞后导致的个别点的漂移，因此，经度纬度气压高度可作为特征字段。
(2)计算地速、航迹角作为特征字段
通过两点之间经纬度变化与时间差关系可以计算出飞机地速，与实际飞行剖面相符。
航迹角剖面具有稳定良好的变化趋势，即符合航迹运行规律，出现少数个别异常航迹点原因为与时间戳的不同步导致。
(3)排除垂直速度作为特征字段
垂直速度来源于垂直速度仪表，这种随气流变化高度变化的仪表在飞行过程中极易受到高空气流影响，在长时间的时间戳上很难精确看出垂直速度与时间戳的趋势变化关系，故不考虑采用垂直速度作为特征字段
(4)综上选择经度、纬度、气压高度、地速、航迹角作为特征字段。
第三步，异常数据检测和分析——模糊聚类方法
模糊聚类分析一般是指根据研究对象本身的属性来构造模糊矩阵，并再次基础上根据一定的隶属度来确定聚类关系，即用模糊数学的方法把样本之间的模糊关系定量的确定，从而客观且准确地进行聚类，ADS-B特征字段具有发生位置随机性和不连续地特点，且特征数值符合飞机性能规律，为了直观分析异常数据，选择模糊聚类方法进行数据监测，步骤如下：
(1)选择某一特征字段的数据集D＝{x
其中
(2)建立相似关系，具体方法有：
①主观分析，由专家打分，给出所有关系的值，再对专家的意见进行加权求和；
②对于离散的数值，采用绝对值减数法：
其中c根据意见分析适当选取，使得r
(3)使用传递闭包法：
求出模糊相似矩阵R的传递闭包t(R)，先对数据进行归一化处理得到特性矩阵，归一化具体操作为将每列的最大值与最小值找出，然后对这列每个数据进行如下运算得到
其中x
第四步，时间戳修正
在时间戳修正之前，首先将之前根据经纬度、高度大致绘制出的航迹点按照飞行阶段划分成三组：起飞爬升组CL、巡航组CR、下降进近组AP，图2为飞行不同阶段的剖面图。
划分成不同阶段的航迹点以便后续排除航迹点经纬度位置与时间戳顺序冲突的航迹点。
根据ADS-B样本中的位置(经纬度)、高度和地速等字段估算出飞行时间，再利用已有数据去修正时间戳，并且写入扩展字段，对于经过异常过滤后共有N个航迹点的航班ADS-B轨迹T＝{P
a)第一步，先去除经纬度位置与时间戳顺序冲突的航迹点。
(1)CL组冲突航迹点排除
由于民航客机需要综和考虑飞机性能、障碍物超障和旅客舒适度，所以飞机在起飞爬升阶段有一定的性能限制。起飞爬升的标准梯度为3.3％，考虑到实际飞行中的误差以及为提高算法的容错度，设置0.5％的梯度余度，即爬升阶段的爬升梯度范围应为(2.8，3.8)。根据经纬度和高度信息，可以求出相邻两个航迹点P
(2)CR组冲突航迹点排除
对于飞行的巡航阶段，存在方位角距离的限制，找到前一个航迹点P
(3)AP组冲突航迹点排除
下降和进近阶段的限制因素与爬升阶段类似，但在梯度限制上略有不同。
①进场航段的下降梯度不超过8％；
②起始进近航段的最大下降梯度为8％；
③中间仅仅阶段多为平飞，不做梯度限制要求；
④有FAF的非精密进近程序最后进近航段最大下降梯度为：A、B类航空器不超过6.5％，C、D、E类航空器不超过6.1％。
在航迹分析中，无法辨别进近的不同阶段与进场的区别，故统一按照下降的最大梯度8％进行限制。同爬升阶段，根据经纬度和高度信息，可以求出相邻两个航迹点P
b)第二步，计算出P
采用质点运动学的计算方法，为准确计算两个相邻航迹点之间的飞行时长，需要根据不同飞行阶段采用不同的加速度来进行计算。各飞行阶段加速度可以参考本机型多次执飞的航空器机载快速存取记录(QAR)中各飞行阶段的最大加速度。这里设爬升阶段加速度为a
对于CL组航迹点，其匀变速时长为W
W
利用最大加速度计算，若S
T
时间戳修正值可通过多次迭代得出。
同上，CR组及AP组航迹点时间戳修正可通过以下方式迭代得出：
CR组：
W
AP组：
W
T
根据以上步骤得到修正时间戳，并写入扩展字段。
机译： 飞行轨迹预测系统和基于飞行轨迹的自动延误风险转移系统及相应方法
机译： 飞行轨迹预测系统，基于飞行轨迹的自动化延误风险转移系统及相应方法
机译： 基于主成分分析和马尔可夫链蒙特卡洛法的模糊聚类方法
