基于Spark的内河船舶轨迹实时异常检测方法研究

摘要

随着我国内河航运的繁荣发展，如何保证内河船舶航行安全成为亟需解决的问题。每年我国内河水域都有船舶碰撞、搁浅等水上交通事故发生，给人民的生命安全和财产带来巨大损失。而对船舶轨迹进行实时异常检测，能及时发现那些异常轨迹船舶，并给出预警，从而防微杜渐，有效避免船舶安全事故的发生。本文以内河船舶轨迹为研究对象，从船舶轨迹快速聚类、船舶轨迹实时异常检测以及船舶典型轨迹模型动态更新三方面对船舶轨迹进行研究。主要工作及创新如下： （1）设计了船舶子轨迹间相似性综合度量方法 由于内河环境复杂，不同航段的航道条件不同，本文首先依据航道特征将研究水域划分为限速航段（汇流、渡船、桥区等）、限宽航段（宽航道/窄航道）以及弯道航段，从船舶子轨迹位置、航向以及航速三方面综合度量船舶子轨迹间相似性，并依据分区航段特征，分配不同的距离权值，从而能更准确地衡量船舶子轨迹间相似性。 （2）设计了Spark下基于快速聚类的内河船舶典型轨迹模型构建方法 由于船舶轨迹数据具有高维复杂、数据量大等特征，针对现有密度峰快速聚类算法的不足，改进了局部密度的计算方法，并对多聚类中心的类簇进行合并，设计了适用于船舶子轨迹的快速聚类算法。另外，结合航道分区处理，在Spark平台上实现并行化船舶子轨迹快速聚类，提高聚类效率，并依据各分区航段聚类结果构建船舶典型轨迹模型。最后利用已有 AIS数据实验验证了算法的可行性及有效性。 （3）设计了基于Spark Streaming的内河船舶轨迹实时异常检测方法 为了满足船舶轨迹实时异常检测对于准确性以及时效性的要求，利用Spark Streaming框架处理实时流数据的高效性，设计了基于Spark Streaming的船舶轨迹实时异常检测方法。本文将船舶轨迹异常分为三类：船舶轨迹位置异常、船舶轨迹航向异常以及船舶轨迹航速异常，首先依据构建的船舶典型轨迹模型，对实时到达的船舶轨迹点进行船舶轨迹位置异常实时检测；考虑到单个轨迹点航向或航速异常不足以代表船舶轨迹航向异常或航速异常，因此，对于位置正常船舶轨迹点，取该船舶最近若干位置正常轨迹点构成轨迹段，使用轨迹段替代轨迹点进行船舶轨迹航向异常以及航速异常实时检测，并使用各分区航段阈值代替全局阈值提高检测精度。最后使用实时 AIS数据验证了该算法具有较好的准确率以及时效性。 （4）研究了船舶典型轨迹模型动态更新方法 由于内河通航条件的变化（如枯水期、丰水期、天气变化等），船舶正常轨迹也会随之改变，为了使船舶典型轨迹模型能够适应正常轨迹的动态变化，同时针对 AIS数据流特性，设计了面向船舶轨迹的在线数据流聚类算法。本文将在线聚类过程分为局部轨迹点微簇增量更新以及全局轨迹点微簇更新两阶段，并利用全局轨迹点微簇动态更新船舶典型轨迹模型，从而使得船舶典型轨迹模型能够适应船舶正常轨迹的变化，进而降低误警率。最后通过实验验证了船舶典型轨迹模型动态更新方法的有效性。

目录

声明

第1章 绪论

1.1 研究背景

1.2 研究目的及意义

1.3 国内外研究现状

1.4 研究内容

1.5 组织结构

第2章 Spark下基于快速聚类的内河船舶典型轨迹模型构建方法研究

2.1 引言

2.2 内河航道特征及船舶航行轨迹相关定义

2.3 船舶航行轨迹提取及子轨迹划分方法研究

2.4 船舶子轨迹相似性度量方法研究

2.5 基于Spark的船舶子轨迹快速聚类方法研究

2.6 内河船舶典型轨迹建模方法

2.7 本章小结

第3章 基于Spark Streaming的内河船舶轨迹实时异常检测方法研究

3.1 轨迹异常检测方法综述

3.2 基于Spark Streaming的船舶轨迹实时异常检测算法

3.3 船舶典型轨迹模型动态更新方法研究

3.4 本章小结

第4章 实验验证及分析

4.1 实验环境及数据

4.2 Spark下基于快速聚类的内河船舶典型轨迹模型构建

4.3 基于Spark Streaming的船舶轨迹实时异常检测

4.4 本章小结

第5章 总结与展望

5.1 工作与总结

5.2 展望

致谢

参考文献

攻读硕士学位期间研究成果