基于动态马尔科夫模型的时间序列异常检测研究

摘要

随着科学技术的发展与人类社会的进步，不管是在科学领域还是在生活领域都积累了大量的数据，其中大部分数据都是时间序列数据。时间序列异常检测也越来越重要并广泛应用于各个领域，例如信用卡欺诈检测、医疗监控、网络安全入侵检测等。
　　本文首先简要阐述了时间序列异常检测技术的研究现状，根据时间序列异常检测技术的发展过程，对异常检测技术进行了分类，并分析了各自的优缺点。现有的异常检测方法中，基于预测的异常检测技术由于其异常检测范围广而备受研究者的追捧，其中马尔可夫链技术因其实现简单、参数少而被广泛接受。本文深入研究分析了传统的基于经典马尔科夫模型的异常检测技术和基于高阶马尔科夫模型的异常检测技术。针对基于经典的马尔可夫模型方法的短时记忆特性忽略了数据之间的相互关联性，同时基于高阶马尔可夫模型方法的长期记忆特性模糊了历史数据与当前测试数据之间的相关性，降低了模型的可靠性的问题。
　　本文在这两种方法的基础上提出了基于动态马尔科夫模型的时间序列异常检测方法。该方法通过滑动窗口对序列数据进行分割，依据滑动窗口中数据的取值范围使用等宽度区间分割方法定义数据的状态，使用Pearson相关性分析方法确定高阶马尔可夫模型的阶数并建立模型，从而达到平衡记忆长度的目的，并能跟上时间序列的波动趋势。此外，提出了一种异常替换策略来防止已检测出的异常对后续模型建立的影响，以保证异常检测能够连续进行。使用合成数据和真实数据来分析验证所提出方法的各项参数以及测试该检测方法的性能。实验表明本文提出的基于动态马尔科夫模型的异常检测方法提高了适应性和检测准确性，降低了异常检测的误判率，并且克服了传统基于马尔科夫模型异常检测方法无法检测带趋势的非平稳时间序列的局限。
　　最后将提出的方法扩展到多维时间序列异常检测领域，并做了初步探索研究，提出了基于SVD（Singular Value Decomposition）特征分解和动态马尔科夫模型的多维时间序列异常检测方法，实验表明了此方法具有很好的理论研究意义以及广阔的研究前景。

目录

插图索引

表格索引

符号对照表

缩略语对照表

第一章 绪论

1.1研究背景及意义

1.2研究现状

1.3异常检测评价方法

1.4本文的主要贡献与创新

1.5论文的内容安排

第二章 时间序列异常检测方法基础研究

2.1基于统计的异常检测技术

2.2基于距离的异常检测技术

2.3基于密度的异常检测技术

2.4基于预测的异常检测技术

2.5本章小结

第三章 传统马尔科夫异常检测算法研究

3.1马尔科夫预测模型的基本原理

3.2基于经典马尔科夫模型的异常检测

3.3基于高阶马尔科夫模型的异常检测

3.4本章小结

第四章 基于动态马尔科夫模型的异常检测

4.1数据状态定义

4.2建立n阶马尔科夫模型

4.3异常检测和模型再训练

4.4异常替换策略

4.5实验与结果分析

4.6本章小结

第五章 基于SVD特征分解和动态马尔科夫模型的多维时间序列异常检测

5.1多维时间序列异常检测研究背景及现状

5.2基于SVD特征分解和动态马尔科夫模型的异常检测

5.3实验分析

5.4本章小结

第六章 结论与展望

6.1研究结论

6.2研究展望

参考文献

致谢

作者简介