高维数据流异常检测算法的研究与应用

摘要

异常检测旨在从数据集中快速有效识别异常点，在金融数据分析、网络安全等领域被广泛应用。而以物联网数据为代表的高维数据流具有海量、异构有噪声，实时性要求高等特性，这使得传统的数据分析算法检测出异常点的效果不明显，而且时间复杂度高，具有潜在的局限性。高维数据流的异常检测面临着一定的挑战。针对高维数据流的特点和应用背景，本文分别提出了一种高效的实时数据异常检测算法和一种改进的趋势分析算法。经仿真实验和以电梯传感器数据流作为检测对象的测试分析，算法均表现出了较高的可靠性。主要的工作内容如下：
　　（1）基于高维数据流的特点和已有角度方差算法时间复杂度高等问题，提出改进的基于角度方差的异常检测算法HDSOD。结合信息熵理论对高维数据流保留价值信息，达到降维的目的；采用网格划分思想，构建了最佳数据集网格和最近数据集网格的小规模数据流计算集，以此计算最新数据点的角度方差异常因子，并通过实时更新网格的机制保证数据检测精度。
　　（2）提出了一种改进的数据流趋势分析算法。根据实际的应用需求，基于数据流变化的剧烈程度，选择使用不同的算法对其进行趋势分析，从而提高了数据流趋势分析的精度，为所监控数据对象提供故障预警和重要的决策支持。
　　（3）以电梯异常检测和故障预警为应用目标，将异常检测算法和改进的趋势分析算法用于分析电梯传感器数据流。仿真实验结果表明，异常检测算法能有效对监控对象提供实时异常检测和故障预警，本文提出算法更适用于实时性要求高的物联网高维数据流的异常检测。

目录

声明

第一章 绪论

1.1 课题背景与意义

1.2 国内外研究现状

1.3 研究内容

1.4 论文结构

第二章 高维数据流及异常检测分析

2.1 高维数据流概述

2.2 高维数据流相关预处理技术

2.3 传统的异常检测算法

2.4 经典的趋势分析算法

2.5 本章小结

第三章 改进的基于角度方差的异常检测算法

3.1 ABOD算法的不足

3.2 HDSOD算法的理论基础

3.3 异常检测算法-HDSOD

3.4 实验设计与结果分析

3.5 本章小结

第四章 改进的数据流趋势分析算法

4.1 问题描述

4.2 趋势分析算法的理论基础

4.3 趋势分析算法描述

4.4 本章小结

第五章 基于无线传感器网络的电梯异常检测

5.1 引言

5.2 无线传感网络高维数据流模型

5.3 HDSOD算法的实验及分析

5.4 趋势分析算法的实验及分析

5.5 本章小结

第六章 总结与展望

6.1 本文主要工作

6.2 进一步研究与展望

参考文献

攻读研究生期间公开发表的论文及专利

致谢