基于传感器网络数据流的异常检测算法研究

摘要

随着传感器成本的降低和性能的上升，传感器的应用越来越普及。不同位置和不同设备上的传感器产生不同的数据流，我们期望从这些数据流当中实时地分析出我们所感兴趣的数据或者事件。随着科技的发展，传感器越来越智能化，伴随着传感器数量的增加，大量的传感器被组织成网络的形式。如何在传感器网络数据流中进行数据挖掘将带来一个全新的挑战。 滑动窗口技术作为目前最为重要的数据流技术之一，得到了广泛的研究和应用。通过对滑动窗口中数据分布的精确估计，我们就能进行异常检测和其他一些重要的应用。 本文首先研究了传感器网络数据流中滑动窗口的数据分布估计，这种数据分布估计本身并不要求知道其先验知识，而是使用链式抽样和核心密度函数，在不需要遍历滑动窗口中所有元素的情况下，就可以快速、近似地估计出其中的数据分布，因此非常适合数据流环境；在数据分布估计的基础上，进一步研究了基于距离的在线异常检测方法——D3算法和基于密度的在线异常检测方法——MGDD算法；接下来结合具体情况，给出了传感器网络数据流的在线异常检测系统模型和D3算法及MGDD算法的改进方案和改进算法；最后通过实验结果与分析给出了算法的实验支持。

目录

文摘

英文文摘

声明

第1章引言

1.1研究背景与意义

1.2研究内容与思路

1.3论文组织结构

第2章传感器网络模型介绍

2.1传感器

2.2传感器网络

2.2.1无线传感器网络

2.3层状传感器网络模型

第3章数据流与异常检测

3.1数据流

3.1.1数据流模型和生成概要数据结构的常用方法

3.1.2数据流挖掘的常用算法

3.2异常挖掘

3.2.1异常与异常挖掘

3.2.2异常挖掘基本算法

3.3数据流中的异常挖掘

第4章传感器网络数据流的异常检测算法

4.1概率密度函数的估计

4.2滑动窗口中的数据分布的在线近似估计

4.2.1多个传感器数据分布模型的合并

4.2.2复杂度分析

4.3分布的比较

4.4基于距离的异常检测算法—D3算法

4.5基于多粒度局部度量的异常检测算法—MGDD算法

4.6传感器网络数据流异常检测系统模型设计

4.7 D3算法和MGDD算法的改进

4.7.1改进方案

4.7.2改进后的D3算法

4.7.3改进后的MGDD算法

第5章实验结果与分析

5.1系统介绍

5.2实验结果分析

5.2.1数据分布估计的精确性

5.2.2 recall和precision随参数变化的改变情况

5.2.3 recall和precision的选取原则

5.2.4 f和传感器网络中消息数目的关系

5.2.5结点数目与消息数目的关系

第6章总结与展望

6.1总结

6.2工作展望

参考文献

致谢