大数据环境下实时流量异常检测算法的研究

摘要

随着互联网的快速发展，数据网规模不断扩大，基于数据网的各种应用业务也越来越广泛，对各大运营商以及业务数据量大的企业，在运维管理方面不得不投入了大量的人力与物力。在运维管理中，故障实时预警是最重要的一部分，快速并准确地预警故障，可以以最快的速度发现业务环境中的问题，从而及时地避免故障带来的严重损失。在大数据环境下，研究实时故障预警技术的理论和实现机制，在现实运维管理中有很大的实际意义。
　　其中流量实时预警是最重要的一个环节，通过流量的实时预警，可以很大程度反馈业务的故障。因此，本文的研究重点主要是针对流量序列的异常检测展开。
　　本文的研究内容主要包含两个部分:流量异常检测的准确性和在大数据环境下，流量异常预警的实时性。
　　1、在流量异常检测的准确性方面，提出了N-ARMA的流量异常检测算法，该算法基于ARMA的时间序列的预测模型，对模型参数进行提取与模型优化处理，并使用序列预测偏差拟合正态分布，构建异常可置区间。最后通过对比小波算法和排列熵算法，实验表明N-ARMA的检测算法在准确性最优。
　　2、在大数据环境下实时预警方面，本文提出了一个基于Storm的实时分布式的计算框架，结合了Kafka分布式可靠传输消息队列，并使用nginx与jetty作为前端负载均衡处理。最后通过对比传统的集中式服务框架，实验表明，本文提出的框架具有更小的性能开销，同时异常检测时延更短。

目录

声明

摘要

第一章 引言

1．1 研究背景

1．2 研究现状

1．3 本文研究内容

1．4 论文的结构安排

第二章 相关技术及模型介绍

2．1 相关技术

2．1．1 Kafka简介

2．1．2 Storm简介

2．2 流量模型相关理论

2．2．1 时间序列介绍

2．2．2 短相关模型

2．2．3 长相关模型

2．2．4 时间序列的自相性与偏自相关性的定义

2．3 模型参数常用估计方法

2．3．1 矩估计方法

2．3．2 极大似然估计方法

2．3．3 最小二乘法估计方法

2．3．4 小结

2．4 本章小结

第三章 基于N-ARMA的流量异常检测模型

3．1 网络流量的相关特性

3．1．1 自相似性

3．1．2 不稳定性

3．2 N-ARMA模型公式

3．3 N-ARMA模型构建方法

3．3．1 F1自回归滑动平均方程式构建

3．3．2 F2异常检测置信区间方程式构建

3．4 本章小结

第四章 基于N-ARMA模型的参数估计验证与实验分析

4．1 实验方案

4．2 实验数据预处理

4．3 流量序列平稳性与纯随机性分析

4．4 F1(1，q)拟合与检验

4．4．1 F1(1，0)检验

4．4．2 F1(1，1)检验

4．4．3 F1(1，2)检验

4．4．4 F1(1，3)检验

4．5 F1模型优化

4．6 F1(1，3)预测模型

4．7 F2异常检测置信区间方程式

4．8 N-ARMA(1，3)模型方程式

4．9 异常点检测实验

4．9．1 数据集

4．9．2 实验结果与分析

4．10 本章小结

第五章 Storm分布式实时流量预警框架

5．1 总体设计

5．1．1 系统逻辑架构设计

5．1．2 系统总体功能设计

5．1．3 数据模型设计

5．2 详细设计

5．2．1 流量采集

5．2．2 流量数据预处理

5．2．3 流量统计与预警

5．2．4 N-ARMA异常检测模型构建

5．3 系统实现

5．3．1 系统环境

5．3．2 数据库实现

5．3．3 系统性能与时延

5．4 框架对比

5．4．1 数据源

5．4．2 硬件设备

5．4．3 系统框架结构

5．4．4 对比结果

5．5 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

参考文献

攻读学位期间发表的学术论文

致谢