基于日志数据的异常检测算法研究与实现

目录

摘要

1绪论

1．1研究背景与意义

1．2研究现状

1．3存在的主要问题

1．4研究内容

1．5论文组织结构

2相关技术研究

2．1日志数据

2．2分布式拒绝服务攻击

2．3异常检测概述

2．4分布式平台Hadoop

2．4．1分布式文件系统HDFS

2．4．2计算框架MapReduce

2．4．3资源管理器Yarn

2．5并行计算框架Spark

2．5．1弹性分布式数据集

2．5．2运行框架与流程

2．6小结

3数据准备

3．1数据准备的流程

3．2数据集采集

3．2．1数据集样本

3．2．2数据集获取

3．2．3数据分配

3．3．1日志的组成结构

3．3．2特征数据预处理

3．4特征分析

3．5特征选择

3．6特征组合与特征联合

3．7小结

4异常检测算法设计

4．1异常检测步骤

4．2模型选择

4．2．1逻辑回归

4．2．2朴素贝叶斯

4．2．3支持向量机

4．2．4随机森林

4．2．5BP神经网络

4．2．6循环神经网络

4．2．7Adaboost

4．3一种改进的日志异常检测方法

4．4分布式环境下的异常检测

4．5分类模型评估准则

4．5．1准确率和召回率

4．5．2F1值

4．5．3ROC和AUC

4．6小结

5异常检测算法实现与分析

5．1实验环境

5．2平台搭建

5．2．1Hadoop集群

5．2．2Spark框架

5．3实验结果

5．3．1分类模型的结果

5．3．2改进方法的结果

5．3．3分布式平台下的结果

5．4结果对比与分析

5．4．1运行时间对比与分析

5．4．2性能对比与分析

5．5小结

6结论

6．1研究结果

6．2研究局限与未来工作

参考文献

攻读硕士学位期间发表的论文及成果

致谢

声明