基于主机的日志大数据分析及安全性检查

摘要

在当今大数据及云计算时代，各种设备如手机，智能手环，智能眼镜甚至垃圾桶等等通过连接网络产生了丰富的应用，极大的方便了人们的生活。但与此同时生成大量的系统日志文件，这些日志中包含着用户登陆地点，使用设备，使用时间甚至用户当前的运动状态，血压及心跳等大量的信息。根据这些信息，能够分析出目标的行为习惯，身体状态等等。如何有效快速的处理如此大量的日志并从中挖掘出有用的信息已经成为全球学术界探索的热点之一。
　　本文在大数据的背景下，对目前主流的日志分析及挖掘技术进行了研究。首先学习了目前常见的几种日志并行处理方法，同时深入研究目前已有的大数据处理分析方法，进而设计出一套大数据日志分析用户及系统安全性检查的解决方案。
　　本文利用IBM智慧城市中的智慧物流系统作为日志来源，在主机上采用hadoop作为并行日志分析的计算框架，对大规模日志进行并行处理，将hadoop统计的结果作为SVM（支持向量机）的数据源，对已有数据进行分类，对用户的习惯进行分析，总结出不同用户的习惯规律，在用户产生异常行为时，系统及时发出警告，保证系统安全。
　　同时，采用了一种改进的主动学习算法，结合支持向量机对不平衡数据进行训练和分类，该算法通过高斯核函数分析已有数据集的分布状况，从而更加智能的从已有训练集样本未覆盖的区域选择新的样本，克服了训练集样本分布过度集中，信息表达不充分的缺点。利用该算法对未登录访问请求日志进行深层分析，分类器可以通过较小的代价学习更多的样本信息。同时，对未授权的访问请求进行区分处理，单独进行主动学习，从而提高整个系统的性能和安全性。

目录

声明

摘要

1 绪论

1．1 研究背景

1．2 国内外现状分析

1．3 本文的主要贡献

1．4 本文的组织结构

2 相关技术介绍

2．1 主机主要特点

2．2 可靠性

2．3 性能和扩展性

2．4 体系架构

2．5 灵活性

2．6 灾备方案

2．7 Hadoop

2．8 HDFS

2．8．1 文件命名空间

2．8．2 异常处理

2．8．3 特点

2．9 MapReduce

2．9．1 介绍

2．9．2 工作原理

2．10 支持向量机

2．10．1 SVM简介

2．10．2 SVM基本原理

2．10．3 SVM的基本算法

3 IBM智慧物流

3．1 IBM智慧物流整体设计

3．2 Memcached集群设计与实现

3．3 DB2与MYSQL双数据库支持设计与实现

4 HADOOP分析及处理大规模日志

4．1 日志处理系统架构

4．2 数据源采集

4．3 MapReduce过程

4．3．1 Map过程

4．3．2 Combine过程

4．3．3 一级Reduce过程

4．3．4 二级Reduce过程

4．4 SVM分析用户行为

4．4．1 SVM训练

4．4．2 SVM分析

5 主动学习分析非登录用户

5．1 主动学习

5．2 不平衡数据

5．3 改进的主动学习算法

5．3．1 高斯核函数

5．3．2 选择引擎优化

5．4 改进算法实验

5．4．1 实验设计

5．4．2 数据集

5．4．3 实验过程及结果分析

5．5 主动学习分析非登录用户数据

结论

参考文献

附录

攻读硕士学位期间发表学术论文情况

致谢