面向Hadoop的云计算平台安全监测技术研究

摘要

云计算代表了IT领域向集约化、规模化与专业化道路发展的趋势,是IT领域正在发生的深刻变革。它极大的提高了各类资源的使用效率,但同时也对用户信息资产安全与隐私保护带来极大的冲击与挑战。Hadoop作为一种开源的基础云计算框架,在企业界得到了越来越广泛的关注,但是其对云计算平台的安全问题尚未得到有效解决。由此可知,Hadoop在安全机制方面的薄弱已成为阻碍其发展的主要问题之一。因此,Hadoop平台安全监测技术的研究,将在一定程度上,提高用户对Hadoop的信任,从而推动Hadoop的发展。
　　本文在研究Hadoop安全问题的基础上,针对Hadoop集群数据安全及资源安全的不同特征,提出一种用户行为的数据访问异常检测技术及一种资源消耗的异常检测技术,实现对Hadoop集群的安全监测,从而提高Hadoop集群的安全性。本文的主要工作如下:
　　首先,针对Hadoop HDFS的数据访问方式,提出一种基于隐马尔科夫模型的用户访问行为异常检测技术。不同于其他的基于关联分析的用户行为异常检测技术,该方法针对单个用户的微命令序列实施监测,避免了关联分析中数据挖掘过程和多特征的数据预处理过程,从而大大降低了时间和空间复杂度,提高了用户异常行为监测的实时性。
　　其次,针对Hadoop平台分布式存储和分布式计算的资源消耗特点,提出一种基于KNN的资源消耗异常检测技术。该方法通过将k-近邻方法运用到时间子序列模式上,同时结合滑动窗口,实现子序列模式的局部异常检测,从而发现模式异常。此方法改进了一般基于突发点的异常检测技术,从而发现时间序列的缓慢异变,实现对子序列模式异常的检测。
　　通过本文的研究,使得用户数据的访问安全得到进一步保障,同时使得整个Hadoop集群针对资源的安全监测能力取得一定的进步,为达成Hadoop平台向用户提供高可靠服务性能的目标,提供了一个有效参考。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 课题背景

1.2 课题意义

1.3 论文研究内容

1.4 论文组织结构

第2章 Hadoop与云计算安全监测技术研究现状

2.1 引言

2.2 Hadoop相关理论知识

2.3 Hadoop安全监测技术研究现状

2.4 本章小结

第3章 基于HMM的Hadoop用户访问行为异常检测技术研究

3.1 引言

3.2 检测模型

3.3 基于HMM的用户行为异常检测

3.4 实验过程与结果分析

3.5 本章小结

第4章 基于KNN的Hadoop资源消耗异常检测技术研究

4.1 引言

4.2 基于KNN的异常检测方法的基本技术

4.3 基于KNN的时间子序列局部异常检测方法

4.4 实验过程与结果分析

4.4 本章小结

结论

参考文献

攻读硕士学位期间发表的论文和取得的科研成果

致谢