基于Cox比例风险模型的Hadoop集群可靠性分析

摘要

当今，Hadoop集群在大数据时代下已经广泛使用，互联网公司对数据的处理和分析广泛使用Hadoop集群。一旦Hadoop集群失效，会导致数据的丢失，带来工作上的不便，甚至带来重大的经济损失。对国家和个人来说，Hadoop集群的可靠性始终是一个令人头痛的问题。所以，Hadoop集群的可靠性研究是十分必要的。
　　在整个 Hadoop集群中，主要包括若干个数据节点和主节点。在对节点的可靠性分析时，软件的失效主要与负载有关，所以本文使用Cox比例风险模型来描述节点失效率与负载（累积负载和瞬时负载）的关系。在 Hadoop集群运行中，随着节点失效从而会导致软件降级。所以，Hadoop集群的失效过程可以看成非齐次马尔可夫过程(NHMP）。该过程中，软件的负载随着时间的变化而变化，不是固定不变的。该过程可以分为若干个非连续的非齐次泊松过程（NHPP）,该过程用来描述每个节点失效前的系统可靠性过程。
　　在此基础之上，文中对 Hadoop集群的可靠性进行了分析。本论文提出的集群可靠性模型能够用于集群的设计与研究。最后，作者进行了一个评估实验展示了该方法的可行性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1课题的研究背景与意义

1.2研究现状

1.3本文的主要研究工作

1.4本文的结构

第二章 Hadoop框架分析

2.1 Hadoop的核心内容

2.2 MapReduce的具体实现

2.3 HDFS的具体实现

2.4本章小结

第三章 可靠性和比例风险模型

3.1可靠性模型

3.2 Cox比例风险模型简介

3.3本章小结

第四章 Hadoop集群的可靠性分析

4.1 Hadoop集群的分析

4.2集群节点NHPP过程

4.3软件行为模型

4.4数据节点可靠性分析

4.5主节点可靠性分析

4.6 Hadoop集群的可靠性分析

4.7本章小结

第五章 实验说明与模型检验

5.1实验搭建与说明

5.2集群可靠性分析

5.3实验验证

5.4本章小结

第六章 总结

6.1总结

6.2展望

参考文献

发表论文和科研情况说明

致谢