云计算下MapReduce编程模型可用性的研究与优化

摘要

云计算的根基是那些隐藏于后台的大规模数据，通常数据的规模可以达到TB甚至PB级别，如何处理如此大量的数据是云计算要面临的主要问题之一。由于数据量非常大，单台机器不可能满足海量数据处理的性能和可靠性等方面的要求。因此如何在分布式数据系统中对大规模数据进行处理，是目前云计算所面临的主要挑战。此前的运算模式已经不能满足云计算环境下的数据处理能力，在此背景下，MapReduce编程模型应运而生。然而 MapReduce编程模型并不完善，多数学者分别针对该模型算法执行效率、内部算法本身、与现有系统集成或者与现有方法论结合等方面做出了相应贡献。而在MapReduce编程模型总体架构上的改进相对来说较少。
　　本文对Google的云平台技术MapReduce和Google File System进行了深入研究，并针对两个技术在Hadoop中的应用（分别对应 MapReduce和Hadoop Distributed File System）进行了深入研究和实践。运用现有框架搭建了一个小型机群，实现了一个用于支持大规模分布式数据处理应用的集群系统，发现了该系统在处理单一节点失效问题上的性能缺陷。提出了使用分层的主从式架构模型以及任务节点元数据备份策略相结合的方式，来解决任务服务器上单一节点失效之后所带来的系统崩溃问题，以此提高了整个系统的可用性同时缓解了任务节点的压力。之后根据本文所做的研究工作，重新搭建了一个改进后的小型应用集群系统，并对改进前与改进后的系统进行了系统的测试和数据收集。通过对数据的汇总、对比及分析，本文得出的结论是，采用本文的架构模型会在系统执行效率方面较传统的主从式架构模型有所下降，但是解决了系统性能瓶颈受限于单一任务服务器的问题，同时大幅提高了系统整体的可用性，因此这种用少量性能换取长时间系统稳定运行的做法是可行的。
　　本文首先对国内外云计算技术研究现状进行了综述，分析了各大公司已有云计算应用的架构与特点；之后，研究与分析了MapReduce编程模型和Google File System等在云计算领域受到广泛关注的技术，并在此基础上进行实验和总结；针对已有应用中出现的单一节点失效问题，提出了使用分层的主从式架构模型与任务节点元数据备份策略相结合的方式对云计算已有架构进行改进，解决了现有系统在任务节点失效之后整体系统瘫痪的问题，同时还降低了任务节点的负荷；最后，对改进前后的集群系统进行了执行效率测试和可用性测试，并对测试数据进行收集、汇总和分析，得出了最终结论。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪 论

1.1 背景意义

1.2 研究与应用现状

1.3 研究内容与取得成果

1.4 本文结构

2 大规模数据下云计算技术特点分析

2.1 国内外技术现状

2.2 现有技术存在的问题

2.3 本文研究方法

2.4 相关技术简介

2.5 本章小结

3 针对于MapReduce编程模型可用性的研究与优化

3.1 基于已有架构所做的实现与存在的问题

3.2 运用分层的主从式架构设计

3.3 加入任务节点元数据备份策略的分层架构设计

3.4 本章小结

4 实验系统与结果分析

4.1 实验环境

4.2 系统设计

4.3 实验数据及结果分析

4.4 本章小结

5 总结与展望

5.1 本文总结

5.2 未来工作展望

参考文献

附录

攻读硕士期间所参与的研究与项目

攻读硕士学位期间已发表或录用的论文

致谢