通信网云计算平台资源调度策略与算法研究

摘要

由于电信运营商面对的计算任务日益趋向于复杂多样，需要充分利用已有的强大硬件平台建设统一的云计算平台，以满足其各种计算需求。云计算是近几年来计算机领域的一个研究热点，是基于互联网的一种分布的超级计算模式，被誉为下一代互联网技术的核心。其中，Hadoop分布式云计算平台是一个典型的云计算架构平台，由于其灵活、经济、开源、易扩展的特性，使得该平台成为电信运营商搭建云平台的一个重要选项。为此，本文基于电信运营商的计算需求，对Hadoop开展研究、分析和优化。
　　 本文首先深入研究了Hadoop的架构，针对其在电信运营商大规模集群环境下的主资源调度节点JT的单点失效问题，提出一种面向大规模Hadoop集群的异域热备份双JT模型。通过主备份JT选举算法，实现两个主控节点的竞争;通过分析研究在主节点坏损情况下的应对办法，确保模型的稳定性;通过备份节点预处理计算节点的反馈信息，减轻主用节点的处理负担，进一步深化主用和备份节点的协调配合。
　　 其次，对Hadoop的作业资源调度算法进行研究分析，基于电信运营商存在大量突发实时作业的需求，在现有的Hadoop公平调度算法基础上，提出一种基于多因子判断的新型公平调度算法抢占模型。该模型可以根据数据本地化、资源足用性、重视作业效率、重视系统效率等因子，针对性的选择被抢占的计算节点，以适应不同的应用需求。
　　 最后，通过设计仿真环境，测试并验证了基于多因子的新型抢占模型的可行性和有效性，同时根据实验结果提出相应的解决方案和未来的研究方向。

目录

声明

摘要

第1章 引言

1．1 研究背景

1．2 课题来源

1．3 国内外研究现状

1．4 本文主要工作

1．5 本文组织结构

第2章 云计算概述

2．1 定义与背景

2．1．1 产生背景

2．1．2 定义

2．2 体系结构

2．3 主要服务模式

2．4 主要的商业云平台与服务商

2．5 Hadoop开源云平台

2．6 本章小结

第3章 Hadoop概要

3．1 HDFS文件系统

3．2 MapReduce框架

3．3 主要的调度算法

3．3．1 先进先出算法

3．3．2 计算能力调度算法

3．3．3 公平调度算法

3．3．4 近似最长结束时间算法

3．4 本章小结

第4章 大规模Hadoop集群的JT异域备份模型

4．1 传统Hadoop集群的单点JT模型分析

4．1．1 传统Hadoop的集群架构

4．1．2 MapReduce在集群上的调度执行过程

4．1．3 单点JT模型的失效处理

4．1．4 大规模集群环境下单点JT模型的缺陷

4．2 优化的JT异域备份模型

4．2．1 优化的Hadoop集群架构

4．2．2 主备JT选举算法

4．2．3 JT异域备份模型的工作模式

4．2．4 故障切换过程

4．3 本章小结

第5章 基于Hadoop公平调度算法的抢占模型

5．1 公平调度算法分析

5．1．1 调度方法

5．1．2 算法实现

5．2 公平调度算法现有任务抢占模式及其不足

5．2．1 现有任务抢占模式

5．2．2 现有模型存在问题

5．3 优化的公平调度算法抢占模型

5．3．1 优化的多因子抢占模型流程

5．3．2 多因子抢占模型的参数和影响因子

5．4 本章小结

第6章 仿真实验分析

6．1 仿真实验设计

6．1．1 测试环境

6．1．2 测试数据规模及作业类型

6．1．3 仿真实验评价指标

6．1．4 系统参数设置

6．1．5 差异测试分类

6．1．6 仿真过程

6．2 仿真实验结果与分析

6．2．1 优先抢占快节点测试

6．2．2 优先抢占短进程节点测试

6．2．3 优先抢占数据本地化节点测试

6．3 本章小结

第7章 总结与展望

7．1 总结

7．2 展望

致谢

参考文献

攻读学位期间的研究成果