异构计算环境下MapReduce工作流调度优化算法研究

摘要

在当今信息爆炸式增长背景下，云计算技术凭借其高性能的计算能力和海量的数据存储能力，得到了各界的广泛关注及应用。然而，随着在云计算环境中开发功能越来越多的强大应用/软件，其所对应的逻辑关系也越来越复杂，还可能受时间、代价、资源、优先级限制等因素的限制，一般的信息系统却难控制这样复杂的应用。
　　 为了解决这个难题，在云环境上部署工作流成为了新的研究热点，这样既能充分利用云计算的资源，又能通过工作流来方便灵活地构建、管理、执行及监控整个应用流程。
　　 在现有的服务编制型云工作流中，由于所有数据都得经过中央引擎来传输，所以在处理大数据时难以避免会出现带宽瓶颈问题。本文通过分析云工作流框架，针对服务编制型的工作流框架进行了优化。在工作流框架中加入了中间代理层的结构，并对工作流引擎进行了改善，通过代理来管理节点，代理与工作流引擎之间传输的是控制流信息，而底层节点之间则可以直接进行点对点数据传输，大大减少了瓶颈现象的发生。并且，改善的工作流引擎能根据任务的不同类别（类别着色）将任务分配到合适的云底层平台（如:Hadoop）或云基础处理节点来进行处理。由于MapRduce是云计算面向大数据处理的典型并行可扩展性编程模型，先选择从MapReduce工作流着手研究，提出了云环境下的MapReduce工作流调度模型。
　　 现有的由MapReduce类型任务组成的工作流，一般是将workflow任务的优先级调度与底层MapReduce调度分离开来的，这样在调度的过程中会产生很多的时间碎片，使得资源使用率不高。本文通过分析workflow、MapReduce的调度算法及HDFS，提出了一种异构环境下的优化调度算法——MRWS(MapReduce-enabled Workflow Scheduler)。实验结果表名调度算法MRWS能尽可能充分地利用调度过程中产生的时间碎片，进一步提高了资源利用率及流程执行效率。

目录

声明

摘要

插图索引

附表索引

第1章 绪论

1．1 研究背景及意义

1．1．1 云计算、Hadoop及MapReduce

1．1．2 工作流

1．1．3 工作流管理系统

1．1．4 云环境下的工作流

1．2 国内外研究现状

1．3 研究内容与主要工作

1．4 论文组织结构

第2章 工作流模型及MapReduce技术概述

2．1 工作流的模型设计

2．1．1 工作流模型设计取向

2．1．2 工作流描述语言

2．1．3 工作流过程建模

2．1．4 工作流模型的资源管理

2．2 工作流的相关技术

2．2．1 工作流的组织模型

2．2．2 工作流的验证

2．2．3 工作流的调度方法

2．3 Hadoop技术

2．3．1 Hadoop平台概述

2．3．2 Map／Reduce编程

2．3．3 Hadoop的HDFS

2．4 小节

第3章 MapReduce工作流调度Framework模型

3．1 云工作流Framework

3．1．1 传统的工作流架构层

3．1．2 中间层Proxy结构

3．2 改善的集中式工作流引擎

3．2．1 工作流引擎总体组成

3．2．2 工作流监控模块

3．2．3 工作流调度模块

3．3 Hadoop底层云环境的集成和部署

3．4 MapReduce工作流调度模型

3．4．1 调度模型

3．4．2 调度环境

3．4 小节

第4章 MapReduce工作流模型下的优化调度算法研究

4．1 优化的调度算法

4．1．1 基于优先级限制的workflow任务调度算法

4．1．2 异构环境下基于任务类型的MapReduce调度算法

4．1．3 MRWS算法

4．2 实验分析

4．2．1 随机产生的DAG

4．2．2 实际应用中的DAG

4．4 小节

结论

参考文献

致谢

附录A (攻读硕士学位期间所发表的学术论文目录)

附录B (攻读硕士学位期间所参与的学术科研活动)