异构环境下MapReduce数据倾斜和任务调度研究

目录

声明

第1章 绪论

1.1 课题背景及意义

1.1.1 海量数据的产生

1.1.2 研究数据倾斜的意义

1.1.3 研究异构环境下MapReduce任务调度的意义

1.2 国内外研究现状

1.2.1 MapRduce数据倾斜算法研究现状

1.2.2 异构环境下MapReduce任务调度算法的研究现状

1.3 研究内容

（1）针对MapReduce框架处理偏斜数据时Reduce节点负载不均衡问题作如下研究

（2）针对MapReduce框架基于同构设计存在的问题作如下研究

1.4 工作安排概述

1.5 本章小结

第2章 相关技术知识

2.1 云计算

2.1.1 云计算定义

2.1.2 云计算体系结构

2.1.3 云计算关键技术

2.2 Hadoop

2.2.1 Hadoop生态系统

2.2.2 Hadoop分布式文件系统结构

2.2.3 Hadoop文件操作流程

2.3 MapReduce架构和编程模型

2.3.1 MapReduce编程模型

2.3.2 MapReduce实现机制

2.3.3 Hadoop MapReduce任务执行流程

2.4 MapReduce默认分区问题研究

2.5 MapReduce默认调度机制问题研究

2.6 Hadoop基准测试

2.7 本章小结

第3章 并行随机抽样贪心算法分区优化

3.1 算法整体策略概要

3.2 并行相似随机抽样算法

3.3 抽样过程所涉参数

（1）样本错误率和真实错误率

（2）置信区间

3.4 抽样率选择

3.5 抽样贪心算法分区思想

3.6 抽样贪心算法分区实现

3.7 本章小结

第4章 异构环境下改进Reduce任务调度算法

4.1 落后任务探测改进算法

4.2 Hadoop默认调度器

4.3 基于Reduce节点的动态平滑加权轮询算法

4.3.1 节点计算能力

4.3.2 算法涉及的变量

4.3.3 算法原理

4.4 算法实现

4.5 本章小结

第5章 实验与结果分析

5.1 实验环境搭建

5.1.1 VMware Workstation环境搭建

5.1.2 Hadoop环境搭建

5.2 并行随机抽样贪心算法分区实验

5.2.1 实验配置及测试数据信息

5.2.2 算法具体实验过程

5.2.3 算法实验结果对比图

5.3 平滑加权轮询reduce调度算法实验

5.3.1 实验配置及测试数据信息

5.3.2 Reduce任务平均执行时间对比试验

5.3.3 Shuffle过程数据传输量对比试验

5.3.4 图像处理运行时间对比实验

5.4 本章小结

结论

参考文献

致谢

作者简介

攻读硕士期间发表论文和参加科研情况说明