基于容器的Hadoop集群能耗优化系统设计与实现

目录

第1 章 绪 论

1.1 课题来源

1.2 课题研究背景及意义

1.3 国内外研究现状

1.3.1 硬件层面节能技术

1.3.2 软件层面节能技术

1.3.3 研究现状的分析及存在的问题

1.4.1 本文主要研究内容

1.4.2 本文结构安排

第2 章 系统需求分析与设计

2.1.1 集群服务器能耗分析

2.1.2 集群服务器能耗建模

2.1.3 集群能耗的优化思路

2.2.1 系统功能性需求

2.2.2 系统非功能性需求

2.3.1 能耗优化系统总体设计

2.3.2 集群管理模块设计

2.3.3 镜像管理模块设计

2.3.4 调度管理模块设计

2.3.5 监控管理模块设计

2.3.6 节能管理模块设计

2.4 本章小结

第3 章 Hadoop 集群的容器化实现

3.1.1 Docker 容器技术

3.1.2 Docker 总体架构

3.1.3 Docker 容器的优势

3.2.1 Kubernetes 概述

3.2.2 Kubernetes 系统架构

3.3.1 容器的网络模型

3.3.2 Flannel 实现集群跨主机网络

3.3.3 Hadoop 节点容器通信的实现

3.3.4 HDFS 集群的容器化实现

3.3.5 YARN 集群的容器化实现

3.4 本章小结

第4 章 Hadoop 集群能耗优化系统的实现

4.1 Hadoop 集群管理的实现

4.2 镜像管理模块的实现

4.3 Hadoop 工作节点调度的实现

4.3.1 工作节点调度架构

4.3.2 预选调度和优选调度的实现

4.3.3 面向 GPU 的亲和性调度功能的实现

4.4 资源监控系统的实现

4.4.1 监控系统的具体实现

4.4.2 监控系统适配器的实现

4.5.1 基于 Kubernetes 的弹性伸缩框架

4.5.2 Hadoop 节点节能伸缩的实现

4.6 Hadoop 能耗优化完整流程

4.7 本章小结

第5 章 系统测试与结果分析

5.1 系统的测试环境

5.1.1 测试环境硬件配置

5.1.2 测试环境软件配置

5.2 系统功能测试

5.2.1 Hadoop 平台管理功能测试

5.2.2 镜像管理模块功能测试

5.2.3 Hadoop 节能伸缩功能测试

5.3 系统性能测试

5.3.1 基准测试程序简介

5.3.2 性能测试结果分析

5.4 节能效果仿真实验

5.4.1 CloudSim 仿真平台介绍

5.4.2 仿真实验相关参数

5.4.3 仿真结果与分析

5.5 本章小结

结 论

参考文献

攻读硕士学位期间发表的论文及其它成果

声明

致 谢