基于Mesos的数据中心资源调度和存储性能优化技术研究

摘要

为满足企业高效管理和运维持续增长的数据需求，数据中心将物理服务器资源进行虚拟化和软件化，实现对资源进行统一的管理与调度。Mesos是目前数据中心管理系统的重要组成软件。因此，为了有效的提高Mesos在数据中心实践中的性能，本文重点分析Mesos的资源调度和持久化存储关键技术，并分别对其进行改进与优化。
　　(1)分析了Mesos默认的公平调度算法DRF，并针对DRF算法未考虑机器性能和任务类型无分类的不足，提出了一种预先感知任务类型的改进DRF公平调度算法X-DRF。该算法不仅能更加体现资源分配的公平性，而且还能使系统更加的合理分配资源，进一步提高了系统的资源利用率。通过实验对比验证了该算法的有效性，为数据中心管理人员提供了基于Mesos资源调度系统的数据中心性能优化的新思路。
　　(2)分析了Mesos持久化存储的方法，针对Mesos持久化的特点提出了一种面向HDD-SSD的Mesos持久化存储优化方法，该方法首先是将HHD-SSD混合存储的HDFS作为Mesos持久化层。然后，针对HDFS存在频繁读写操作带来的I/O瓶颈问题，采用了一种基于内存cold页面的迁出策略。最后通过实验对比证明了该方法既可以提高基于Mesos资源调度系统的数据中心的I/O性能，又能保证SSD的利用率。

目录

声明

摘要

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1 数据中心的资源调度

1．2．2 数据中心的持久化存储

1．3 研究的主要内容

1．4 论文的组织结构

2．1 Mesos介绍

2．1．1 Mesos系统架构

2．1．2 Mesos资源分配

2．1．3 Mesos的特点

2．2 其他数据中心集群管理系统

2．2．1 YARN

2．2．2 Kubernetes简介

2．3 本章小结

第三章 Mesos公平调度算法的优化

3．1 问题分析与研究思路

3．1．1 Mesos调度机制

3．1．2 DRF算法

3．2 预先感知任务类型的改进公平调度算法

3．3 实验评估

3．3．1 评估指标

3．3．2 系统资源利用率验证

3．3．3 公平性验证

3．4 本章小结

第四章 Mesos持久化存储方法的优化

4．1 问题分析与研究思路

4．1．1 Mesos数据持久化问题

4．1．2 HDFS的体系结构

4．2 基于HDD-SSD的Mesos持久化存储优化方法

4．3 实验评估

4．3．1 任务处理的平均时间

4．3．2 SSD的利用率

4．4 本章小结

第五章 结束语

5．1 工作总结

5．2 研究展望

参考文献

致谢

攻读硕士学位期间参加的科研项目

攻读硕士学位期间获得的科研成果