面向容器云平台的集群资源调度管理器的设计与实现

摘要

随着云计算技术的发展，以Docker为代表的容器技术为数据中心的基础架构带来了新的选择。资源调度管理对于数据中心而言有着至关重要的作用。然而，目前大多数容器云平台的资源调度系统普遍基于队列模型或二级调度框架。由于模型本身的限制，这些集群调度器在处理调度问题的全局优化上存在着一些不足。
　　为了有效地解决这一问题，本文将集群调度问题抽象为流量网中最小费用最大流的优化问题，并将其应用在容器云平台中。在构建流量网时将集群中的机器资源、工作负载等物理实体定义为网络节点，并通过对节点之间边的容量和费用进行合理赋值来将不同的调度策略实例化。特别地，部分复杂的调度策略则引入了准入控制与多轮计算。
　　立足于容器云平台本身的特性及对资源调度问题的需求，本文主要进行了如下两个创新工作:
　　1)在流量网中引入由租户抽象出的节点，并在此基础上提出多租户多可用域模型。该调度方法立足于容器云平台服务于多租户，横跨多个可用域的特性，通过对网络中有向弧费用的合理赋值与配置，配合准入控制与多轮计算，用以实现多租户间的差异化服务，以及作业中多实例在不同可用域内的高可用。
　　2)对现有的协同共址模型进行功能扩展，使该模型的费用模型可以接受用户的自定义，从而具备对复杂调度策略的抽象建模能力。
　　为了验证算法效果，本文依托Kubernetes集群进行了系列实验，涉及对不同的调度模型及集群中不同类型的工作负载的验证。实验结果证明，该算法能够良好地应用于容器云平台中。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 容器云平台的发展

1．1．1 云计算技术的研究现状

1．1．2 仓库级计算机

1．2 集群资源调度

1．2．1 资源调度的重要意义

1．2．2 影响资源调度的因素

1．3 容器云平台调度器的限制

1．4 本文的主要工作

1．5 文章组织结构

1．6 本章小结

第2章 相关技术综述

2．1 资源调度器的演进

2．1．1 中央式调度器

2．1．2 二级调度框架

2．1．3 共享状态架构

2．1．4 完全分布式调度器

2．1．5 混合架构

2．2 主流集群调度器概览

2．2．1 Borg：Google的秘密武器

2．2．2 Mesos：二级调度的代表

2．2．3 Omega：灵活的共享状态

2．2．4 Kubernetes：容器云平台的新星

2．2．5 主流集群调度器功能对比

2．3 最小费用最大流问题

2．3．1 网络和网络流

2．3．2 最小费用流

2．3．3 经典求解算法

2．4 本章小结

第3章 基于最小费用流优化的调度问题

3．1．1 网络结构

3．1．2 容量赋值

3．1．3 费用赋值

3．1．4 多租户

3．1．5 等价类

3．2 基于网络流的调度问题求解

3．2．1 计算过程的扩展性问题

3．2．2 增量求解方法

3．3 本章小结

第4章 系统调度算法

4．1 不同调度模型的配置

4．2 协同共址模型

4．2．1 基础模型

4．2．2 对协同共址模型的扩展

4．2．3 协同共址模型小结

4．3 多租户多可用域模型

4．3．1 准入控制

4．3．2 费用赋值

4．3．3 多租户多可用域模型小结

4．4 本章小结

第5章 系统设计与实现

5．1 系统架构

5．1．1 中央式调度

5．1．2 分层调度

5．1．3 完全分布式调度

5．2 内部模块职能

5．2．1 集群资源拓扑抽象

5．2．2 任务运行时数据收集

5．3 本章小结

第6章 实验与分析

6．1 实验环境

6．1．1 实验环境介绍

6．1．2 实验集群搭建

6．1．3 运行Trident

6．2 实验结果及分析

6．2．1 实验一：Pod的基本调度

6．2．2 实验二：Deployment的调度

6．2．3 实验三：Job的调度

6．2．4 实验四：基于多租户多可用域模型的调度

6．3 本章小结

第7章 总结与展望

7．1 本文的总结

7．2 未来的工作

参考文献

攻读硕士学位期间主要的研究成果

附录

致谢