弥散云资源感知与调度方法研究与实现

摘要

云计算是一种实现大规模计算的信息处理方式，本质上是利用虚拟化技术、分布式计算技术和网络技术将分散的云基础单元（简称云元）汇聚到一起形成共享资源池，并以按需、弹性和可度量的方式向用户提供云服务，这些“云元”通常跨集群、室、甚至数据中心分布并随时间动态变化，随着分散的“云元”在时空上动态变化，资源池中的海量资源呈现弥散特征，形成弥散云资源，即一种分布式的具有时变性的变粒度的云资源。怎样在海量资源中准确快速感知并调度这些资源，提供低成本高性能可伸缩的云服务，提高用户满意度是目前和今后云计算技术领域面临的重要问题。
　　本文从IaaS资源提供方和请求方两个角度，研究弥散云资源的感知与调度问题，主要内容有:（一）从IaaS资源提供方角度，提出基于MA感知的弥散云资源调度方法，主要研究:(1)提出基于移动Agent范型的IaaS层资源部署架构，并给出弥散云资源感知方法:基于作业完成时间分布预测，通过设置置信区间，剔除不符合条件的策略，一次性压缩策略空间，引入Skyline计算思想细粒度抽取价值资源，形成资源视图;(2)研究基于移动Agent感知的弥散云资源调度方法MA_RS:利用基于移动Agent的资源感知层感知的信息，利用弥散特性，结合多任务的松耦合特性，构建“搜索——决策——执行”这样一个多阶段迭代调度模型，实时细粒度的捕获工作负载的局部特性，并根据相邻阶段工作负载的相似性特点，在工作负载变化剧烈（平缓）处自适应动态分割（合并）调度区间，实现整体调度性能的提升;（二）基于移动Agent的MapReduce云计算计算框架，针对云资源弥散性，从资源请求方的角度考虑提出了一个公平共享指标来实现高性能和公平性的基于云资源弥散性感知的公平调度方法，主要研究:(1)构建基于移动Agent的MapReduce分布式计算框架MapReduce_MA，定义移动Agent(如Master_MA和Slaver-MA)的功能集合，并具体实现了移动Agent的主要功能;(2)研究基于云资源弥散性感知的公平调度方法，引入“共享进度份额”来定义共享和公平，根据用户偏好选择任务，依据性能函数匹配相应资源，并给出了基于云弥散性感知的公平调度算法。这种调度方法不仅权衡了成本和效益，而且能够在异构集群中提供良好的性能和公平性。
　　本文将上述架构和方法在惠普实验室开放Cirrus集群上进行了有效性评估并通过实例验证的形式说明了本文感知调度方法的潜在好处。

目录

声明

摘要

1 绪论

1．1 研究背景及意义

1．1．1 研究背景

1．1．2 研究意义

1．2 国内外研究现状及发展动态分析

1．2．1 国内外研究现状

1．2．2 国内外发展动态分析

1．3 研究平台及计算框架

1．3．1 IaaS弹性云平台

1．3．2 Hadoop-MapReduce

1．4 研究内容

1．4．1 基于MA感知的弥散云资源调度

1．4．2 基于云资源弥散性感知的公平调度DACR_FS

1．5 论文创新点

1．6 论文结构

2 基于MA感知的弥散云资源调度

2．1 IaaS_MA系统架构

2．1．1 “价值云资源”抽取

2．1．2 MA_RS执行架构

2．2 MA_RS方法

2．2．1 模拟器设置

2．2．2 多阶段迭代决策

2．2．3 决策区间自适应调整

2．2．4 弹性决策方法

2．2．5 搜索算法

2．3 本章总结

3 基于云资源弥散性感知的公平调度

3．1 MapReduce_MA分布式计算框架

3．1．1 Master_MA

3．1．2 Slaver_MA

3．2 DACR _FS调度方法

3．2．1 共享进度份额

3．2．2 任务选择

3．2．3 资源匹配

3．2．4 DACR_FS算法

3．3 本章总结

4 方法评估及实例验证

4．1 实验环境设置

4．2 方法评估

4．2．1 作业完成分布预测评估

4．2．2 MA_RS方法有效性评估

4．2．3 DACR_FS算法有效性评估

4．3 实例验证

4．3．1 在线剩余时间的预测

4．3．2 资源分配和集群调整

4．3．3 作业偏好和共享进度份额

4．4 本章总结

5 结论和下一步研究方向

5．1 基于MA感知的资源调度

5．2 基于云资源弥散性感知的公平调度

5．3 下一步研究方向

5．3．1 跨数据中心异构资源聚合调度

5．3．2 云计算的两个主体间合作调度

5．3．3 大数据环境下的价值云资源抽取

5．4 本章总结

参考文献

致谢

攻读学位期间取得的科研成果清单