面向IaaS云计算的虚拟机负载性能优化与保证机制研究

摘要

基础设施即服务（IaaS）云计算可将计算软硬件资源以虚拟机实例的形式，为用户提供按需可扩展的计算服务，并通过一种简单的“现收现付”式计价模型进行收费，以降低用户负载的运行成本，并提升IaaS云服务商数据中心的资源利用率。基于以上特点，IaaS云计算在学术界及工业界都已受到了广泛的关注。目前，主流的大型IT企业如Amazon、Google以及Microsoft先后推出了各自的云计算解决方案，以供个人及企业用户快速部署、运营或扩展其商业业务，并节约其业务运营成本。
　　然而，IaaS云计算平台下的虚拟机实例需要共享数据中心的硬件资源，包括物理机的硬件资源（如CPU、缓存及I/O资源）以及数据中心的共享网络与存储资源，因此，虚拟机之间存在严重的共享计算资源竞争，进而给虚拟机负载带来大幅度的性能下降与波动，即负载性能的不可预测性。IaaS云性能问题会阻碍用户将性能敏感型业务迁移至云平台部署运营，从而极大地限制了IaaS云计算的适用范围，因此该性能问题已成为影响云计算发展的一大障碍。
　　针对IaaS云平台下虚拟机的性能问题，国内外研究学者已初步提出了多项性能优化与保证技术，但虚拟机负载的性能保证在IaaS云平台下仍存在一些关键问题亟待解决。具体体现为：第一、在IaaS底层，尚缺乏一种整体的多维度资源虚拟机性能干扰预测与量化方法，用于制定性能最优的虚拟机迁移决策。第二、在IaaS前端，现有的虚拟机租用策略忽视了由虚拟机底层硬件异构性及性能干扰而产生的性能异构问题。第三、在用户负载应用层，现有的MapReduce任务调度机制忽视了IaaS云平台共享集群中机架网络可用带宽资源的异构性，从而容易引发网络性能瓶颈问题。针对以上问题分别提出虚拟机负载性能优化与保证方案，从IaaS云平台的三个层次（即IaaS底层、IaaS前端以及负载应用层）来保证用户负载的运行性能。
　　首先，性能干扰感知的虚拟机在线迁移策略iAware可有效地缓解IaaS底层的虚拟机性能干扰问题。通过实际IaaS云平台下多种类型的典型负载实验，iAware策略量化分析了多种影响虚拟机性能干扰的系统级关键因素（包括物理机与虚拟机的多维度资源利用率等），并结合微观经济学的供需原理，建立了一个轻量级、基于多维度资源供需比的虚拟机性能干扰量化模型，以在线式地预估虚拟机迁移性能干扰与同机性能干扰。基于该模型，iAware迁移策略可综合优化上述两种虚拟机性能干扰，并可制定造成性能干扰最小的虚拟机迁移决策。此外，iAware迁移策略可与现有的虚拟机迁移或整合算法协同合作，在实现虚拟机迁移目标（如负载均衡或能耗管理）的同时，能够最小化虚拟机的性能干扰。
　　其次，网络性能感知的MapReduce任务调度机制Net-Aware可有效地缓解用户负载应用层（IaaS云平台共享集群）中的网络性能瓶颈问题。通过对作业完成时间与MapReduce任务在集群机架中放置的关系进行理论建模，分析得出map与reduce的任务调度对MapReduce作业所产生的性能提升或下降影响。利用该模型与性能影响分析进而设计两个贪心启发式算法，分别对map与reduce任务在共享集群机架中的调度放置进行优化，可缓解共享集群环境中由机架网络可用带宽的异构性以及大量数据交换而引发的网络性能瓶颈问题。Net-Aware任务调度机制将以上两个算法协同合作，可大幅提升MapReduce作业的运行性能，缩短作业完成时间。
　　最后，基于iAware与Net-Aware性能优化的IaaS云平台，性能异构性感知的虚拟机租用策略Heifer可进一步解决IaaS前端租用虚拟机的性能波动问题。通过实际IaaS云平台下的典型负载应用MapReduce实验，分析引发负载性能波动的两大因素，即租用虚拟机的底层硬件异构性及性能干扰，并利用Xen的CPU与I/O调度机制深入分析虚拟机资源利用率与负载运行性能之间的关系。Heifer策略则利用实际可测的虚拟机资源利用率与iAware性能干扰模型，建立一个MapReduce性能预测模型，可消除虚拟机负载的性能波动（即性能异构）问题。利用该性能预测模型，Heifer租用策略可为用户选择性能最优的虚拟机硬件类型以及开销最小的虚拟机租用方案。
　　综上所述，在IaaS云平台的不同层次对虚拟机负载提出的性能优化与保证方案，可有效地缓解虚拟机的性能干扰与波动，进而保证虚拟机负载的运行性能，节约用户作业的运行成本，提高云服务商数据中心的作业吞吐率及其运营收益。

目录

封面

声明

中文摘要

英文摘要

目录

插图目录

表格目录

1 绪 论

1.1 研究背景

1.2 国内外研究现状

1.3 研究内容

1.4 论文组织结构

2 性能干扰感知的虚拟机在线迁移策略

2.1 研究背景

2.2 虚拟机性能干扰关键因素分析

2.3 多维度资源虚拟机性能干扰预估模型

2.4 虚拟机在线迁移策略iAware设计

2.5 性能评测

2.6 小结

3 缓解网络性能瓶颈的MapReduce任务调度机制

3.1 研究背景

3.2 网络性能瓶颈对MapReduce性能影响实例分析

3.3 作业完成时间与MapReduce任务放置关系建模

3.4 MapReduce任务调度机制Net-Aware设计

3.5 性能评测

3.6 小结

4 性能异构性感知的虚拟机租用策略

4.1 研究背景

4.2 IaaS虚拟机性能波动实验分析

4.3 MapReduce负载性能预测模型

4.4 虚拟机租用策略Heifer设计

4.5 性能评测

4.6 小结

5 总结与展望

致谢

参考文献

附录1 缩略词简表

附录2 攻读博士学位期间发表的学术论文

附录3 攻读博士学位期间申请发明专利与软件著作版权

附录4 攻读博士学位期间参加的主要科研项目

附录5 个人简历