面向CPU资源超售环境的虚拟化平台管理方法研究

摘要

电子商务和各类网络服务应用已成为当下新兴的产业方向。与传统的科学计算类型的应用相比，新兴的商业应用显著特征是强交互性和资源需求弹性化。在虚拟化平台下，为满足强交互性应用严苛的性能要求，服务提供商需加大对虚拟机资源供给。随着此类应用访问量的增多，虚拟化平台中CPU资源的浪费现象日益严重。在平台对外服务期间，部分 CPU资源处于闲置状态，严重影响了平台 CPU资源利用率。因此，面对当下出现的新型应用形式和用户体验要求，如何释放闲置资源，优化资源管理方法是提升虚拟化平台管理能力的关键。同时，强交互性商业应用导致虚拟机的资源需求呈现弹性波动趋势。面对这种新型的资源需求趋势，如何改进虚拟化平台的资源管理方法，主要面临以下三个关键问题：（1）如何在保障应用性能稳定的前提下，改进虚拟机资源配置方式，实现超售策略，释放闲置CPU资源？（2）如何在 CPU资源超售环境下，及时而准确地探测资源热点，并通过迁移操作将其彻底消除，实现负载均衡？（3）如何在 CPU资源超售环境下，保持虚拟机性能隔离的同时，实现服务器整合策略？
　　首先，不同类型的应用有着不同的资源需求特征，即使是同一应用，面对不同的用户性能要求，资源需求的特征也会不同。同时，CPU资源配置的最小需求必须是以用户性能稳定为基础。为了达到上述目标，将面临如下挑战：（1）在虚拟化环境下，用户可包容的性能损耗程度该如何描述；（2）用户性能要求的差异性该如何展现；（3）特定用户性能要求与虚拟机CPU资源需求之间的量化映射关系该如何建立。为了解决这些挑战，提出一种基于虚拟机性能感知的CPU超额预订机制，通过对虚拟机性能损耗的容忍度进行量化，并以此作为标准来构建数学模型，统计分析从虚拟机内部监控得到的CPU资源使用状态的特征数据，从而估算得出相应的资源需求量。此种资源配置方式代表着用户可接受的性能要求下限，最大化释放闲置资源。
　　其次，当CPU资源以超额预订的形式分配给虚拟机，资源的精简配置使虚拟机对于负载强度的波动变得更加敏感。为了满足强交互性应用严苛的性能要求，提出了一种基于CPU资源超额预订的负载均衡优化策略。该策略通过动态资源热点监控和缓解串联式热点的虚拟机迁移管理两个步骤，实现维持虚拟机性能要求的目标。动态资源热点监控是将热点阈值设计成一个随着负载强度、用户性能要求浮动的动态阈值，尽可能防止过于宽松或者过于严格的判断标准的出现，同时会考虑短生命周期的商业应用在程序执行末期出现资源热点时的优化处理。串联式热点是指进行虚拟机迁移操作消除热点后，在目的物理机上重新出现热点的现象。避免其产生的方法是减少不必要迁移操作，并且精确地估算迁移备选物理机可用资源的大小。
　　最后，在CPU资源超售环境下，虚拟机资源动态调整以及负载均衡策略引发的迁移操作可能使虚拟机布局零散，导致物理机资源碎片化，服务器整合是解决上述问题的主要思路。但在资源超售环境下，服务器整合策略却可能遇到了以下问题：1）虚拟机资源的精简大大提高了物理机的整合密度，导致物理机底层资源的供给出现不足，从而引起虚拟机性能下降以及相互之间的性能干扰；2）针对商业应用场景，服务器整合策略被频繁触发，导致极大的迁移开销；3）部分虚拟机的资源超额预订幅度减少，资源需求量变大。为了解决以上问题，提出了一种基于CPU超额预订机制的服务器整合优化策略。该策略通过控制整合密度来缓解底层资源的竞争，保护虚拟机之间的性能隔离；采用并行式在线装箱算法减少服务器整合策略所带来的迁移消耗；选择应用性能要求相同的虚拟机放置在同一个物理机之上，维护资源超额预订机制效果。
　　综上所述，在新型应用形式和用户体验要求下，面向CPU资源超售环境的虚拟化平台管理方法从虚拟机资源配置、负载均衡、布局管理等方面优化了云计算平台的资源管理能力，提升了整个平台的应用服务质量。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景

1.2 问题的提出

1.3 国内外研究现状

1.4 研究内容

1.5 论文组织结构

2 基于虚拟机性能感知的CPU超额预订机制

2.1 研究动机

2.2 虚拟CPU超额预订机制总体框架

2.3 虚拟CPU资源的超额预订估算

2.4 针对Sponge的性能评测与分析

2.5 本章小结

3 基于CPU超额预订的负载均衡优化

3.1 负载均衡优化的研究动机

3.2 面向商业应用的负载均衡问题分析

3.3 负载均衡策略的总体设计框架

3.4 负载均衡策略的设计实现

3.5 针对Chameleon的性能评测与分析

3.6本章小结

4 基于CPU超额预订的服务器整合优化

4.1 服务器整合策略优化的研究动机

4.2 服务器整合策略优化的总体设计框架

4.3 服务器整合优化策略的实现

4.4 原型系统性能评测与分析

4.5 本章小结

5 总结与展望

致谢

参考文献

附录1 攻读博士学位期间发表的论文目录

附录2 攻读博士学位期间发明专利

附录3 攻读博士学位期间参与的科研项目

附录4 缩略词简表