资源利用率预测感知的云数据中心虚拟机资源分配方法

摘要

本发明涉及计算机技术领域，特别涉及资源利用率预测感知的云数据中心虚拟机资源分配方法，各虚拟机监视器预测所在的物理机在下一周期的负载状态，并将所述预测负载状态发送至所在的物理机上的局部管理器；全局管理器从各局部管理器获取各物理机的预测负载状态；全局管理器根据各物理机的预测负载状态，将预测负载状态为过载的物理机上的部分虚拟机迁移到其他负载状态为正常的物理机上；将所述预测负载状态为不足的物理机上的所有虚拟机迁移到其他负载状态为正常的物理机上，并将所述预测负载状态为不足的物理机置于低功耗状态；本发明能有效提高物理机资源利用率和用户请求完成率，提高了云数据中心的性能，也减少了云数据中心的能耗。

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种资源利用率预测感知的云数据中心虚拟机资源分配方法。

背景技术

在云计算中，服务提供者向服务消费者提供三种形式的服务，即基础设施即服务(即IaaS,Infrastructure as a Service)，平台即服务(PaaS,Platform as a Service)，软件即服务(SaaS,Software as a Service)。IaaS以虚拟机(Virtual Machine,VM)的方式向用户提供计算服务，降低了客户安装和维护系统的成本。云计算基础设施的不断增长导致云数据中心的能源消耗显著增长。大量的能源消耗不仅会使运营费用急剧增加，还会产生大量的碳排放。通常，客户会与云服务提供商达成服务水平协议SLA，约定云服务服务的水平，如系统吞吐量、响应时间和停机时间比率等。

一般情况下，云数据中心按峰值需求配置物理机资源，但云数据中心中的物理服务器(也称物理机)的平均CPU利用率只有15％到20％，大量闲置的物理机消耗了峰值能耗的70％。显然，造成能源浪费的一个主要原因是有太多的物理机处于空闲状态。因此，让尽可能少的物理机处于活动状态并关闭空闲的物理机是降低云数据中心能耗的有效方法。

虚拟机迁移技术是一种提高资源利用率的重要技术，虚拟机迁移将虚拟运行环境(包括操作系统与应用程序)从一个物理服务器迁移到另外一个物理服务器。虚拟机在线迁移可保持客户操作系统和应用程序的继续运行而不受干扰，因而在云数据中心得到广泛应用。通过虚拟机在线迁移技术可将数据中心资源利用率低的物理机上的虚拟机整合到较少的物理机上，关闭空闲的物理机，从而减少运行的物理机数量，以达到最小化云数据中心的能源消耗的目的。

数据中心在大规模使用虚拟化技术后，虚拟机的数量巨大，虚拟机的负载会随用户的需求动态变化，有时候变化巨大。当服务器上部分VM的工作负载突然增加而需要更多的资源时，就会引起服务器上各虚拟机之间对资源的竞争。目前，解决方法是在各虚拟机之间重新分配服务器的物理资源或迁移部分虚拟机到其他服务器上，但是，过多的虚拟机迁移、过高的带宽利用率，都会影响云数据中心的性能。

发明内容

基于此，有必要针对上述技术问题，提供一种资源利用率预测感知的云数据中心虚拟机资源分配方法，以解决过多的虚拟机迁移、过高的带宽利用率，影响云数据中心的性能的问题。

本发明提供了一种资源利用率预测感知的云数据中心虚拟机资源分配方法，包括以下步骤：

各虚拟机监视器周期性地基于资源利用率的日志文件中的资源利用率数据预测所在的物理机上的每个虚拟机在下一资源重新整合周期的预测资源利用率；根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率，计算各虚拟机监视器所在的物理机在下一周期的预测负载状态，并将所述预测负载状态发送至所在的物理机上的局部管理器；

全局管理器从各局部管理器获取各物理机的预测负载状态；

全局管理器根据各物理机的预测负载状态，将预测负载状态为过载的物理机上的部分虚拟机迁移到其他负载状态为正常的物理机上；将所述预测负载状态为不足的物理机上的所有虚拟机迁移到其他负载状态为正常的物理机上，并将所述预测负载状态为不足的物理机置于低功耗状态。

可选的，各虚拟机监视器采用自回归预测算法预测所在的物理机上的每个虚拟机在下一资源重新整合周期的预测资源利用率。

可选的，所述各虚拟机监视器采用自回归预测算法预测所在的物理机上的每个虚拟机在下一资源重新整合周期的预测资源利用率，包括：

对于任一虚拟机监视器，分别利用该虚拟机监视器所在的物理机上的每个虚拟机的CPU利用率和内存利用率的历史数据，根据p阶自回归模型AR(p)创建自回归模型，得到每个所述虚拟机在下一个资源重新整合周期的预测资源利用率，所述预测资源利用率包括预测CPU利用率和预测内存利用率；

p阶自回归模型AR(p)用以下公式表示：

X

其中，t∈Z，Z为整数集，ε

可选的，所述根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率，计算各虚拟机监视器所在的物理机在下一周期的预测负载状态，包括：

根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率，计算各虚拟机监视器所在的物理机在下一周期的预测资源利用率；

根据各虚拟机监视器所在的物理机在下一周期的预测资源利用率判定各虚拟机监视器所在的物理机在下一周期的预测负载状态。

可选的，所述根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率，计算各虚拟机监视器所在的物理机在下一周期的预测资源利用率，包括：

根据所述物理机上的每个所述虚拟机的预测CPU利用率，通过以下公式得到所述物理机的预测CPU利用率：

其中，vm

根据所述物理机上的每个所述虚拟机的预测内存利用率，通过以下公式得到所述物理机的预测内存利用率：

其中，vm

可选的，所述根据各虚拟机监视器所在的物理机在下一周期的预测资源利用率判定各虚拟机监视器所在的物理机在下一周期的预测负载状态，包括：

设定物理机的CPU高利用率阈值表示为

若某物理机的预测CPU利用率小于

若某物理机的预测CPU利用率小于

若某物理机的预测CPU利用率大于

若某物理机的预测CPU利用率大于

若某物理机的预测CPU利用率大于

可选的，全局管理器根据各物理机的预测负载状态，将预测负载状态为过载的物理机上的部分虚拟机迁移到其他负载状态为正常的物理机上；将所述预测负载状态为不足的物理机上的所有虚拟机迁移到其他物理机上，并将所述预测负载状态为不足的物理机置于低功耗状态，包括：

若某物理机S

若某物理机S

若某物理机S

若某物理机S

若某物理机S

可选的，利用如下方法判定各虚拟机的高CPU利用率状态和高内存利用率状态：

设定虚拟机vm

若

若

若

本发明的有益效果：

本发明的资源利用率预测感知的云数据中心虚拟机资源分配方法，一个物理机运行多个虚拟机，每个虚拟机运行一种应用；基于当前和过去的资源利用率预测虚拟机在下一资源分配周期的负载，在物理服务器内根据资源寻求按需动态配置物理资源或迁移到其他物理机获取所需的物理资源；当云数据中心整体负载较小时，在保证服务质量的前提下迁移资源利用率低的虚拟机到较少的物理机上，将无虚拟机的物理机置于低功耗状态，以减少云数据中的能耗；本发明提出了物理机内资源利用率预测感知的虚拟机物理资源再配置策略和资源利用率预测感知的云数据中心虚拟机资源分配方法，局部虚拟机资源按需调整，减少不必要的虚拟机迁移，全局合并资源利用率低的服务器，以达到提高资源利用率，同时减少能源浪费降低运营成本的目的，以解决现有方法存在的过多的虚拟机迁移和过高的带宽利用率影响云数据中心的性能的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本实施例提供的一种云数据中心结构图；

图2是本实施例提供的一种资源利用率预测感知的云数据中心虚拟机资源分配方法流程图；

图3是本实施例提供的一种用自回归资源利用率预测模型得到的预测值与真实值的对比图；

图4-1是本实施例提供的第一个虚拟机的资源利用率预测感知的物理资源再配置策略的效果图；

图4-2是本实施例提供的第二个虚拟机的资源利用率预测感知的物理资源再配置策略的效果图；

图4-3是本实施例提供的第三个虚拟机的资源利用率预测感知的物理资源再配置策略的效果图；

图5是本实施例提供的在系统不同负载程度下的不同虚拟机迁移策略下的系统能耗对比图；

图6是本实施例提供的UPAVMM、THR和MAD三种虚拟机资源分配策略的SLA违反率SLAVO方面的性能对比图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。为了说明本发明的技术方案，下面通过具体实施例来进行说明。

参见图1，是本实施例提供的一种资源利用率预测感知的云数据中心虚拟机资源分配方法，该方法包括以下步骤：

步骤S101，各虚拟机监视器周期性地基于资源利用率的日志文件中的资源利用率数据预测所在的物理机上的每个虚拟机在下一资源重新整合周期的预测资源利用率；根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率，计算各虚拟机监视器所在的物理机在下一周期的预测负载状态，并将所述预测负载状态发送至所在的物理机上的局部管理器；

步骤S102，全局管理器从各局部管理器获取各物理机的预测负载状态；

步骤S103，全局管理器根据各物理机的预测负载状态，将预测负载状态为过载的物理机上的部分虚拟机迁移到其他负载状态为正常的物理机上；将所述预测负载状态为不足的物理机上的所有虚拟机迁移到其他负载状态为正常的物理机上，并将所述预测负载状态为不足的物理机置于低功耗状态。

接下来对上述步骤进行详细介绍和说明：

参见图2，是本实施例提供的一种云数据中心结构，云数据中心以虚拟机实例的形式向云用户提供服务，全局管理器部署在一个主物理机上，其他每个物理机上都部署一个局部管理器。局部管理器和全局管理器在每个资源重新整合周期内的工作机制是：

(1)虚拟机监视器周期性地基于资源利用率的日志文件中的资源利用率数据按某种预测算法预测物理机上的每个虚拟机在下一资源重新整合周期的资源利用率，进而给出所在的物理机在下一周期的负载状态。

(2)全局管理器从每个局部管理器获取每个物理机的预测负载状态，进而得到所有物理机的整体预测负载情况。

(3)全局管理器根据所有物理机的整体负载情况，对于过载的物理机，迁移其上的部分虚拟机到其他物理机上，以维持服务质量；对负载不足的物理机，将该物理机上的所有虚拟机迁移到其他物理机上，并将该物理机置于低功耗状态，从而减少处于活跃状态的物理机数量，达到在保证服务质量的前提下降低能耗的目的。

云数据中心通常是持续建设的，因而云数据中心可能存在不同年份生产的性能差异巨大的服务器，服务器可能是大型机、小型机、PC等，表现出不同的处理能力。每个服务器都有不同的物理资源，如不同的CPU、内存、网络带宽、磁盘。本实施例考虑了CPU和内存两种资源，本实施例中，物理机的另一种表述为服务器。

定义1，服务器：一个服务器S

在任意给定时刻，云数据中心以虚拟机的形式向云用户提供服务，虚拟机由不同的物理机托管，起初按一定的资源分配算法为物理机上的虚拟机分配一定数量的CPU、内存、磁盘、网络带宽。

定义2，虚拟机：VM

CPU

每个服务器S

其中，|VM

本实施例中，设置虚拟机vm

β

β

β

β

β

本实施例中，虚拟机的预测CPU利用率和预测内存利用率可以通过以下方法得到：

自回归预测法利用预测对象在不同时期取值之间存在的关系，建立回归方程进行预测。p阶自回归模型AR(p)可用下面的方程表示：

X

其中，t∈Z，ε

当a

X

对于a

利用最小二乘估计可确定自回归系数。对于时间序列{X

记：

得到如下线性方程组：

Y＝Xa+ε

于是

S(a)＝(Y-Xa)

上式对参数a求导并令其为0，可得：

因此，参数a的最小二乘估计为：

得到

在p阶自回归模型中，要保证p个数据至少要包含一个周期(可根据日志文件统计得到周期性大致大小)的数据，这时才能用来预测第p+1个周期的数据。

分别利用CPU利用率、内存利用率的历史数据创建自回归模型后，就可对下一个周期内的资源利用率进行预测。

本实施例中，

其中，

本实施例中，CPU高利用率阈值表示为

α

α

α

α

α

本实施例中，在每个物理机S

将利用上述公式计算得到的两平均值分别作为下一个周期内虚拟机vm

根据物理机S

全局资源调整时，由局部管理器将

本实施例中，根据物理机负载状态的不同，采取合适的虚拟机迁移策略，具体策略如下：

(1)如果物理机S

(2)如果物理机S

(3)如果物理机S

(4)如果物理机S

(5)如果物理机S

本实施例中，根据上述资源利用率预测感知的云数据中心虚拟机资源分配方法，提供具体程序如下：

输入：云数据中心物理机集合S＝{S

输出：每个虚拟机的资源利用率都处于正常负载状态。

本实施例中，对上述方法进行实验验证，具体实验如下：

1、资源利用率预测实验

一个局部资源调整周期分成11个时间间隔，监控一个虚拟机11个时间间隔内的CPU资源利用率，根据自回归预测模型预测每个虚拟机下一个周期内11个时间间隔的CPU资源利用率，图3示出了用自回归资源利用率预测模型11个时间间隔得到的预测值与真实值的对比情况，均方误差率为0.708，表明虚拟机资源利用率呈现周期性变化时，预测准确度较高。

2、物理机内资源利用率预测感知的虚拟机物理资源再配置策略的效果实验

本实验验证物理机内基于自回归预测为各虚拟机按需分配CPU资源后，各虚拟机CPU资源实际利用率的情况，实验负载按CPU使用量进行模拟，服务请求到达服从指数分布。物理机内设置3个虚拟机，初始时为每个虚拟机分配25％的物理CPU，3GB的内存，后面根据资源利用率预测按需重配置每个虚拟机的物理资源。局部资源调整周期为11个时间间隔，随着时间的推移，一个局部资源调整周期内，物理机内三个虚拟机的资源利用率预测感知的物理资源再配置策略的效果分别如图4-1、图4-2和图4-3所示。

3、节能实验

本实验用CloudSim模拟一个由100个异构PM组成的数据中心，一半的PM的配置为3核，6GB内存，每核2360MIPS；另一半的PM的配置为3核，6GB内存，每核3260MIPS。所提出的算法和策略是使用来自Google的真实工作负载跟踪记录，工作负载由不同类型作业的数据集组成。

研究表明，CPU资源比内存、网络或磁盘存储消耗更多的电能。表1为不同负载级别下服务器的能耗情况，表1说明了在不同的负载水平下，HP ProLiant G4服务器和HPProLiant G5服务器的能耗大小。从表1中可以看出，休眠状态能显著降低能耗，因此，减少处于活动状态的主机数量对降低数据中心的能耗是非常关键的。

表1

为了验证本实施例所提基于虚拟机资源利用率预测的虚拟机迁移策略UPAVMM在节约能耗的效果，与现有技术中的静态阈值(THR)虚拟机迁移策略、中位数绝对偏差自适应阈值(MAD)虚拟机迁移策略进行对比，这两种策略已经内嵌在CloudSim模拟器中。在系统不同负载程度下(满载的百分比)的不同虚拟机迁移策略下的系统能耗对比情况如图5所示。

从图5可以看出，本发明的UPAVMM资源利用率预测感知的云数据中心虚拟机资源分配方法，基于自回归预测模型虚拟机未来资源分配周期的资源利用率将虚拟机和物理机标记为5种不同的负载状态。当预测到某个虚拟机将来的资源不足时，根据该虚拟机所在的物理机的负载状态不同，采用不同的虚拟机资源再分配策略，尽可能物理机内满足虚拟机的物理资源需求，尽可能不迁移虚拟机激活处于休眠状态的物理机，提高物理机的资源利用率，减少处于活跃状态的物理机数量，从而降低能耗。此外，当物理机处于低CPU利用率，低内存利用率负载状态时，局部资源管理器向全局资源管理器报告，由全局管理器根据系统负载状况决定是否将物理机中的虚拟机迁往其他物理机上，若系统负载整体较低，则将处于轻载状态的物理机上的虚拟机迁移到较少的物理机上，把迁移走虚拟机后的物理机调整为低功耗状态，这样既能进一步节省能耗，也能避免盲目迁移带来系统抖动。

4、SLA违反实验

可以使用下面的SLA违反率SLAVO来判断云数据中心的云服务的质量，为服务用户的虚拟机分配的物理资源不足导致虚拟机资源利用率过高导致SLA违反。

其中，m表示虚拟机总数，

本发明的UPAVMM局部资源再分配策略较好的满足了虚拟机的物理资源需求，较好地缩短了虚拟机物理资源不足导致的违反率SLAVO的时长，此外尽可能减少因个别虚拟机物理资源不足盲目迁移虚拟机带来的性能下降。

本实施例采用自回归预测算法对下一资源分配周期虚拟机的负载大小进行预测，为物理资源不足的虚拟机及时分配更多的物理资源，以使云用户获得更好的服务体验。当云数据中心整体负载较小时，在保证服务质量的前提下迁移资源利用率低的虚拟机到较少的物理机上，将无虚拟机的物理机置于低功耗状态，以降低云数据中的能耗；提高了云中心的物理机资源利用效率、用户请求完成率以及降低了云数据中心能耗。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。