一种面向能耗优化的云视频监控系统任务接入方法

摘要

本发明提供了一种面向能耗优化的云视频监控系统任务接入方法，在每个视频任务接入前进行调度，获取已开启虚拟机的剩余可利用带宽，选择现有的虚拟机、创建新的虚拟机、或者在新的服务器上创建虚拟机，作为目标虚拟机完成视频接入任务，重复以上过程直到所有视频任务接入完成，最后关闭空闲虚拟机和空闲服务器。本发明充分考虑了云视频监控系统的特性，对虚拟机的选取仅考虑带宽约束即可，大大提高了调度效率，能有效满足云视频监控任务的实时性要求，直接应用于云视频监控系统，在每个云视频监控任务接入之前对其进行合理调度，提高资源利用率，减少服务器的数量，最终实现能耗优化。

说明书

技术领域

本发明涉及一种面向能耗优化的云视频监控系统任务接入方法，属于云视频监控领域。

背景技术

云视频监控服务是基于云计算提出的一种新的服务模式，当前并没有直接针对云视频监控系统的能耗而提出相关的优化方法，而云视频监控系统的能耗大多来自云视频监控中心，因此只能从传统的数据中心的角度来分析云视频监控系统的能耗优化。目前针对数据中心能耗优化提出的解决方法主要分为两大类：基于比例模型的方法和基于两段模型的方法。

基于比例模型的方法假设节点能耗和设备(磁盘、CPU、交换机等)的利用率成正比关系，且忽略设备空闲时的能耗。该类方法根据负载需求动态改变服务器的CPU频率、电压以及磁盘转速以达到节能。然而以上这类方法忽略了服务器空闲时的电能消耗，其节能空间较为有限，因为服务器闲置状态的能耗仍达到其峰值能耗的一半以上，同时受硬件是否具备动态调压调频技术(DVFS)的约束而难以推广。

基于两段模型的方法认为服务器空闲的能耗不可忽略，对没有负载接入的空服务器或虚拟机应该挂起或者关闭而实现节能。基于两段模型的方法主要包括动态迁移和优化调度，然而动态迁移在迁移过程中本身存在迁移能耗，是不容小觑的，且存在一定的时延，这对实时性要求较高的云视频监控任务接入是难以满足的。此外，以上两种方法操作前需要确定目标宿主机是否有能力承担此负载，否则该负载由于宿主机自身性能的约束而不能被正常执行将导致迁移失败，由于国内外目前还没有统一的评价体系和标准来评价目标虚拟机是否有接受该类负载的能力，由此现有的节能方法均难以直接应用于云视频监控系统中。

发明内容

为了解决现有技术的不足，本发明提供了一种面向能耗优化的云视频监控系统任务接入方法，直接应用于云视频监控系统，在每个云视频监控任务接入之前对其进行合理调度，提高资源利用率，减少服务器的数量，最终实现能耗优化。

本发明为解决其技术问题所采用的技术方案是：提供了一种面向能耗优化的云视频监控系统任务接入方法，包括以下步骤：

(1)在云视频监控系统的各个服务器上创建设置数量的虚拟机，每个虚拟机占用设置的初始带宽，依次接入每个视频任务，其中每次接入视频任务时，重复以下步骤：

(1-1)获取视频任务的视频质量以及视频任务IP地址，根据视频质量计算该视频任务需要的带宽

(1-2)依次获取服务器上所有虚拟机的剩余可利用带宽，直到当前获取的虚拟机的剩余可利用带宽等于初始带宽，则获取停止，得到一组虚拟机的剩余可利用带宽进入步骤(1-3)；

(1-3)对于步骤(1-2)获得的每个虚拟机剩余可利用带宽，分别根据以下公式将该虚拟机的剩余可利用带宽减去视频任务需要的带宽得到差值：

$>\Delta =B_j^V-B_i^J$>

其中Δ表示差值，表示获得的第j个虚拟机的剩余可利用带宽，表示第i个视频任务需要的带宽；

统计所有差值中正数的数量，如果有且仅有一个，则该差值对应的虚拟机作为当前视频任务接入的目标虚拟机，进入步骤(1-5)；否则，进入步骤(1-4)；

(1-4)搜索所有为正数的差值中最小的差值，该差值对应的虚拟机作为当前视频任务接入的目标虚拟机，进入步骤(1-5)；

(1-5)将视频任务IP地址发送至目标虚拟机，使目标虚拟机与视频任务对应的监控终端建立连接以获取视频数据，完成视频任务接入；

(1-6)返回步骤(1-1)进行下一个视频任务接入，直到所有视频任务接入完成；

(2)任务全部接入完成之后，对未接入任务的虚拟机进行关闭，同时对未开启虚拟机的服务器进行休眠或关闭。

步骤(1)中调用Virtualbox的SDK实现在服务器上创建虚拟机。

步骤(1-5)完成视频任务接入后，云视频监控系统重新获取当前完成了视频任务接入的虚拟机的剩余可利用带宽。

步骤(1-5)完成视频任务接入后，当前完成了视频任务接入的虚拟机更新自己的资源映射表。

步骤(2)中调用Virtualbox的SDK实现在服务器上关闭虚拟机。

本发明基于其技术方案所具有的有益效果在于：

(1)本发明针对现有云视频监控的具体应用场景，其监控中心电能利用率较低，且现有的能耗优化方法不能直接应用于云视频监控系统中的问题，对所有任务在接入之前进行优化调度至合适的虚拟机；

(2)本发明以云视频监控中心虚拟机的CPU利用率、可用内存、存储磁盘和最大可用带宽等参数为约束条件，虚拟机数量最少为优化目标，建立一种面向能耗优化的云视频监控中心任务接入调度模型，将该四维bin-packing模型转换为一维bin-packing问题进行求解，大大降低方法的计算复杂度，从而在满足云视频任务对实时性要求的基础上，最终实现系统的能耗优化；

(3)本发明充分考虑了云视频监控系统的特性，对虚拟机的选取仅考虑带宽约束即可，大大提高了调度效率，能有效满足云视频监控任务的实时性要求；

(4)本发明能有效提高资源利用率，在调度的最后关闭空闲的虚拟机和空闲的服务器，减小虚拟机的数量，间接减少服务器的数量，同时避免了动态迁移带来的额外能耗，最终以最大化实现系统节能，当任务数量大于2000个时，小于3000个时，其能耗与未采用此方法相比能降低25.1％，节能效果显著，且随着任务数量的增加，节能效果进一步提升。

附图说明

图1是云视频监控系统架构示意图。

图2是面向能耗优化的云视频监控系统任务接入方法流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明提供了一种面向能耗优化的云视频监控系统任务接入方法，云视频监控系统如图1所示，系统包括6个服务器，均采用Xen E5620(2.4G)4核8线程的CPU、36GB内存、SAS 2TB硬盘、1000M网卡以及windows sever 2003操作系统。其中一个服务器为接入控制服务器，另外五个为执行服务器，接入控制服务器与5个执行服务器分别连接。接入点AP采用TP-LINK TL-WDR4900(2.4GHz、5GHz双频段、最高无线传输速率为450Mbps)。视频任务的监控端采用DS-2CD8153F-E(I)网络摄像头。从接入控制服务器依次接入每个视频任务，如图2所示，该接入过程包括以下步骤：

(1)在云视频监控系统的各个执行服务器上创建10个虚拟机，每个虚拟机占用设置的初始带宽，依次接入每个视频任务，其中每次接入视频任务时，重复以下步骤：

(1-1)获取视频任务的视频质量以及视频任务IP地址，根据视频质量计算该视频任务需要的带宽

(1-2)依次获取执行服务器上所有虚拟机的剩余可利用带宽，直到当前获取的虚拟机的剩余可利用带宽等于初始带宽，则获取停止，得到一组虚拟机的剩余可利用带宽进入步骤(1-3)；

(1-3)对于步骤(1-2)获得的每个虚拟机剩余可利用带宽，分别根据以下公式将该虚拟机的剩余可利用带宽减去视频任务需要的带宽得到差值：

$>\Delta =B_j^V-B_i^J$>

其中Δ表示差值，表示获得的第j个虚拟机的剩余可利用带宽，表示第i个视频任务需要的带宽；第i个视频任务即当前正在接入的视频任务；

统计所有差值中正数的数量，如果有且仅有一个，则该差值对应的虚拟机作为当前视频任务接入的目标虚拟机，进入步骤(1-5)；否则，进入步骤(1-4)；

(1-4)搜索所有为正数的差值中最小的差值，该差值对应的虚拟机作为当前视频任务接入的目标虚拟机，进入步骤(1-5)；

(1-5)将视频任务IP地址发送至目标虚拟机，使目标虚拟机与视频任务对应的监控终端建立连接以获取视频数据，完成视频任务接入；

(1-6)返回步骤(1-1)进行下一个视频任务接入，直到所有视频任务接入完成；

(2)任务全部接入完成之后，对未接入任务的虚拟机即空闲虚拟机进行关闭，同时对未开启虚拟机的执行服务器即空闲服务器进行休眠或关闭。

步骤(1)中调用Virtualbox的SDK实现在执行服务器上创建虚拟机。

步骤(1-5)完成视频任务接入后，云视频监控系统重新获取当前完成了视频任务接入的虚拟机的剩余可利用带宽。

步骤(1-5)完成视频任务接入后，当前完成了视频任务接入的虚拟机更新自己的资源映射表。

步骤(2)中调用Virtualbox的SDK实现在执行服务器上关闭虚拟机。

本发明的原理阐述如下。

本发明运用了云视频监控中心能耗模型。对于云视频监控系统而言，它由大量服务器和在服务器上运行的虚拟机组成，其总能耗P可表示如下：

$>P=\underset{l=1}{\overset{k}{\Sigma }}{P}_l^S=\underset{l=1}{\overset{k}{\Sigma }}(P_0^S+N_l{P}_0^V)=k{P}_0^S+\underset{l=1}{\overset{k}{\Sigma }}{N}_l{P}_0^V$>

其中为单台物理服务器运行时的能耗，k是云视频监控中心开启服务器的数量，是一台物理服务器在不运行虚拟机时所消耗的能耗值，为在第l台服务器上开启的虚拟机数目。

在考虑服务器性能的情况下，每台服务器开启的虚拟机数量是有限的假设最大为另假设一批新任务所需要的虚拟机总数量为N，则

$>N=\underset{l=1}{\overset{k}{\Sigma }}{N}_l=(k-1)\stackrel{\prime }{\omega }+N_k$>

综合以上两式，云视频监控中心能耗则可表示成如下式：

$>P=(1+\frac{N-N_k}{\stackrel{\prime }{\omega }})P_0^S+N{P}_0^V$>

本发明还运用了云视频任务调度模型。从云视频监控系统能耗模型分析看来，其能耗主要取决于虚拟机的总数量N，由此可通过减少虚拟机总数量来实现降低云视频监控中心的能耗。然而对于一批指定的任务，其所需要的总资源是一定的，应通过提高每个已开启虚拟机的资源利用率来减少虚拟机的总数量，由此任务调度模型可以描述如下：

$>\max \left\{\underset{i=1}{\overset{m}{\Sigma }}{\delta }_{\mathrm{ij}}{J}_i\right\},j\in \{\mathrm{1,2},...,n\}$>

$>s.t.\underset{i=1}{\overset{m}{\Sigma }}{\delta }_{\mathrm{ij}}{J}_i\le V_j$>

其中J_i为第i(i∈{1,2,…,m})视频任务需要的资源，V_j为第j台虚拟机可利用的初始资源，δ_ij表示任务J_i是否在虚拟机V_j上执行，如果是，则其值为1，否则为0。从上述调度模型可以看出，任务调度的目的主要是集中视频任务在某些虚拟机上运行，同时所有在此虚拟机上运行的任务需要的资源之和不能超过其本身拥有的初始资源大小。

对任务调度模型进行简化，每个视频任务需要的资源包括带宽、CPU、内存和磁盘，且执行任务的虚拟机以上资源都是有限的，任务调度模型是一个4维bin-packing问题。由于一个视频任务传输过程中，其需要的带宽和内存与其比特率有关，且此任务是一个IO密集型任务，CPU资源占用较小可忽略，同时虚拟机采用的是共享磁盘方式，其磁盘大小与其宿主机硬盘大小相同，对虚拟机的选取无影响，由此仅需要考虑任务对带宽和内存的需求。然而带宽和内存之间存在一定的比例关系，假设虚拟机的初始带宽和内存大小存在相同的比例关系，则任务调度模型仅考虑任务的带宽需求即可，即

$>\max \left\{\underset{i=1}{\overset{m}{\Sigma }}{\delta }_{\mathrm{ij}}{B}_i^J\right\}$>

$>s.t.\underset{i=1}{\overset{m}{\Sigma }}{\delta }_{\mathrm{ij}}{B}_i^J\le B_j^V$>

其中为第i(i∈{1,2,…,m})视频任务需要的带宽资源，为第j台虚拟机可利用的初始带宽资源。

本发明能有效提高资源利用率，减小虚拟机的数量，间接减少服务器的数量，同时避免了动态迁移带来的额外能耗，最终以最大化实现系统节能，当任务数量大于2000个时，小于3000个时，其能耗与未采用此方法相比能降低25.1％，节能效果显著，且随着任务数量的增加，节能效果进一步提升；充分考虑了云视频监控系统的特性，对虚拟机的选取仅考虑带宽约束即可，大大提高了调度效率，能有效满足云视频监控任务的实时性要求。