低可靠环境中云计算系统的服务质量预测与优化调度研究

摘要

云计算作为一种新兴的信息服务模式，是当前研究的一个热点，它以服务访问的方式向用户按需提供可靠、廉价的计算资源。借助于虚拟化技术，云计算将云环境下规模庞大、结构复杂的物理资源转化成不同种类的虚拟资源池进行统一管理，对云端提交的任务进行自动化部署，使得服务购买者能够在使用计算资源的同时，不必增加额外的购置、维护资源的开销。而实现这样一个平台要解决的关键问题之一便是如何有效的进行资源调度。资源调度的核心是高效地建立资源与任务之间映射关系，主要包含两个层次的调度：
　　（1）实现虚拟资源的调度分配，即动态制定任务和虚拟资源的映射关系；
　　（2）实现物理资源的调度分配，即是制定虚拟机实例和物理主机之间的对应关系。高效的调度策略应尽可能实现用户对服务质量（Quality-of-Service，下简称QoS）的期望，并实现负载均衡和绿色节能等目的，以及容错、可扩展、安全等方面的要求。
　　基础设施即服务云（Infrastructure-as-a-Service,以下简称IaaS）是一种最基本和最广为使用的云系统构架，它提供云计算底层的用户服务模型，它将实体的资源（处理器/存储/网络信道等）进行虚拟抽象，以虚拟资源池的形式实现按需服务。它屏蔽了底层硬件的规格和差异，使得虚拟化资源能够按弹性的方式被用户调用，并承载更高层的各类计算业务。以Amazon、华为、Google为代表的企业都推出了各自的基础设施即服务云平台。如Amazon的EC2和Google的ComputeEngine(GCE)。
　　与传统的分布式系统和网格相比，IaaS云不仅实现了可扩展和高可用性这两个难以兼顾的目标，同时具有更大的规模、更广的分布性、更突出的松散性。然而，工业云计算系统与云服务系统，多相关于非可信的通信和网络媒介，面向不确定应用场景，服务于异构的应用需求，与各异性的客户或租户进行交互。上述媒介、场景、需求、交互等层面中的信息易失、时空分布、异构等特性，使云系统时常处于低可靠、非可信的运行状态之下，并严重影响了系统整体的QoS。影响具体表现为：
　　(1)为了完成特定业务功能，云计算系统与云服务和构架于其上的云服务，需要持续的与环境对象（包括用户、外部软件模块、通信链路、网络连接、传感器、易失缓存和存储器等）密切交互。而环境对象的非稳定性（如人为失误、部件失效、模块故障、消息丢失、读写冲突、网络拥塞等），都会对云应用的可预期性和运行效果带来冲击；
　　(2)现今的云计算系统大多面向广域社会服务，其动态开放的环境中多存在不良意图的对象，能够在交互中队云系统的输入负面影响，进而云服务和云应用处于威胁之中；
　　(3)为了深挖计算资源的潜力，减少运行开销和节能，云计算系统与云服务多采用进程迁移、物理/虚拟机动态映射、热点集中、物理机时分复用、负载均衡等技术。这使得一个软件过程或任务，往往难以从一而终的在一个物理计算单元上完成整个执行过程，期间可能在物理机/虚拟机/云节点间经历多次的迁出、迁入、中断、冻结、备份、回滚、恢复，这些额外的执行开销导致系统的可靠性和QoS受到负面影响。
　　云提供商往往会给出所售出的软硬件部件、存储设备、和中间件的可靠性的“标称”值（如平均故障间隔时间、平均任务执行时间等），以便于云系统的搭建者根据“服务等级协议”（Service-Level-Agreement，以下简称SLA）中的QoS约束来合理的进行选购和系统配置。然而，上述提供商发布的标称值，时常为理想运行情况下的测试值，与真实场景下，特别是高负载、低资源可用性、低可靠环境下的实际表现存在很大的误差。以这些标称或发布值，计算预测实际云系统的运行时QoS并进行调度，必然导致较低的预测精度和较差的用户感知QoS。
　　上述分析可见，研究云计算系统与云服务QoS的建模、分析、预测和优化调度问题，是提升云计算系统整体运行质量的一个重要关节。相关的模型和方法，不仅能从理论上帮助云的搭建和使用者了解系统的性能、可靠性和QoS界限，还能为“服务质量-可靠性-代价”约束下进行合理的系统配置和优化提供指导信息，并作为输入模型为后期的云系统动态组合管理算法设计提供支撑。虽然QoS建模、分析和预测的研究在传统的软件工程、分布式网络、计算机体系结构的领域内已非常成熟，但专门针对云计算系统，特别是低可靠环境下云计算系统与云服务系统的研究仍存在诸多不足。本项研究立足深入分析云计算系统的本质属性，综合运用随机过程与排队网络、时间序列预测、遗传算法等手段和方法，展开以下研究内容：
　　①细粒度的对低可靠环境中的云计算系统进行建模，着力描述其在不同任务复杂和故障频度下云系统状态变迁和变迁的概率特征，建立连续时间马尔科夫模型，进而推导出状态变迁触发条件和对应的变迁强度矩阵；
　　②为了适应SLA约束条件下对百分数QoS指标的分析，我们在上一步研究的基础上，引入帕累托分布对马尔科夫模型进行近似简化，并采用ARMA时间序列模型对云系统的历史QoS参数进行序列化处理和趋势预测，以预测参数作为QoS模型的输入，设计不依赖状态空间推导的多维QoS指标动态趋势预测方法；
　　③运用遗传算法和智能优化策略，针对非可靠环境中的异构云服务系统，设计嵌入QoS参数趋势预测机制的工作流式业务的动态调度算法，兼顾QoS和能耗节约等多个目标。

目录

1 绪 论

1.1 研究的应用背景及意义

1.2 关键科学问题研究现状

1.3 研究动机与研究内容

1.4 论文组织与结构

2 基础理论与研究现状

2.1 云计算及其体系结构

2.2 随机过程建模与马尔科夫模型

2.3 ARMA模型与时间序列预测模型

2.4 本章小结

3 低可靠环境下云系统建模和系统容量优化决策

3.1 问题描述

3.2 系统模型

3.3 CTMC模型

3.4 帕累托分布近似和概率分析

3.5 实验测试和模型验证

3.6 SLA约束的系统容量配置

3.7 嵌入时间序列预测机制的时变QoS预测

3.8 本章小结

4 云上工作流和业务流程的优化调度

4.1 工作流基础理论

4.2 面向工作流和业务流程的云资源调度

4.3 工作流系统模型

4.4 优化问题的形式

4.5 基于遗传策略和时间序列预测的调度算法

4.6 案例研究与比较

4.7 本章结论

5 总结与展望

5.1 本文工作总结

5.2 后续工作展望

致谢

参考文献

附录

A. 攻读博士学位期间发表的相关论文

B. 作者在攻读博士学位期间参加的科研项目列表