云环境下基于随机优化的动态资源调度研究

摘要

近年来，由于政府、企业以及市场需求等多方面的推动，云计算及其相关技术（如:移动云计算、基于软件定义网络的云计算等）得到了快速的发展，同时云计算基础资源、移动设备等也呈爆发式的增长。如何合理、高效地利用云计算及终端设备的资源实现低成本、高能效并满足服务质量需求的资源供应（或者服务提供）是云计算系统中不可避免的、具有实际意义的热点问题。本研究主要内容包括：
　　⑴首先在基于云计算和软件定义网络的新型网络系统中，为了给用户提供包含计算资源（包括计算、存储资源等）和网络资源（OpenFlow网络）的完整资源切片并实现智能化的资源调度与配置，本文提出了分层次的、融合的管理框架、框架的软件结构以及具有自感知和自伸缩能力的资源调度优化的一般过程。另外，为了简化对网络资源的管理和使用，本文还提出了将转发/路由策略组件化的方案，并对一些常用的转发/路由策略进行了重点设计和实现。最后，在搭建的原型系统上测试了转发/路由策略组件化的效能。
　　⑵为了在IaaS云平台中实现具有成本效益和QoS保证的动态资源配置，考虑到任务请求和系统负载存在随机性以及云实例的启动具有时延性等因素，本文将动态资源供应问题建模成优化运行时需要激活的实例数量的问题，并定义QoS为系统负载的过载概率，利用大偏差原理对优化问题进行求解。为了适应不同应用场景的需求，本文参考Amazon EC2的实例资源配置类型及定价模型，提出了两种实例配置方案—按需实例方案和联合方案。对于联合方案，设计了一种基于自回归模型的预留实例配置策略来进一步降低提供计算服务的成本。文章使用两组实际系统的负载数据集驱动仿真实验，实验结果表明文中所提出的算法能够动态的、自适应的为计算任务提供最佳实例数量，并能很好的实现成本与QoS的折中。
　　⑶MPEG-DASH系统的实时视频转码往往需要大量的计算资源，可以和云计算完美结合。因此，本文提出了具有成本效益和QoS保证的转码资源动态配置策略，并将转码抖动概率定义成一个QoS指标，然后利用大偏差原理对转码抖动概率进行在线估计。通过对比估计的转码抖动概率值和预先设置的QoS值，对转码节点的数量进行动态调整。本文在基于OpenStack的云平台中进行了转码实验，验证了所提出的算法能够很好的实现成本节约与QoS保证。
　　⑷最后在移动云计算中，为了实现终端侧的能耗优化并满足上行数据的传输时延约束，同时考虑到应用数据产生的随机性以及信道状态的随机性，本文提出了基于带约束马尔可夫决策过程(CMDP)的无线网络选择和上行数据传输调度的联合优化算法。另外，本文根据offloading的思想设计了将策略迭代过程迁移至云计算中心的系统架构，从而降低终端侧由于策略计算本身带来的能耗。由于在实际环境下系统某些状态的转移概率矩阵不可知或者很难获得，本文利用Q学习对CMDP问题进行求解。最后，通过在MATLAB上仿真验证了算法的性能。

目录

声明

摘要

表格

插图

算法

主要符号对照表

第一章 绪论

1．1 研究背景

1．2 基于云计算的网络系统架构

1．2．1 云计算和移动云计算

1．2．2 软件定义网络

1．3 研究动机和意义

1．4 研究现状

1．5 本文的工作

1．6 本文的结构

第二章 资源调度的随机优化理论

2．1 大偏差原理

2．2 Markov决策过程及Q学习

2．2．1 Markov决策过程

2．2．2 Q学习

第三章 资源管理与调度的系统设计

3．1 引言

3．2 相关工作

3．3 基于云计算和软件定义网络的资源管理系统设计

3．3．1 资源管理框架

3．3．2 资源管理框架的软件结构

3．3．3 自感知与自伸缩的资源调度优化

3．4 网络功能的组件化设计及应用

3．4．1 相关设计要点

3．5 原型系统和实验结果

3．5．1 原型系统

3．5．2 初步实验结果

3．6 小结

第四章 云环境下具有QoS保证的计算资源动态调度

4．1 引言

4．1．1 存在的问题及解决方案

4．2 相关工作

4．2．1 成本优化

4．2．2 SLA/QoS感知

4．2．3 其他

4．3 系统模型

4．3．1 系统架构

4．3．2 实例类型及价格模型

4．3．3 数学模型

4．4 具有QoS约束的动态实例配置策略

4．4．1 过载概率估计

4．4．2 在线估计πj

4．4．3 动态实例供应算法

4．5 基于自回归模型的联合资源配置策略

4．6 实验与性能评估

4．6．1 实验设置

4．6．2 性能指标

4．6．3 实验结果

4．7 小结

第五章 云环境下视频转码资源的动态调度

5．1 引言

5．2 相关工作

5．2．1 流媒体技术

5．2．2 视频转码

5．3 系统结构

5．3．1 转码视频缓存

5．3．2 视频切分

5．4 问题模型

5．5 转码资源动态配置策略

5．5．1 转码抖动概率估计

5．5．2 在线估计πj

5．5．3 转码资源动态配置算法

5．6 实验与性能评估

5．6，1 实验设置

5．6．2 性能指标

5．6．3 实验结果

5．7 讨论

5．8 小结

第六章 终端侧无线网络选择和上行数据调度的联合优化

6．1 引言

6．2 相关工作

6．2．1 计算任务卸载

6．2．2 数据传输调度

6．3 系统模型

6．3．1 系统架构

6．3．2 策略求解过程的卸载

6．3．3 数据队列

6．3．4 信道模型

6．4 基于CMDP的无线网络选择和上行数据调度的联合优化

6．4．1 状态空间

6．4．2 行动空间

6．4．3 性能准则及问题模型

6．4．4 拉格朗日方法

6．5 Q学习求解最优策略

6．5．1 拉格朗日乘子的最优值

6．6 实验与性能评估

6．6．1 实验设置

6．6．2 实验结果

6．7 小结

第七章 总结与展望

7．1 本文总结

7．2 研究展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果