云视频服务系统的资源配置和调度优化

摘要

随着高速互联网的广泛普及和多媒体技术的飞速发展，通过互联网在线观看视频已成为最受欢迎的互联网应用之一。传统上，视频服务提供商主要基于内容分发网络和对等网络的架构来构建大规模视频服务系统。然而，内容分发网络半静态的资源配置方式使得系统可扩展性较差，资源利用率较低和服务成本高昂，难以应对不断增长的用户请求。而对等网络依赖用户上传的互相配合，难以保证服务的可靠性，无法保障用户对视频观看体验的更高要求。相对于这些传统技术，新兴的云计算提供了一种可靠、弹性和低成本的资源配置方式，这为视频服务商带来了新的解决方案。本文考虑利用云计算平台构建新一代的大规模视频服务系统。视频服务提供商通过按需动态调整配置的云计算资源，来应对高度异构和动态的视频需求并同时降低运营成本。
　　本文针对基于云的大规模视频服务系统中面临的动态资源配置、请求调度、内容部署和网络管理等问题进行了深入研究，通过建立数学模型来描述系统，在模型下利用相关优化理论推导出系统的最优控制策略。具体的研究工作概括如下:
　　1)考虑云计算服务商以虚拟机为单位向视频服务商提供计算资源，并提供多种租用定价方案。视频服务商通过按需调整所租用的虚拟机数量，来应对用户动态的视频请求并降低运营成本。本论文将上述问题建模成满足服务质量约束下系统应配置的虚拟机最小数量问题和多种定价模型下各种类型虚拟机的最优采购方案问题。将服务质量约束表示成系统过载的概率需要在设定的阈值范围内，并利用大偏差原理估计过载概率，进而基于在线测量得出虚拟机的最优配置数量。然后通过分析比较多种定价模型，利用整数规划求出每个时隙虚拟机的最优租用方案，并提出了一个动态调整长期预留型虚拟机数目的优化策略。通过实验仿真验证了算法的有效性。
　　2)研究了视频服务商利用多个分布各地的云数据中心来构建大规模视频服务系统向多地区的用户进行服务的优化问题。为了提升用户观看体验质量以最大化系统收益并同时降低运营成本，需要以一定策略调度并服务来自多地区的用户请求，并同时不断按需调整内容部署和资源配置。本文利用Markov决策过程来建模描述多数据中心云视频服务系统的动态运行过程。利用平均性能准则来反映系统长期运行的平均利润，其中利润为系统收益减去运营成本，系统收益通过一个效用函数反映了用户的观看体验质量。通过寻求一个动态的请求调度、视频部署和资源配置联合优化策略来最大化平均利润。利用性能灵敏度分析，本文设计了一个基于样本轨道的策略迭代算法来找到最优策略，并证明了算法的最优性。接着从实际系统运行的角度对该算法进行了详细的分析，并通过一系列仿真实验验证了本文的算法有效性。
　　3)考虑先进的软件定义网络(Software Defined Network，SDN)技术和云计算技术的结合。本文提出了一个SDN功能化的媒体云架构，云数据中心之间通过SDN功能化的网络互相连接。针对网络拥塞对视频服务传输时延以及对用户观看体验的影响，通过将路由策略与请求调度和资源分配策略联合优化，以降低移动云视频服务商的运营成本并提升视频播放质量。借助效用函数来反映视频播放质量的两个方面:用户的满意度和平均延迟。系统目标函数定义为最大化视频服务商的利润（即效用收益减去运行成本），并通过一个统一的流量管理模型合并用户请求调度和视频流路径选择决策，将联合优化问题描述成一个混合整数规划问题。基于对偶分解和次梯度的方法，提出了一个迭代算法来求解混合整数规划问题，该算法可以有效地得到内容部署和流量管理的最优决策。以实际环境的参数设置进行仿真实验，验证了该算法的有效性。实验结果表明，本文提出的算法可以同时实现优化运营成本和用户体验之间的良好平衡。

目录

声明

摘要

表格索引

插图索引

算法索引

第一章 绪论

1．1 研究背景和意义

1．2 研究现状

1．2．1 传统架构

1．2．2 基于云的视频服务系统

1．3 本文的工作

1．4 本文的组织结构

第二章 相关优化理论

2．1 Markov决策过程

2．2 基于性能灵敏度的优化方法

2．2．1 实现因子和性能势

2．2．2 基于性能差分的策略迭代

2．3 大偏差原理

2．4 小结

第三章 QoS保证的云视频服务系统资源动态配置

3．1 引言

3．2 系统架构和问题描述

3．2．1 系统架构

3．2．2 云服务商的定价模型

3．2．3 系统QoS模型

3．2．4 优化问题

3．3 自适应云资源配置算法

3．3．1 用户访问热度的预测

3．3．2 过载概率估计

3．3．3 在线优化配置策略

3．4 虚拟机实例的租赁方案

3．4．1 在线实例采购策略

3．4．2 预留计划的在线调整算法

3．5 仿真实验

3．6 小结

第四章 多数据中心的云视频服务系统内容部署和请求调度联合优化

4．1 引言

4．2 系统模型

4．2．1 多数据中心的云视频服务系统系统结构

4．2．2 Markov决策过程模型

4．3 策略迭代

4．3．1 性能差分

4．3．2 基于样本路径的策略迭代算法

4．3．3 算法实际实现

4．4 实验与性能评估

4．4．1 实验设置

4．4．2 视频热度聚类

4．4．3 实验结果及分析

4．4．4 算法参数的影响分析

4．5 小结

第五章 基于SDN网络的云视频服务系统内容部署和流量管理联合优化

5．1 引言

5．2 基于SDN的云移动视频服务系统架构

5．3 系统模型和优化问题

5．3．1 系统模型

5．3．2 联合优化问题

5．4 最优算法

5．5 实验与性能评估

5．5．1 实验设置

5．5．2 实验结果与分析

5．6 小结

第六章 总结与展望

6．1 本文总结

6．2 研究展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果