流媒体边缘云的智能存储资源调度策略研究

摘要

基于CDN、P2P等技术的传统流媒体系统存在扩展性、透明性、可靠性方面的局限性。云计算作为一种新型技术,在资源虚拟化、可靠性与弹性扩展等方面具有诸多优点。因此,将二者相结合的流媒体云,是未来流媒体技术发展的方向之一。由于流媒体系统的高实时性特点,流媒体云系统需要在边缘区域放置流媒体边缘云(MEC)来保证用户的服务体验。
　　相比传统流媒体系统,MEC存在更高的带宽资源与存储资源调度需求。对此,现有的研究工作主要依靠会话迁移或视频重部署技术进行处理。但是,该类方法在单独作用时都难以权衡调度效果和调度代价。此外,深度学习模型具有求解快速、泛用性好等特点,为资源调度领域提供了一种新的思路。因此,本文针对流媒体边缘云的联合资源调度问题进行了相关研究,在此基础上采用深度强化学习对上述策略进行改进,主要完成了以下工作:
　　1)针对用户请求流行度动态变化的波动规律,提出了一种基于规划的两阶段调度算法。具体地,针对流行度变化较小的情况,综合考虑当前负载与预测的流行度,提出了一种阈值分配的会话迁移策略;针对流行度变化较大的情况,综合考虑部署代价与负载均衡等因素,提出了一种存储调度策略。算法通过两种策略的联合优化机制,增强了系统对于流行度变化的适应性,同时保证了较低的调度代价。
　　2)针对两阶段调度算法在存储调度策略上求解较慢的问题,提出了一种基于深度强化学习的改进算法,并搭建了数值仿真平台对该算法进行验证。具体地,在策略网络模型方面,针对调度动作复杂的问题,提出了一种基于独立子网络的模型;在代价控制方面,提出了基于请求接入率与当前会话存留率的回报设计以及最大部署代价上限策略;在策略执行方面,提出了一种基于仿真器状态仿真的中间状态生成策略。算法通过引入深度强化学习模型,加快了存储调度策略的求解速度,使得两阶段调度策略在实用性上更进一步。同时,为深度学习类算法在资源调度领域的应用积累了宝贵的经验。
　　综上,本文针对MEC资源调度问题,提出了一种基于规划的两阶段调度算法。在此基础上,尝试引入深度强化学习模型对存储调度策略进行改进。结果表明改进算法在基本保留原有算法的优点的同时,加快了算法的求解速度,具有一定的实用价值。

目录

声明

摘要

第1章 绪论

1．1 流媒体云与传统流媒体服务系统

1．1．1．传统流媒体服务技术

1．1．2．流媒体边缘云

1．2 研究现状

1．2．1．流媒体云资源调度研究现状

1．2．2．流媒体系统存储资源调度研究现状

1．3 本文主要研究工作

1．4 论文组织结构

第2章 相关技术简介

2．1 流媒体存储资源调度

2．1．1．基于启发式策略方法

2．1．2．基于规划方法

2．1．3．基于机器学习相关方法

2．2 强化学习

2．2．2．值函数

2．2．3．常见强化学习方法

2．3 深度强化学习

2．3．1．深度Q强化学习

2．3．2．基于蒙特卡洛方法的深度强化学习

2．4 本章小结

第3章 基于规划的两阶段调度算法

3．1 问题描述

3．2 策略总体描述

3．3 会话迁移策略

3．3．1．会话迁移计算模型

3．3．2．迁移执行模型

3．4 存储调度策略

3．4．1．存储资源分配计算模型

3．4．2．分配执行策略

3．4．3．算法流程

3．5 实验与仿真

3．5．1．实验参数设置

3．5．2．结果分析

3．6 本章小结

第4章 基于深度强化学习的存储调度策略

4．1 整体框架建模

4．2 动作集合设计

4．3 状态变量

4．3．1．副本增加网络的输入

4．3．2．服务器选择网络的输入

4．3．3．副本删除网络的输入

4．4 网络搭建

4．4．1．副本增加子网络

4．4．2．服务器选择子网络

4．4．3．副本删除子网络

4．4．4．价值估计子网络

4．5 回报函数

4．6 算法流程与训练细节

4．6．1．算法流程

4．6．2．训练细节

4．7 实验与仿真

4．7．1．存储资源分配计算模型搭建

4．7．2．参数设置

4．7．3．仿真实验结果与分析

4．8 本章小结

第5章 总结与展望

5．1 工作总结

5．2 未来展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果