深度强化学习在网络资源管理问题中的应用

摘要

计算机系统与网络中的资源管理问题的研究无处不在。例如计算集群的任务调度，视频流中的比特率自适应，因特网电话中的中继选择，云计算中的虚拟机放置，拥塞控制等等。目前的大多数解决这些问题方法为启发式算法。但是启发式算法存在一些关键的不足之处：当底层系统较为复杂时通常无法精确建模，每当问题的某些方面发生变化时，必须修改模型。此外，预设好的模型很难在具有噪声影响的输入以及多变的环境下做出较好的实时决策。 最近机器学习被成功的应用到一些决策制定领域的问题研究中，特别是机器学习中的强化学习与深度学习结合应用到例如计算机下围棋，玩视频游戏等等。受到以上启发，让系统利用深度强化学习并自己学会资源管理也并非不可能。鉴于今天面临的许多资源管理问题的规模和复杂性，有许多领域可以使用深度强化学习。本文的研究重点专注于如下几个方面： （1）云计算资源管理中资源集群的任务调度问题，本文参考现有的任务模型，拓展了任务模型并利用深度强化学习中的深度Q网络（Deep Q-Networks，DQN）算法解决任务调度问题中预设的各种优化目标。首先拓展任务模型为单阶段任务和多阶段任务，然后任务还具有优先级。接下来，利用深度强化学习算法学习包括最小化平均任务slowdown、最小化平均任务完成时间、最大化任务优先级区分度等复杂优化目标的策略，提出了基于深度Q网络的资源管理（Deep Q-Networks Resource Management，DQRM）算法。最后从该算法的各个参数和结构层面、任务负载方面分析了算法的性能。经过实验，该算法在不同优化目标上均不同程度的优于最短任务优先（Shortest Job First，SJF）、Tetris*、Packer等经典任务调度算法。 （2）提高传输控制协议（Transmission Control Protocol，TCP）连接吞吐量的研究，本文通过深度强化学习在数据中心网络等几种不同网络场景下改变TCP初始拥塞窗口提高吞吐量。首先选择数据中心网络、卫星网络、有损链路、具有小缓冲区的瓶颈链路等四种不同的网络场景，然后设定深度强化学习的优化目标为最大化平均吞吐量，提出了基于深度Q网络的拥塞控制（Deep Q-Networks Congestion Control，DQCC）实现算法。最后从算法的参数和网络场景的不同配置层面分析了算法的性能。经过仿真测试验证，该算法能够自动学习出不同网络环境下较优的TCP初始拥塞窗口大小来提升吞吐量。

目录

声明

第一章 绪 论

1.1 引言

1.2 研究背景与意义

1.3 论文结构与安排

第二章 研究背景及现状

2.1.1 云计算概念与结构

2.1.2 云计算资源管理

2.1.3 云计算资源管理中任务调度技术概述

2.1.4 云计算中多资源集群任务调度

2.2.1 TCP拥塞控制技术

2.2.2 数据中心网络中的资源管理

2.2.3 数据中心网络中的TCP拥塞控制研究现状

2.3.1 强化学习发展历史

2.3.2 强化学习概念

2.3.3 深度强化学习背景

2.4 本章小结

第三章 使用深度强化学习的云计算中计算集群的任务调度

3.1 引言

3.2 问题模型

3.3 算法设计

3.3.1 Q学习算法

3.3.2 深度强化学习算法DQN

3.3.3 结合DQN的任务调度算法设计

3.3.4 训练算法

3.3.5 其他优化目标

3.4.1 评估方法

3.4.2 优化目标比较

3.4.3 收敛性和结果分析

3.5 本章小结

第四章 利用深度强化学习的TCP初始拥塞窗口研究

4.1 引言

4.2.1 问题描述

4.2.2 深度强化学习算法设计

4.2.3 训练算法

4.3.1 实验设置

4.3.2 数据中心网络

4.3.3 卫星网络

4.3.4 不可靠有损链路

4.3.5 小缓冲区的瓶颈链路

4.3.6 收敛性分析

4.4 本章小节

第五章 全文总结与展望

5.1 全文总结

5.2 后续工作展望

致谢

参考文献