SDN下基于强化学习的路由规划算法研究

摘要

SDN(Software Defined Networking)作为一种新型的网络架构，具有转发与控制分离的特性，集中式控制也给网络管理带来了极大的便利。如何为数据包找到合适的转发路径，充分高效地利用SDN中每条数据链路，是当前研究的热点课题。
　　本文将强化学习算法应用到SDN网络路由规划中。强化学习算法是人工智能领域，通过智能体自主探索系统环境获取经验后动态优化性能的算法。本文以QLearning和Q（λ）算法作为强化学习算法的代表，提出了基于QLearning和Q(λ)的路由规划算法。本文基于一定的链路QoS标准，如链路可用带宽、延迟抖动和丢包率来衡量基于强化学习路由算法的性能，实验结果表明基于QLearning和Q(λ)的路由规划算法均能找到满足QoS性能较优的转发路径。
　　基于QLearning和Q(λ)的路由规划算法，存在需要人工设计特征的缺陷。实际应用环境中，系统状态往往繁多复杂，实验特征也难于提取。对此，本文将深度学习算法与强化学习算法相结合，提出了基于Deep QLearning的路由规划算法，利用深度学习中多层神经网络模型替代了传统QLearning算法中的Q值表。
　　基于上述算法模型，本文提出了SDN下基于强化学习的路由规划系统，详细叙述了系统总体框架设计以及模块设计。最后，对系统功能进行了测试，验证了该系统在网络路由方面的可行性。

目录

摘要

1 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．2．1 SDN研究现状

1．2．2 SDN网络路由研究

1．3 论文主要研究内容与创新点

1．3．1 论文主要研究内容

1．3．2 论文创新点

1．4 论文组织结构

2 相关技术及原理

2．1 SDN网络下路径发现

2．1．1 SDN网络拓扑发现基本概念

2．1．2 SDN网络拓扑发现

2．2 强化学习技术

2．2．1 基本概念及原理

2．2．2 马尔可夫决策过程

2．3 常用强化学习算法介绍

2．3．1 动态规划算法

2．3．2 QLearning算法

2．3．3 蒙特卡罗算法

2．4 深度强化学习技术介绍

2．5 常用神经网络模型

2．5．1 反向传播神经网络

2．5．2 卷积神经网络

2．6 本章小结

3 基于强化学习和深度强化学习的路由规划算法研究

3．1 基于QLearning的路由规划算法研究

3．1．1 基于QLearning路由规划算法原理

3．1．2 基于QLearning路由规划算法流程

3．2 基于Q(λ)的路由规划算法研究

3．2．2 基于Q(λ)路由规划算法流程

3．3 基于深度强化学习的路由规划算法研究

3．3．1 基于Deep QLearning路由规划算法原理

3．3．2 基于Deep QLearning路由规划算法流程

3．3．3 基于Deep QLearning路由规划算法相关函数说明

3．4 实验仿真设计

3．4．1 路由规划算法仿真环境模型

3．4．2 路由规划算法状态描述

3．4．3 路由规划算法奖赏函数定义

3．4．4 深度强化学习算法参数设置

3．4．5 路由环路问题解决

3．5 实验结果与分析

3．5．1 路由规划算法实验结果

3．5．2 路由规划算法实验结果比较

3．6 本章小结

4 SDN下基于强化学习的路由规划系统设计与分析

4．1 系统需求

4．2 系统总体设计

4．2．1 系统总体设计架构图

4．2．2 系统模块功能说明

4．3 系统模块设计

4．4 系统测试环境配置

4．4．1 测试环境配置

4．4．2 实验拓扑图

4．4．3 链路状态信息采集与预处理

4．5 测试结果与分析

4．6 本章小结

5 总结与展望

5．1 论文总结

5．2 下一步工作展望

参考文献

致谢

声明