多控制器SDN的交换机迁移机制研究

摘要

软件定义网络（Software-Defined Networking，SDN）解耦了控制和数据平面，对网络实现了集中化管理。随着网络规模的日益增大，多控制器的SDN架构日趋流行。但多控制器架构存在负载不均和控制层资源浪费的问题，这严重影响了控制平面的伸缩性。交换机迁移是解决这些问题的有效方案，但如何迁移是一个NP难问题。本文以控制层的负载均衡和资源利用率最大化为目标提出了两个交换机迁移方案。 第一个是基于非合作博弈的动态交换机迁移方案，将交换机迁移问题转换为控制器之间的动态博弈问题。该工作中，我们设计了负载监测机制用于及时准确的发现控制器之间的负载不均，负载不均会触发交换机迁移。然后定义了控制器的收益函数，能够避免控制器之间的迁移冲突。并且基于非合作博弈设计了交换机的迁移方案，控制器作为决策者均以最大化自身收益为目标，从而最大化控制层的整体资源利用率。最后，证明了本文的迁移方案存在纳什均衡点，并且保证了每次的迁移结果都是帕累托最优。通过大量仿真实验与现有方法对比，实验结果表明了我们的方案既能保证控制层负载均衡还能最大化控制层的整体资源利用率。 由于第一种方案不适用于大规模SDN，我们提出了基于深度Q-学习的交换机迁移方案。深度Q-学习算法结合了深度学习的强大感知能力和Q学习的强大决策能力，在自动驾驶、自然语言处理等领域取得了重要成就。该工作中，我们将其应用于交换机迁移问题。首先对SDN网络做了形式化描述，将网络状态以二维数据表示，作为Q网络的输入，通过卷积层提取出网络特征，再通过全连接层最后到输出层，预测出某网络状态下的迁移动作后，执行该迁移动作并获取即时奖励或惩罚。最后利用经验回放机制对神经网络进行训练。我们基于keras深度学习框架实现了迁移算法并与经典的Q-学习算法和第一项工作做了比较，结果表明该方案在资源利用率和负载均衡能力方面都优于其他方法。

目录

声明

1 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.2.1 控制层伸缩性概述

1.2.2 架构相关的伸缩技术

1.2.3 机制相关的伸缩技术

1.3 本文主要研究内容

1.4 论文的组织结构

2 相关理论技术介绍

2.1 SDN简介

2.1.1 SDN的架构和原理

2.1.2 SDN的特点和应用

2.2 OpenFlow协议简介

2.2.1 OpenFlow交换机的基本组成

2.2.2 OpenFlow协议工作原理

2.3 深度强化学习简介

2.3.1 强化学习

2.3.2 深度学习

2.3.3 深度Q-学习算法原理

2.4 本章小结

3 基于非合作博弈的动态交换机迁移机制研究

3.1 问题概述

3.2 控制器负载模型

3.3 整体方案

3.3.1 负载均衡监测

3.3.2 交换机迁移方案

3.3.3 算法分析

3.4 仿真实验与性能分析

3.4.1 仿真实验环境

3.4.2 仿真实验对比指标

3.4.3 负载均衡

3.4.4 资源利用率

3.5 本章小结

4 基于深度Q-学习的交换机迁移方案

4.1 问题概述

4.2 整体方案

4.2.1 网络状态描述和迁移动作空间

4.2.2 奖励函数设计

4.2.3 深度Q网络整体架构

4.2.4 基于深度Q学习的迁移方案

4.3 算法的设计与实现

4.3.1 深度Q-学习算法

4.3.2 基于keras的算法实现

4.4 仿真实验结果分析

4.4.1 实验环境设置

4.4.2 实验结果分析

4.5 本章小结

结论

参 考 文 献

攻读硕士学位期间发表学术论文情况

致谢

大连理工大学学位论文版权使用授权书