软件定义数据中心网络Coflow调度机制与仿真平台研究

摘要

本文研究的是数据中心网络中，并行计算业务协同数据流的平均完成时间最小化问题。如今，数据中心存在大量的并行计算应用，这类应用产生的协同数据流量通常用Coflow模型描述，合理的Coflow流量调度方式，可以减少平均Coflow完成时间。最小化Coflow完成时间的研究通常分为两种场景，分别是先验知识已知以及先验知识未知场景。考虑到实用性，本文将研究重点放在了先验知识未知场景上。目前，该场景下的Coflow调度机制研究大多基于Aalo框架，该框架仅仅根据Coflow大小的估计值进行Coflow调度。本文对Coflow调度场景进行研究分析， Aalo的调度机制在一些场景下不利于平均Coflow完成时间的最小化。因此，本文着眼于先验知识未知的数据中心网络并行计算应用场景，提出了一种基于端口聚合流量的Coflow调度机制CSPAT，并对该机制进行了详细的原理描述、特性研究以及性能仿真，同时针对CSPAT存在的问题提出了改进方案CSPAT-A。此外，本文还详细介绍了基于NS3仿真平台搭建的“Coflow智能仿真系统”，用于Coflow调度机制的仿真验证。现将本文的工作成果具体描述如下： 1.针对先验知识未知场景，提出了一种基于端口聚合流量的Coflow调度机制CSPAT。CSPAT 调度机制的主要思想是，控制器周期性地根据主机侧上报的本地Coflow各子流的大小估计值，计算Coflow的端口聚合流量估计值，并根据端口聚合流量估计值的大小制定Coflow的优先级，各主机及交换机根据Coflow优先级，进行WFQ调度。CSPAT调度框架在Aalo调度框架的基础上提出了两点改进：(1)改进了对Coflow大小的估计方法；(2)将Coflow优先级的划分依据改为了Coflow的端口聚合流量大小，而不是Coflow大小。仿真结果显示，在最小化平均Coflow完成时间上，CSPAT相较Aalo有3%左右的优化效果。其改进方案CSPAT-A则相较 CSPAT 有 2%左右的性能提升。两种方法均可以方便地部署在现有数据中心网络节点上，能够有效地减小并行计算应用通信阶段的Coflow平均完成时间。 2.为了进行CSPAT调度机制的仿真验证，本文基于NS3仿真平台，设计并实现了Coflow智能仿真系统，该仿真系统包括用户界面、Web后台、NS3仿真平台三部分。其中，NS3仿真平台是NS3源码基础上的改造与拓展成果，主要包括了对控制器模块、主机模块、交换机模块的实现。该仿真系统能够支持SDN相关理论算法的验证，同时提供方便使用的图形接口，完成拓扑定义、Coflow流量注入、仿真程序调用等一系列操作，并对仿真结果进行可视化呈现。

目录

第一个书签之前

A Master Thesis Submitted to

摘 要

ABSTRACT

第一章 绪 论

1.1 研究背景和意义

1.2 研究动态与发展现状

1.3 主要工作及内容安排

第二章 Coflow调度机制相关技术介绍

2.1 SDN相关技术简介

2.1.1 SDN基本概念

2.1.2 SDN的关键技术

2.1.3 SDN相关技术总结

2.2 Coflow调度机制说明

2.2.1 Coflow模型以及相关概念

2.2.2 数据中心Coflow流量特性

2.2.3 先验知识已知的Coflow调度方案

2.2.4 先验知识未知的Coflow调度方案

2.3 本章小结

第三章 基于端口聚合流量的Coflow调度机制

3.1 研究背景

3.2.1 调度机制核心思想

3.2.2 算法流程

3.2.3 算法复杂度分析

3.2.4 CSPAT调度机制仿真与性能分析

3.3 CSPAT调度机制的改进方案

3.3.1 方案描述

3.3.2 CSPAT-A调度机制的仿真与性能分析

3.4 本章小结

第四章 Coflow智能仿真系统的设计与实现

4.1 研究背景

4.2 系统架构设计

4.2.1 系统目标及功能

4.2.2 系统整体架构

4.2.3 系统工作流程

4.3 模块设计与实现

4.3.1 用户界面

4.3.2 Web后台

4.3.3 NS3仿真平台

4.4 系统功能验证

4.4.1 基本功能验证

4.4.2 大规模仿真场景功能验证

4.5 本章小结

第五章 结束语

5.1 本文工作总结

5.2 未来研究工作的展望

致 谢

参考文献

攻取硕士学位期间取得的成果