基于超立方簇的数据中心光互连网络系统及通信方法

摘要

本发明公开了一种基于超立方簇的数据中心光互连网络系统及通信方法，主要解决现有数据中心网络链路带宽不足，网络开销和能耗较大的问题。本发明的网络系统包括N台架顶光交换机，N台架顶电交换机和N×s台服务器；其中，每台架顶电交换机连接s台服务器和一台架顶光交换机，构成N个网络基本单元；该N个网络基本单元被分为k个簇，同一个簇内的基本单元通过架顶光交换机互连成超立方拓扑结构，不同簇的基本单元通过架顶光交换机互连成环形拓扑结构；同一基本单元的服务器通信使用分组交换，不同基本单元的服务器通信使用基于多波长的光电路交换。本发明能够有效降低光交换机端口数目和网络阻塞，保证网络可扩展性，提高网络的吞吐量和性能。

说明书

技术领域

本发明属于互联网技术领域，具体涉及数据中心光互连网络系统，可用于实现 数据中心网络服务器之间的高效通信。

背景技术

随着云计算技术的发展，数据中心已经由传统的存储节点转变为面向多种服务 与应用的高性能资源平台。同时，为有效满足云计算对于海量资源的需求，数据中 心将拥有数万台甚至数十万台服务器，同一时刻网络的数据流量将达到P(10¹⁵)比特 量级。因此，传统的数据中心网络架构难以支持云计算背景下大规模数据中心的运 行。Mohammad Al-Fares等人在文章“A scalable，commodity data center network  architecture”(In Proceedings of the ACM SIGCOMM 2008 conference on Data  communication)中提出使用胖树拓扑构建数据中心以解决核心层的带宽受限问题， 但由于受到电互连技术本身的限制，该网络架构存在着开销巨大，布线复杂，能耗 较高的问题。

由于光互连本身具有高带宽和低能耗的特性，因此光互连网络同样成为研究人 员所关注的焦点。但现存光互连网络架构存在以下两点问题：第一，光互连网络采 用集中式架构，即网络使用高基数光交换机连接所有机架或底层交换单元。因此， 整个网络的规模严重受限于核心光交换机的端口数目，网络的可扩展性不高。第二， 光互连网络一般采用光电路交换机制，但并没有提出有效的方案以解决光电路交换 带宽利用率不高，交换粒度较大的问题。因此，光网络的阻塞较为严重，网络性能 无法得到有效的提高。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于超立方簇的数据中 心光互连网络系统及通信方法，以有效降低网络的设备开销和布线复杂度，提高网 络的扩展性和链路带宽利用率，减小网络阻塞，优化网络的吞吐量和性能。

为实现上述目的，本发明基于超立方簇的数据中心光互连网络系统，包括：

N台架顶光交换机，每台架顶光交换机包括n个簇内交换端口，2个簇间交换端 口，n+2个下行端口，其中，N，n均为整数；

N台架顶电交换机，每台架顶电交换机包括n+2个上行端口和s个下行端口，其 中s为整数；

N×s台服务器，每台服务器包括一个上行端口；

其特征在于：

每一台架顶电交换机的s个下行端口连接s台服务器，每一台架顶电交换机的 n+2个上行端口连接一台架顶光交换机的n+2个下行端口，构成N个网络基本单元；

将N个网络基本单元分为k个簇，每个簇中包括2ⁿ个网络基本单元，该2ⁿ个网络 基本单元通过架顶光交换机的簇内交换端口连接成n维超立方拓扑结构；超立方拓扑 结构中的每个网络基本单元根据其在超立方拓扑结构中的位置，设有环编号A_r，A_r采 用n位自然二进制编码；

k个簇中环编号A_r相同的网络基本单元通过架顶光交换机的簇间交换端口连接 成环形拓扑结构；环形拓扑结构中的每个网络基本单元根据其在环形拓扑结构中的 位置，设有簇编号A_c，A_c采用m位自然二进制编码，m为整数且满足条件2^m≥k。

为实现上述目的，本发明基于超立方簇的数据中心光互连网络的通信方法，包 括如下步骤：

(1)源服务器产生数据分组，并将该数据分组发送至架顶电交换机；

(2)架顶电交换机解析数据分组的目的地址，若目的地址在源服务器所在网络 基本单元的内部，则将该数据分组转发至目的服务器，通信过程完成；否则，架顶 电交换机查询目的地址所在的网络基本单元的编号，并根据该编号将数据分组存贮 至本地缓存的相应子队列中，执行如下步骤；

(3)架顶电交换机周期性查询本地缓存的所有子队列，若子队列中存在待发送 数据分组，且在上一周期电交换机没有为子队列产生建链分组，则架顶电交换机为 子队列分配通信波长λ_d，产生建链分组并将建链分组发送至架顶光交换机，该建链 分组携带的信息包括源基本单元编号(A_c^s，A_r^s)，目的基本单元编号(A_c^d，A_r^d)和通信波 长λ_d，其中，A_c^s是源基本单元的簇编号，A_r^s是源基本单元的环编号，A_c^d是目的基 本单元的簇编号，A_r^d是目的基本单元的环编号；

(4)架顶光交换机接收建链分组，查询该建链分组的输出端口，并提取该建链 分组携带的通信波长λ_d，同时查询该输出端口的通信波长λ_d是否存在被占用的标记； 若不存在被占用的标记，则转发建链分组，并标记输出端口的通信波长λ_d被占用； 若存在该标记，则将建链分组存贮在输入端口的缓存队列中等待波长释放；

(5)判断建链分组是否到达目的基本单元，若未到达目的基本单元，则返回步 骤(4)；若达目的基本单元，则执行步骤(6)；

(6)目的基本单元的架顶光交换机接收建链分组，产生响应分组并将该响应分组 发往源基本单元；其中，响应分组携带的信息包括建链分组序号和通信波长λ_d；

(7)判断响应分组是否到达源基本单元，若未到达，则架顶光交换机根据响应 分组信息配置输入输出端口，以建立光传输路径，并向源基本单元转发该响应分组； 若到达，则执行步骤(8)；

(8)源基本单元的架顶光交换机将响应分组转发至源基本单元的架顶电交换 机，架顶电交换机提取响应分组所携带的通信波长λ_d，选择本地缓存的相应子队列， 并使用通信波长λ_d将该队列中所有的数据分组发送至架顶光交换机；然后，由源基 本单元的架顶电交换机向目的基本单元发送拆链分组；

(9)数据分组通过已经建立的光传输路径到达目的基本单元，目的基本单元的 架顶光交换机接收数据分组，并将该数据分组转发至目的基本单元的架顶电交换机， 架顶电交换机再将该数据分组转发至目的服务器；

(10)架顶光交换机接收拆链分组，判断拆链分组是否到达目的基本单元，若拆 链分组未到达目的基本单元，则架顶光交换机根据拆链分组的信息释放通信波长并 转发该拆链分组；若拆链分组到达目的基本单元，则目的基本单元的架顶光交换机 销毁该拆链分组，通信过程完成。

本发明与现有技术相比具有以下优点：

1.本发明由于采用了光互连网络架构，克服了现有数据中心电互连网络中网络 布线复杂，交换机数目庞大的问题，有效降低了网络的功耗和开销；

2.本发明由于采用了分布式的光交换架构，克服了现有数据中心光互连网络中 存在的高基数光交换机设计复杂的问题，有效降低了网络成本并保证网络具有良好 的扩展性；

3.本发明由于采用了流量汇聚和波分复用技术，克服了传统光电路交换链路利 用率低，网络阻塞严重的问题，提高了网络的吞吐量和性能；

4.本发明由于采用了优化的静态波长分配和波长重用技术，克服了传统WDM网 络对于波长资源浪费严重的问题，同时保证了网络的高带宽通信。

附图说明

图1是本发明基于超立方簇的数据中心光互连网络系统的结构示意图；

图2是本发明网络基本单元的结构示意图；

图3是本发明基于超立方簇数据中心光互连网络通信方法的流程图；

图4是本发明架顶电交换机为子队列分配通信波长的子流程图；

图5是本发明生成n维超立方基准树的子流程图；

图6是用本发明5维超立方的基准树结构示意图。

具体实施方式

下面结合附图对本发明做进一步描述：

参照图1，本发明基于超立方簇的数据中心光互连网络系统，包括N台架顶光交 换机，N台架顶电交换机，N×s台服务器，在本实例中，N＝48，s＝20，但不局限于 这个数据。其中，每台服务器，包括1个上行端口；每台架顶电交换机，包括20个 下行端口和5个上行端口；每台架顶光交换机，包括5个下行端口，3个簇内交换端 口和2个簇间交换端口。

每台架顶电交换机201通过20个下行端口连接20台服务器，通过5个上行端 口连接一台架顶光交换机202，构成一个网络基本单元，如图2所示。整个网络系统 共包含48个网络基本单元。

该48个网络基本单元被划分为6个簇，每个簇包括8个网络基本单元，这8个 网络基本单元通过架顶光交换机的簇内交换端口连接成3维超立方拓扑结构；超立 方拓扑结构中的每个网络基本单元根据其在超立方拓扑结构中的位置，设有环编号， 该环编号采用3位自然二进制编码，按照从左至右，从下至上的顺序，簇内8个网 络基本单元的环编号分别为000，001，010，011，100，101，110，111。

6个簇中环编号相同的网络基本单元通过架顶光交换机的簇间交换端口连接成 环形拓扑结构；环形拓扑结构中的每个网络基本单元根据其在环形拓扑结构中的位 置，设有簇编号，该簇编号采用3位自然二进制编码，沿顺时针方向，环编号相同 的6个网络基本单元，其簇编号分别为000，001，010，011，100，101。

所述网络基本单元的编号包括簇编号和环编号两个部分，记为(A_c，A_r)；其中， A_c为簇编号，采用3位自然二进制编码；A_r为环编号，采用3位自然二进制编码；同 一个簇内的基本单元具有相同的簇编号A_c，同一个环上的基本单元具有相同的环编号 A_r。

如图1中，位于超立方簇000的8个网络基本单元，按照从左至右，从下至上 的顺序，其编号分别为：(000，000)，(000，001)，(000，010)，(000，011)，(000，100)， (000，101)，(000，110)，(000，111)；该8个网络基本单元具有相同的簇编号000；位 于环111上的6个网络基本单元，按照顺时针方向，其编号分别为(000，111)， (001，111)，(010，111)，(011，111)，(100，111)，(101，111)，该6个网络基本单元 具有相同的环编号111。

参照图3，本发明基于超立方簇数据中心光互连网络的通信方法，包括如下步骤：

步骤1，源服务器产生数据分组，并将该数据分组发送至架顶电交换机。

步骤2，架顶电交换机解析数据分组的目的地址，若目的地址在源服务器所在网 络基本单元的内部，则将该数据分组转发至目的服务器，通信过程完成；否则，架 顶电交换机查询目的地址所在的网络基本单元的编号，并根据该编号将数据分组存 贮至本地缓存的相应子队列中，执行如下步骤；

步骤3，架顶电交换机周期性查询本地缓存的所有子队列，若子队列中存在待发 送数据分组，且在上一周期电交换机没有为子队列产生建链分组，则架顶电交换机 为子队列分配通信波长λ_d，产生建链分组并将建链分组发送至架顶光交换机，该建 链分组携带的信息包括源基本单元编号(A_c^s，A_r^s)，目的基本单元编号(A_c^d，A_r^d)和通信 波长λ_d，其中，A_c^s是源基本单元的簇编号，A_r^s是源基本单元的环编号，A_c^d是目的 基本单元的簇编号，A_r^d是目的基本单元的环编号；

所述源基本单元是指源服务器所在的网络基本单元，目的基本单元是指目的服 务器所在的网络基本单元；

对于架顶电交换机为子队列分配通信波长λ_d，可以采用现有的不同方法实现， 例如策略性动态波长分配方法，随机波长分配方法或静态波长分配方法；本实例采 用静态波长分配方法。

参照图4，本发明架顶电交换机为子队列分配通信波长，按照以下步骤进行：

3a)根据架顶光交换机所包含的簇内交换端口数目n，生成n维超立方的基准树； 同时，确定用于簇内通信的波长集合φ_p，该簇内通信波长集合φ_p被分为n个波长组，分 别标记为G₁，G₂…G_n；

其中，每个波长组包含u个通信波长，u为整数；对于不同的波长组，u的取值各 不相同，对于波长组G₁，u＝1；对于波长组G₂，u＝n-1；对于波长组G_i，i满足条件3≤i≤n， $u=\left(\begin{array}{c}n\\ i\end{array}\right);$符号$\left(\begin{array}{c}n\\ i\end{array}\right)$表示从n个元素中取出i个元素的组合运算；

3b)根据网络所包含的簇的数目k，确定用于簇间通信的波长集合φ_c，该簇间通 信波长集合φc被划分为个波长组，该个波长组分别标记为其 中，表示对k/2的值进行向下取整；

所述的个波长组中，每个波长组包含v个通信波长，对于不同的波长组，v 的取值各不相同，对于波长组C_i，i满足条件v的取值为：v＝i+k_mod i；

3c)架顶电交换机查询子队列中数据分组目的基本单元的簇编号和源基本单元 的簇编号，若两个簇编号相同，则执行步骤3d)；否则，执行步骤3j)；

3d)架顶电交换机查询子队列中数据分组目的基本单元的环编号A_r^d＝d_nd_n-1…d₁和 源基本单元的环编号A_r^s＝s_ns_n-1…s₁，计算相对位置编码R：

$R=d_n{d}_{n-1}...d_1\oplus s_n{s}_{n-1}...s_1,$

式中，表示d_nd_n-1...d₁与s_ns_n-1...s₁进行逐位的异或运算；

3e)查询相对位置编码R在n维超立方基准树中所在的层数h以及该编码在第h 层中的位置编号p，根据h和p对子队列进行波长的分配：

若h＝1，则子队列所分配的通信波长为：簇内通信波长集合φ_p中波长组G₁的1号 波长；

若h＞2，则子队列所分配的通信波长为：簇内通信波长集合φ_p中波长组G_h的p号波 长；

若h＝2，则执行步骤3f)；

3f)初始化迭代控制参数α＝0，并初始化迭代主参数θ＝σ，其中σ是将源基本单 元的环编号A_r^s表示为十进制整数的形式；

3g)计算簇内2跳的模式参数ε：

$ϵ={\left(\theta \right)}_{\mathrm{mod}{2}^{\beta }}$

式中，mod表示对θ进行取模运算，θ为迭代主参数，β为整数且满足条件： 2^β-1≤θ＜2^β+1-1；

3h)若ε＞1，则令θ＝ε，并将迭代控制参数α加1，返回步骤3g)；否则，计算 簇内2跳的波长选择参数γ：

γ＝p-(m-1)(2n-m)/2，

式中，p为相对位置编码在第h层中的位置编号，n为架顶光交换机所包含的簇 内交换端口数目，m为整数且满足条件：(m-1)(2n-m)/2＜p≤m(2n-m-1)/2；

3i)根据簇内2跳的模式参数ε和迭代控制参数α对子队列进行波长的分配：

若ε＝0，且α为偶数，则子队列所分配的通信波长为：簇内通信波长集合φ_p中波 长组G₂的γ号波长；

若ε＝1，且α为奇数，则子队列所分配的通信波长为：簇内通信波长集合φ_p中波 长组G₂的γ号波长；

若ε＝0，且α为奇数，则子队列所分配的通信波长为：簇内通信波长集合φ_p中波 长组G₂的n-γ号波长；

若ε＝1，且α为偶数，则子队列所分配的通信波长为：簇内通信波长集合φ_p中波 长组G₂的n-γ号波长；

3j)根据子队列中数据分组的目的基本单元簇编号A_c^d和源基本单元簇编号A_c^s， 计算两个基本单元在环上的距离d：

d＝min(k-|a₁-a₂|，|a₁-a₂|)，

式中，min(k-|a₁-a₂|，|a₁-a₂|)表示在两个数值k-|a₁-a₂|和|a₁-a₂|中取最小值，a₁为 目的基本单元簇编号A_c^d的十进制整数表示形式，a₂为源基本单元簇编号A_c^s的十进制整 数表示形式；

3k)若d＝1，则子队列所分配的通信波长为：簇间通信波长集合φ_c中波长组C₁的1 号波长；否则，计算簇间波长选择参数η：

η＝(a₂)_mod d，

式中，a₂为源基本单元簇编号A_c^s的十进制整数表示形式，d为两个基本单元在环 上的距离；

3l)根据a₂和簇间波长选择参数η为子队列分配波长：

若a₂满足条件a₂≥k-(k)_mod d，则子队列所分配的通信波长为：簇间通信波长集合φ_c中波长组C_d的d+η+1号波长，其中，k为网络所包含的簇的数目；

若a₂满足条件a₂＜k-(k)_mod d，且η满足条件η＝0，则子队列所分配的通信波长为： 簇间通信波长集合φ_c中波长组C_d的d号波长；

若a₂满足条件a₂＜k-(k)_mod d，且η满足条件η＞0，则子队列所分配的通信波长为： 簇间通信波长集合φ_c中波长组C_d的η号波长。

步骤4，架顶光交换机接收建链分组，查询该建链分组的输出端口，并提取该 建链分组携带的通信波长λ_d，同时查询该输出端口的通信波长λ_d是否存在被占用的 标记；若不存在被占用的标记，则转发建链分组，并标记输出端口的通信波长λ_d被 占用；若存在该标记，则将建链分组存贮在输入端口的缓存队列中等待波长释放。

步骤5，判断建链分组是否到达目的基本单元，若未到达目的基本单元，则返回 步骤4；若达目的基本单元，则执行步骤6；

步骤6，目的基本单元的架顶光交换机接收建链分组，产生响应分组并将该响应 分组发往源基本单元；其中，响应分组携带的信息包括建链分组序号和通信波长λ_d。

步骤7，判断响应分组是否到达源基本单元，若未到达，则架顶光交换机根据响 应分组信息配置输入输出端口，以建立光传输路径，并向源基本单元转发该响应分 组；若到达，则执行步骤8。

步骤8，源基本单元的架顶光交换机将响应分组转发至源基本单元的架顶电交换 机，架顶电交换机提取响应分组所携带的通信波长λ_d，选择本地缓存的相应子队列， 并使用通信波长λ_d将该队列中所有的数据分组发送至架顶光交换机；然后，由源基 本单元的架顶电交换机向目的基本单元发送拆链分组。

步骤9，数据分组通过已经建立的光传输路径到达目的基本单元，目的基本单元 的架顶光交换机接收数据分组，并将该数据分组转发至目的基本单元的架顶电交换 机，架顶电交换机再将该数据分组转发至目的服务器。

步骤10，架顶光交换机接收拆链分组，判断拆链分组是否到达目的基本单元， 若拆链分组未到达目的基本单元，则架顶光交换机根据拆链分组的信息释放通信波 长并转发该拆链分组；若拆链分组到达目的基本单元，则目的基本单元的架顶光交 换机销毁该拆链分组，通信过程完成。

上述步骤3a)所述的n维超立方的基准树，是一个树形的数据结构，用于确定n 维超立方拓扑中一对通信连接的相对位置关系，该基准树的生成方法可采用基于均 衡路由的生成方法或采用基于维序路由的生成方法，本实例采用基于维序路由的生 成方法。

参照图5，本发明的n维超立方的基准树生成方法，步骤如下：

3a1)选择全0的n位二进制编码000…0作为基准树的根节点；

3a2)根据根节点的编码000…0产生n个1层节点，每个1层节点为一个n位二 进制编码，其中，第i个节点1≤i≤n的编码仅在第i位码值与根节点000…0不相 同，而其余位码值与根节点000…0均相同；

3a3)对第1层的n个节点按照位置进行编号，从左至右依次标记为1，2，3…n； 初始化基准树的层控制参数t＝2，位置编号参数f＝1；

3a4)选择第t-1层，位置编号为f的节点B，从最高位开始，逐位检查该节点 的码值，若第j位的码值为1，1≤j≤n，则停止检查，并根据j值判断节点B是否存 在有子节点：若j＝n，则节点B不存在子节点，执行步骤3a6)；否则，节点B存在 子节点，执行步骤3a5)；

3a5)选择节点B作为父节点，产生n-j个t层节点，每个t层节点为一个n位 二进制编码，其中，第χ个t层节点1≤χ≤n-j的编码仅在第j+χ位码值与父节点B 不相同，而其余位码值与父节点B均相同；

3a6)若位置编号$f=\left(\begin{array}{c}n\\ t-1\end{array}\right),$则第t层的所有节点产生完毕，对该层的所有节点按 位置进行编号，从左至右依次标记为$\mathrm{1,2,3}···\left(\begin{array}{c}n\\ t\end{array}\right),$执行步骤3a7)；否则，对f加1， 返回步骤3a3)，其中，$\left(\begin{array}{c}n\\ t-1\end{array}\right)$表示从n个元素中取出t-1个元素的组合运算，$\left(\begin{array}{c}n\\ t\end{array}\right)$表示对 从n个元素中取出t个元素的组合运算；

3a7)若t＝n，则基准树的生成过程完毕；否则，令位置编号f＝1，并对t加1， 返回步骤3a3)。

参照图6，本实例给出的一个5维超立方的基准树结构，共包括5层，其中，第 一层包括5个节点，按位置编号从1号至5号分别为：00001，00010，00100，01000， 10000；第二层包括10个节点，按照位置编号从1号至10号分别为：00011，00101， 01001，10001，00110，01010，10010，01100，10100，11000；第3层包括10个节点， 按照位置编号从1号至10号分别为：00111，01011，10011，01101，10101，11001， 01110，10110，11010，11100；第4层包括5个节点，按照位置编号从1号至5号分 别为：01111，10111，11011，11101，11110；第5层包括1个节点，按照位 置编号，该节点为1号节点11111。