一种基于PCIE总线多主互连的冗余交换系统

摘要

本发明公开了一种基于PCIE总线多主互连的冗余交换系统，其中，包括：第一主板、第二主板、第三主板、第四主板、第一交换电路以及第二交换电路；第一主板、第二主板、第三主板以及第四主板分别连接第一交换电路以及第二交换电路；第一交换板包括：第一接口、第二接口、第三接口、第四接口以及第一分组交换器；第一主板、第二主板、第三主板、第四主板分别安装虚拟机；第一主板、第二主板、第三主板以及第四主板互为冗余，使得第一交换板以及第二交换板形成冗余结构。本发明的基于PCIE总线多主互连的冗余交换系统，避免了数据信号的多次转换，降低了网络延迟，增加了网络带宽，确保网络的高可用性。

说明书

技术领域

本发明属于网络通信技术领域，特别是一种基于PCIE总线多主互连的冗余交换系统。

背景技术

随着互联网信息技术爆炸式的发展，网络的数据量成井喷式的增加，单路服务器千兆的网络带宽已经满足不了当前信息处理需求，光纤卡和InfiniBand卡成了当前服务器的主流网卡。

由于需要实现多主机间的互通，因此各主机的高速网卡对内需要挂载到系统的PCIE总线上，对外需要连接到高带宽的交换机上，如光纤交换机或Infiniband交换机，这就形成了一个简单的星型交换网络。由此可见，主机间通信是建立在网卡和以太网基础上，数据发送过程为：主机->PCIE总线->网卡->以太网->交换机，数据接收过程为：交换机->以太网->网卡->PCIE总线->主机。

这种基于高速网络互连的系统存在以下几个缺陷：首先，数据通信过程中信号在PCIE和以太网间经过了多次转换，增加了功耗和延迟；其次，数据通信的带宽受限于网卡，没有充分发掘PCIE总线的潜能；最后，交换机存在单节点故障，需要采购冗余交换设备，增加了成本。

发明内容

本发明的目的在于提供一种基于PCIE总线多主互连的冗余交换系统，用于解决上述现有技术的问题。

本发明一种基于PCIE总线多主互连的冗余交换系统，其中，包括：第一主板、第二主板、第三主板、第四主板、第一交换电路以及第二交换电路；第一主板、第二主板、第三主板以及第四主板分别连接第一交换电路以及第二交换电路；第一交换板包括：第一接口、第二接口、第三接口、第四接口以及第一分组交换器；第二交换板包括：第五接口、第六接口、第七接口、第八接口以及第二分组交换器；第一接口、第二接口、第三接口、第四接口之间能够进行PCIe通信；第五接口、第六接口、第七接口以及第八接口之间能够进行PCIe通信；该第一分组交换器以及该第二分组交换器分别用于PCIe数据和以太网数据的转换，以与外部以太网进行通讯；第一主板、第二主板、第三主板、第四主板分别安装虚拟机；第一接口、第二接口、第三接口以及第四接口分别一一对应连接第一主板、第二主板、第三主板以及第四主板；第五接口、第六接口、第七接口以及第八接口分别一一对应连接第一主板、第二主板、第三主板以及第四主板；第一主板、第二主板、第三主板以及第四主板互为冗余，使得第一交换板以及第二交换板形成冗余结构。

根据本发明的基于PCIE总线多主互连的冗余交换系统的一实施例，其中，该第一主板包括：第一内存、第一处理器、第二内存以及第二处理器；该第二主板包括：第三内存、第三处理器、第四内存以及第四处理器；该第三主板包括：第五内存、第五处理器、第六内存以及第六处理器；该第四主板包括：第七内存、第七处理器、第八内存以及第八处理器；第一处理器、第三处理器、第五处理器以及第七处理器分别连接第一接口、第二接口、第三接口以及第四接口；第二处理器、第四处理器、第六处理器以及第八处理器分别连接第五接口、第六接口、第七接口以及第八接口。

根据本发明的基于PCIE总线多主互连的冗余交换系统的一实施例，其中，还包括：第一COMe模块，用于对该第一交换电路进行初始化、配置、监控和管理；第二COMe模块，用于对该第二交换电路进行初始化、配置、监控和管理。

根据本发明的基于PCIE总线多主互连的冗余交换系统的一实施例，其中，还包括：第一串行EEPROM，用于保存该第一交换电路的配置信息；第二串行EEPROM，用于保存该第二交换电路的配置信息。

根据本发明的基于PCIE总线多主互连的冗余交换系统的一实施例，其中，还包括：第一时钟芯片，用于向该第一交换电路提供时钟频率；第二时钟芯片，用于向该第二交换电路提供时钟频率。

根据本发明的基于PCIE总线多主互连的冗余交换系统的一实施例，其中，还包括：多个第一以太网端口逻辑，用于将输入的以太网数据输入给第一分组交换器，以及对第一分组交换器输出的以太网数据分别输出；多个第二以太网端口逻辑，用于将输入的以太网数据输入给第二分组交换器，以及对第二分组交换器输出的以太网数据分别输出。

根据本发明的基于PCIE总线多主互连的冗余交换系统的一实施例，其中，该第一接口、该第二接口、该第三接口、该第四接口、第五接口、第六接口、第七接口以及第八接口均为PCIe网卡。

根据本发明的基于PCIE总线多主互连的冗余交换系统的一实施例，其中，该第一分组交换器以及第二分组交换器，用于将输入的多个端口输入的以太网数据进行统一端口输出为PCIe数据。

根据本发明的基于PCIE总线多主互连的冗余交换系统的一实施例，其中，第一主板、第二主板、第三主板、第四主板分别检测第一交换电路以及第二交换电路，当出现故障时，切换为第一交换电路或第二交换电路中的正常电路进行通信。

本发明的基于PCIE总线多主互连的冗余交换系统，避免了数据信号的多次转换，降低了网络延迟，增加了网络带宽，确保网络的高可用性。同时，应用当前流行的网卡SR-IOV技术，实现了虚拟机与网卡VF的直通，提高了网络利用率，增强了系统的实用性。

附图说明

图1所示为本发明基于PCIE总线多主互连的冗余交换系统的系统硬件结构图；

图2所示为PCIe交换电路的模块图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

图1所示为本发明基于PCIE总线多主互连的冗余交换系统的系统硬件结构图，图2所示为PCIe交换电路的模块图，如图1以及图2所示，本发明主要包括四个主板电路A、B、C和D和两个交换电路E和F。其中主板A中的内存A1与处理器A2直连，内存A3与处理器A4直连，处理器A2与处理器A4通过QPI总线直连，处理器A2与PCIe网络交换电路E的PEP1通过PCIe总线双向连接，处理器A4与PCIe网络交换电路F的PEP1通过PCIe总线双向连接；主板B中的内存B1与处理器B2直连，内存B3与处理器B4直连，处理器B2与处理器B4通过QPI总线直连，处理器B2与PCIe网络交换电路E的PEP2通过PCIe总线双向连接，处理器B4与PCIe网络交换电路F的PEP2通过PCIe总线双向连接；主板C中的内存C1与处理器C2直连，内存C3与处理器C4直连，处理器C2与处理器C4通过QPI总线直连，处理器C2与PCIe网络交换电路E的PEP3通过PCIe总线双向连接，处理器C4与PCIe网络交换电路F的PEP3通过PCIe总线双向连接；主板D中的内存D1与处理器D2直连，内存D3与处理器D4直连，处理器D2与处理器D4通过QPI总线直连，处理器D2与PCIe网络交换电路E的PEP4通过PCIe总线双向连接，处理器D4与PCIe网络交换电路F的PEP4通过PCIe总线双向连接；PCIe网络交换电路E中串行EEPROM10通过SMBus与PCIe网络交换芯片8双向连接，PCIe网络交换电路F中串行EEPROM21通过SMBus与PCIe网络交换芯片9双向连接，时钟芯片12的输出端与PCIe网络交换芯片8的输入端连接，时钟芯片23的输出端与PCIe网络交换芯片9的输入端连接，COM-E模块11与PCIe网络交换芯片8的管理Bus总线双向连接，COM-E模块22与PCIe网络交换芯片8的管理Bus总线双向连接。

如图1以及图2所示，以主板电路A为例，其余主板电路B-D与主板电路A的结构类似，主板电路A主要包括CPUA2和A4、内存A1和A3以及PCIe控制器，并在其上运行IOVM、虚拟机VM、PF驱动和VF驱动。IOVM是一种应用软件，主要用来做网络模块的复位、初始化和配置；虚拟机VM是在宿主机上运行的虚拟机镜像或实例；PF(Physical Function)指网卡模块上的物理实例，由宿主机上的PF软件来驱动。VF(Virtual Function)指网卡模块上的虚拟实例，属于PF中的一个子模块，由宿主机上PF驱动初始化，并与虚拟机上的VF驱动直接进行数据传递。

如图1以及图2所示，以PCIe网络交换电路E为例，交换电路E主要包括PCIe网络交换芯片8、时钟芯片12、COM-E模块11和串行EEPROM10。其中PCIe网络交换芯片8包括PEP1-4、多个EPL9和Packet Switch模块7三个核心部分。PEP即PCIe End Point，也就是PCIe网络交换电路E上PCIe控制器的位置，对外部PCIe总线上的数据接收或发送，并与PacketSwitch模块7以指针形式转发；EPL即Ethernet Port Logic，用于与外部以太网连接，完成以太网与Packet Switch模块7间的数据转发；Packet Switch模块7是核心的网络处理模块，将所有的PCIe数据和网络数据以指定格式进行处理；COM-E模块11用于对交换芯片进行初始化、配置、监控和管理；时钟芯片12用于PCIe网络交换芯片时钟频率的初始化；串行EEPROM10用于保存网络交换芯片的配置信息。

如图1以及图2所示，系统初始化过程如下：

步骤一：PCIe网络交换电路中COM-E模块复位，完成交换芯片的初始化，其中包括：交换芯片时钟复位、PCIE端口PEP复位、以太网端口EPL复位、读取串行EEPROM的配置信息和Packet Switch模块功能初始化。

步骤二：主板电路中运行的IOVM软件通过PF驱动完成对应的交换端口PEP的初始化，其中包括：将所有PEP配置空间清零、DMA地址空间复位、VF配置空间复位，并设置DMA地址值和各VF队列的数量和共享内存地址。此时，在主板电路的宿主机和虚拟机中都会显示两个网卡。

主板中虚拟机接收数据过程如下(以主板电路A和PCIe交换电路E为例)：

步骤一：PCIe网络交换电路E的PEP1通过DMA从Packet Switch接收一个数据包。

步骤二：PCIe网络交换电路E的PEP1对数据包进行校验，其中包括IPV4头部、TCP/UDP头部和NVGRE/VXLAN头部等。

步骤三：PCIe网络交换电路E的PEP1对数据包进行头部解析，根据其MAC、VLAN、IP和端口号等信息将数据Hash到不同的预取队列中。并设置DMA地址的起始地址和长度，在MAIL_BOX中设置中断。

步骤四：主板电路A中宿主机的PF驱动根据MAIL_BOX中的值设置相应的VF请求中断。

步骤五：主板电路A中虚拟机的VF驱动获取中断，开始DMA数据映射和传输，清除VF请求中断，完成数据接收。

主板中虚拟机发送数据过程如下(以主板电路A和PCIe交换电路E为例)：

步骤一：主板电路A中虚拟机VF驱动设置请求中断，如果成功进行步骤二，否则返回步骤一。

步骤二：主板电路A中虚拟机VF驱动向PCIe总线上写入数据。写完后清除VF请求中断，并在相应的MAIL_BOX设置传输中断。

步骤三：主板电路A中宿主机的PF驱动获取MAIL_BOX中断，将PCIe网络交换电路E的PEP1中的缓冲队列中的数据指针推送到指定队列中，并清除MAIL_BOX中断。

步骤四：PCIe网络交换电路E的PEP1中的功能管理模块解析数据包头部，根据情况对TCP包进行分片、对NVGRE/VXLAN包进行封装，并将数据包指针通过DMA传递给PacketSwitch。

PCIe网络冗余切换过程如下(以主板电路A为例)：

步骤一：系统初始化完成后，PCIe网络交换电路E中的PEP1在主板A虚拟机中对应网卡为a，PCIe网络交换电路F中的PEP1在主板虚拟机中对应网卡为b，并设置网卡a和网卡b的固定IP分别为IP-a和IP-b。

步骤二：在主板A虚拟机在网卡a上设置浮动IP-c，并时刻监控本机上两网络端口的状态。

步骤三：当主板A监测到网卡a失效，则清除网卡a的浮动IP-c。

步骤四：主板A检测网卡b状态，如果网卡b状态良好，则在网卡b上设置浮动IP-c，完成IP的冗余切换。

本发明关键点：本系统将计算与网络IO的进行分离，采用直取PCIe信号的方式避免数据信号的多次转换，降低了网络延迟，增加了网络带宽；将SR-IOV虚拟技术的集成在主机和交换端，避开VMM实现虚拟机对网卡的操控，提高了网络利用率；将冗余交换的集成在一体机内部，降低了网络的部署复杂性和设备成本。

对于基于PCIE总线多主互连的冗余交换系统一种较佳实施方式，主板电路A、主板电路B、主板电路C、主板电路D还能够对外部输入的以太网数据进行负载均衡。

本发明基于PCIE总线多主互连的冗余交换系统将计算与网络IO的进行分离，采用直取PCIe信号的方式避免数据信号的多次转换，降低了网络延迟，增加了网络带宽；将SR-IOV虚拟技术的集成在主机和交换端，避开VMM实现虚拟机对网卡的操控，提高了网络利用率；将冗余交换的集成在一体机内部，降低了网络的部署复杂性和设备成本。

本发明基于PCIE总线多主互连的冗余交换系统主要将PCIE总线上的网络模块转移到交换控制芯片内部，由交换机统一控制和管理，避免了主机端与交换机间数据的多次拷贝，从而降低网络延迟。其次，开启网络控制器的SR-IOV虚拟功能，在软件层次上实现虚拟主机与网络模块的独立直连，提高了网络利用率。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。