多部件自组织软连接集群计算机及其自组织方法

摘要

本发明公开一种多部件自组织软连接集群计算机及其自组织方法，至少包含三个部件群，且至少有一个部件群包含两个或两个以上部件，所述部件由计算机硬件中的一种或多种构成，所述部件群中的部件按照计算机的构成方式，通过连接器自组织地与对应部件群中的部件建立连接并进行数据传输，至少能组合成一个计算机系统；所述连接器为有线数据交换器或无线收发器。所述方法主要包括：将不同部件群的部件，按照计算机的构成方式，自组织地连接组合成一个计算机为用户服务，服务结束后又将该计算机分解为部件。本发明打破传统计算机中各部件固定的连接关系，使硬件资源实现高度共享，且系统可靠性高，用户服务性能可动态配置，适用于使用集群计算机的场合。

说明书

技术领域

本发明涉及一种集群计算机技术，特别是一种多部件自组织软连接集群计算机及其自组织方法。

背景技术

随着科技的发展，计算机已日益成为人们工作、学习、生活、交流、娱乐等方面的重要工具。目前所使用的计算机一般由CPU、主板、接口板卡(如显卡、声卡、网卡等)、内存储器、外存储器、终端设备(如显示器、键盘、鼠标等)等硬件设备构成，在出厂或购买时将各种硬件设备通过主板上的插槽或信号线固定连接起来组成一套完整的计算机。因此现有计算机的单机性能主要由构成该计算机的各硬件设备的性能所决定，如果需要提高单机的性能，则需要通过更换硬件设备才能实现，例如，如果需要提高计算机的运算速度，则需要升级CPU，如果需要扩大计算机的外存容量，则需要增加硬盘或更换容量更大的硬盘，等等。此外，如果某一关键的硬件设备出现故障，则即使其它硬件设备仍可使用，整台计算机也无法正常工作，造成用户服务的中断，有可能会给用户带来较大的损失。

为了解决单机的运算及I/O能力的不足，提高系统的可靠性，获得规模可扩展能力，降低整体方案的运维成本(运行、升级、维护成本)，自七十年代开始计算机厂商和研究机构就开始了对集群计算机系统的研究和开发。简单的说，集群(cluster)就是一组计算机，它们作为一个整体向用户提供计算资源，对于用户来说，集群计算机的行为就好像一个计算机一样，但是其处理能力、可靠性、I/O能力都得到了大幅的提升。传统的集群计算机系统的结构如图1所示，其基本单位是单独的计算机，称为节点(node)。传统的集群计算机系统虽然在处理能力、可靠性、I/O能力等方面都得到了大幅的提升，但仍然存在资源浪费、效率不高的问题。主要原因在于：当集群中的某个节点因其某些关键的硬件设备故障而失效时，它就会停止工作，而将其任务传递给其它节点，这样虽可保证系统对用户的服务不中断，但由于失效节点中其它功能正常的硬件设备也无法正常使用，这就造成了资源浪费、效率不高，还增加了其它节点的负担。

分析造成以上不足的原因，在于传统的集群计算机是以单独的计算机为节点，每个节点计算机中的各种硬件设备又是固定连接的。这种连接关系可以看作是一种“硬连接”，即计算机中的各种硬件设备通过插槽、信号线等与该计算机绑定在一起，使得这些硬件资源变为该计算机的私有资源，当该计算机不工作时，其它计算机是无法使用这些硬件设备的。显然，这种通过硬件设备的“硬连接”来构成计算机的方式更适合于单机工作的要求，在多台计算机同时使用的情况下，由于硬件资源得不到共享，会造成系统资源的浪费。随着有线和无线的数据传输交换技术的发展，一些计算机的私有资源逐渐可以独立出来作为公用资源来分配，例如，无盘工作站系统中，计算机的外存从每台计算机中独立出来，整个系统共用一个公共的外存；又如，一些新的无线传输技术，如超宽带(UWB)技术等，可以在一定距离具有很高的数据传输速率，能满足多种计算机部件与主机之间的数据传输要求。因此将计算机中硬件的一种或多种看作计算机的一个组成部件，把每台计算机分解为多个部件，平时各自独立，工作时让这些部件根据需求自由、动态地组合(我们称之为软连接)成为一个计算机系统，则可以更有效地利用硬件资源，充分地发挥计算机“群”的优势。

发明内容

本发明的目的在于克服现有集群计算机存在的当计算机中的一些硬件设备发生故障时，往往会使得整个计算机无法工作，从而造成硬件资源的浪费，并加重其它节点计算机的负担的缺陷，提供了一种多部件自组织软连接集群计算机及其自组织方法，该集群计算机不像传统的集群计算机那样以单台计算机为基本单元，而是以计算机的部件(由计算机硬件中的一种或多种构成)为基本单元，相同类型的计算机部件构成部件群。用户使用时，各个部件群中的部件根据需求自组织地组合(软连接)成一个计算机系统为用户服务，具有资源高度共享、可靠性高、便于维护等突出的优点，广泛适用于生产、服务、教学、娱乐等多种场合。

本发明的技术方案如下：一种多部件自组织软连接集群计算机，至少包含三个部件群，且至少有一个部件群包含两个或两个以上部件，所述部件由计算机硬件中的一种或多种构成，所述部件群中的部件按照计算机的构成方式，通过连接器自组织地与对应部件群中的部件建立连接并进行数据传输，且至少能由不同部件群的部件组合成一个计算机系统；所述的连接器为有线数据交换器或无线收发器。

上述计算机硬件是指CPU、主板、接口板卡、内存储器、外存储器或终端设备。

上述多部件自组织软连接集群计算机中，有线数据交换器由多部件有线接口电路和传输控制器共同构成，所述多部件有线接口电路包含多个部件的有线接口电路，为有线数据交换器与多个需相互连接的部件之间提供连接的接口，各部件的有线接口电路均与传输控制器连接；传输控制器管理部件间的有线连接，并将每个部件的有线接口电路输入的数据传送至相应目标部件的有线接口电路进行输出。

上述多部件自组织软连接集群计算机中，无线收发器包含部件接口电路、传输控制器和无线传输模块，其中部件接口电路为无线收发器与部件之间的连接提供接口；无线传输模块实现两个无线收发器之间的无线通信；传输控制器管理部件间的无线连接，并将部件接口电路传送过来的数据通过无线传输模块向目标部件进行发送，将无线传输模块传送过来的数据通过部件接口电路向目标部件进行发送。

上述一种多部件自组织软连接集群计算机的自组织方法，该方法中的不同部件群的部件，按照计算机的构成方式，自组织地连接组合成一个计算机系统，具体包括如下步骤：

(1)由任一部件群中的一个部件或与该部件连接的连接器发出“组合”命令；

(2)接收到“组合”命令的部件群，由发出“组合”命令的部件或与其连接的连接器指定该部件群中的一个或多个部件与其进行连接组合，或者由该部件群指定群中的一个或多个部件与发出“组合”命令的部件进行连接组合；该部件群中指定的部件或与其连接的连接器按照计算机的构成方式，向所有应与其连接而尚未连接的部件群发出“组合”命令；

(3)如果收到“组合”命令的部件或与其连接的连接器，与所有应与其连接的部件群中的部件建立了连接，则停止“组合”命令的传递，否则转步骤(2)继续进行；当本次组合操作中涉及的所有部件或连接器均停止“组合”命令的传递时，系统自组织组合操作完成，开始为用户提供服务。

上述自组织方法还包括将已组织成一个计算机系统的多个部件取消组合，使部件恢复至未组合状态，所述取消组合的步骤如下：

(1)由已组织成为一个计算机系统的某个部件或与其连接的连接器向所有与之连接的部件发出“取消组合”命令，发出“取消组合”命令后，该部件或与其连接的连接器断开该部件与其它部件的连接，或由接收到“取消组合”命令的部件或与其连接的连接器断开与该部件的连接；

(2)收到“取消组合”命令的部件或与其连接的连接器，将“取消组合”命令传递给与其连接的所有其它部件，并断开该部件与其它部件之间的连接，或由接收到“取消组合”命令的部件或与其连接的连接器断开与该部件的连接；

(3)如果收到“取消组合”命令的部件已没有与之连接的部件，则停止“取消组合”命令的传递，否则转步骤(2)继续进行，当本次取消组合操作中涉及的所有部件或连接器均停止“取消组合”命令的传递时，系统取消组合操作完成，所涉及的各部件恢复至未组合状态。

上述多部件自组织软连接集群计算机，可以由外存群、主机群、终端群共同构成，其中外存群由外部存储器构成，主机群由计算机主机构成，终端群由计算机终端构成。

与现有技术相比，本发明的有益之处在于：

1、硬件资源高度共享。由于本发明打破了传统计算机中各部件固定的连接关系，所有计算机部件均不属于某一台特定的计算机，为共享资源，可以通过自组织软连接的方式为不同用户提供服务，因此与现有的技术相比，硬件资源共享程度更高，更有利于硬件资源的调配和利用。当某一部件发生故障时，工作正常的其他部件仍能被用户使用。

2、可靠性高。由于采用了自组织和软连接技术，当某些部件发生故障时，可以通过自组织软连接形成一套新的系统来为用户提供服务。因此，只要集群计算机系统的每个部件群中存在一个能正常工作的部件，整个系统就能正常运行，可靠性很高。

3、用户服务性能可动态配置。由于采用了自组织和软连接技术，部件不再固定属于某台计算机，而是可以按需要的比例进行动态连接，因此可以根据用户的需要动态地分配硬件资源。例如可以给运算量或存储量要求高的用户分配更多的计算部件或存储部件，而运算量或存储量要求较低的用户则共享某个计算部件或存储部件，从而实现用户服务性能的动态可配置而无需对硬件进行频繁升级。

附图说明

图1为传统集群计算机结构示意图

图2为本发明的一种典型结构的示意图

图3为本发明实施例结构示意图

图4为本发明实施例中有线数据交换器结构示意图

图5为本发明实施例中与主机连接的无线收发器结构示意图

图6为本发明实施例中与终端连接的无线收发器结构示意图

图7为本发明实施例中部件自组织组合流程图

图8为本发明实施例中部件取消组合流程图

具体实施方式

由于使用了软连接技术，本发明具有动态可变的结构和拓扑，图2为本发明的一种较为典型结构框图，由至少三个部件群构成，且至少有一个部件群包含两个或两个以上部件(所述的部件由计算机硬件中的一种或多种构成，例如，可以由CPU、主板、接口板卡、内存储器、外存储器或终端设备中的一种或多种构成)，部件群中的部件按照计算机的构成方式，通过一个或多个连接器(包括有线数据交换器或无线收发器)自组织地与对应部件群中的部件建立连接并进行数据传输，至少能组合成一个计算机系统。与图1所示的传统集群计算机相比，其基本单元由单台的计算机变为计算机的部件。下面将结合附图对本发明的具体实施方式作进一步说明。

本发明的一个较佳实施例的结构如图3所示，集群计算机系统分为终端群301、主机群302和外存群303三部分。其中，终端群301由多套的计算机终端304构成，为系统提供用户使用的界面和接口，每套终端可以看作系统的一个终端部件；主机群302由多台计算机主机307构成，为系统的运算和处理中心，每个计算机主机可以看作是系统的一个运算处理部件；外存群303由多个的外部存储器309构成，为系统提供存海量存储空间，每个外部存储器可以看作系统的一个外存部件。显然，一套外存、主机和终端顺次连接，可以构成一台功能完成的计算机。

实施例中，主机群302中的主机307之间连接成局域网，每台主机配备4张具有DVI数字视频输出接口的显卡(如ATI Radeon 7500)及USB接口，最多可同时为4套终端提供服务，每台主机包含小容量的私有存储器，以存放Windows或Linux等支持多终端的操作系统、软件和用于集群计算机部件资源分配的管理程序，工作时动态地从外存群303中分配一个或多个外存309作为本机的外部存储器，从该存储器上启动应用程序及存取数据；外部存储器309主要采用硬盘，也可以部分采用光盘等其它存储设备；每台主机307可以连接最多4套终端304，计算机终端304主要包含显示屏、键盘、鼠标、音箱、USB接口等外部设备及接口，用户可以通过任意一套终端登陆系统并获得服务。

本实施例中，主机群302与外存群303通过有线数据交换器308有线连接。有线数据交换器308的结构如图4所示，由多部件有线接口电路401和传输控制器402共同构成。多部件有线接口电路401包含多个部件的有线接口电路，实施例中，多部件有线接口电路401包含多个硬盘接口电路403和多个主机接口电路404，可以采用IDE、SATA等标准接口电路来实现，硬盘接口电路403和主机接口电路404均与传输控制器402连接。传输控制器402管理部件间的有线连接，并将与某硬盘接口电路403或主机接口电路404输入的数据转送至目标主机接口电路404或目标硬盘接口电路403进行输出，可以采用微处理器、DSP等芯片电路来实现。

本实施例中，主机群302和终端群301之间通过无线收发器305和306无线连接，以方便终端的摆放和用户的使用。由于终端群301与主机群302之间采用了无线的连接方式，因此主机群302和外存群303可以集中放置在专用的机柜中，便于控制温度、湿度、粉尘等环境因素，以及方便工作人员对其进行维护。主机群302和终端群301之间的无线连接通过与每台主机连接的无线收发器305和与每个终端连接的无线收发器306来进行。无线收发器305和306具有相似的结构，均由顺次连接的部件接口电路、传输控制器和无线传输模块共同构成，其中部件接口电路为无线收发器与部件之间的连接提供接口，无线传输模块实现两个无线收发器之间的无线通信，传输控制器管理部件间的无线连接，并将部件接口电路传送过来的数据通过无线传输模块向目标部件进行发送，将无线传输模块传送过来的数据通过部件接口电路向目标部件进行发送。由于主机与终端提供的接口、要求的传输速率等方面的不同，无线收发器305和306在具体实现上略有不同。

与主机连接的无线收发器305结构如图5所示，其部件接口电路501包含4组视频输入通道504和1个USB接口电路507，每路视频输入通道504由视频输入接口电路505和视频压缩模块506构成，主机显卡的4路视频输出端通过视频信号线与视频输入接口电路505连接，原始数字视频信号经视频输入接口电路505送至视频压缩模块506，转换为压缩的视频信号后，由传输控制器502转发到无线传输模块503进行发送。视频输入接口505可以采用DVI数字视频接口，视频压缩模块506可以采用单片机、DSP、MCU、FPGA或专用的视频压缩芯片来实现。USB接口电路507构成了数据传输通道，主机中对不同终端的数据通过USB接口电路507传送至无线收发器，再由无线收发器中的传输控制器502根据数据包的目的地址转至无线传输模块503向对应的目标进行发送。传输控制器502完成部件接口电路501与无线传输模块503之间的数据双向传输，并对部件间的无线连接进行管理，可以采用MCU、DSP等嵌入式处理器来实现。无线传输模块503包含一组或多组无线传输单元，可以采用UWB、WiFi或多种模式混合传输等无线传输方式，本实施例中，采用了4组UWB传输单元508来实现。UWB在3.1GHz到10.6GHz频率之间可提供最高达到480Mbps数据传输速率，能很好地满足视频和数据的传输任务，UWB无线传输单元508可以采用Alereon公司的AL4100和AL4300来实现，AL4100和AL4300完成UWB传输的物理层和MAC层，提供物理的传输规范以及冲突处理等传输协议，保证了上层信息的透明传输。

与终端连接的无线收发器306结构如图6所示，部件接口电路603包含视频解压和显示模块605、键盘接口电路606、鼠标接口电路607、USB接口电路608以及音频输入/输出接口电路609，视频解压和显示模块605为终端提供视频输出通道，传输控制器602提供的视频信号经视频解压和显示模块605解压后转换为可显示的视频信号输出到显示器进行显示。键盘接口电路606、鼠标接口电路607、USB接口电路608、音频输入/输出接口电路609分别与键盘、鼠标、USB外设、音箱和麦克风连接，接收或输出信号。与无线收发器305相对应，无线传输模块601可以采用UWB、WiFi等无线传输模式，可以用对应的芯片电路来实现，本实施例中，无线传输模块为1组AL4100和AL4300构成的UWB无线传输单元604。传输控制器602完成接口电路与无线传输模块之间的数据双向传输，并对部件间的无线连接进行管理，可以采用DSP、MCU等嵌入式处理器来实现。

在本发明的实施过程中，由于一些部件不具备运算处理能力，因此各部件的自组织连接由部件或与其连接的连接器来完成。当某部件具有运算处理能力时(例如实施例中的主机)，由该部件进行部件资源的调配以及控制连接器进行自组织连接，当某部件没有运算能力时(例如实施例中的存储群、终端群)，则由与其连接的有线数据交换器中的传输控制器或无线收发器中的传输控制器来完成自组织连接所需的操作。实施例中，采用了以下方法进行计算机的自组织，其流程如图7所示：

(1)用户需要使用集群计算机时，通过终端群中的终端输入登陆信息要求登入，终端将登陆信息传送至相连的无线收发器，由无线收发器中的传输控制器产生“组合”命令。根据按照计算机构成方式，终端应与主机连接，因此与终端连接的无线收发器向主机群发送“组合”命令。用户的登陆信息包括用户帐号、用户密码，此外还可以设置运算服务等级和存储服务等级，例如，将终端要求的运算服务划分为3个等级：等级0为普通运算服务等级，主要用于上网、文字处理等需要运算量不大的普通任务；等级1为需要一定运算量的任务，如从事一些一台主机可完成的运算量中等的计算；等级2为需要大量运算量的任务，如需要大量数学运算的实时任务等，此时需要启动多台计算机的并行计算功能来加快运算速度；存储服务等级可以按需要的存储空间来划分，例如：等级0需要100M存储空间，等级1需要200M存储空间，等等。“组合”命令中包含登陆信息中的运算服务等级和存储服务等级，以便主机群能合理的分配运算和存储资源。

(2)主机群中的主机通过与之连接的无线收发器收到“组合”命令后，选择一台主机作为该终端的服务主机，并建立该主机与终端的无线连接。实施例中，主机收到“组合”命令后，首先检查已与本机主机连接的终端数目，如果本机所连接的终端数未达到最大的4个，则可以参与竞争成为该终端的服务主机。一种竞争服务主机的方法是选择所有主机中运算负荷最小的主机成为新终端的服务主机，具体采用以下方法实现：1)为每个运算服务等级分配一个权重，例如，可以为等级0分配权重1，等级1分配权重2，等级3分配权重4，等等。2)在主机群中建立并维护一张全局的表，用以记录主机与各终端的连接关系、终端的运算服务等级以及主机所连接的终端的运算服务等级累积权重。3)当主机群收到终端的“组合”命令时，选出在所有连接终端数未达到4个的主机中累积权重最小的主机作为新终端的服务主机，并记录下新的连接关系及累积权重。新终端的服务主机确定后，记录下终端的标识及登陆信息，并通过与之连接的无线收发器向该终端发送应答信息。终端通过无线收发器收到服务主机的应答后，记录下服务主机的标识。

完成以上步骤后，服务主机需要按照计算机的构成方式，向所有应与其连接而尚未连接的部件群发出“组合”命令。本实施例中按照计算机的构成方式应与主机连接的包括终端群和外存群，由于终端群中的终端已与主机建立了连接，因此此时应与其连接而尚未连接的部件群为外存群。实施例中，服务主机采用以下方法与外存群连接：1)为每个存储服务等级分配一个权重，例如，为等级0分配权重1，等级1分配权重2，等级3分配权重4，等等；2)在主机群中建立并维护一张全局的表，用以记录各主机与各存储器之间的连接关系、终端的存储服务等级以及存储器的存储服务等级累积权重；3)当有新的终端要连接到本机时，如果新终端是本机的第一个连接终端，则选出当前存储服务等级累积权重最小的一个外存储器作为本机的外部存储器，对其发出“组合”命令，并记录下新的连接关系及累积权重。实施例中，由于外存群不具有运算处理能力，因此外存的连接组合操作实际上由与之连接的有线数据交换器来执行，即有线数据交换器接收到主机对某一外存发出的组合命令时，在其传输控制器中记录下该主机与该外存的对应关系，并在之后的数据交换中，按该对应关系来实现该主机与该外存数据的双向传输。如果新终端不是本机的第一个连接终端，且所有终端要求的存储空间大于目前与本机连接的外存储器的存储空间，则选出当前存储服务等级累积权重最小的一个外存储器，作为本机新增的外部存储器，并进行类似的“组合”操作；如果新终端不是本机的第一个连接终端，且所有终端要求的存储空间小于目前与本机连接的外存储器的存储空间，则按新终端存储服务等级在已连接的外存中为其分配存储空间。

(3)实施例中，按照计算机的构成方式，外存群应与主机群连接，由于此时外存已与服务主机建立了连接，因此实施例中外存群是组合操作的最后一个部件，当外存储器与主机建立连接后，自组织组合操作完成，系统可以开始为新用户提供服务。

为了方便管理员对主机群和存储群进行管理，系统可以设置管理员帐号，用户使用管理员帐号登陆时，可以由终端通过无线收发器指定一台主机作为其服务主机，然后通过该主机指定一个外部存储器作为其服务存储器。

实施例在为用户提供服务期间，用户通过终端输入命令或数据，与终端连接的无线收发器将输入的命令或数据发送到服务主机，由服务主机进行相应的处理，涉及到外存操作的，服务主机通过有线数据交换器在与之连接的外存中进行存取操作，服务主机通过无线收发器向终端提供视频信号、音频信号或处理后的数据信息，终端再将结果以合适的形式反馈给用户。当用户的登陆级别为2时，主机还可以启用并行计算软件为该用户提供高速的运算。

在本发明的实施过程中，由于一些部件不具备运算处理能力，因此各部件取消组合的操作由部件或与其连接的连接器来完成。当某部件具有运算处理能力时(例如实施例中的主机)，由该部件控制与其连接的连接器进行取消组合操作，当某部件没有运算能力时(例如实施例中的存储群、终端群)，则由与其连接的有线数据交换器中的传输控制器或无线收发器中的传输控制器来完成取消组合的操作。

实施例中，当某个用户使用完毕时，采用以下方式将已组织成一个计算机系统的各部件取消组合，恢复至未组合状态，其流程如图8所示：

(1)用户通过终端和无线收发器向主机发出注销命令，

(2)主机收到该命令后，注销该用户，通过无线收发器和有线数据交换器向与之连接的终端和外部存储器发出“取消组合”命令，然后删除全局表中记录的相关连接信息和权重，以及无线收发器中传输控制器记录的相关连接信息。

(3)与终端连接的无线收发器和与外存连接的有线数据交换器收到“取消组合”命令后，由于已没有与之连接的部件，因此停止“取消组合”命令的传递，并在各自的传输控制器中删除相关连接信息，系统取消组合操作完成。