超融合系统、基于超融合系统的数据处理方法

摘要

本发明公开了一种超融合系统、基于超融合系统的数据处理方法。所述超融合系统包括第一设备和至少一个第二设备；所述第一设备中包括指令接收装置、数据处理装置以及虚拟资源；每个所述第二设备中包括数据处理装置以及虚拟资源；所述第一设备中的数据处理装置，用于在所述指令接收装置接收到所述数据处理指令之后，与每个所述第二设备进行通信，获得目标设备；所述目标设备为所述超融合系统中的虚拟资源的状态为空闲的设备；所述目标设备中的数据处理装置，还用于根据所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，并将生成的数据处理结果返回至所述第一设备。采用本发明，能够提高超融合系统的数据处理性能和资源利用率。

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种超融合系统、基于超融合系统的数据处理方法。

背景技术

目前许多基于超融合技术的系统架构存在着80％的性能问题，物理硬件资源的利用率得不到很好的提升，磁盘的IO瓶颈得不到解决，以及数据的可靠、冗余等机制的缺失，阻碍系统整体性能、可靠性，最终导致系统变慢，物理硬件的最大性能没有发挥出来。在目前业界构建的超融合体系结构的案例中，极少有完整地提供了对于集成hypervisor层面采用即将成为云虚拟化标准的OpenStack(一种旨在为公共及私有云的建设与管理提供软件的开源项目，目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台)平台，分布式存储采用Ceph(一种为优秀的性能、可靠性和可扩展性而设计的统一的分布式文件系统)，同时提供完整HA方案来保证数据以及集群的可靠，以及提供Monitor(监控)机制。

发明内容

本发明实施例提出一种超融合系统、基于超融合系统的数据处理方法，能够提高超融合系统的数据处理性能和资源利用率。

本发明实施例提供的一种超融合系统，具体包括第一设备和至少一个第二设备：

所述第一设备中包括指令接收装置、数据处理装置以及虚拟资源；

每个所述第二设备中包括数据处理装置以及虚拟资源；

所述第一设备中的指令接收装置，用于接收数据处理指令；

所述第一设备中的数据处理装置，用于在所述指令接收装置接收到所述数据处理指令之后，查询所述第一设备中的虚拟资源的状态，同时通过与各个所述第二设备中的数据处理装置通信查询各个所述第二设备中的虚拟资源的状态，将所述第一设备和所有所述第二设备中的一个设备设置为目标设备；其中，所述目标设备中的虚拟资源的状态为空闲；

所述目标设备中的数据处理装置，还用于根据所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，生成相应的数据处理结果，并将所述数据处理结果返回至所述第一设备。

进一步地，所述第一设备中还包括指令处理装置；

所述指令处理装置，用于采用多线程技术对所述数据处理指令进行解耦处理；

则所述目标设备中的数据处理装置，还用于根据经过解耦的所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，生成相应的数据处理结果，并将所述数据处理结果返回至所述第一设备。

进一步地，所述第一设备中还包括数据存储装置；

所述数据存储装置，用于存储所述数据处理结果。

进一步地，所述数据存储装置为MariaDB。

进一步地，所述第二设备的个数为至少两个。

相应地，本发明实施例还提供了一种基于超融合系统的数据处理方法，具体包括：

超融合系统中的第一设备中的指令接收装置接收数据处理指令；

在所述指令接收装置接收到所述数据处理指令之后，所述第一设备中的数据处理装置查询所述第一设备中的虚拟资源的状态，同时通过与所述超融合系统中的至少一个第二设备中的数据处理装置通信查询各个所述第二设备中的虚拟资源的状态，将所述第一设备和所有所述第二设备中的一个设备设置为目标设备；其中，所述目标设备中的虚拟资源的状态为空闲；

所述第一设备中的数据处理装置将所述数据处理指令发送至所述目标设备中的数据处理装置中；

所述目标设备中的数据处理装置在接收到所述数据处理指令之后，根据所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，生成相应的数据处理结果，并将所述数据处理结果返回至所述第一设备。

进一步地，在所述超融合系统中的第一设备中的指令接收装置接收数据处理指令之后，所述在所述指令接收装置接收到所述数据处理指令之后，所述第一设备中的数据处理装置查询所述第一设备中的虚拟资源的状态，同时通过与所述超融合系统中的至少一个第二设备中的数据处理装置通信查询各个所述第二设备中的虚拟资源的状态，将所述第一设备和所有所述第二设备中的一个设备设置为目标设备之前，还包括：

所述第一设备中的指令处理装置采用多线程技术对所述数据处理指令进行解耦处理；

则所述所述第一设备中的数据处理装置将所述数据处理指令发送至所述目标设备中的数据处理装置中，具体包括：

所述第一设备中的数据处理装置将经过解耦的所述数据处理指令发送至所述目标设备中的数据处理装置中；

所述所述目标设备中的数据处理装置在接收到所述数据处理指令之后，根据所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，生成相应的数据处理结果，并将所述数据处理结果返回至所述第一设备，具体包括：

所述目标设备中的数据处理装置在接收到经过解耦的所述数据处理指令之后，根据所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，生成相应的数据处理结果，并将所述数据处理结果返回至所述第一设备。

进一步地，在所述所述目标设备中的数据处理装置在接收到所述数据处理指令之后，根据所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，生成相应的数据处理结果，并将所述数据处理结果返回至所述第一设备之后，还包括：

所述第一设备在接收到所述数据处理结果之后，将所述数据处理结果存储至所述第一设备中的数据存储装置中。

进一步地，所述数据存储装置为MariaDB。

进一步地，所述超融合系统中的第二设备的个数为至少两个。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的超融合系统、基于超融合系统的数据处理方法，通过数据处理装置之间的通信，使得系统中的设备能够在系统中选择较为空闲的设备对接收到的数据处理指令进行处理，因此能够充分利用系统中的资源，提高系统的资源利用率。另外，通过在各个设备中配置虚拟资源进行数据处理，使得数据处理不受设备硬件的限制，因此能够提高系统的数据处理性能。

附图说明

图1是本发明提供的超融合系统的一个优选的实施例的结构示意图；

图2是本发明提供的超融合系统的一个优选的实施例中的一个数据处理装置的的内部部分结构示意图；

图3是本发明提供的基于超融合系统的数据处理方法的一个优选的实施例的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明通过为超融合系统中的每个设备配置数据处理装置，使得接收到数据处理指令的设备可以通过数据处理装置与系统中的其他设备进行通信，查询获得其中较为空闲的设备作为数据处理的目标设备，从而利用该目标设备中的虚拟资源并根据前述数据处理指令进行数据处理。由于本发明能够通过数据处理装置之间的通信，使得系统中的设备能够在系统中选择较为空闲的设备对接收到的数据处理指令进行处理，因此能够充分利用系统中的资源，提高系统的资源利用率。另外，本发明通过在各个设备中配置虚拟资源进行数据处理，使得数据处理不受设备硬件的限制，因此能够提高系统的数据处理性能。

如图1所示，为本发明提供的超融合系统的一个优选的实施例的结构示意图，包括第一设备11和至少一个第二设备12；

所述第一设备11中包括数据处理装置111、虚拟资源装置112以及指令接收装置113；

每个所述第二设备12中包括数据处理装置121以及虚拟资源装置122；

其中，所述虚拟资源装置112和所述虚拟资源装置122中均包含若干虚拟资源；

所述第一设备11中的指令接收装置113，用于接收数据处理指令；

所述第一设备11中的数据处理装置111，用于在所述指令接收装置113接收到所述数据处理指令之后，查询所述第一设备11中的虚拟资源的状态，同时通过与各个所述第二设备12中的数据处理装置121通信查询各个所述第二设备12中的虚拟资源的状态，将所述第一设备11和所有所述第二设备12中的一个设备设置为目标设备；其中，所述目标设备中的虚拟资源的状态为空闲；

所述目标设备中的数据处理装置，还用于根据所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，生成相应的数据处理结果，并将所述数据处理结果返回至所述第一设备11。

需要说明的是，本发明实施例所提供的超融合系统中包含若干设备，这些设备均为商用X86服务器。其中，该超融合系统中的每个设备中均包括指令接收装置、数据处理装置以及虚拟资源装置。可以理解的是，上述第一设备和上述第二设备为相对的概念，第一设备为超融合系统中的接收到用户的数据处理指令的设备，而第二设备为该超融合系统中的除该第一设备外的其他设备。这些设备中的数据处理装置和虚拟资源装置可以采用OpenStack(一个开源的云计算管理平台项目)技术而设计。其中，虚拟资源装置为建立于物理设备之上的虚拟的数据处理资源装置，其中包含若干可用于进行数据处理的虚拟资源。

指令接收装置，为人机交互装置，用于供给用户与系统进行交互。该指令接收装置采用前端技术和JAVA后端技术进行设计。用户可以根据该指令接收装置的显示界面上的提示对系统中的资源、数据等进行管理和操作，使得该显示界面根据用户的相关操作生成相应的数据处理指令，并将这些数据处理指令发送至指令接收装置。该指令接收装置在接收到该数据处理指令之后，将该数据处理指令发送至系统中的各个装置中。

数据处理装置，为系统中的进行数据处理以及设备间通信的装置。系统中的每个设备中的数据处理装置中包含一个或者多个指令执行模块，用于对数据处理指令进行解析，并根据经过解析后的数据处理指令调用虚拟资源装置中的虚拟资源进行相应的数据处理。每个设备中的数据处理装置通过有线或者无线的方式相连接，从而形成一个集群。每个设备中的数据处理装置中还包含pacemaker通讯模块，用于与同设备中的虚拟资源装置中的pacemaker-remote通讯模块相连接，使得同设备中的数据处理装置和虚拟资源装置之间可以通过UDP(UserDatagramProtocol，用户数据报协议)的方式进行通信，从而使得数据处理装置可以对同设备中的虚拟资源装置的运行状态和资源利用情况进行监控，确保集群的高可用性。

需要进一步说明的是，上述数据处理装置中还包含API(ApplicationProgrammingInterface，应用程序编程接口)模块，用于提供若干调用接口，使得系统中的其他设备可以通过调用这些调用接口调用对应的指令执行模块来对数据处理指令进行相应的处理。上述指令执行模块主要包括nova-*模块(虚拟计算、虚拟网络服务执行模块)、glance-registry模块(镜像服务执行模块)、cinder模块(卷服务执行模块)以及keystone模块(认证服务执行模块)，分别用于对虚拟计算、虚拟网络服务指令、镜像服务指令、卷服务指令以及认证服务指令进行解析和处理。在一些具体的实施例中，数据处理装置可以通过采用多线程技术对数据处理指令进行并发处理。如图2所示，为一个数据处理装置的的内部部分结构示意图。

虚拟资源装置，其中包括若干虚拟资源，以供上述数据处理装置调用。该虚拟资源装置中主要包括提供虚拟计算资源的nova-compute模块以及提供虚拟网络资源的nova-network模块，该nova-compute模块和该nova-network模块均可以采用OpenStack技术进行设计。该虚拟资源装置中还包括KVM(Kernel-basedVirtualMachine，基于内核的虚拟机)、QEMU(虚拟模拟处理器)以及Libvirt(虚拟化管理工具)，用于为上述nova-compute模块以及nova-network模块提供支持与管理。

当系统中的某一设备中的指令接收装置接收到数据处理指令后，该指令接收装置将接收到的数据处理指令发送至同设备中的各个装置中。随后，该设备中的数据处理装置与系统中的其他设备中的数据处理装置进行通信，以查询系统中的各个虚拟资源装置的运行状态，从而获得其中运行状态为空闲的虚拟资源装置，并将该虚拟资源装置所在的设备设置为目标设备。随后，接收到数据处理指令的设备将数据处理指令发送至该目标设备中，并调用该目标设备中的调用接口。该目标设备在接收到该数据处理指令之后，根据被调用的接口调用对应的指令执行模块对该数据处理指令进行解析，并调用同设备中的虚拟资源装置中的虚拟资源进行相应的数据处理，从而获得相应的数据处理结果。最后，该目标设备将生成的数据处理结果返回至最初接收到数据处理指令的设备中。

上述超融合系统中还可以包含系统监控服务，用于对系统中的数据的采集、处理以及存储等以及系统中的各个设备的运行状态、资源利用状况等进行监控和处理。

本发明实施例通过数据处理装置之间的通信，使得系统中的设备能够在系统中选择较为空闲的设备对接收到的数据处理指令进行处理，因此能够充分利用系统中的资源，提高系统的资源利用率。另外，通过在各个设备中配置虚拟资源进行数据处理，使得数据处理不受设备硬件的限制，因此能够提高系统的数据处理性能。

在另一个优选的实施例中，在上述实施例的基础之上，所述第一设备中还包括指令处理装置；

所述指令处理装置，用于采用多线程技术对所述数据处理指令进行解耦处理；

则所述目标设备中的数据处理装置，还用于根据经过解耦的所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，生成相应的数据处理结果，并将所述数据处理结果返回至所述第一设备。

需要说明的是，上述超融合系统中的各个设备中还包括指令处理装置，该指令处理装置采用JAVA技术实现。该指令处理装置用于对数据处理指令进行解耦，使得只要数据处理指令的格式不变，即使接收者的接口、位置、或者配置改变，也不会给该数据处理指令的发送者带来任何改变。该指令处理装置在对数据处理指令进行解耦之后，将经过解耦的数据处理指令发送至对应的数据处理装置中，以使该数据处理装置根据经过解耦的该数据处理指令进行相应的数据处理。该指令处理装置采用多线程技术对接收到的数据处理指令进行并发处理。

需要进一步说明的是，该指令处理装置中还包含若干接口以供指令接收装置调用进行相应的指令处理，其中包括nova接口(虚拟计算、虚拟网络服务接口)、glance接口(镜像服务接口)、cinder接口(卷服务接口)以及keystone接口(认证服务接口)等。这些接口与数据处理装置中的调用接口及指令执行模块具有对应关系。

在又一个优选的实施例中，在上述实施例的基础之上，所述第一设备中还包括数据存储装置；

所述数据存储装置，用于存储所述数据处理结果。

进一步地，所述数据存储装置为MariaDB。

需要说明的是，本发明实施例所提供的超融合系统中的各个设备中还包括数据存储装置，用于对系统中的数据及数据处理结果进行分布式的存储和管理。

该数据存储装置采用与Ceph相关的技术制成，与OpenStack相结合，具有优秀的性能、可靠性和可扩展性。具体地，包括Ceph与OpenStack中的glance镜像服务相结合、Ceph与OpenStack中的cinder块存储服务相结合，以及Ceph与OpenStack中的nova虚拟计算服务相结合。其中，当Ceph与OpenStack中的glance镜像服务相结合时，允许用户将镜像存储在Ceph中，而不是本地存储在数据处理装置和虚拟资源装置上，由于Ceph可以克隆镜像而不是复制镜像，大大减少了抓取镜像的网络流量，提高了性能；当Ceph与OpenStack中的cinder块存储服务相结合时，cinder提供了关于块存储的抽象，并允许供应商通过提供驱动程序进行集成，同时在Ceph中，每个存储池可以映射到不同的Cinder后端；当Ceph与OpenStack中的nova虚拟计算服务相结合时，Ceph则可以为nova提供一个可靠的后端支持。

在又一个优选的实施例中，在上述实施例的基础之上，所述第二设备的个数为至少两个。

需要说明的是，本发明实施例所提供的超融合系统中包括至少三台设备，用于利用虚拟的数据处理资源进行相应的分布式数据处理。更优选地，系统中的设备的个数可以为16至20个。由于超融合系统本身体系结构的定义，因此当系统中的设备的个数为16至20个时，系统的数据处理性能最优，资源利用率最高。

本发明实施例提供的超融合系统，通过数据处理装置之间的通信，使得系统中的设备能够在系统中选择较为空闲的设备对接收到的数据处理指令进行处理，因此能够充分利用系统中的资源，提高系统的资源利用率。另外，通过在各个设备中配置虚拟资源进行数据处理，使得数据处理不受设备硬件的限制，因此能够提高系统的数据处理性能。

相应地，本发明还提供一种基于超融合系统的数据处理方法。

如图3所示，为本发明提供的基于超融合系统的数据处理方法的一个优选的实施例的流程示意图，包括步骤S31至S34，具体如下：

S31：超融合系统中的第一设备中的指令接收装置接收数据处理指令；

S32：在所述指令接收装置接收到所述数据处理指令之后，所述第一设备中的数据处理装置查询所述第一设备中的虚拟资源的状态，同时通过与所述超融合系统中的至少一个第二设备中的数据处理装置通信查询各个所述第二设备中的虚拟资源的状态，将所述第一设备和所有所述第二设备中的一个设备设置为目标设备；其中，所述目标设备中的虚拟资源的状态为空闲；

S33：所述第一设备中的数据处理装置将所述数据处理指令发送至所述目标设备中的数据处理装置中；

S34：所述目标设备中的数据处理装置在接收到所述数据处理指令之后，根据所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，生成相应的数据处理结果，并将所述数据处理结果返回至所述第一设备。

在另一个优选的实施例中，在上述实施例的基础之上，在所述超融合系统中的第一设备中的指令接收装置接收数据处理指令之后，所述在所述指令接收装置接收到所述数据处理指令之后，所述第一设备中的数据处理装置查询所述第一设备中的虚拟资源的状态，同时通过与所述超融合系统中的至少一个第二设备中的数据处理装置通信查询各个所述第二设备中的虚拟资源的状态，将所述第一设备和所有所述第二设备中的一个设备设置为目标设备之前，还包括：

所述第一设备中的指令处理装置采用多线程技术对所述数据处理指令进行解耦处理；

则所述所述第一设备中的数据处理装置将所述数据处理指令发送至所述目标设备中的数据处理装置中，具体包括：

所述第一设备中的数据处理装置将经过解耦的所述数据处理指令发送至所述目标设备中的数据处理装置中；

所述所述目标设备中的数据处理装置在接收到所述数据处理指令之后，根据所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，生成相应的数据处理结果，并将所述数据处理结果返回至所述第一设备，具体包括：

所述目标设备中的数据处理装置在接收到经过解耦的所述数据处理指令之后，根据所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，生成相应的数据处理结果，并将所述数据处理结果返回至所述第一设备。

在又一个优选的实施例中，在上述实施例的基础之上，在所述所述目标设备中的数据处理装置在接收到所述数据处理指令之后，根据所述数据处理指令调用所述目标设备中的虚拟资源进行相应的数据处理，生成相应的数据处理结果，并将所述数据处理结果返回至所述第一设备之后，还包括：

所述第一设备在接收到所述数据处理结果之后，将所述数据处理结果存储至所述第一设备中的数据存储装置中。

进一步地，所述数据存储装置为MariaDB。

在又一个优选的实施例中，在上述实施例的基础之上，所述超融合系统中的第二设备的个数为至少两个。

本发明实施例提供的基于超融合系统的数据处理方法，通过数据处理装置之间的通信，使得系统中的设备能够在系统中选择较为空闲的设备对接收到的数据处理指令进行处理，因此能够充分利用系统中的资源，提高系统的资源利用率。另外，通过在各个设备中配置虚拟资源进行数据处理，使得数据处理不受设备硬件的限制，因此能够提高系统的数据处理性能。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。