网络存储节点、网络存储系统以及用于网络存储节点的装置和方法

摘要

本发明提供网络存储节点、网络存储系统以及用于网络存储节点的装置和方法。所述网络存储节点包括大容量存储资源和计算资源，所述用于网络存储节点的装置包括：存储管理模块，被配置用于利用所述计算资源提供基于所述大容量存储资源的存储服务；以及协调控制模块，被配置用于基于所述计算资源提供计算服务。通过该装置，可以方便地对网络存储节点进行扩展，从而充分利用其中的计算资源，以避免对资源的浪费。

说明书

技术领域

本发明的实施方式涉及网络存储领域，更具体地，涉及一种网络存储节点、网络存储系统和用于网络存储节点的装置和方法。 

背景技术

随着互联网技术的高速发展，分布式网络存储成为存储领域的一大热点，大数据、云、以及虚拟化变得流行。以NAS系统为例，典型的可扩展NAS系统将具有模块化的节点设计，以及包含有适合于文件系统管理、卷管理和数据保护的软件套件的操作系统。NAS集群中的节点被构造为机架可装配的企业应用，包括存储器、CPU、联网部件、非易失性随机访问存储器(NVRAM)、低延时互联、盘控制器和存储介质等。 

分布式集群中的每个节点因而除了具有存储能力之外，还具有计算或处理能力。例如NAS操作系统在每个集群节点中运行，管理在节点中存储的数据，并且向客户端提供跨集群内的所有节点的单个智能文件系统。诸如EMC Isilon的产品就是这类扩展的设计的公知示例。然而，传统的数据中心架构在计算和存储方面是离散的，也即提供存储服务的网络系统虽然具有计算能力，然而这些计算能力仅用于支持NAS操作系统的运行，并不提供给用户。因此，在大部分时候，这些计算能力是闲置的，对于网络系统而言是低效的。 

发明内容

为了解决现有技术中存在的上述问题，本说明书提出如下方案。 

根据本发明的第一方面，提供一种用于网络存储节点的装置，所 述网络存储节点包括大容量存储资源和计算资源，所述装置包括：存储管理模块，被配置用于利用所述计算资源提供基于所述大容量存储资源的存储服务；以及协调控制模块，被配置用于基于所述计算资源提供计算服务。 

根据本发明的可选实现，所述计算资源包括中央处理单元CPU和存储器。 

根据本发明的可选实现，所述协调控制模块还被配置用于通信耦合于所述存储管理模块，以协调所述计算资源在所述存储管理模块和所述协调控制模块之间的分配。 

根据本发明的可选实现，所述协调控制模块还被配置用于通信耦合于所述存储管理模块，以在所述大容量存储资源与所述计算资源之间进行逻辑隔离。 

根据本发明的可选实现，所述协调控制模块还被配置用于通信耦合于所述存储管理模块，以处理一个或多个输入／输出I／O操作。 

根据本发明的可选实现，所述协调控制模块还被配置用于提供用于所述计算服务的接口。 

根据本发明的可选实现，所述协调控制模块或所述存储管理模块至少部分地基于虚拟机实现。 

根据本发明的可选实现，所述协调控制模块还被配置用于基于所述存储管理模块访问所述大容量存储资源或所述计算资源。 

根据本发明的第二方面，提供一种网络存储节点，包括大容量存储资源和计算资源，以及前述各种用于网络存储节点的装置。 

根据本发明的第三方面，提供一种网络存储系统，包括多个前述网络存储节点。根据本发明的可选实现，所述网络存储系统中所包括的一个所述网络存储节点中的所述协调控制模块还被配置用于与所述网络存储系统中所包括的另一所述网络存储节点中的协调控制模块通信地耦合。 

根据本发明的第四方面，提供一种用于网络存储节点的方法，所述网络存储节点包括大容量存储资源和计算资源，所述方法包括利用所述计算资源提供基于所述大容量存储资源的存储服务；以及基于所述计算资源提供计算服务。 

根据本发明的可选实现，所述计算资源包括中央处理单元CPU和存储器。 

根据本发明的可选实现，该方法还包括协调所述计算资源在所述存储管理模块和所述协调控制模块之间的分配。 

根据本发明的可选实现，该方法还包括在所述大容量存储资源与所述计算资源之间进行逻辑隔离。 

根据本发明的可选实现，该方法还包括处理一个或多个输入／输出I／O操作。 

根据本发明的可选实现，该方法还包括提供用于所述计算服务的接口。 

根据本发明的可选实现，计算服务至少部分地基于虚拟机而实现。 

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。 

图1A至1C示出了根据本发明实施方式的用于网络存储节点的装置100的框图及其在网络存储节点上的示例性具体布置； 

图2示出了根据本发明示例性实施方式的网络存储集群200的示意图； 

图3示出了根据本发明示例性实施方式的用于网络存储节点的方法300的流程图； 

图4示出了适于用来例如在每个网络存储节点上用于实践本发明实施方式的计算机系统的示意性框图。 

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施 方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。 

为了便于以下说明，首先对一些术语进行解释。在本上下中所使用的术语“网络存储系统”是经由网络所连接的一个或多个分布式集群节点所构成的系统，为用户提供存储之类的服务。如前所述，NAS系统就是一种网络存储系统的示例。术语“网络存储节点”也即指代构成该“网络存储系统”的各集群节点。 

图1A至图1C示出了根据本发明实施方式的用于网络存储节点的装置100的框图及其在网络存储节点上的布置。如图1A至图1C所示，网络存储节点包括大容量存储资源101和计算资源102。大容量存储资源101在此指代各种大容量存储装置，用于向客户端提供存储服务。该用于网络存储节点的装置100包括存储管理模块103，被配置用于利用所述计算资源提供基于所述大容量存储资源的存储服务；以及协调控制模块104，被配置用于基于所述计算资源提供计算服务。本领域技术人员应当理解，这里所称的计算资源102包括用于支持该网络存储节点向客户端提供网络存储服务的计算资源，例如其可以包括中央处理单元CPU和存储器。可选的，计算资源102也可以包括其他用于支持网络存储服务的提供的计算资源。本发明在此方面不受限制。 

如上所述，存储管理模块103主要负责通过计算资源102的支持来管理在大容量存储资源101中的数据的存储。而为了避免计算资源102的浪费，协调控制模块104则可以调度该计算资源102向客户端提供计算服务。 

在一个示例实现中，存储管理模块103可以被配置为例如像网络存储系统的操作系统那样操作，具有传统网络存储系统的操作系统模块的全功能，从而可以如传统手段那样实现对存储资源的管理。类似于传统的网络操作系统的操作系统，存储管理模块103可以经由硬件资源(例如CPU、存储器等)实现。然而，本领域技术人员应当理解，存储管理模块103也可以至少部分地基于虚拟机(例如在网络存储节 点上运行的虚拟机)实现，或者实施为二者的结合。 

类似的，协调控制模块104同样可以经由硬件资源(例如CPU、存储器等)实现，或者其也可以至少部分地基于虚拟机(例如在网络存储节点上运行的虚拟机)实现，或者实施为二者的结合。本发明在此方面不受限制。 

另外，协调控制模块104所提供的计算服务也可以至少部分地基于虚拟机来实现。例如，在网络存储节点上可以运行多个虚拟机及工业化标准的虚拟机管理器。各个虚拟机分别或联合执行与计算服务关联的任务(或任务的一部分)，例如诸如企业工作负载、私人云项目、终端用户计算发起以及大数据作业之类的用户应用和服务。 

根据本发明的一个实施方式，协调控制模块104可以例如通信耦合于该存储管理模块103，以协调该计算资源102在该存储管理模块103和该协调控制模块104之间的分配。具体而言，协调控制模块104可以与存储管理模块103进行交互以获取在单个节点的存储资源和计算资源之间必要的逻辑隔离，和／或协调存储和计算这两方面的资源(例如CPU内核和存储器)分配。 

根据本发明的另一实施方式，协调控制模块104可以例如通信耦合于该存储管理模块103，以处理一个或多个输入／输出I／O操作。具体而言，协调控制模块104可以与存储管理模块103进行交互以用于处理所有的本地虚拟机管理器的I／O操作，或者如果启用“直通”特征的话则用于处理虚拟机的I／O。这样，从虚拟机的角度，他们将经由由存储管理模块103提供的单个文件系统来访问存储资源101。 

根据本发明的另一实施方式，该协调控制模块104还被配置用于提供用于计算服务的接口。例如，通过提供面向用户的接口(例如，命令操纵台和监视仪表板)来提供通用计算服务。备选的，这些接口例如可以并入到存储管理模块103向用户提供的原有接口内以便于用户容易地部署他们的应用和输出应用输出。 

现在参照图1A至图1C考虑该用于网络存储节点的装置100在网络存储节点上的示例性具体布置。如图1A所示，存储管理模块103 可以直接基于硬件资源(例如CPU、存储器等)来实现。例如，如前所述，存储管理模块103可以被配置为像网络存储系统的操作系统那样操作。在这种情况下，由于存储管理模块103可以实现为全功能的操作系统，也即其可以像运行用户应用的虚拟机的KVM那样托管类型2的管理器(Type-2Hypervisor)，而让协调控制模块104如其本机应用那样(基于硬件)运行，或者在一个虚拟机中运行。在前者情况下，协调控制模块104可以被配置用于基于存储管理模块103来访问大容量存储资源101和／或计算资源102。 

作为替代，也可以如图1B所示，将存储管理模块103和协调控制模块104都采用虚拟机来实现。在这种实现方式中，用户应用、协调控制模块104和存储管理模块103可以全部在由直接在硬件上运行的例如VMWare ESXi的类型1的管理器(Type-1Hypervisor)管理的虚拟机中运行，通过这种管理器来访问硬件资源。 

或者作为另一备选方式，也可以如图1C所示，将协调控制模块104与存储管理模块103配置用于各自直接访问大容量存储资源和／或所述计算资源。在这种情形下，例如可以让类型1的虚拟机管理器和存储管理模块二者均在软件上运行，而协调控制模块104在存储管理模块103中或在虚拟机中运行。在前者情况下，协调控制模块104可以被配置用于基于存储管理模块103来访问大容量存储资源101和／或计算资源102。 

可见，通过图1A至图1C图示了根据本发明实施方式的用于存储节点的装置100及其各种实现。很明显，上述扩展了其自身的计算能力的网络存储节点集群的架构设计形成稳固的基础设施构架，以便构建可扩展、高性能、易于使用以及成本高效的、不仅用于存储而且用于计算的集群。 

根据本发明的另一方面，还提供经由多个上述网络存储节点所构成的网络存储系统。在一些实现中，节点内或跨不同节点的所有的虚拟机可以利用新型的专用高速网络，诸如无限带宽或吉比特网络，进行连接，这些网络与现有的NAS集群中的前端和后端网络分离。 

在包含多个上述网络存储节点的网络存储系统中，其中一个网络存储节点中的协调控制模块还可以被配置用于与另一网络存储节点中的协调控制模块进行通信。例如，在实现中，一个节点上的协调控制模块104可以管理本地虚拟机，以及与其他节点上的协调控制器104进行交互，从而例如可以在虚拟机之间实现各种虚拟网络技术(例如P2P和DHT)，从而在性能、可靠性、可用性和可管理性等方面满足各种应用需求。 

现在参考图2，图2示出了根据本发明示例性实施方式的网络存储集群200的示意图。如图2所示，在高层级上，例如NAS的网络存储集群将由存储管理模块103和协调控制模块104二者进行管理，分别提供数据存储和计算服务。因此，对于客户而言，集群既可以如往常一样作为扩展的NAS来利用，也可以作为虚拟机的计算集群来利用，或者作为兼有这二者功能的机群来利用。根据本发明的实施方式的存储系统增加了集群的灵活性。 

根据本发明的实施方式的存储系统使得能够提供额外的性能优化机会。处理大数据的一种高效方式是将计算移植到其中。在根据本发明实施方式所提供的兼有存储和计算的网络系统上，大数据处理能力可以被极大地增强。此外，在例如NAS操作系统之类的存储管理模块中嵌入的现有技术仅提供可应用于各种应用的通用存储资源的优化。随着数据和应用逻辑二者的并存，有可能让原有的存储管理模块根据运行的应用程序的特点提供动态地、细粒度以及高度定制化的优化。例如，智能地优化跨节点的数据分割，从而将数据和对应的计算处于同一节点的协同的最大化，以及将跨网络的数据转移最小化。 

图3示出了根据本发明示例性实施方式的用于网络存储节点的方法300的流程图。这里的网络存储节点类似于前文参照图1A-图1C所描述的网络存储节点，其包括如前所述的大容量存储资源和计算资源，不再赘述。 

方法300开始之后，首先进到步骤S301，利用所述计算资源提供基于所述大容量存储资源的存储服务。该计算资源可以例如包括中央 处理单元CPU和存储器。这一步骤可以例如经由传统的各种方式进行，本发明在此方面不受限制。 

接下来，方法300前进到步骤S302，基于所述计算资源提供计算服务。通过步骤S302，可以将原本仅用于支持提供存储服务的计算资源也利用于向客户端提供计算服务，避免了资源的浪费。 

在根据本发明实施方式的可选实现中，方法300还包括协调所述计算资源在所述存储管理模块和所述协调控制模块之间的分配。 

在根据本发明实施方式的可选实现中，方法300还包括在所述大容量存储资源与所述计算资源之间进行逻辑隔离。 

在根据本发明实施方式的可选实现中，方法300还包括处理一个或多个输入／输出I／O操作。 

在根据本发明实施方式的可选实现中，方法300还包括提供用于所述计算服务的接口。 

在根据本发明实施方式的可选实现中，该计算服务至少部分地基于虚拟机而实现。 

如上所述，根据本发明的实施方式提供了一种聚合的、可扩展的以及通用的计算和存储基础设施，这一聚合的基础设施可以容易地从传统的网络存储系统(例如NAS)升级，并且至少向用户提供如下优点： 

1.聚合的计算和存储系统可以方便地利用现有的可靠硬件组件进行构建，因而成本很低。并且这样的解决方案使得数据中心能够构建比利用旧有架构所能达到的更快的数据中心建设。 

2.聚合的计算和存储系统使得数据中心管理器能够管理以在确切需要时增加缩放和性能。聚合让客户部署他们目前需要的基础设施，并且随着他们业务的增长可以递增地提高他们的计算和存储资源。 

3.聚合的计算和存储系统让客户从简化的接口管理资源。客户被允许以快速地增加新应用并极大地减少运行开销。 

4.聚合的计算和存储系统递送与配置为一起工作的计算和存储 资源。数据中心管理者可以预测未来构建的开销，因此他们可以有把握地估计投资回报率。 

图4示出了适于用来例如在每个网络存储节点上用于实践本发明实施方式的计算机系统的示意性框图。如图4所示，计算机系统可以包括：CPU(中央处理单元)401、RAM(随机存取存储器)402、ROM(只读存储器)403、系统总线404、硬盘控制器405、键盘控制器406、串行接口控制器407、并行接口控制器408、显示控制器409、硬盘410、键盘411、串行外部设备412、并行外部设备413和显示器414。在这些设备中，与系统总线404耦合的有CPU401、RAM402、ROM403、硬盘控制器405、键盘控制器406、串行控制器407、并行控制器408和显示控制器409。硬盘410与硬盘控制器405耦合，键盘411与键盘控制器406耦合，串行外部设备412与串行接口控制器407耦合，并行外部设备413与并行接口控制器408耦合，以及显示器414与显示控制器409耦合。 

应当理解，图4所述的结构框图仅仅为了示例的目的而示出的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况而增加或者减少某些设备。 

特别地，除硬件实施方式和虚拟机实施方式之外，本发明的实施方式可以通过计算机程序产品的形式实现。例如，参考图1A至1C描述的协调控制模块104可以通过计算机程序产品来实现。该计算机程序产品可以存储在例如图4所示的RAM404、ROM404、硬盘410和／或任何适当的存储介质中，或者通过网络从适当的位置下载到计算机系统400上。计算机程序产品可以包括计算机代码部分，其包括可由适当的处理设备(例如，图4中示出的CPU401)执行的程序指令。 

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和／或包含在处理器控制代码中来实现，例如 在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。 

说明书中提及的网络可以包括各类网络，包括但不限于局域网(“LAN”)，广域网(“WAN”)，根据IP协议的网络(例如，因特网)以及端对端网络(例如，ad hoc对等网络)。 

应当注意，尽管在上文详细描述中提及了设备的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。 

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和／或将一个步骤分解为多个步骤执行。 

虽然已经参考若干具体实施方式描述了本发明，但是应该理解，本发明并不限于所公开的具体实施方式。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。