用于促进对分布式存储系统中的数据的访问的装置和方法

摘要

本发明的实施方式涉及用于促进对分布式存储系统中的数据的访问的装置和方法。该装置包括：收集单元，被配置为收集分布式存储系统的运行状态相关信息；元数据获取单元，被配置为获取与分布式存储系统中所存储的数据有关的元数据；接口单元，被配置为响应于来自客户端的请求，向客户端提供运行状态相关信息和与待访问的数据有关的元数据；以及访问扩展单元，被配置为对分布式存储系统中的存储节点进行扩展，以使得客户端能够利用运行状态相关信息和与待访问的数据有关的元数据直接访问存储节点。还公开了相应的方法。利用本发明的技术方案，客户端能够自行决定访问数据的适当方式，以获得最佳的访问性能或实现最佳的应用目的。

说明书

技术领域

本发明的实施方式总体上涉及数据处理领域，更具体地，涉及用于促进对分布式存储系统中的数据的访问的装置和方法。

背景技术

近年来，分布式存储架构已被广泛应用于存储基础设施设计，以实现可扩展性、大数据量、高可用性等。一些分布式存储系统将大数据量(典型地在千兆字节到兆兆字节范围内)分成多个分片(partition)并且基于商业机器或者企业硬件而在分布式存储系统的多个存储节点上存储所述多个分片。此外，为了实现可靠性，这些分布式存储系统通常会对数据的每个分片进行备份，以生成分片的一个或多个副本，并且将该一个或多个副本存储在一个或多个存储节点。

然而，数据的分片信息以及各分片及其副本的存储位置信息对于请求访问该数据的客户端而言是透明的。换言之，客户端并不知晓数据被分成多少个分片以及各分片分别存储于哪个存储节点上。以EMC公司的Isilon集群存储系统为例，Isilon集群存储系统中的任一个节点都可作为访问节点。当客户端向访问节点发送请求以访问Isilon集群存储系统中所存储的数据，由于数据的分片被存储于系统中的多个节点上，因此访问节点负责从存储该数据的各分片的节点取回各分片，将各分片进行组装，并将组装后的分片(即数据)提供给客户端。显然，这不可避免地需要访问节点上的高资源消耗并且对Isilon集群存储系统带来显著的带宽开销。

如果客户端能够获得数据的分片信息以及各分片及其副本在存储系统中的分布信息，那么客户端自身可以从存储节点取回数据的分片并将各分片进行组装，从而减轻存储系统的负荷。

发明内容

为了缓解上述问题，本发明提供一种用于促进对分布式存储系统中的数据的访问的装置和方法、以及访问分布式存储系统中的数据的相应装置和方法。

根据本发明实施方式的第一方面，提供了一种用于促进对分布式存储系统中的数据的访问的装置。该装置包括：收集单元，被配置为收集所述分布式存储系统的运行状态相关信息；元数据获取单元，被配置为获取与所述分布式存储系统中所存储的数据有关的元数据；接口单元，被配置为响应于来自客户端的请求，向所述客户端提供所述运行状态相关信息和与待访问的数据有关的元数据；以及访问扩展单元，被配置为对所述分布式存储系统中的存储节点进行扩展，以使得所述客户端能够利用所述运行状态相关信息和与待访问的数据有关的所述元数据直接访问所述存储节点。

在一个示例性实施方式中，所述接口单元可被进一步配置为响应于来自客户端的所述请求，向所述收集单元发送第一查询请求以获取所述运行状态相关信息以及向所述元数据获取单元发送第二查询请求以获取所述元数据。

在一个示例性实施方式中，所述收集单元可被进一步配置为响应于所述第一查询请求，从所述分布式存储系统收集所述运行状态相关信息；并且其中所述元数据获取单元被进一步配置为响应于所述第二查询请求，从所述分布式存储系统获取所述元数据。

在一个示例性实施方式中，所述元数据获取单元可被进一步配置为周期性地从所述分布式存储系统获取所述元数据。

在一个示例性实施方式中，所述元数据获取单元可被进一步配置为接收所述数据的存储状态发生改变的通知，并响应于所述通知而从所述分布式存储系统获取所述元数据。

在一个示例性实施方式中，所述元数据获取单元被进一步配置为监听消息总线，以获取与所述数据的存储状态发生改变有关的信息，所述信息包括所述元数据。

在一个示例性实施方式中，所述装置可进一步包括：信息存储库，被配置为存储所述收集单元所收集的所述运行状态相关信息、以及所述元数据获取单元所获取的所述元数据。

在一个示例性实施方式中，所述接口单元可被进一步配置为响应于来自客户端的所述请求，查询所述信息存储库以获取所述运行状态相关信息和所述元数据。

根据本发明实施方式的第二方面，提供了一种用于访问分布式存储系统中的数据的装置。该装置包括：发送单元，被配置为发送用于获取所述分布式存储系统的运行状态相关信息和与待访问的数据有关的元数据的请求；接收单元，被配置为接收对所述请求的响应，所述响应中包含所述运行状态相关信息和所述元数据；以及访问单元，被配置为利用所述运行状态相关信息和所述元数据直接访问所述分布式存储系统中的存储节点。

根据本发明实施方式的第三方面，提供了一种用于促进对分布式存储系统中的数据的访问的方法。该方法包括：收集所述分布式存储系统的运行状态相关信息；获取与所述分布式存储系统中所存储的数据有关的元数据；响应于来自客户端的请求，向所述客户端提供所述运行状态相关信息和与待访问的数据有关的元数据；以及对所述分布式存储系统中的存储节点进行扩展，以使得所述客户端能够利用所述运行状态相关信息和与待访问的数据有关的所述元数据直接访问所述存储节点。

根据本发明实施方式的第四方面，提供了一种用于访问分布式存储系统中的数据的方法。该方法包括：发送用于获取所述分布式存储系统的运行状态相关信息和与待访问的数据有关的元数据的请求；接收对所述请求的响应，所述响应中包含所述运行状态相关信息和所述元数据；以及利用所述运行状态相关信息和所述元数据直接访问所述分布式存储系统中的存储节点。

通过下文的详细描述将会理解，采用本发明的实施方式，通过向客户端提供分布式存储系统的运行状态相关信息和与分布式存储系统中所存储的数据有关的元数据，具有较大的计算能力、存储能力和联网能力并且能够嵌入复杂智能的客户端(下文中简称为“有能力的客户端”)能够自行决定访问数据的适当方式，以获得最佳的访问性能或实现最佳的应用目的，例如最小化数据备份窗等。此外，基于分布式存储系统的运行状态相关信息和与待访问的数据有关的元数据，客户端能够直接访问存储数据的存储节点，从相应存储节点获取待访问数据的各个分片(或其副本)，在客户端本地进行分片的组装，而无需由分布式存储系统中的访问节点进行分片的组装，从而可以防止访问节点成为瓶颈，有助于分担分布式存储系统的负荷。

附图说明

结合附图并参考以下详细说明，本发明各实施方式的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本发明的若干实施方式。在附图中：

图1示出了根据本发明一个实施方式的用于促进对分布式存储系统中的数据的访问的装置100的框图；

图2示出了根据本发明一个实施方式的用于访问分布式存储系统中的数据的装置200的框图；

图3示出了根据本发明一个实施方式的用于促进对分布式存储系统中的数据的访问的方法300的流程图；

图4示出了根据本发明一个实施方式的用于访问分布式存储系统中的数据的方法400的流程图；以及

图5示出了适合用来实践本发明实施方式的计算机系统500的框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考附图中示出的若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

首先参考图1，其示出了根据本发明一个实施方式的用于促进对分布式存储系统中的数据的访问的装置100的框图。装置100可以实施为现有分布式存储系统的一部分，或者可以实施为现有分布式存储系统外部的、能够与分布式存储系统进行通信的装置。

如图1所示，装置100包括收集单元101、元数据获取单元102、接口单元103以及访问扩展单元104。

收集单元101被配置为从分布式存储系统收集分布式存储系统的运行状态相关信息。所述分布式存储系统的运行状态相关信息可包括分布式存储系统在某个时间点的状态信息和分布式存储系统在给定时间段内的状态统计信息。分布式存储系统在某个时间点的状态信息包括但不限于：在某个时间点的存储节点负荷(例如CPU使用率、存储器使用率、网络速度、响应时间)、存储节点性能、节点健康状态等。分布式存储系统在给定时间段内的状态统计信息例如包括在过去的几分钟内存储节点的平均响应时间等。以收集分布式存储系统在某个时间点的状态信息为例，收集分布式存储系统在某个时间点的状态信息可以包括从分布式存储系统收集实时矩阵，并基于所述实时矩阵来生成在某个时间点、整个分布式存储系统的状态概览和每个存储节点的具体状态。此外，基于所收集的实时矩阵，还可以生成分布式存储系统在给定时间段内的状态统计信息。可以理解，所述实时矩阵用来表示分布式存储系统中每个节点从不同维度考量的一系列值，基于所述实时矩阵来生成在某个时间点、整个分布式存储系统的状态概览和每个存储节点的具体状态可以按照本领域技术人员已知的方式进行，因而不再赘述。同样，基于所述实时矩阵来生成分布式存储系统在给定时间段内的状态统计信息也可以按照本领域技术人员已知的方式进行，故不再赘述。

元数据获取单元102被配置为获取与分布式存储系统中所存储的数据有关的元数据。在此使用的术语“元数据”是指用于描述所存储的数据的信息的数据。作为示例，元数据可以包括但不限于：所存储的数据的存储位置信息、所存储的数据的复制策略、所存储的数据的分片规则等。更具体地，所存储的数据的存储位置信息例如可以指示数据的分片及其备份分别存储于哪个存储节点上。

可以理解，元数据获取单元102具体从何处获取与分布式存储系统中所存储的数据有关的元数据取决于分布式存储系统具体架构。例如，在具有主节点(master node)的分布式存储系统的情况下，由于主节点维护与所有被存储的数据有关的元数据，因此，元数据获取单元102可以从主节点获取所述元数据。

在一个实施方式中，元数据获取单元102被配置为周期性地从分布式存储系统获取所述元数据。例如，元数据获取单元102可以按照预定的时间间隔(例如每5秒)从分布式存储系统获取所述元数据。在另一个实施方式中，元数据获取单元102被配置为接收数据的存储状态发生改变的通知，并响应于该通知而从分布式存储系统获取元数据。因而，响应于通知而从分布式存储系统获取元数据更能确保装置100中的元数据与分布式存储系统中的元数据保持同步和一致。

接口单元103被配置为响应于来自客户端的请求，向客户端提供分布式存储系统的运行状态相关信息和与客户端待访问的数据有关的元数据。

在一个实施方式中，接口单元103被进一步配置为响应于来自客户端的请求，向收集单元101发送第一查询请求以获取分布式存储系统的运行状态相关信息以及向元数据获取单元102发送第二查询请求以获取与客户端待访问的数据有关的元数据。收集单元101响应于该第一查询请求，从分布式存储系统收集所述运行状态相关信息，并且元数据获取单元102响应于该第二查询请求，从分布式存储系统获取所述元数据。在该实施方式中，由于接口单元103响应于来自客户端的请求分别向收集单元101和元数据获取单元102发送查询请求，收集单元101和元数据获取单元102分别响应于查询请求而获取运行状态相关信息和元数据，因而更能够确保获取运行状态相关信息和元数据的实时性以及一致性。

访问扩展单元104被配置为对分布式存储系统中的存储节点进行扩展，以使得客户端能够利用分布式存储系统的运行状态相关信息和与待访问的数据有关的元数据直接访问存储节点。现有的存储接口通常只能够接受来自分布式存储系统内部的访问，因此必须需要访问扩展单元104完成数据访问中转，令存储系统外部的客户端能够经由该访问扩展单元104直接访问存储节点。访问扩展单元104甚至可以安装在每个存储节点上。访问扩展单元104可以利用存储节点的现有功能或者被实施为存储节点中的新功能。

根据本发明的某些实施方式，装置100进一步包括信息存储库(未示出)，该信息存储库被配置为存储收集单元101所收集的运行状态相关信息、以及元数据获取单元102所获取的元数据。接口单元103被进一步配置为响应于来自客户端的请求，查询该信息存储库以获取所述运行状态相关信息和与待访问的数据有关的元数据。所述信息存储库可以利用任何目前已知或将来开发的适当技术来实现。例如，所述信息存储库可以实现为数据库，例如关系数据库或者其他类型的数据库。备选地，所述信息存储库的其他实施方式也是可行的。本发明的范围在此方面不受限制。

应当理解，上文参考图1描述的装置100可以利用各种方式实现。例如，在某些实施方式中，装置100可以利用软件和／或固件来实现。备选地或附加地，装置100可以部分地或者完全地基于硬件来实现。例如，装置100可以实现为集成电路(IC)芯片或专用集成电路(ASIC)。装置100也可以实现为片上系统(SOC)。现在已知或者将来开发的其他方式也是可行的，本发明的范围在此方面不受限制

接下来参照图2，其示出了根据本发明一个实施方式的用于访问分布式存储系统中的数据的装置200的框图。根据某些实施方式，装置200例如可以与上文参照图1所描述的装置100结合使用。

如图2所示，装置200包括发送单元201、接收单元202和访问单元203。

发送单元201被配置为发送用于获取分布式存储系统的运行状态相关信息和与待访问的数据有关的元数据的请求。在装置200与图1所示的装置100结合使用的情况下，发送单元201例如可以向装置100的接口单元103发送用于获取所述运行状态相关信息和所述元数据的所述请求。根据一个实施方式，所述请求中可以包括待访问的数据的标识，例如待访问的文件的文件名或其他标识符。

接收单元202被配置为接收对所述请求的响应，响应中包含所述运行状态相关信息和所述元数据。在装置200与图1所示的装置100结合使用的情况下，接收单元202例如可以从装置100的接口单元103接收所述响应。

访问单元203被配置为利用所述运行状态相关信息和所述元数据直接访问分布式存储系统中的存储节点，以便访问存储节点上所存储的数据。

利用所获取的分布式存储系统的运行状态相关信息和与待访问的数据有关的元数据，访问单元203能够自行决定访问数据的适当方式，以或实现最佳的应用目的。

具体而言，如上所述，与待访问的数据有关的元数据例如包括待访问的数据的存储位置信息、所存储的数据的复制策略、所存储的数据的分片规则等。基于与待访问的数据有关的元数据，可以获知待访问的数据被分为多少个分片、每个分片具有多少个副本、以及各个分片及其副本分别存储于哪个存储节点上。仍然如上所述，分布式存储系统的运行状态相关信息例如包括在某个时间点或给定时间段内，存储节点负荷(例如CPU使用率、存储器使用率、网络速度、响应时间)、存储节点性能、节点健康状态等。基于分布式存储系统的运行状态相关信息，可以获知存储有待访问的数据的分片及其副本的存储节点的负荷状况。因而，访问单元203能够基于存储系统的运行状态相关信息和与待访问数据有关的元数据，自行决定并行访问不同存储节点上所存储的数据分片或分片的副本，还是从能够获得最佳输入输出(IO)性能的存储节点智能地访问数据。

下文中将以数据备份应用客户端(下文中简称客户端)作为装置200的一个具体示例，详细描述装置200与装置100的交互过程。可以理解，以下描述仅为示例，根据不同的应用场景，装置200与装置100之间可以执行不同的交互过程以及交互不同的信息。

1.客户端200的发送单元201与装置100的接口单元103进行交互，例如向接口单元103发送用于获取分布式存储系统的运行状态相关信息和与待访问的数据有关的元数据的请求，所述请求中可以包括待访问的数据的标识，例如待访问的文件的文件名或其他标识符。

2.接口单元103响应于接收到来自客户端200的请求，分别向收集单元101发送第一查询请求以获取所述运行状态相关信息以及向元数据获取单元102发送第二查询请求以获取所述元数据。所述运行状态相关信息例如包括在过去的3分钟(或任意指定的时段)内每个存储节点的平均响应时间和工作负荷(例如CPU使用率、网络速度、存储器使用率等)。与待访问的数据有关的元数据例如包括待访问的数据的各分片在存储节点上的存储位置以及各分片的副本在存储节点上的存储位置。例如，待访问的数据被分为3个分片，3个分片分别存储于3个不同的存储节点上，并且每个分片具有1个副本。

3.收集单元101响应于第一查询请求从分布式存储系统收集运行状态相关信息并将所收集的运行状态相关信息提供给接口单元103，并且元数据获取单元102响应于第二查询请求从分布式存储系统获取元数据并将所获取的元数据提供给接口单元103。

4.接口单元103向客户端200发送所述运行状态相关信息和元数据。

5.客户端200的接收单元202接收所述运行状态相关信息和元数据。

6.基于接收到的运行状态相关信息和元数据，客户端200的访问单元203向存储有数据的分片的存储节点发起3个数据访问请求，以经由访问扩展单元104并行地访问存储有数据的分片的存储节点。对于每个分片，访问单元203可以基于存储有该分片的存储节点和存储有该分片的副本的存储节点的状态信息(例如负荷状况)，智能地选择两个存储节点中的一个来进行访问，以获得最佳的访问性能，例如最小化数据备份窗。

下面参照图3，其示出了根据本发明一个实施方式的用于促进对分布式存储系统中的数据的访问的方法300的流程图。应当理解，方法300中示出的步骤仅仅是示意性的。例如，这些步骤可以按照不同的顺序执行甚至并行执行。此外，方法300也可以包括附加的步骤，替换某些步骤，或者省略某些步骤。

首先，在步骤S301，收集分布式存储系统的运行状态相关信息。

在步骤S302，获取与分布式存储系统中所存储的数据有关的元数据。根据一个实施方式，获取与分布式存储系统中所存储的数据有关的元数据包括周期性地从分布式存储系统获取元数据。根据另一个实施方式，获取与分布式存储系统中所存储的数据有关的元数据包括：接收数据的存储状态发生改变的通知；以及响应于通知而从分布式存储系统获取元数据。

在步骤S303，响应于来自客户端的请求，向客户端提供运行状态相关信息和与待访问的数据有关的元数据。根据一个实施方式，响应于来自客户端的请求，向客户端提供运行状态相关信息和与待访问的数据有关的元数据包括：响应于来自客户端的请求，从分布式存储系统收集运行状态相关信息以及从分布式存储系统获取元数据。

在步骤S304，对分布式存储系统中的存储节点进行扩展，以使得客户端能够利用运行状态相关信息和与待访问的数据有关的元数据直接访问存储节点。

根据某些实施方式，方法300进一步包括：将运行状态相关信息以及元数据存储于分布式存储系统中的信息存储库中。根据某些实施方式，响应于来自客户端的请求，向客户端提供运行状态相关信息和与待访问的数据有关的元数据包括：响应于来自客户端的请求，向信息存储库发送查询请求以获取运行状态相关信息和元数据；以及将从信息存储库中获取的运行状态相关信息和元数据提供给客户端。

应当理解，结合图3描述的方法300可以由结合图1描述的装置100来执行。特别地，方法300中的各个步骤可以由装置100中的相应单元来执行。由此，上文参考装置100描述的各种特征均适用于方法300中的各个步骤，在此不再赘述。

接下来参照图4，其示出了根据本发明一个实施方式的用于访问分布式存储系统中的数据的方法400的流程图。

在步骤S401，发送用于获取分布式存储系统的运行状态相关信息和与待访问的数据有关的元数据的请求。

在步骤S402，接收对请求的响应，响应中包含运行状态相关信息和元数据；以及

在步骤S403，利用运行状态相关信息和元数据直接访问分布式存储系统中的存储节点。

应当理解，结合图4描述的方法400可以由结合图2描述的装置200来执行。特别地，方法400中的各个步骤可以由装置200中的相应单元来执行。由此，上文参考装置200描述的各种特征均适用于方法400中的各个步骤，在此不再赘述。

下面参考图5，其示出了适于用来实践本发明实施方式的计算机系统500的示意性框图。例如，图5所示的计算机系统500可以用于实现如上文描述的用于促进对分布式存储系统中的数据的访问的装置100和用于访问分布式存储系统中的数据的装置200。

如图5所示，计算机系统可以包括：CPU(中央处理单元)501、RAM(随机存取存储器)502、ROM(只读存储器)503、系统总线504、硬盘控制器505、键盘控制器506、串行接口控制器507、并行接口控制器508、显示控制器509、硬盘510、键盘511、串行外部设备512、并行外部设备513和显示器514。在这些设备中，与系统总线504耦合的有CPU501、RAM502、ROM503、硬盘控制器505、键盘控制器506、串行控制器507、并行控制器508和显示控制器509。硬盘510与硬盘控制器505耦合，键盘511与键盘控制器506耦合，串行外部设备512与串行接口控制器507耦合，并行外部设备513与并行接口控制器508耦合，以及显示器514与显示控制器509耦合。应当理解，图5所述的结构框图仅仅为了示例的目的而示出的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况而增加或者减少某些设备。

如上所述，装置100和200可以实现为纯硬件，例如芯片、ASIC、SOC等。这些硬件可以集成在计算机系统500中。此外，本发明的实施方式也可以通过计算机程序产品的形式实现。例如，参考图3描述的方法300和参考图4描述的方法400可以通过计算机程序产品来实现。该计算机程序产品可以存储在例如图5所示的RAM502、ROM503、硬盘510和／或任何适当的存储介质中，或者通过网络从适当的位置下载到计算机系统500上。计算机程序产品可以包括计算机代码部分，其包括可由适当的处理设备(例如，图5中示出的CPU501)执行的程序指令。所述程序指令至少可以包括用于实现方法300和400的步骤的指令。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和／或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

说明书中提及的通信网络可以包括各类网络，包括但不限于局域网(“LAN”)，广域网(“WAN”)，根据IP协议的网络(例如，因特网)以及端对端网络(例如，ad hoc对等网络)。

应当注意，尽管在上文详细描述中提及了设备的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和／或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明，但是应该理解，本发明并不限于所公开的具体实施方式。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。