一种对象存储系统中对象迁移的计算方法

摘要

本发明提供一种对象存储系统中对象迁移的计算方法，给出各OSD节点的存储性能指标定义，以OSD节点的容量、IO性能和带宽作为节点负载的指标，同时针对各OSD节点特点，对三项指标进行加权，得出OSD节点的整体负载的计算方法。定义了对象存储系统整体负载能力和整体均衡系数的计算方法。给出了对象存储系统中对象迁移目的节点的选择方法，以节点迁移后系统整体负载均衡系数最小为条件选择对象迁移目标。充分发挥对象存储系统的各项性能，对存储系统的性能调优和数据分级提供了良好的支持。

说明书

技术领域

本发明涉及对象存储技术领域，具体涉及一种对象存储系统中对象迁移的计算方法。   

背景技术

对象存储技术就是在存储系统中以对象作为数据存储和组织管理的基本单位，向外提供对象资源和操作接口。

对象存储技术的主要技术优势在于综合了传统存储系统的NAS和SAN 结构的优点，在保证系统高带宽、高可靠性和强容错能力的同时提供数据的安全共享。

对象存储系统主要由存储设备、文件系统和网络组成。其中存储设备负责对象的存储和组织管理，主要包括MDS（Metadata Server）和OSD（Object-based Storage Device）；文件系统沟通上层应用程序和底层存储设备，负责将应用程序的文件请求下发到MDS和OSD；网络负责系统客户端、MDS和OSD的数据互连和安全认证。

由于对象存储系统是以对象作为数据存储和管理的基本单位，因此系统的性能指标调优和负载均衡都是基于对象管理的。由于对象存储系统的分布式特征，因此系统中的增加和删除、系统故障恢复、负载均衡和热点数据分级等特性的实现均需要对对象进行迁移。

对对象的迁移主要解决三个问题：迁移什么对象、对象迁移到什么节点、如何迁移对象。需要迁移的对象主要是存储系统中的热点数据和高负载节点中的对象，这些对象的特点是所在节点的负载较高，需要将部分对象迁移到负载较低的节点中，实现负载均衡。至于如何对对象进行迁移，不同的存储系统的实现策略都不相同。

目前的对象存储系统中，对节点的负载均衡的考量主要是节点的存储容量，即节点可用空闲空间较小，则认为节点负载较高，反之节点可用空间较大，则节点负载较低。但是存储系统的整个性能指标有多个，如容量、带宽、IOPS等，同时由于目前出现了大量的轻量web应用需求，大量小文件的传输需求逐步增多，因此大多数对象存储系统对对象迁移采用节点存储容量负载作为单一评判标准的做法，与实际存储系统性能调优目标之间有所出入。 

发明内容

为了解决上述技术问题，本发明提出一种对象存储系统中对象迁移的计算方法，以容量、IOPS和带宽三个性能指标为评判标准，对对象存储系统中对象的迁移进行计算，可以提高对象存储系统的容量、IOPS性能，同时更加灵活地支持对象存储系统适应不同的实际应用场景，实现不同的存储策略。

一种对象存储系统中对象迁移的计算方法，包括：

S1：规定系统中每个OSD节点的性能指标有三种：容量C、IO性能P和节点带宽B，其中每种性能指标又分为下阈值、上阈值和性能上限。同时规定节点负载为L_i，节点负载同样具有下阈值和上阈值。其中i为节点编号；

S2：规定对象存储的负载均衡系数为V；

S3：节点对象迁入和迁出判定标准为：若节点当前负载L_i小于下阈值L_Li时，节点允许对象迁入；若节点当前负载L_i大于上阈值L_Hi时，节点中对象允许迁出；若节点当前负载L_i在上阈值和下阈值之间时，认为节点当前负载适中，不允许对象迁出，但允许对象迁入；

S4：若系统中存在对象迁移需求，规定待迁移对象为O_j，对象所需消耗节点负载为OCL_j，则对象迁移目的节点计算方法如下：

公式1

上述条件是一个0-1规划问题，可通过算法进行求解。由此得出的节点i即为对象所要迁入的节点。

特别地，所述S1中节点每种性能指标的上下阈值和上限为：

C_L：容量下阈值

C_H：容量上阈值

C_M：容量上限

P_L：IO性能下阈值

P_H：IO性能上阈值

P_M：IO性能上限

B_L：带宽下阈值

B_H：带宽上阈值

B_M：带宽上限

 由于OSD节点的各项性能指标之间存在互相影响的关系，规定以OSD节点的每个性能指标参数的增加引起其它性能指标的降低的临界值作为该项性能指标的下阈值，以OSD节点的每个性能指标参数的增加会引起其它性能指标显著下降的临界值作为该项性能指标的上阈值，以OSD节点的实际物理存储设备能够达到的各存储性能的上限为各性能指标参数的上限值。

节点的负载L_i计算方法为：

，其中 公式2

节点负载L的上阈值为L_H，下阈值为L_L。

节点计算方法中的w为加权系数，用于表征节点的存储能力特征。有的节点存储容量大但是IOPS较小，相对应节点的w_ci就较小而w_pi较大。

特别地，所述S2中系统负载均衡系数计算方法为：

   公式3

   公式4

其中，V₀用于表征系统整体的负载能力，其数值较大说明系统综合负载能力强。

特别地，所述步骤S3中所述相应的操作具体为先在内存坏块表中查看所述扇区是否已经留有记录，如果确认有所述扇区的记录，就跳过此扇区，将数据写入别的扇区；如果内存坏块表中没有目标扇区的记录，则将数据写入该扇区。

采用了多种OSD节点存储性能指标，以节点容量、IO性能和带宽为指标，通过加权平均的方法定义了节点的整体负载和对象存储系统的整体负载能力和负载均衡系数，同时对对象和OSD节点按照存储特性进行分类，充分发挥了对象存储系统的各项性能。

给出各OSD节点的存储性能指标定义，以OSD节点的容量、IO性能和带宽作为节点负载的指标，同时针对各OSD节点特点，对三项指标进行加权，得出OSD节点的整体负载的计算方法。定义了对象存储系统整体负载能力和整体均衡系数的计算方法，对象存储系统整体负载能力定义为系统中所有OSD节点的各项性能指标的加权平均，以对象存储系统各OSD节点的负载与系统负载能力的有方差作为系统整体负载均衡系数。给出了对象存储系统中对象迁移目的节点的选择方法，以节点迁移后系统整体负载均衡系数最小为条件选择对象迁移目标。提出的所述方法在现有对象存储系统中以OSD节点容量为负载指标的基础上，增加了对OSD节点的IO性能和带宽两个性能指标，使得对象存储系统能够更加灵活地适应不同的业务场景和存储策略需求，充分发挥对象存储系统的各项性能，对存储系统的性能调优和数据分级提供了良好的支持。

弥补了现有对象存储系统中以OSD节点的容量作为节点负载的单一指标的不足，使得对象存储系统能够更加灵活地适应不同的业务场景和存储策略需求。同时对存储系统的性能调优和数据分级存储提供了良好的支持。

本发明的有益效果是：采用本发明提出的对象迁移计算方法，能够综合考虑存储系统中节点的多项性能指标，也可以针对系统中单个节点的性能调整参数，使得对象存储系统适应不同的业务需求场景和不同的存储策略的方式更加灵活，充分发挥存储系统的性能，提高存储资源利用率。 

附图说明

图1是对象存储系统的结构图。

图2是一个实际对象存储系统中各OSD负载情况示意图。

具体实施方式

下面对本发明的内容进行更加详细的阐述：

下面参照附图2，对本发明的内容以一个具体实例来描述本发明提供的所述方法。

图2中一个OSD负载过高，存在热点对象需要进行迁移，OSD1、OSD2和OSD3均可迁入对象。其中，OSD1容量最大，但是IOPS和带宽均最小，适合存储大数据量且访问频率较小的对象；OSD2容量最小，但IOPS和带宽最大，适合存储小数据量且访问频率高的对象；OSD3的容量、IOPS和带宽都很平均，适合存储对各项性能指标均有需求的对象。

对各OSD的各项负载性能指标加权参数，根据当前OSD性能特点进行设置。

OSD1对于IOPS和带宽敏感，则将其在公式2中的w_p和w_b设置为较大值，而将w_c设置为较小值。这样若待迁移对象是不经常访问的大对象，则经过公式1计算后会得出该对象存储于OSD1中会最大程度降低系统整体负载均衡系数。

OSD2对于容量敏感，则将其在公式2中的w_c设置为较大值，而将w_p和w_b设置为较小值。这样若待迁移对象是经常访问的小对象，则经过公式1计算后会得出该对象存储于OSD2中会最大程度降低系统整体负载均衡系数。

OSD3的各项存储指标都较为均衡，所以将其在公式2中的w_c、w_p和w_b设置为适中的值。这样若待迁移对象大小适中且有一定的访问频率，则经过公式1计算会得出该对象存储于OSD3中会最大程度降低系统整体负载均衡系数。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，如增加OSD存储性能指标等，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。