一种分布式文件系统中的条带化卷扩展数据迁移方法

摘要

一种分布式文件系统中的条带化卷扩展数据迁移方法，包括计算扩展卷RI和计算RI内的新卷位置；通过该计算方法可以迭代计算出原有子卷条带数据在卷扩展后的新存储位置，一次性将数据直接迁移到目标子卷，极大地降低了数据迁移开销，并且迁移后的条带数据在所有子卷上均匀分布，从而保证了文件系统的实时处理能力和并发操作性能，增大了IOPS和传输吞带宽。

说明书

技术领域

本发明涉及扩展数据迁移方法技术领域，尤其是一种分布式文件系统中的条带化卷扩展数据迁移方法。

背景技术

在分布式文件系统中，为提高并行存储的IOPS和传输带宽，可以采用条带化卷保存文件和读写数据。一个条带化卷包含若干条带化子卷。文件按照预设的条带大小被等分为各个数据块，这些条带数据按一定序列规则依次存放在条带化子卷中。因此，单个子卷里存储的不是完整的文件，而是文件的部分条带数据。当存储文件规模增大超出了现有卷容量时，需要对条带化卷进行扩展，增加子卷数量，扩大卷存储空间。为了提高扩展后的条带化卷的并发读写性能，需要从原有子卷向新子卷进行数据迁移操作。条带化子卷间的数据迁移目标是：1)使数据条带均匀分布在各子卷上，各卷条带数基本相等；2)尽量减少数据迁移次数，降低迁移开销。本专利提出一种新的分布式文件系统条带化卷扩展数据迁移技术，不论进行多大规模的子卷扩展，都能以最小的条带移动次数实现扩展操作，极大地降低了数据迁移开销，并时条带数据能在所有子卷上均匀分布，从而提高了文件系统的实时处理能力和并发操作性能，有效地增大了IOPS和传输吞吐量。

发明内容

针对上述问题，本发明旨在提供一种分布式文件系统中的条带化卷扩展数据迁移方法。

为实现该技术目的，本发明采用以下技术方案：一种分布式文件系统中的条带化卷扩展数据迁移方法，包括计算扩展卷RI和计算RI内的新卷位置；

其中在扩展卷RI计算中：计算N个扩展子卷的RI；

步骤一，从第1子卷扩展为2个子卷时，RI 2＝2；

步骤二，若扩展为N-1子卷时，第N-1卷的RIN-1＝k，则扩展至第N子卷的重复间隔为：

$>{\mathrm{RI}}_N=\mathrm{lcm}(N.k)=\frac{|N·k|}{\gcd (N.k)}$>

$>$ {\mathrm{RI}}_N=\frac{\left|N\right|}{\gcd (N.{\mathrm{RI}}_{N-1})}·\frac{|N-1|}{\gcd (N-1,{\mathrm{RI}}_{N-2})}···\frac{\left|4\right|}{\gcd \left(\mathrm{4,6}\right)}·\frac{\left|3\right|}{\gcd \left(\mathrm{3,2}\right)}·\frac{|2·1|}{\gcd \left(\mathrm{2,1}\right)};$>$

RIN＝小于等于N的全部质数的幂的乘积，其中每个质数的幂方小于等于N；例如：RI₅＝2²×3×5＝60，RI₆＝2²×3×5＝60；

在计算RI内的新卷位置中：计算RI内的新卷位置RI₁₀＝2³×3²×5×7＝2520；

步骤一，在内存中预先建立大小为RIN的映射表，可针对不同N建立多张表； 

步骤二，迭代计算：

一，对1至RIN个条带数据进行N次扩展迭代，在表中生成各个新子卷位置；

二，迭代公式：

假设条带化卷扩展为n个子卷，可将n个子卷看成n列，卷内每个数据块按行排列，每个子卷每行为一个数据块；对于任意数据块a， 若其在条带化卷内的位置坐标为(x_n，a，y_n，a)，xn，a为a所在子卷数，yn，a为a所在子卷内行数，则可以通过下列公式迭代求解(x_n，a，y_n，a)，

或者

其中，q为yn-1，a除以n的整数部分；

(3)扩展子卷N＜＝4的直接计算公式：

$>$ \left(\begin{array}{cccc}2x& & & N=2\\ 6x-1,& 6x& & N=3\\ 12x-3,& 12x-2,& 12x& N=4\end{array}\right).$>$

与现有技术相比，本发明的有益效果是：通过上述计算方法可以迭代计算出原有子卷条带数据在卷扩展后的新存储位置，一次性将数据直接迁移到目标子卷，极大地降低了数据迁移开销，并且迁移后的条带数据在所有子卷上均匀分布，从而保证了了文件系统的实时处理能力和并发操作性能，增大了IOPS和传输吞带宽。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例中，一种分布式文件系统中的条带化卷扩展数据迁 移方法，包括计算扩展卷RI和计算RI内的新卷位置；由于逐卷迭代的方式遵循一定规律，因此，当前子卷条带一次性重分布到N个扩展卷也是有规律行为。通过分析发现，依次计算各个条带在N个子卷的新位置时，经过一定的条带数量间隔，计算出的新位置会出现周期性重复，这个重复数称为N个条带化子卷的重复间隔，记为RI。

如果能知道出RI内的条带分布位置，就知道了全部条带的扩展后新卷位置。

其中在扩展卷RI计算中：计算N个扩展子卷的RI；

步骤一，从第1子卷扩展为2个子卷时，RI 2＝2；

步骤二，若扩展为N-1子卷时，第N-1卷的RIN-1＝k，则扩展至第N子卷的重复间隔为：

$>{\mathrm{RI}}_N=\mathrm{lcm}(N.k)=\frac{|N·k|}{\gcd (N.k)}$>

$>$ {\mathrm{RI}}_N=\frac{\left|N\right|}{\gcd (N.{\mathrm{RI}}_{N-1})}·\frac{|N-1|}{\gcd (N-1,{\mathrm{RI}}_{N-2})}···\frac{\left|4\right|}{\gcd \left(\mathrm{4,6}\right)}·\frac{\left|3\right|}{\gcd \left(\mathrm{3,2}\right)}·\frac{|2·1|}{\gcd \left(\mathrm{2,1}\right)};$>$

RIN＝小于等于N的全部质数的幂的乘积，其中每个质数的幂方小于等于N；例如：：RI₅＝2²×3×5＝60，RI₆＝2²×3×5＝60；

在计算RI内的新卷位置中：计算RI内的新卷位置RI₁₀＝2³×3²×5×7＝2520；

步骤一，在内存中预先建立大小为RIN的映射表，可针对不同N建立多张表； 

步骤二，迭代计算：

一，对1至RIN个条带数据进行N次扩展迭代，在表中生成 各个新子卷位置；

二，迭代公式：

假设条带化卷扩展为n个子卷，可将n个子卷看成n列，卷内每个数据块按行排列，每个子卷每行为一个数据块；对于任意数据块a，若其在条带化卷内的位置坐标为(x_n，a，y_n，a)，xn，a为a所在子卷数，yn，a为a所在子卷内行数，则可以通过下列公式迭代求解(x_n，a，y_n，a)，

或者

其中q为yn-1，a除以n的整数部分；

(3)扩展子卷N＜＝4的直接计算公式：

$>$ \left(\begin{array}{cccc}2x& & & N=2\\ 6x-1,& 6x& & N=3\\ 12x-3,& 12x-2,& 12x& N=4\end{array}\right);$>$

数据迁移次数最小的证明(略)；

数据均匀重分布的证明(略)。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和 范围内的所有变化囊括在本发明内。不应将权利要求中的任何标记视为限制所涉及的权利要求。

以上所述，仅为本发明的较佳实施例，并不用以限制本发明，凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同替换和改进，均应包含在本发明技术方案的保护范围之内。