在数据存储子系统中的源引用复制

摘要

一种将数据从第一数据存储设备复制至第二数据存储设备的方法。根据该方法，在将数据从所述第一数据存储设备复制到所述第二数据存储设备之前，可以将与待复制的数据有关的元数据传送到所述第二数据存储设备，所述元数据包括关于待复制的数据的信息和标识路径的路径标识符，所述第二数据存储设备能够通过该路径远程访问在所述第一数据存储设备的所述数据直到待复制的所述数据被拷贝到所述第二数据存储设备。

说明书

技术领域

本公开一般涉及用于数据复制的系统和方法。特别地，本公开涉及在数 据存储子系统或信息处理系统中的源引用(source reference)复制。

背景技术

随着信息的价值及使用的持续增加，个人和企业也在寻求额外的方式来 处理和储存信息。一个用户可用的选择是信息操作(handling)系统。信息 操作系统通常处理、编译、储存和/或传递信息或数据以用于企业、个人或其 他目的，从而允许用户利用信息的价值。因为技术和信息操作需要并要求在 不同用户或应用之间变化，所以信息操作系统也可能发生以下变化：操作什 么信息、怎样操作信息、多少信息被处理、储存或传递，及处理、储存或传 递信息能有多快及多有效。信息操作系统中的变化考虑到信息操作系统的一 般性或配置用于特定用户或诸如金融交易处理、预订机票、企业数据存储或 全球通信的特定使用。此外，信息操作系统可以包括各种硬件和软件组件， 该组件可以被配置为处理、储存和传递信息并可以包括一个或多个计算机系 统、数据存储系统和网络连接系统。

随着越来越多的信息或数据在此类信息操作系统中被电子地进行储存 和处理，用于保持数据安全、快速可存取和容错的装置已经变得越发重要。 类似地，在共同数据的存储上增加的规则已经导致在维持和保护数据中更加 仔细。

数据复制包含共享信息或数据的过程，以在冗余资源之间确保一致性并 提高可靠性、容错和/或可存取性。在许多情况下，复制可以跨越计算机网络， 诸如因特网，以使得物理存储设备可以位于物理上的远程位置中。数据复制 的一个目的是防止可能在一个位置发生的故障或灾害造成的损害，或者在此 类事件发生的情况下，提高恢复能力。数据复制的另一目的是许可至多个位 置处的相同数据的本地访问。

然而，传统技术通常在数据在目的站点(site)被使用之前，需要将数 据从源系统或站点复制发送到目的系统或站点，同时目的站点对于复制数据 毫不知情，直到数据已经实际上到达目的站点。该技术使得大量数据的复制 工作极其艰巨，在网络上将全部数据复制到目的站点可能耗费极长的时间。 过程可能变得如此耗时，使得移动硬盘常常被用于在物理上将大量数据传递 至目的站点，而不是使用网络来传输。

因此，在本领域具有提供更高性价比和/或更有效的数据复制过程的需 求。更特别地，在本领域具有如于此涉及的源引用复制的需求。

发明内容

在一个实施方式中，本公开涉及一种将数据从第一数据存储设备复制至 第二数据存储设备的方法。根据该方法，在将数据从所述第一数据存储设备 复制到所述第二数据存储设备之前，可以将与待复制的数据有关的元数据传 送到所述第二数据存储设备，所述元数据包括关于待复制的数据的信息和标 识路径的路径标识符，所述第二数据存储设备能够通过该路径远程访问在所 述第一数据存储设备的所述数据直到待复制的所述数据被拷贝到所述第二 数据存储设备。在一个实施方式中，元数据可以经由计算机网络被传送。第 一数据存储设备可以位于源站点，及第二数据存储设备可以位于远程目的站 点。在待复制的所述数据还未被拷贝到所述第二数据存储设备时，一旦用户 请求所述目的站点访问待复制的所述数据，就可以利用在所述元数据中提供 的所述路径标识符来远程访问在所述第一数据存储设备的所述数据。该方法 可以进一步包括利用所述路径标识符检索并本地储存所访问的数据的副本， 并在所述元数据中指示该数据已经被复制到所述第二数据存储设备。源站点 还可以被告知所检索的数据已经被复制到所述第二数据存储设备。该方法可 以进一步包括将待复制的数据拷贝到所述第二数据存储设备。然而，在一些 实施方式中，仅还未被标识为已经检索并复制到所述第二数据存储设备的待 复制的数据的一部分可以被拷贝到所述第二数据存储设备。

在另一实施方式中，本公开涉及一种具有第一数据存储子系统和第二数 据存储子系统的信息操作系统，所述第一数据存储子系统包括待复制到所述 第二数据存储子系统的数据，及所述第二数据存储子系统包括元数据，该元 数据包括关于待复制的所述数据的信息和路径标识符，该路径标识符用于远 程访问在所述第一数据存储子系统的所述数据直到待复制的所述数据被拷 贝到所述第二数据存储子系统。所述第一数据存储子系统和第二数据存储子 系统可以经由计算机网络远程连接，及在所述第二数据存储子系统的所述元 数据经由所述网络被从所述第一数据存储子系统传送。一旦用户请求所述第 二数据存储子系统访问待复制的所述数据，所述第二数据存储子系统就可以 利用在所述元数据中提供的所述路径标识符经由所述计算机网络来访问在 所述第一数据存储子系统的所述数据。由所述第二数据存储子系统利用在所 述元数据中提供的所述路径标识符经由所述计算机网络访问的数据可以被 检索并本地储存在所述第二数据存储子系统，及所述元数据可以被更新以反 映出该数据已经被复制到所述第二数据存储子系统。对于检索并本地存储在 所述第二数据存储子系统的所述数据，所述第一数据存储子系统还可以被告 知所检索的数据已经被复制到所述第二数据存储子系统。在对待复制的所述 数据的随后复制过程期间，其中待复制的所述数据被拷贝到所述第二数据存 储子系统，之前检索并本地存储在所述第二数据存储子系统的所述数据可以 从所述复制过程移除，从而不被拷贝至所述第二数据存储子系统。

在另一实施方式中，本公开涉及一种用于链接(chaining)在多个数据存储 子系统之间的数据复制的方法，所述多个数据存储子系统具有多个源-目的 子系统对，以使得对于每个对，第一数据存储子系统是源及第二数据存储子 系统是目的地，所述方法包括对于每个源-目的子系统对，在将数据从所述 第一数据存储子系统复制到所述第二数据存储子系统之前，将与待复制的数 据有关的元数据传送至所述第二数据存储子系统，所述元数据包括关于待复 制的所述数据的信息和标识完整路径的至少一部分的路径标识符，所述第二 数据存储设备通过该完整路径的至少一部分能够远程访问所述数据直到待 复制的所述数据被拷贝到所述第二数据存储设备。路径的所述至少一部分包 括至所述第一数据存储子系统的路径，且所述第二数据存储设备通过其能够 远程访问所述数据的所述完整路径中剩余部分可以包括由元数据在所述第 一数据存储子系统标识的路径(如果必要的话)。在一个实施方式中，所述 第一数据存储子系统是在第一源-目的子系统对中的源并且是在第二源-目的 子系统对中的目的地，且由元数据在所述第一数据存储子系统标识的所述路 径包括至第三数据存储子系统的路径，该第三数据存储子系统是在所述第二 源-目的子系统对中的源。该方法还进一步包括将待复制的所述数据拷贝到 所述第二数据存储系统。然而，在待复制的所述数据还未被拷贝到所述第二 数据存储设备时，一旦用户请求所述第二数据存储子系统访问待复制的所述 数据，该方法可以包括经由所述完整路径来远程访问所述数据。

虽然公开了多个实施方式，但是本公开的其他实施方式根据以下具体描 述对于本领域技术人员来说是显而易见的，以下具体描述显示并描述了本发 明所示的实施方式。应当意识到的是，本公开的各个实施方式能够以各种明 显的方面进行修改，而不会背离本公开的思想和范围。相应地，附图和具体 描述将被视为实际上是说明性的而不是限制性的。

附图说明

虽然说明书采用特别指出并明确要求了被认为是形成了各种本公开的 实施方式的主题的权利要求作为结论，但是应当相信本发明将结合附图通过 以下说明进行更好的理解。

图1是适合本公开的各种实施方式的磁盘(disk)驱动系统的示意图。

图2是根据本公开的一个实施方式的用于源引用复制的系统的示意图。

图3是根据图2的实施方式的用于源引用复制的系统的示意图，示出了 对利用储存在元数据中的路径信息的数据的请求。

图4是根据本公开的另一实施方式的用于源引用复制的系统的示意图。

图5是根据图4的实施方式的用于源引用复制的系统的示意图，示出了 对利用储存在元数据中的路径信息的数据的请求。

具体实施方式

本公开涉及用于数据复制的新颖且有益的系统和方法。特别地，本公开 涉及用于在数据存储子系统或信息操作系统中进行源引用复制的新颖且有 益的系统和方法。

为了本公开的目的，信息操作系统可以包括任何手段或可操作为以下的 手段的集合：计算、计量、确定、分类、处理、传送、接收、检索、引起、 转换、储存、显示、通信、表明、检测、记录、再生、操作或利用任何形式 的信息、智能或商业、科学、控制或其他目的的数据。例如，信息操作系统 可以为个人计算机(如，台式机或笔记本电脑)、平板电脑、移动设备(如， 个人数字助理(PDA)或智能电话)、服务器(如，刀片式服务器或机架式 服务器)、网络存储设备或任何其他适合的设备，还可以改变大小、形状、 性能、功能和价格。信息操作系统可以包括随机存取存储器(RAM)、诸如 中央处理单元(CPU)或硬件或软件控制逻辑的一个或多个处理资源、ROM 和/或其他类型的非易失性存储器。信息操作系统的额外组件可以包括一个或 多个磁盘、用于与外部设备通信的一个或多个网络端口以及各种输入和输出 (I/O)设备，诸如键盘、鼠标、触摸屏和/或视频显示器。信息操作系统还 可以包括一个或多个可操作为传送各种硬件组件之间的通信的总线。

虽然各个实施方式不限于任何特定类型的信息操作系统，但是本公开的 系统和方法特定地在磁盘系统或虚拟磁盘系统的场景(context)中是有用的， 诸如在2009年11月03日公开的美国专利No.7,613,945中描述的名称为 “Virtual Disk Drive System and Method”的磁盘系统，该申请的全部通过引 用的方式结合于此。这种磁盘系统基于例如RAID至磁盘的映射，通过动态 分配跨越存储的页面池、或磁盘存储块矩阵的用户数据及多个磁盘来允许数 据的有效存储。一般而言，动态分配向用户服务器呈现出虚拟磁盘设备或磁 盘卷(volume)。对于服务器，磁盘卷担当与传统存储一样的作用，诸如磁盘， 还提供了多个存储设备的存储抽象，诸如RAID设备，以创建动态的大小合 适的存储设备。根据例如但不限于数据类型或数据访问模式，数据调度 (progression)可以被用于此类磁盘系统中以将数据逐渐地移至用于数据的 适当的全部成本的存储空间。一般而言，数据调度可以确定磁盘系统中存储 的成本，考虑了例如物理存储设备的货币成本和/或逻辑存储设备的RAID等 级。基于这些确定，数据调度可以移动数据，相应地使得数据被存储在具有 最合适成本的可用存储上。此外，通过在例如预定时间间隔、用户配置的动 态时间戳(诸如每几分钟或几小时等)，或在由服务器指定的时间，自动地 生成和储存快照或系统的时间点副本或磁盘存储块的矩阵，此类磁盘系统可 以保护数据以防止例如系统故障或病毒攻击。这些时间戳快照许可数据在系 统出现故障之前从先前的时间点进行数据恢复，从而将系统修复为存在于该 时间点。这些快照或时间点副本也可以由系统或系统用户用于其他目的，诸 如但不限于测试，而主存储能够保持运行。通常，使用快照能力，用户可以 查看如在之前的时间点存在存储系统的状态。

图1示出了信息操作系统环境102中磁盘或数据存储系统100的一个实 施方式，诸如在美国专利No.7,613,945中所公开的，并且适合本公开的各个 实施方式。如图1所示，磁盘系统100可以包括数据存储子系统104和磁盘 管理器106，该数据存储子系统104可以包括(本领域技术人员理解的)RAID 子系统，该磁盘管理器106具有至少一个磁盘存储系统控制器。数据存储子 系统104和磁盘管理器106可以基于例如RAID至磁盘的映射或其他存储映 射技术来动态分配跨越多个磁盘108的磁盘空间的数据。

如以上所描述的，随着越来越多的信息或数据在如上所描述的此类信息 操作系统中被电子地进行储存和处理，用于保持数据安全、快速可存取和容 错的装置已经变得越发重要。在这一点上，数据复制为共享信息或数据提供 支持，以在冗余资源之间确保一致性并提高可靠性、容错和/或可存取性。然 而，传统的异步复制技术通常在数据能够在目的站点被使用之前，需要将数 据从源系统或站点复制发送到目的系统或站点，同时目的站点对于复制数据 毫不知情，直到数据已经实际上到达目的站点。该技术使得大量数据的复制 工作极其艰巨，在网络上将全部数据复制到目的站点可能耗费极长的时间。 过程可能变得如此耗时并令人恼火，使得移动硬盘常常被用于在物理上将大 量数据传递至目的站点，而不是使用网络来传输。

本公开改进了储存在数据存储系统或其他信息操作系统(诸如但不限于 在美国专利No.7,613,945中描述的数据存储系统的类型)中的数据的复制过 程。特别地，本公开涉及(于此意为适用于但并非通过名称限制)数据存储 子系统或信息操作系统中的源引用复制。所公开的改进能够提供更高性价比 和/或更有效的数据复制过程。

通常，在数据从源站点或系统复制到目的站点或系统之前或期间，源引 用复制可以包含将元数据发送至目的站点，该元数据涉及待从源站点复制到 目的站点的数据或从源站点复制到目的站点的过程中的数据。对于已经全部 从源站点复制到目的站点的数据，所传送的元数据可以允许目的站点引用回 至数据的源位置以检索来自源站点的数据，从而在实际的数据复制执行或完 成之前，允许在目的站点的用户或经由目的站点访问数据的用户访问待复制 的数据。

更特别地，根据本公开的一个实施方式，如图2所示，诸如但不限于经 由网络或通过物理传递(利用移动硬盘或其他便携式存储设备)，数据206 可以从源站点或系统205被复制到目的站点或系统204。如将在这里被认识 到，然而，在许多情况下，对于甚至大量的数据，于此所描述的源引用复制 的各个实施方式可以允许更有效使用经由网络的复制。

与传统的复制技术不同，如图2所示，在数据206从源站点205被发送 之前或者在传递最初开始时或甚至有时在传递期间，源站点可以发送元数据 208至目的站点204，该元数据208提供了关于或描述相应数据的信息，该 相应数据为将要或正在复制至或发送至目的的数据。元数据208可以包括但 不限于名称、大小、权限、所有权、唯一标识符或任何其他合适的或适当的 信息。元数据208还可以包括路径或路径标识符210，该路径或路径标识符 210标识了源站点202处的数据206的位置或至数据206的路径，并因而元 数据208能够被目的站点204使用或跟随(follow)，从而访问在源站点的数 据直到数据已经被复制到目的站点。传送至目的站点204的元数据208一般 来说对于允许目的站点208向在目的站点的数据的任意潜在用户描述期望的 数据206来说是足够的，用户看起来好像是实际上储存本地数据的目的站点 需要，而并不需要访问在目的站点的数据。

相应地，基于来自所发送的元数据208的可用信息，目的站点204通常 在复制过程期间的任意时间能够呈现待复制到其用户的数据。如果对数据 206的请求在其用户中的一者的目的站点204进行或通过该目的站点204进 行，且数据还没有被复制到目的站点，则目的站点可以利用路径或路径标识 符210及来自元数据的潜在的任何其他可用信息，来访问和检索来自源站点 202的数据206，如图3所示。任何已经被配置用于系统并允许数据在带内 或带外被传送至请求的目的地的适当的原理可以被采用，并包括但不限于至 云的块接口、网络文件系统、网服务接口等。

根据一些实施方式，访问和检索的数据206可以被拷贝302并本地储存 在目的站点204以用于进一步的本地访问。在这一点上，目的站点204从那 时起能够在本地将数据呈现给用户，并且，虽然在所有实施方式中不是必要 的，但是应当改变元数据208或其他指示符以反映出数据206已经被复制。 源站点202还可能被告知数据206已经被复制以避免数据再次被发送及浪费 带宽。

一旦元数据208被发送至目的站点204，或者在一些实施方式中正处于 发送的过程中，源站点202就可以开始传送将要被复制206到目的站点的实 际数据。如以上描述的，数据可以经由合适的装置从源站点202被复制到目 的站点，诸如经由网络或通过物理传递。通常，采用传统复制技术，对于大 量数据的传递，复制过程在经由网络传递时可能变得如此耗时并令人恼火， 以使得便携式存储设备常常代替用于物理上传递大量数据至目的站点。然 而，根据本公开的各个实施方式，由于元数据208通过源站点202发送至目 的站点204，所以目的站点204一般具有足够的可用信息来在目的站点向数 据的任意潜在用户描述所期望的数据206，用户看起来好像是数据实际上被 储存在目的站点并且是本地可访问的。此外，如果任何用户需要在其复制到 目的站点204之前访问数据206，那么元数据208就包括路径或路径标识符 210，该路径或路径标识符210许可目的站点在源站点202远程存取数据， 直到数据已经被复制到目的站点。在这一点上，实际数据复制过程可以更随 意地执行或在不会引起任何有疑问的延迟问题的情况下以减小的或优先化 的速度执行。同样地，在许多情况下，对于甚至大量数据，于此描述的源引 用复制的各个实施方式可以许可经由网络更有效地使用复制。

当然，在另一实施方式中，数据206不必在单独的复制过程中随后被拷 贝，但是能够根据需要或根据请求替代缓慢移动或被发送至目的站点204。 在这一点上，与复制过程相关联的时间、成本和带宽使用可以大大减少或覆 盖更大的时间跨度。这种类型的缓慢移动复制适于于此描述的各个实施方式 的任意一者，包括以下描述的额外的实施方式。

在进一步的实施方式中，如图4和图5所示，源引用复制允许链接复制 站点或复制过程。在一个示例性实施方式中，源站点402可以复制其数据404 或其部分至第一目的站点406，该第一目的站点406接着可以作为复制相同 或不同数据至第二目的站点408的源。

如针对复制的一个实例所描述的，在数据404被从源站点402发送之前， 或者在传递最初开始时或甚至有时在传递期间，源站点可以发送元数据410 至第一目的站点406，该元数据410提供了关于或描述相应数据的信息，该 相应数据为将要或正在被复制至或发送至第一目的站点的数据，如图4所示。 除了以上描述的任何其他合适的或适当的信息之外，元数据410还可以包括 路径或路径标识符412，该路径或路径标识符412标识了源站点402处的数 据404的位置或至数据404的路径，并因而元数据410能够被第一目的站点 406使用或跟随，从而访问在源站点的数据直到数据已经被复制到第一目的 站点。如以上注意的，传送至第一目的站点406的元数据410一般来说对于 允许第一目的站点向在第一目的站点的数据的任意潜在用户描述期望的数 据206来说是足够的，用户看起来好像是实际上储存本地数据的第一目的站 点需要(其实并不需要)实际上将要在第一目的站点的数据。

相应地，基于来自所发送的元数据410的可用信息，第一目的站点406 通常在复制过程期间的任意时间能够呈现待复制或正在复制到其用户的数 据。如果对数据404的请求在其用户中的一者的第一目的站点406进行或通 过该第一目的站点406进行，且数据还没有被复制到第一目的站点，则第一 目的站点可以利用路径或路径标识符412及来自元数据的潜在的任何其他可 用信息，来访问和检索来自源站点202的数据404，如图5所示。访问和检 索的数据404可以被拷贝302并本地储存在第一目的站点406以用于进一步 的本地访问。在这一点上，第一目的站点从那时起能够在本地将数据呈现给 用户，并且，虽然在所有实施方式中不是必要的，但是应当改变在第一目的 站点的元数据410或其他指示符以反映出数据404已经被复制。源站点402 还可能被告知数据404已经被复制以避免数据再次被发送及浪费带宽。一旦 元数据410被发送至第一目的站点406，或者在一些实施方式中正处于发送 的过程中，源站点402就可以开始传送实际复制数据404至第一目的站点， 如以上所讨论的。

以类似的方式，在所示的链接的复制系统中，在数据404被从第一目的 站点406发送之前，或者在传递最初开始时或甚至有时在传递期间，第一目 的站点或源站点402可以发送元数据410至第二目的站点408，该元数据410 提供了关于或描述相应数据的信息，该相应数据为将要或正在被复制至或发 送至第二目的站点的数据。如以上具体描述的，除了任何其他合适的或适当 的信息之外，元数据410还可以包括路径或路径标识符412，该路径或路径 标识符412标识了第一目的站点404或源站点402处的数据的位置或至该数 据的路径，并因而元数据410能够被第二目的站点406使用或跟随，从而访 问在第一目的站点或源站点的数据直到数据已经被复制到第二目的站点。正 如以上所描述的实施方式，传送至第二目的站点406的元数据410一般来说 对于允许第二目的站点向在第二目的站点的数据的任意潜在用户描述期望 的数据404来说是足够的，用户看起来好像是实际上储存本地数据的第二目 的站点需要，而其实并不需要访问在第二目的站点的数据。

相应地，基于来自所发送的元数据410的可用信息，第二目的站点408 通常在复制过程期间的任意时间能够呈现待复制或正在复制到其用户的数 据。如果对数据404的请求在其用户中的一者的第二目的站点408进行或通 过该第二目的站点408进行，且数据还没有被复制到第二目的站点，则第二 目的站点可以利用路径或路径标识符412及来自元数据的潜在的任何其他可 用信息，来访问和检索数据404。在更广义的程度，如果在任何时间，用户 请求还没有被复制到期本地站点的数据，则本地站点可以请求来自本地站点 的暂时源的数据；如果暂时源也不具有所复制的数据，则暂时源可以向该暂 时源的源请求，等等。然而，应当认识的是任何目的站点可以请求、访问和 检索来自任何在先源的数据，其中数据基于在元数据410中提供的路径信息 是可用的。访问和检索的数据可以被拷贝504并本地储存在第二目的站点 408以用于进一步的本地访问。在这一点上，第二目的站点408从那时起能 够在本地将数据呈现给用户，并且，虽然在所有实施方式中不是必要的，但 是应当改变在第二目的站点的元数据410或其他指示符以反映出数据404已 经被复制。第一目的站点402或其他源站点(复制已经从该源站点执行)还 可能被告知数据404已经被复制以避免数据再次被发送及浪费带宽。一旦元 数据410被发送至第二目的站点408，或者在一些实施方式中正处于发送的 过程中，第一目的站点406或其他源站点(复制已经从该源站点执行)就可 以开始传送实际复制数据404至第二目的站点，如以上所讨论的。

一般来说，因为每个站点可以转发其接收到的元数据至链接复制系统中 的随后的目的站点，如图4和图5所示，所以包括最终目的站点的每个目的 站点可以将数据呈现给用户，好像所复制的数据在本地被即时存储。如果在 任何时间，未被复制到目的站点的数据在目的站点被用户请求，则目的站点 可以请求来自该目的站点的源的数据，并且该请求可以一直被转发直至最初 的源目的地(如果必要的话)。因而，根据本公开的各个实施方式的源引用 复制提供比采用传统复制技术未能提供的复制效率。

确实，与源引用复制有关的本公开的各种实施方式在用于数据复制的传 统系统和方法上具有重大意义。例如，本公开的各个实施方式可以以多个方 式降低成本，包括但不限于：减少总带宽拥塞；减少可视复制时间；减少对 物理上传递复制数据的需求，并增加对在目的站点的所复制的数据的即时访 问。

在之前的描述中，本公开的各个实施方式已经处于示出和描述的目的被 呈现。这些实施方式并不是穷尽的或者并非旨在将本发明限于所公开的严格 的形式。按照以上的启示，可以进行各种修改或变型。各个实施方式被选择 和描述是为了提供本公开的原理的最佳说明，并使本领域技术人员能够利用 适于预期的特定使用的各种实施方式及各种修改。所有这些修改和变型均在 所附权利要求确定的在本公开的范围之内，在根据广度进行解释时这些修改 和变型是公平、公正、合法的。