基于NDMP协议的NAS数据备份和文件细粒度浏览恢复方法

摘要

本发明涉及一种基于NDMP协议的NAS数据备份和文件细粒度浏览恢复方法，该方法通过NDMP协议将NAS设备中的数据备份至备份一体机中，所述备份一体机中运行有DMA模块和第一NDMP服务器，所述NAS设备中运行有第二NDMP服务器，所述备份方法包括以下步骤：A1)建立DMA模块和第一NDMP服务器间、DMA模块和第二NDMP服务器间的控制连接以及第一NDMP服务器和第二NDMP服务器间的数据连接；A2)DMA模块向第二NDMP服务器发送备份指令，并向第一NDMP服务器发送恢复指令；A3)第一NDMP服务器接收第二NDMP服务器发送的NDMP数据流，并将对NDMP数据流解析后的文件对象写入对象文件系统，完成备份。与现有技术相比，本发明具有有利于数据的统一存储和管理等优点。

说明书

技术领域

本发明属于计算机存储技术和数据管理技术领域，尤其是涉及一种基于NDMP协议的NAS数据备份和文件细粒度浏览恢复方法。

背景技术

数据备份一直都是计算机存储技术和数据管理技术的一个重要研究领域。它是为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质上。

传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障，而且其恢复时间也很长。随着技术的不断发展，数据的海量增加，通过专业的数据存储管理软件结合相应的硬件和存储设备来实现的网络备份成为新兴宠儿。现有的NAS备份主要采用以下三种技术：

(1)nfs/cifs技术。该技术利用现有的TCP/IP网络进行数据传输，可以方便地实现数据的远程异地保护。即将NAS的数据，通过nfs/cifs挂载给主机，再通过主机的文件备份来做到NAS文件备份。

该方法主要缺点，备份时占用主机带宽及缺少文件一致性时间点。

(2)快照备份技术。很多的磁盘阵列都提供了SnapShot功能，可以充分利用SnapShot技术进行数据的Serverless备份，极大地降低了备份时对于生产系统的资源占用，并且可以非常快速地恢复。但是备份数据还是在存储本地。但如果本地存储系统损坏时，快照的数据也很可能遭到破坏。没有做到生产数据和备份数据在物理上分离。

(3)NDMP协议。NDMP(网络数据管理协议)作为一种标准，用于控制备份，恢复，以及主要和次要存储器之间的数据传输。对于大数量的小文件，该技术有着得天独厚的优势。

NDMP技术是一种高效的针对NAS文件服务器的保护方式。数据通过NDMP备份，不再需要通过应用程序服务器传输数据，从而减少了应用程序服务器上的负载，并提高了备份速度。NDMP主要支持四种模式的备份：直接连接模式、Filer到Filer模式、Filer到服务器模式、存储到存储复制。其中存储到存储的复制与其它三种模式的最大区别是无需使用磁带，直接用于两个存储间的数据传输。不足之处在于，备份后的数据存于目的存储上，不便于统一自主管理。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于NDMP协议的NAS数据备份和文件细粒度浏览恢复方法，备份时，将备份的数据流解析成具体的对象文件；恢复时，能实现文件级细粒度的浏览和恢复，从而做到按需恢复和按需传输。

本发明的目的可以通过以下技术方案来实现：

一种基于NDMP协议的NAS数据备份方法，该方法通过NDMP协议将NAS设备中的数据备份至备份一体机中，所述备份一体机中运行有DMA模块和第一NDMP服务器，所述NAS设备中运行有第二NDMP服务器，所述备份方法包括以下步骤：

A1)建立DMA模块和第一NDMP服务器间、DMA模块和第二NDMP服务器间的控制连接以及第一NDMP服务器和第二NDMP服务器间的数据连接；

A2)DMA模块向第二NDMP服务器发送备份指令，并向第一NDMP服务器发送恢复指令；

A3)第一NDMP服务器接收第二NDMP服务器发送的NDMP数据流，并将对NDMP数据流解析后的文件对象写入对象文件系统，完成备份。

所述第一NDMP服务器和第二NDMP服务器间的数据连接通过以下方式实现：

A11)DMA模块发送数据侦听指令给第一NDMP服务器，绑定一个数据侦听端口；

A12)DMA模块发送数据连接指令给第二NDMP服务器，通过第一NDMP服务器的数据侦听端口建立数据连接通道。

所述NDMP数据流为二进制数据流。

所述二进制数据流包括数据流头、多个数据内容单元和数据流尾，所述数据内容单元包括文件对象元数据和文件内容。

所述备份指令包括增量备份指令和差量备份指令。

一种基于NDMP协议的NAS数据文件细粒度浏览恢复方法，该方法通过NDMP协议将NAS设备中的数据备份至备份一体机中，所述备份一体机中运行有DMA模块和第一NDMP服务器，所述NAS设备中运行有第二NDMP服务器，所述恢复方法包括以下步骤：

B1)DMA模块获得需要恢复的文件的路径；

B2)建立DMA模块和第一NDMP服务器间、DMA模块和第二NDMP服务器间的控制连接以及第一NDMP服务器和第二NDMP服务器间的数据连接；

B3)DMA模块向第一NDMP服务器发送备份指令，并向第二NDMP服务器发送恢复指令；

B4)第一NDMP服务器根据所述路径从对象文件系统中读取需要恢复的文件，生成NDMP数据流；

B5)第二NDMP服务器接收第一NDMP服务器发送的NDMP数据流，将NDMP数据流恢复为NAS存储的文件，完成恢复。

所述第一NDMP服务器和第二NDMP服务器间的数据连接通过以下方式实现：

B11)DMA模块发送数据侦听指令给第一NDMP服务器，绑定一个数据侦听端口；

B12)DMA模块发送数据连接指令给第二NDMP服务器，通过第一NDMP服务器的数据侦听端口建立数据连接通道。

所述NDMP数据流为二进制数据流。

所述二进制数据流包括数据流头、多个数据内容单元和数据流尾，所述数据内容单元包括文件对象元数据和文件内容。

与现有技术相比，本发明利用NDMP技术中的存储到存储的复制，结合备份一体机，对兼容NDMP技术的NAS设备提供一种可统一自主管理的数据备份和恢复的方法，具有以下有益效果：

1、本发明以备份一体机作为存储介质，将NAS存储设备上的数据备份到一体机上，有利于数据的统一存储和管理。

2、本发明的备份一体机与NAS存储设备采用TCP/IP网络连接方式，备份一体机的备份设备没有跟NAS直连绑定，这样可以保证备份设备可以同时作为多个NAS设备的备份设备，而不是通过直连绑定到某一个NAS设备上，同时备份一体机也可以用来作为其他备份方式的备份存储设备。

3、现有技术中NAS的数据备份一般采用直连方式，NAS和备份设备不能离的太远，而本发明采用TCP/IP可以实现异地备份，即备份设备和NAS设备可以不在一个地方。

4、基于NDMP协议，实现了DMA模块，对各种存储进行备份和恢复做统一操作，而不需要针对每一种存储都单独开发一套备份恢复程序。

5、将NAS存储产生的数据流解析分解成具体的文件对象，存储到备份一体机的对象文件系统中，用户能够做文件级细粒度的浏览和恢复，做到真正的按需恢复和按需传输。

附图说明

图1为本发明备份一体机与NAS设备的连接示意图；

图2为本发明备份方法的流程示意图；

图3为本发明采用的二进制数据流的格式示意图；

图4为本发明恢复方法的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明基于NDMP协议在备份一体机中设计实现NDMP备份模型中的DMA模块和用于接收和发送NDMP数据流的NDMP SERVER服务。备份一体机中运行有DMA模块和第一NDMP服务器，NAS设备中运行有第二NDMP服务器。

1、DMA模块，即网络附加数据管理应用程序，为NDMP备份恢复程序的控制中心。

2、备份一体机中的NDMP SERVER(NDMP服务器)，运行在备份一体机中的NDMPSERVER，响应DMA发出的备份和恢复的指令。与存储的NDMPSERVER进行数据的备份和恢复。图1为DMA模块、NDMP SERVER(即第一NDMP服务器)和NAS存储设备的NDMP SERVER((即第二NDMP服务器))的部署图。

备份时，在NDMP SERVER中实现对NDMP二进制备份数据流进行实时解析，将NAS的文件解析出来，写入到一体机的对象文件系统中。恢复浏览时，直接展示对象文件系统中的文件，可实现文件级细粒度的浏览和恢复。恢复文件，只需要读取和传输要恢复的对象文件，对于不需要恢复的对象文件则不需要读取和传输。

以一次备份、恢复操作为例进行说明本发明对NAS存储上的数据进行备份及恢复。

如图2所示，备份时的步骤如下：

在步骤S101中，建立DMA控制中心(DMA模块)与一体机中的NDMP SERVER的控制通道(NDMP Control Connection)。

在步骤S102中，建立DMA控制中心(DMA模块)与存储的NDMP SERVER的控制通道(NDMP Control Connection)。

在步骤S103中，DMA通过控制通道，发送数据侦听指令给一体机的NDMP SERVER，绑定一个端口进行数据侦听；DMA通过控制通道，发送数据连接指令给存储的NDMP SERVER，通过一体机NDMP SERVER的数据侦听端口，建立数据连接通道(NDMP Data Connection)。

在步骤S104中，DMA发送备份指令给NAS存储的NDMP SERVER，存储产生二进制的备份数据，通过之前建立的数据通道流向备份一体机的NDMP SERVER服务中。

在步骤S105中，DMA通过控制通道发送恢复指令给备份一体机的NDMP SERVER，备份一体机的NDMP SERVER收到恢复指令后，从数据通道中接收二进制的数据。

在步骤S106中，备份一体机的NDMP SERVER对二进制数据进行解析，将整个二进制数据流解析成对应的目录或者文件对象，保存到对象文件系统中。二进制流数据格式如图3所示。

数据流分为数据流头部、数据内容和数据流尾三部分，数据内容有若干个单元组成，一个单元表示一个文件或者目录，每个单元又分为元数据和文件内容。元数据中包含了该文件对应的NAS中的路径，名称，文件系统类型，大小等文件属性。根据这些元数据，可以将整个二进制流分割成一个个具体的文件对象。

在步骤S107中，备份一体机将NAS存储发送过来的所有二进制数据流都解析完成。备份完成。

说明：对于NAS增量备份和差量备份，NDMP协议提供了增量备份和差量备份的指令，发送相应的指令给NAS存储，将产生对应的数据流。

如图4所示，恢复时的步骤如下：

在步骤S201中，用户通过备份一体机上的对象文件系统浏览备份成功的NAS文件，用户选择要恢复的文件路径，传递给DMA。

在步骤S202中，建立DMA与存储的NDMP SERVER和NDMP控制通道。

在步骤S203中，建立DMA与备份一体机中NDMP SERVER的NDMP控制通道。

在步骤S204中，DMA通过控制通道发送数据侦听指令给一体机的NDMP SERVER，绑定一个端口进行数据侦听；DMA通过控制通道发送数据连接指令给存储的NDMP SERVER，通过一体机NDMP SERVER的数据侦听端口，建立数据连接。

在步骤S205中，DMA发送备份指令给备份一体机的NDMP SERVER。

在步骤S206中，DMA发送恢复指令给NAS存储NDMP SERVER。

在步骤S207中，备份一体机的NDMP SERVER根据要恢复的文件路径去对象文件系统读取要恢复的文件对象，生成二进制数据流，写入前面建立的数据通道中。

在步骤S208中，DMA发送恢复指令给NAS存储NDMP SERVER，NAS存储从数据通道中读取二进制数据流，将二进制数据流恢复为NAS存储的文件。

在步骤S209中，备份一体机NDMP SERVER发送完二进制数据流，NAS存储的NDMPSERVER接收完对应的NDMP二进制流，恢复完成。