适用于存储云间数据安全迁移的方法

摘要

本发明公开了一种适用于存储云间数据安全迁移的方法，属于分布式文件系统领域。本方法为：1)在源、目的集群之间建立SSL连接；2)源、目的集群中央节点通过SSL连接生成密钥，并将其发送给执行数据迁移的数据节点；3)目的集群中央节点将批准的迁移特权票据加密后发送给源集群中执行数据迁移的数据节点，并记录所批准的迁移特权票据；4)执行数据迁移的数据节点将加密的迁移特权票据发送给目的集群的中央节点，验证通过后，目的集群的中央节点将目的数据节点地址发送给该执行数据迁移的数据节点；5)执行数据迁移的数据节点利用所述密钥对要迁移的数据加密后发送到目的数据节点。本发明大大提高了存储云间数据迁移过程的安全性。

说明书

技术领域

本发明提出一种为存储云间数据迁移提供安全功能的方法，并在以HDFS为基础架构的云储存环境下实现了数据安全迁移系统。本发明的技术领域涉及分布式文件系统，集群并行计算技术。

背景技术

本发明作用对象是两个不同存储云之间进行数据迁移的过程，通过组合使用多种成熟的安全技术，如SSL，对称加密，散列，消息认证码等等，得到适合于存储云之间数据迁移过程的安全策略，并在以HDFS为基础构建的存储云上实现了支持这种安全策略多个模块，最终得到一个完成存储云间数据安全迁移任务的系统。

目前完成存储云时间数据迁移过程的系统存在较大的安全隐患，这些安全隐患是由于云储存的架构导致的，本发明所克服的就是这些安全隐患。要理解这些安全隐患，首先要知道存储云的一般架构。

存储云底层一般是由一个成熟的分布式文件系统提供存储服务，这个分布式系统把多个节点的存储能力统一到一块对上层提供一个通用的文件访问接口。所以，一个存储云的物理印象一般是一个由多个节点组成的集群。从数据存储方面服务看，集群中有多个等同的节点负责存储数据，而有唯一一个中心节点负责维护存储数据的原信息。为了更好地说明问题，把负责存储数据的节点称为数据节点，而把维护数据原信息的节点称为中央节点。文件数据通常被分割成大小相同(可有用户自定义)的数据块存放在数据节点中。中央节点对外提供名字服务：按文件名定位到某一个文件，并返回此文件包含的数据块的位于哪些数据节点的位置信息。实际情况下，用户通过利用中央节点提供的名字服务获得数据块位置信息并访问数据节点来实现文件读写。图1是云储存的典型架构图，当然并不是所有的存储云都具有完全系统的架构，但是值得肯定的是目前流行的存储云系统都是一个或者多个集群，而集群中都具有完成类似功能的节点。在图1中，数据块ID使用“D(Data)+数字”代表，节点使用“N(Node)+机架.编号”代表。节点使用矩形表示，在矩形中说明节点要维护的信息。

在上述的存储云架构下，现有的迁移过程是如何进行的呢？现有实施数据迁移的方式是启动一个或者多个在源集群的机器上可以同时访问目的集群和源集群的客户端程序，这个客户端程序的主要任务是从源集群中读取某一个要迁移的文件，然后把这个文件写到目的集群。现在假设某一个节点上已经开始运行这样的一个客户端程序，显然这个程序的输入就是一系列的文件。首先，这个程序要访问源集群的中央节点获得要从源集群上面读取的文件的数据块的位置信息，接着，从目的集群的中央节点获得要写入文件的数据块的位置信息，最后，这个程序把源集群中要迁移的文件对应的数据块“搬运”到目的集群的数据节点上，而这最后一个过程的依据就是从两个集群中获得的位置信息。

仔细分析上述迁移过程不难得出这个过程存在较大安全风险。首先确认参与这个迁移过程的实体。源集群中的中央节点，它是接受管理员命令启动迁移程序的实体；目的集群中央节点，它是接受客户端的写文件请求并返回给写文件位置给源集群客户端程序的实体；源集群的客户端程序，它是接受源集群中央节点下达的子任务访问目的中央节点，得到目的集群数据节点的位置进而读数据到本机内存然后写入到目的集群数据节点的实体；目的集群数据节点，它是接受数据并把数据保存到本机存储设备的实体。

上述的任何一个实体都可能被攻击者作为伪装或者攻击的对象。第一，在迁移程序运行之前，两个存储云的中央节点应该对这个过程进行安全协商，这个协商过程需要进行两个存储云之间的身份认证，防止攻击者伪装成一个存储云的中央节点；第二，作为数据迁移过程的接受端，目的集群中央节点需要对源集群的客户端程序进行认证，然后客户端程序才能成功的获得将数据写入目的集群的权限；第三，发送数据的一方——客户端程序。接受数据的一方——目的集群数据节点都有可能受到攻击者的攻击从而攻击者可以监听数据甚至对数据进行篡改，为此在发送数据之前要对数据进行安全技术的处理，使数据达到保密性、完整性以及防篡改，这样就算攻击者伪装成接受端的数据节点或者监听数据都无法得到数据。

通过上述分析可以知，存储云数据迁移的安全风险存在的本质原因是执行迁移过程的实体在不同的集群的不同节点上，如何通过组合使用成熟的安全技术，针对存储云间数据迁移过程的特殊场景，使得这一过程更加安全就是本发明最终取得的成果。

那么，针对上文叙述的迁移过程的三点安全风险，本发明是如何组合使用安全技术的呢？下面简要叙述一下：第一，令迁移过程开始之前，分属两个不同存储云的中央节点使用SSL协议建立一条安全通道，并在这个安全连接基础上商定后续迁移过程的安全参数(包括数据加密使用的临时密钥，消息认证码的随机密钥)，而且源中央节点要为将要运行的客户端程序向目的集群申请临时认证票据，目的集群的中央节点需要维护已经签发的临时认证票据；第二，客户端程序只有通过目的集群的临时票据认证之后才能获得目的集群数据节点的位置以及写文件的权限；第三，数据在传输过程中使用之前SSL协议商定过程确定的临时密钥和消息认证码的密钥做加密以及散列运算。

在具有上述特征的分布式文件系统中：

公开号为CN101739436A，发明名称“基于XML的柔性数据迁移方法”的专利提供一种基于XML的数据迁移模型，利用这种模型可以实现数据的导出，转化以及导入的功能。通过此项发明，企业可以在原有信息系统的基础上，扩展信息系统的使用范围，充分利用已有的信息资源；或者在重新设计信息系统时，把原先具有利用价值的数据资源安全准确迁移到新系统中。

虽然都是和数据迁移有关，但是此项专利和本专利的侧重点完全不同。其一，此专利的这种基于XML的数据迁移模型的作用对象是企业应用的数据库，用例上下文是企业需要对数据库的数据进行备份还原操作。然而本专利的作用对象是两个不同存储云之间数据迁移的过程，用例上下文是两个不同的存储云服务提供商之间进行针对某一用户的数据迁移；其二，此专利侧重利用XML的跨平台型实现不同企业级数据库间的统一数据表示，从而在不同应用数据库之间实现数据迁移，本专利侧重为不同分布式文件系统之间提供安全性的策略，用来针对现有迁移过程的特点，提出安全解决方案。

公开号为CN101329709A，发明名称“一种用于数据安全迁移的系统及方法”的专利介绍一种用于数据安全迁移的系统及方法，作用对象是移动存储设备。移动存储设备在进行数据迁移时需进行密码认证，使用者需在使用次数范围内使用该设备，且将该设备上进行的操作动作进行记录。本发明实现了移动存储设备的专物专用，并提供了较为有效的安全防范方法，使得数据迁移能够安全可靠进行。

本专利与此项专利有着明显的不同：其一，同样是作用对象的问题，本专利侧重解决发生在两个不同存储云之间数据迁移的过程的安全风险，而此专利的重点在于如何使移动存储设备的数据迁移更加安全。其二，因为作用对象不同，所以整个发明原型的架构也不同，此专利需要管理端和终端协调工作，本专利是在存储云的通用架构下设计实现的发明原型。

公开号为CN101442435A，发明名称“分布式系统的业务数据管理方法、装置及分布式系统”的专利公开了一种分布式系统的业务数据管理方法，解决了现有技术中分布式系统无法动态地平衡各个业务节点之间负载的问题。在此项发明中定期获取业务节点当前的负载信息；向中央管理节点发送该负载信息；中央管理节点接收业务节点定期发送的该负载信息；根据负载信息查找重载业务节点和轻载业务节点；判断是否能够迁移所述重载业务节点中的部分业务数据；若能够迁移，则向所述重载业务节点发送迁移控制信号，该迁移控制信号包括轻载业务节点的信息并控制重载业务节点将部分业务数据迁移到所述轻载业务节点上；业务节点接收中央管理节点发来的迁移控制信号。

此项专利涉及的领域和本专利涉及的领域都含有分布式文件系统，但是作用对象是分布式文件系统中节点上处理的业务数据，专利介绍的方法是通过业务数据迁移的方式来解决负载均衡的问题。本专利涉及两个不同的集群，即两个分布式系统，而不像此专利解决的单个分布式系统的问题，另外此专利和“安全”毫无关系。

公开号为CN101692239A，发明名称“一种分布式文件系统元数据分配方法”的发明公开了一种分布式文件系统元数据分配方法。该方法将文件系统的目录作为哈希的基本单元，采用可扩展的哈希方法来分配元数据到各个元数据服务器，使得客户端可以定位元数据的位置，元数据访问效率高，元数据分布均匀，负载均衡；同时保持了目录的存储局部性，方便预取的实现，提高访问效率。赋给目录唯一不改变的标识符，避免了哈希路径名引起的元数据迁移，提高系统性能；元数据服务器加入或退出不会引起大量的元数据重新分布，最大限度地减少元数据迁移，可扩展性高。

此项专利涉及的领域和本专利涉及的领域都含有分布式文件系统，但是数据迁移的对象是元数据，而不是实际的文件数据，另外，此专利中提及的哈希算法是用来在一个“等同”分布式文件系统中定位资源的算法，而非本专利适用的中央式分布式文件系统。另外，此专利的元数据迁移是发生在有其他节点进入或离开集群，迁移的上下文不同于本专利的用户数据迁移需求。

发明内容

针对现有分布式数据存储环境和并行计算环境下运行的集群间迁移过程可能存在的安全风险，本发明的目的在于提供一种适用于存储云间数据安全迁移的方法，使得上述迁移过程更加安全，主要体现在：迁移过程不可抵赖性，最小迁移特权的实现，防止重放攻击以及数据传输过程中的保密性，完整性以及防篡改。

本发明的技术方案为：

一种适用于存储云间数据安全迁移的方法，其步骤为：

1)在源集群和目的集群之间建立SSL连接，接收源集群的数据迁移请求；

2)源集群中央节点和目的集群中央节点通过SSL连接生成用于数据加密的密钥1以及用于消息散列码计算的密钥2，并将其发送给执行数据迁移的数据节点和目的集群中的目的数据节点；

3)源集群中央节点向目的集群中央节点请求迁移特权票据；目的集群中央节点将批准的迁移特权票据加密后发送给源集群中执行数据迁移的数据节点，并记录所批准的迁移特权票据；

4)源集群中执行数据迁移的数据节点将加密的迁移特权票据发送给目的集群的中央节点，请求验证；验证通过后，目的集群的中央节点将目的数据节点地址发送给该执行数据迁移的数据节点；

5)执行数据迁移的数据节点根据接收到的目的数据节点地址，利用所述密钥1、密钥2对要迁移的数据加密后发送到目的数据节点。

进一步的，采用安全套接字在源集群中央节点和目的集群中央节点启动的同时启动一个SSL服务器，建立源集群与目的集群的SSL连接。

进一步的，所述目的集群中央节点对所批准的迁移特权票据设置一有效期。

进一步的，迁移特权票据为源集群中执行数据迁移的数据节点中执行数据迁移的客户端程序ID及该数据节点所负责迁移文件的文件ID。

进一步的，所述迁移特权票据为最小迁移特权的迁移特权票据。

进一步的，所述源集群中央节点和所述目的集群中央节点通过SSL连接生成一随机值，并将其发送给执行数据迁移的数据节点和目的集群中的目的数据节点。

进一步的，利用所述密钥1、密钥2对要迁移的数据加密的方法为：执行数据迁移的数据节点首先采用所述密钥1对要迁移的数据块加密；然后对要迁移的数据块利用所述密钥2计算散列值并附加在数据块的后面，最后，利用所述随机值连同数据块的散列值做一个消息验证码附加在散列值之后。

进一步的，执行数据迁移的数据节点发送的数据格式为：数据块+数据块散列值+散列值的消息验证码。

进一步的，所述SSL协议采用JSSE实现。

安全策略一般都是不影响原有功能逻辑的前提下，使原本存在安全风险的过程更加安全。如图3所示，本发明主要引进了以下几个安全元素来增加安全性：

1)SSL协议

众所周知，数据存储服务，尤其是大文件的存储或者说是存储云服务，一般是服务提供商以开发API接口的形式提供给客户的，而对客户来说，文件如何存储是完全透明的。这种情况下，发生在两个不同集群之间的数据迁移过程，实际上也是发生在两个不同的云服务提供商之间。另外一个方面，后续的迁移数据的实体是多个不同的节点，因此需要迁移之前两个集群之间商议好为后续迁移数据提供的安全参数。综上所述，在安全策略中引入SSL协议是非常合适的。SSL协议链接的建立可能会带来性能上的损耗，但这是不可避免并且是值得的，因为，其一，SSL连接的建立只发生在迁移程序运行之前，两个中央节点之间，不考虑连接失败等情况，整个迁移任务过程中SSL只会使用一次；其二，迁移任务真正耗时的地方在实际的大数据传输而不在于前段的SSL连接；其三，SSL协议适合于在商业环境中使用，并且可以达到不可抵赖性。

在基于SSL协议商议过程中，源集群和目的集群的中央节点会负责协商好后续迁移过程所需的安全参数并把这些参数传递给数据节点以做好迁移的准备。这些安全参数主要包括：临时会话密钥，用于消息认证码计算的随机密钥，最小迁移特权票据。其中，最小特权票据只会传递给源集群的数据节点，目的集群的数据节点不需要知晓，因为此票据被源集群的数据节点用来向目的集群的中央节点做验证，和目的集群的数据节点无关。

2)最小迁移特权票据

票据一般是用来验证一个主体的身份并授予主体适当的权限的工具。在数据迁移的上下文中，持有票据的主体，即运行在源集群中的客户端程序可以把源集群上面的数据写入目的集群，目的集群信任这个主体因为这个票据是来自源集群和目的集群中央节点之间的SSL协商。但是利用这种在SSL阶段商议获得的临时票据仍然存在着安全风险，例如：攻击者可以拦截这个票据，并获得这个票据所具有的权限，并使用重发的攻击手段实施破坏。

针对这种安全风险，首先假设攻击者可以通过物理手段拦截票据，那么通过增加软件层面的安全性无法彻底防止拦截票据这一行为的发生，但是可以通过使攻击者获得的票据效力最小来最小化票据被盗用带来的影响，即，使每个票据所能授予主体的权限达到最小当然是在不影响正常迁移程序执行的情况下。这样，就算攻击者获得票据，攻击者能做的破坏也是很有限的。在为本发明方法开发的技术原型中，最小迁移特权票据使用源集群客户端程序的唯一标识ID和能够标识此客户端程序操作的一个文件ID来定义。

一旦利用上述的方法定义最小特权票据，那么这种票据还具有一次性使用的特点，即每张票据只能且应该只使用一次。作为验证票据方——目的集群的中央节点，需要为每个票据设置一个有效期，如果发现有重复的票据，说明很有可能存在攻击者的重放攻击，应当把情况及时反映给迁移操作管理员。

总之，票据的引入是为了让目的集群的中央节点能够对源集群的客户端程序进行认证，而为了最小化票据被盗用带来的影响，应该让票据代表的权限最小化。又因为负责迁移文件的客户端程序是在源集群中的多个数据节点并行运行的，故使用标识源集群客户端程序的ID和此客户端程序所负责迁移的某一个文件ID来定义最小特权票据。这种定义的结构又使得最小特权票据具有一次性使用的特点，所以一旦某个票据通过验证则可以使这个票据失效。

3)数据加密传输

存储云是提供客户端存取文件的服务，而支持存储云的存储设备如果损坏就很有可能导致用户的文件受到破坏，所以一般用户的文件会被拷贝成多个副本按照特定的冗余算法放到集群中的不同的存储设备上。

在本安全策略应用的场景中，为了不失一般性，不妨假设文件被划分成多个大小相同的数据块按照冗余算法存放在不同的数据节点上，在网络上传输的实体可以看做是一个个的数据块。虽然数据块只是文件的一部分，但却是连续的数据，也就是说攻击者只要拦截一个数据块就可以得到有意义的数据。与一般数据迁移的场景不同，如果攻击者的目的不是窥探数据而仅仅想做一些破坏，那么在保证数据保密性和完整性的同时还要保证数据的防篡改性。

使用SSL商议阶段确定的会话密钥，在一个数据块发送的时候对其加密可以达到保密性。对每个数据块利用散列算法计算散列值并附加在数据块的后面可以达到完整性，但是正如上文所说，攻击者可以拦截这些数据块随意篡改。那么为了防止篡改，就要使得接收端能够辨认出数据块是否被修改过，那么就使用SSL商议阶段确认的随机值连同数据块的散列值做一个消息验证码附加在散列值之后，最后网络上传输的数据的格式为：数据块+数据块散列值+散列值的消息验证码。因为做消息验证码的随机值是在SSL商议阶段由两个集群共同确定的，攻击者无法伪造散列值的消息验证码，所以保证了防篡改性。

与现有技术相比，本发明的积极效果为：

本发明针对存储云之间数据迁移过程的特点，分析出现有迁移过程存在的安全风险，通过组合使用成熟的安全技术使得这个过程更加安全。

存储云数据迁移发生在不同的存储云之间，不同的存储云属于不同的云服务提供商，因为引入了SSL协议体现其商业性的特点；迁移程序运行在源集群的不同节点，为了验证迁移程序而引入了临时最小特权票据；另外，为了使数据在网络上传输具有保密性，完整性以及防篡改性的特点，引入了对称加密，消息认证码及散列值计算等安全技术。

附图说明

图1适用分布式文件系统架构图；

图2并行迁移程序示意图；

图3数据安全迁移过程示意图；

图4DistCp数据流示意图；

图5分布式文件系统间数据安全迁移策略示意图。

具体实施方式

本发明是基于Hadoop开源项目中分布式文件系统项目HDFS开发的。

HDFS是一个运行在由廉价机器组成的集群上的分布式文件系统，使用模式仍然是经典的C/S模式：客户请求集群提供服务，集群作为一个整体响应客户的请求——文件存放在哪里以及怎么存储对用户来说是透明的。HDFS的优点在于可以存放大容量的文件并且可以对文件进行冗余操作以使利用廉价机器构建集群成为可能。

HDFS集群中的节点有着不同的功能，其中主要分为两种角色：主(master)和奴(slave)。本发明中节点的功能主要有四种：管理文件系统目录，存储数据，调度并行任务，执行任务。根据节点的功能将节点分别称为：NameNode、DataNode、JobTracker、TaskTracker。其中，NameNode和JobTracker可以被看做是存储云的中央节点，分别负责管理存储的元数据和并行计算的调度任务；而DataNode和TaskTracker则可以被看做是存储云中的数据节点，负责存储数据和执行任务，如图2所示。

之所以选择HDFS开发技术原型是因为HDFS具有和存储云底层存储架构相似的架构，用来在其上开发反映安全策略的技术原型并做测试比较合适。

1)HDFS现有的数据迁移存在的安全风险。

现有的HDFS数据迁移是通过HDFS数据迁移工具DistCp实现的。DistCp实现了不同HDFS之间的数据迁移的功能，DistCp程序在两个不同集群之间执行时的文件数据流示意图如图4所示：

DistCp迁移程序的核心任务是把数据从源集群拷贝到目的集群。DistCp是一个按照MapReduce编程规范编写的可以在TaskTracker上并行执行的程序，其中实现Map接口的DistCp中的方法体完成的功能就是把源集群中的文件拷贝到内存，然后再把内存中的数据写入目的集群，也就是存储云模型中所指的客户端程序。

也就是说HDFS中已经有了完成在两个不同的HDFS之间完成文件拷贝功能的程序，安全策略的技术原型可以基于DistCp来开发，按照本专利分析存储云数据迁移中存在风险的方法可以发现DistCp中存在着和一般存储云数据迁移过程类似的安全风险。它们分别是：NameNode之间通信、DataNode和NameNode之间通信、Block网络传输三个部分。

第一，源、目的NameNode之间的通信是完成迁移之前准备工作的主要部分，现有迁移程序忽略了两个集群之间互认证的过程，以至于目的集群中接收数据的DataNode无条件的信任源集群中并行执行迁移程序的TaskTracker，因此攻击者可以伪装成任意一个集群或者集群中执行迁移程序的TaskTracker。

第二，源TaskTracker和目的NameNode之间通信是实际进行迁移操作的开端，主要过程是TaskTracker访问目的集群的NameNode获得可以写入数据的目的集群中的DataNode。现有迁移程序在源DataNode和目的NameNode没有任何认证。

第三，Block网络传输发生在域间DataNode交互的过程，现有迁移程序直接明文传输Block块，因此数据迁移的保密性和完整性都无法得到保证。

针对以上三点安全风险，利用本专利为存储云设计的加强数据迁移的安全方法，修改现有DistCp的执行逻辑，最终得到一个经过改进的DistCp，使得HDFS之间数据传输更加安全。因为HDFS是基于Java编程语言开发的，技术原型所需要的SSL协议使用JSSE实现，而涉及对称加密的使用较流行的DES加密方法。因为技术原型主要体现策略在存储云上的可执行性，所以特定的安全技术具体使用什么实现不局限于本发明所列举的。本发明的详细方法流程如图5所示：

(1)源、目的NameNode，即集群中央节点之间通信：需要为两个集群的NameNode之间在数据迁移程序执行之前建立SSL连接，使用安全套接字在NameNode启动的同时启动一个SSL服务器，专门负责监听源集群的数据迁移请求。连接建立之后，两个NameNode商议用于数据加密的密钥以及用于消息散列码计算的密钥，之后源NameNode需要为源集群中的TaskTracker向目的集群的NameNode请求最小特权临时票据，申请成功之后，源NameNode要把这些票据分发给将要执行迁移程序的TaskTracker而目的NameNode要记录它批准的最小特权临时票据，用来验证源集群的TaskTracker。

(2)源TaskTracker和目的NameNode之间通信：源TaskTracker和目的NameNode的通信主要是TaskTracker把从源NameNode分配下来的加密好的临时票据发给目的NameNode请求验证，通过验证之后才可以获得目的NameNode返回的写入Block数据块的目的DataNode的地址。也就是说这一步通信发生之前，需要TaskTracker从源NameNode获得临时票据。这一步可以在技术原型中通过MapReduce框架可以把临时票据传递给将要执行迁移任务的多个TaskTracker。因为临时票据在生成的时候是经过目的集群的NameNode的密钥加密的，这个密钥只有目的集群的NameNode知道，只有目的NameNode可以将临时票据解密之后来解读。

(3)Block网络传输：源TaskTracker经过目的NameNode验证之后获得写入Block块目的DataNode地址就可以将Block块发送给DataNode了，但是需要对Block数据块做加密以及散列值计算等安全处理。在具体的实现中，可以修改现有的代码，在现有数据流上包装一层加密流以及一层计算散列值和消息认证码的过滤流。