客户端重复数据删除方法

摘要

本发明公开了一种客户端重复数据删除方法，主要解决现有技术安全性低与运算量大的问题。其实现步骤是：1.利用基于信息锁定MLE的高效加密算法，通过原始文件提取出密钥，使用该密钥对加密密钥进行加密；2.通过引入随机数，保证每一次文件所有权认证的及时有效性，即使攻击者截获文件密文的哈希值，也不能进行及时的文件所有权认证，从而达到抵抗重放攻击的目的；3.对于通过文件所有权认证的用户，服务器授予其文件所有权，并通知该用户删除本地文件。本发明能在加密数据重复删除的场景下，有效抵抗重放攻击，提高用户数据的安全性，同时，减小加解密过程的运算量，提高了重复数据删除的效率，可用于云计算加密文件的存储服务中。

说明书

技术领域

本发明属于信息安全技术领域，特别涉及一种客户端重复数据的删除方法，可用 于云计算加密文件的存储服务中。

背景技术

随着云计算技术日益发展，越来越多的个人与企业开始使用廉价、便捷的云服务 以转移运算与存储。在这种模式下，势必会产生大量的冗余数据。为了节省用户的上 传带宽和云服务提供商的存储资源，“重复数据删除”技术被提出。该技术可以保证服 务器内存储的数据在块级或文件级上的唯一性，以降低数据冗余度。

按照重复数据删除应用的时机不同，“重复数据删除”技术的分类有客户端重复数 据删除和服务器端重复数据删除，按照数据粒度大小有块级重复数据删除和文件级重 复数据删除。其中，在文件级的客户端重复数据删除过程中，服务器首先根据文件标 识判断该文件是否已经存在，如果已存在，则该客户端无需上传文件，服务器只需将 该客户端标记为文件拥有者即可。无疑，该技术不仅可以节省服务器的存储资源，而 且还能够节省用户的网络带宽。目前，有很多知名的云存储服务，如Dropbox与 Memopal，使用该项技术。据称，商业应用所达到的重复数据删除率从1:10至1:500， 使得存储和带宽节省达90％。

在已有的客户端重复数据删除系统中，服务器通过客户端提交的文件哈希值来判 断文件是否已存在。这样的机制会给用户带来潜在的危害，如攻击者可以通过服务器 端是否需要上传的回复来猜测其他客户端是否拥有该文件，可以通过该类试探来猜测 用户的身份信息，该攻击已被应用至一些知名的存储服务提供商，如MozyHome与 Dropbox。还有一类攻击是，攻击者根据某种方式获得了文件的哈希值，但是不拥有 实际文件，通过现有的机制，他可以非法访问实际文件，因为服务器认为“拥有文件 哈希值则代表拥有完整的文件”，同时，这也会使得攻击者将数据存储服务滥用为内容 分发网络(CDN)，即公布文件哈希值，以在群体中共享文件，这将极大地加重云服务 提供商的负载。

随着用户的个人数据隐私保护意识不断提高，越来越多的云服务提供商声称提供 加密存储，但是有报道称，社交网络Twitter的客户端软件存在安全漏洞，使得攻击者 可以访问用户的隐私数据。因此，出现了另一种结合“端到端”加密的客户端重复数 据删除方案。在这种方案里，文件由用户随机选择的密钥进行加密，文件密文上传至 服务器。但是这又引入一个新问题，除了密钥的拥有者，谁都不能确定两份密文是否 对应于同一份明文，服务器只能针对某一用户使用重复数据删除技术，这将大大降低 重复数据的删除效率。

为了解决上述问题，业界提出了以下解决方案：

一.Harniketal.提出了POW(ProofsofOwnership)策略来验证用户是否真正拥有文 件：服务器和客户端都对文件进行预处理后，建立Merkle树，服务器随机选择一个叶 子节点的集合，向客户端发出挑战，要求客户端返回从Merkle树根节点到该叶子节点 集的路径集合。但是该文件所有权认证方案具有两个缺点：其一，该方案需要客户端 频繁执行极为耗时的I/O请求且大量消耗计算资源；其二，方案的安全性基于难以证 明的假设。

二.收敛加密是由Douceuretal.提出的密码学原语，试图在重复数据删除中保证 数据的机密性。数据的收敛加密是指以确定的对称加密方案对明文进行加密，如使用 明文的哈希值作为加密密钥。显然，相同的明文将产生相同的密钥和相同的密文，使 得跨用户的重复数据删除得以实现。但收敛加密不能提供语义安全，因为它容易受到 内容猜测攻击。由Bellareetal.的研究结果表明，收敛加密只能为不可预测的数据提供 保密性。

三.Xu针对密文去重问题提出了用于敏感数据的多客户端交叉的重复数据删除方 案。其主要特点是能够在外部攻击者和诚实而好奇的服务器存在的场景下，保护数据 的隐私。该方案使用文件密文的哈希值作为文件所有权的证据，但是在安全性及实用 效率方面存在两个问题：其一，文件所有权的认证过程缺乏新鲜性：同一文件密文的 哈希值相同，对于拥有该文件的多个用户，每次文件所有权认证向服务器上传的都是 同一哈希值，没有任何保证认证新鲜性的因子，不能抵抗重放攻击；其二，文件加密 低效：用一个比较大的文件作为密钥加解密一个比较短的内容，运算量大。

本发明的目的在于针对上述已有技术的不足，提出一种新的客户端重复数据删除 方法，以保证每一次文件所有权认证的新鲜性，有效抵抗重放攻击，提高用户数据的 安全性，同时减小加解密过程的运算量，提高重复数据删除的效率。

发明内容

本发明的技术方案是这样实现的：

一、技术原理：

为了解决“用户数据隐私保护条件下的重复数据删除”场景中的安全问题，本发 明提出一个密码学安全的、高效的证明方案。该方案包括两个部分，分别是保证认证 新鲜性的文件所有权证明和基于信息锁定MLE的高效加密算法。

文件所有权的认证过程必须保证每一次认证的新鲜性，本发明通过引入随机数， 保证每一次认证是及时有效的，即使攻击者截获文件密文的哈希值，也不能进行及时 的文件所有权认证，从而达到抵抗重放攻击的目的。

同时，利用基于信息锁定MLE的高效加密算法，通过原始文件提取出密钥来代 替用文件本身作为加密密钥，以提高重复数据删除的效率。

二、实现方案：

根据上述原理，本发明的技术方案包括如下：

(1)首位文件上传者FU计算并上传其所拥有文件的密文和文件所有权认证的中 间证据：

1a)首位文件上传者FU随机生成第一文件加密密钥τ，对其所拥有的文件F加密 得到第一文件密文C_F；

1b)首位文件上传者FU利用基于信息锁定MLE的高效加密算法从自己所拥有的 文件F中提取出第一密钥δ，并用该密钥对第一文件加密密钥τ进行加密，得到第一 文件加密密钥密文C_τ；

1c)首位文件上传者FU向服务器上传其所拥有文件F的哈希值hash(F)、第一文 件密文C_F及第一文件加密密钥密文C_τ，服务器存储数据组(hash(F)，C_F，C_τ)，其中 文件哈希值hash(F)作为后续文件查找的索引值，第一文件加密密钥密文C_τ作为服务 器对后续文件上传者SU进行文件所有权认证的中间证据；

(2)服务器对后续文件上传者SU进行文件所有权认证并分发密钥：

2a)后续文件上传者SU计算其所拥有文件F'的哈希值hash(F')并发送至服务器；

2b)服务器根据后续文件上传者SU上传的文件哈希值hash(F')查询数据库，若数 据库中已有该哈希值hash(F')，则服务器生成一个随机数β，并将该随机数β和第一 文件加密密钥密文C_τ一同发送至后续文件上传者SU，否则，通知后续文件上传者SU 上传其所拥有的文件F'；

2c)后续文件上传者SU利用基于信息锁定MLE的高效加密算法从其所拥有的文 件F'提取出第二密钥δ'，并用该密钥解密第一文件加密密钥密文C_τ，得到第二文件 加密密钥τ'；

2d)后续文件上传者SU用第二文件加密密钥τ'对其所拥有的文件F'加密，得到 第二文件密文C_F'；

2e)后续文件上传者SU根据服务器发送来的随机数β和第二文件密文C_F'计算第 二文件密文的哈希值hash_β(C_F')并发送至服务器；

2f)服务器根据2b)步骤中生成的随机数β和首位文件上传者FU发送来的C_F计 算第一文件密文的哈希值hash_β(C_F)；

2g)服务器将计算出的第一文件密文哈希值hash_β(C_F)与后续文件上传者SU发送 来的第二文件密文哈希值hash_β(C_F')对比，若两者相同，则服务器认为后续文件上传 者SU所拥有的文件F'与首位文件上传者FU所上传的文件F为同一文件，标记后续 文件上传者SU为文件F的拥有者，通知后续文件上传者SU不需要上传文件F'，并 可以删除本地文件F'，只需记录第二文件加密密钥τ'；否则，后续文件上传者SU本 次文件所有权认证失败，服务器通知后续文件上传者SU上传文件F'。

本发明与现有技术相比具有以下优点：

第一，运算量少。

本发明基于信息锁定MLE的高效加密算法从文件中提取出密钥，使用该密钥对加 密密钥进行加密，减小了加解密过程的运算量，提高了重复数据删除的效率。

第二，机密性强。

本发明由于其服务器只存储文件的密文，不存储密钥，因此不能根据密文得到对 应的明文，从而可以抵抗服务器内部攻击，保证了数据的高机密性。

第三，安全性高。

本发明通过基于随机数的文件所有权认证，保证每一次文件所有权认证的新鲜性， 从而可以抵抗重放攻击，提高了认证过程的安全性。

附图说明

图1为本发明的实行总协议图；

图2为本发明中文件所有权认证准备阶段的子协议图；

图3为本发明中文件所有权认证挑战应答阶段的子协议图。

具体实施方式

符号和缩写：

F为首位文件上传者FU所拥有的文件；

τ为首位文件上传者FU随机生成的第一文件加密密钥；

C_F为首位文件上传者FU加密F得到的第一文件密文；

δ为首位文件上传者FU从F中提取出的第一密钥；

C_τ为首位文件上传者对第一文件加密密钥τ进行加密得到的密文；

SHA-1为安全散列算法(SecureHashAlgorithem)；

MLE为信息锁定加密算法；

hash(F)为文件F的哈希值；

F'为后续文件上传者SU所拥有的文件；

hash(F')为文件F'的哈希值；

β为服务器生成的随机数；

δ'为后续文件上传者SU从F'中提取出的第二密钥；

τ'为后续文件上传者SU解密C_τ得到的第二文件加密密钥；

C_F'为后续文件上传者SU对F'加密得到的第二文件密文；

hash_β(C_F)为基于随机数β的第一文件密文C_F的哈希值；

hash_β(C_F')为基于随机数β的第二文件密文C_F'的哈希值。

下面通过附图和具体实施方式进一步说明本发明的实施方案。

参照图1，本发明的实现包括两个阶段，具体步骤如下：

步骤1，准备阶段：首位文件上传者FU计算并上传其所拥有文件的密文和文件所 有权认证的中间证据。

参照图2，本步骤的具体实现如下：

1a)首位文件上传者FU随机生成第一文件加密密钥τ，并用该加密密钥τ对其所 拥有的文件F加密，得到第一文件密文C_F；

1b)首位文件上传者FU利用基于信息锁定MLE的高效加密算法从自己所拥有的 文件F中提取出第一密钥δ，并用该第一密钥对第一文件加密密钥τ进行加密，得到 第一文件加密密钥的密文C_τ；

1c)首位文件上传者FU向服务器上传其所拥有文件F的哈希值hash(F)、第一文 件密文C_F及第一文件加密密钥的密文C_τ，服务器存储数据组(hash(F)，C_F，C_τ)，该 文件哈希值hash(F)作为后续文件查找的索引值，该文件加密密钥的密文C_τ作为服务 器对后续文件上传者SU进行文件所有权认证的中间证据。

步骤2，挑战应答阶段：服务器对后续文件上传者SU进行文件所有权认证并分发 密钥。

参照图3，本步骤的具体实现如下：

2a)后续文件上传者SU计算其所拥有文件F'的哈希值hash(F')并发送至服务器： 其中，文件F'的哈希值hash(F')是通过安全散列算法SHA-1进行计算得到的；

2b)服务器根据后续文件上传者SU上传的文件哈希值hash(F')查询数据库，若数 据库中已有该哈希值hash(F')，则服务器生成一个随机数β，并将该随机数β和第一 文件加密密钥的密文C_τ一同发送至后续文件上传者SU，否则，通知后续文件上传者 SU上传其所拥有的文件F'；

2c)后续文件上传者SU利用基于信息锁定MLE的高效加密算法从其所拥有的文 件F'提取出第二密钥δ'，并用该第二密钥解密第一文件加密密钥的密文C_τ，得到第 二文件加密密钥τ'；

2d)后续文件上传者SU用第二文件加密密钥τ'对其所拥有的文件F'加密，得到 第二文件密文C_F'；

2e)后续文件上传者SU根据服务器发送来的随机数β和第二文件密文C_F'计算第 二文件密文的哈希值hash_β(C_F')并发送至服务器：

其中，第二文件密文的哈希值hash_β(C_F')是先将随机数β与第二文件密文C_F'拼接 成字符串，然后通过安全散列算法SHA-1计算该字符串的哈希值得到的；

2f)服务器根据2b)步骤中生成的随机数β和首位文件上传者FU发送来的C_F计 算第一文件密文的哈希值hash_β(C_F)：

其中，第一文件密文的哈希值hash_β(C_F)是先将随机数β与第一文件密文C_F拼接 成字符串，然后通过安全散列算法SHA-1计算该字符串的哈希值得到的；

2g)服务器将计算出的第一文件密文哈希值hash_β(C_F)与后续文件上传者SU发送 来的第二文件密文哈希值hash_β(C_F')对比：

若两者相同，则服务器认为后续文件上传者SU所拥有的文件F'与首位文件上传 者FU所上传的文件F为同一文件，标记后续文件上传者SU为文件F的拥有者，通 知后续文件上传者SU不需要上传文件F'，并可以删除本地文件F'，只需记录第二文 件加密密钥τ'；

否则，后续文件上传者SU本次文件所有权认证失败，服务器通知后续文件上传 者SU上传文件F'。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本 领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、 结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修 正和改变仍在本发明的权利要求保护范围之内。