基于云平台的全域匿名算法的研究与实现

摘要

由于知识决策、信息共享、科学研究的需求，数据拥有者（个人、企业、政府等）需要将数据对外发布。尽管数据拥有者向第三方发布数据前可能已经隐匿了个人的标识信息，如姓名、电话号码、身份证号等，但攻击者仍然可以通过对发布的数据和其他渠道获得的数据进行链接攻击，从而识别出相关个体的隐私信息。为了减少数据发布过程中隐私泄露的可能性，数据拥有者有必要在发布前对数据进行隐私保护的相关处理。
　　为了判断数据是否满足隐私保护的要求，有学者提出了隐私保护模型的概念。只有当数据满足隐私保护模型的基本要求时，才认为数据对外发布是安全的。k-anonymity模型是现今被广泛接受和研究的隐私保护模型之一，它主要通过泛化技术来实现数据的匿名化。全域匿名是基于泛化技术的典型匿名方案之一，它具有很高的算法通用性，本文的隐私保护算法正是基于全域匿名方案的。
　　信息技术高速发展带来了数据规模不断地增长和频繁地共享，大大增加了数据隐私泄露的可能，这使得对数据的隐私保护尤为迫切。然而现今基于全域匿名的隐私保护算法都是建立在单机模式下，在单机模式下处理海量数据的匿名化效率极低。因此面对现今数据规模的急剧增长，单机模式下的隐私保护算法显然已经不适用。
　　为了解决这一难题，本文采用了基于云计算技术的MapReduce分布式编程模型来处理海量数据的匿名化。云计算技术主要是为了解决数据爆炸式增长与现今服务器存储和计算能力不足的矛盾。利用云计算的分布式并行技术能够非常高效地处理海量数据。因此，本文提出了一个基于MapReduce分布式编程模型的全域匿名算法，MRFDA。MRFDA算法能够充分利用云计算多机协作的优势来实现海量数据的匿名化处理。

目录

摘要

1 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．3 本文研究内容

1．4 论文组织结构

2 隐私保护相关技术

2．1 隐私保护的实现方法

2．1．1 隐匿

2．1．2 泛化

2．1．3 抑制

2．2 隐私规范

2．3 隐私保护模型

2．3．1 k-anonymity模型

2．3．2 e-diversity模型

2．3．3 t-closeness模型

2．4 隐私保护算法

2．4．1 Incognito算法

2．4．2 Mondrian算法

2．4．3 Anatomy算法

2．5 基于数据匿名的信息损失度量

2．5．1 Prec度量标准

2．5．2 DM度量标准

2．5．3 CM度量标准

2．6 本章小结

3 Hadoop相关技术介绍

3．1 云计算概述

3．2 Hadoop概述

3．3 HDFS分布式文件系统

3．3．1 数据块

3．3．2 NameNode和DataNode

3．3．3 HDFS读写过程

3．4 MapReduce分布式编程模型

3．5 HBase分布式数据库

3．5．1 HBase数据模型

3．5．2 HBase架构

3．6 本章小结

4 基于MapReduce的全域匿名算法

4．1 算法的提出

4．2 算法原理

4．3 算法的格描述

4．4 算法的分布式描述

4．5 本章小结

5 MRFDA算法的改进

5．1 重复结点的消除

5．2 低精度结点的预先消除

5．3 MRFDA算法的运行流程

5．4 本章小结

6 实验结果与分析

6．1 实验环境搭建

6．2 实验数据集

6．3 实验结果分析

6．4 本章小结

7 总结与展望

7．1 工作总结

7．2 未来研究展望

参考文献

攻硕士学位期间参加的科研项目和科研成果

致谢

声明