基于Hadoop的数据安全保障机制研究

摘要

Hadoop作为典型的开源分布式数据存储处理框架，已成为商业化处理大数据的工具之一。Hadoop平台的应用与发展面临着诸多问题，其中Hadoop安全已成为关注的重点。Hadoop平台在数据分布式存储和并行处理过程中存在着一些安全漏洞，恶意用户利用安全漏洞获取数据或针对平台进行攻击，威胁着存储在平台的敏感数据和个人隐私。本文针对Hadoop平台的安全威胁与安全机制进行了分析与研究，主要的工作如下：　　(1)针对当前Hadoop已有的安全机制和安全组件，围绕身份验证、授权、加密和审计四个方面进行分析，同时分析了Hadoop平台可能遭受的网络攻击方式并针对性地提出攻击检测方法。　　(2)根据核心组件HDFS的结构特性分析在未施加安全机制情况下可能存在的安全威胁，针对HDFS透明加密技术提出了一种优化方案。该优化方案主要对密钥管理服务器KMS进行安全设计以确保HDFS和KMS的数据安全。安全设计通过添加混合式身份认证机制对身份进行验证；在各端添加接口以减轻KMS实现HTTPS安全传输后的密钥管理负载，进而加强对密钥的保护；设置ACL访问控制列表实现用户的细粒度访问授权。实验设计并实现所需安全功能，通过安全性分析证明此方案对KMS和HDFS数据的安全保护。　　(3)根据核心组件MapReduce的结构特性与数据处理机制分析未施加安全机制情况下存在的安全威胁，提出了一种基于Salsa20的MapReduce并行加密方案。此方案是MapReduce任务通过对存储在HDFS中的数据进行处理，在数据到达DataNode进行存储之前使用流密码算法Salsa20对数据块进行加解密操作，而非对整个文件加解密，由并行处理特性达到并行加解密的效果，进而提高数据处理性能。通过编程实现并行加密系统，系统主要分为加密模块、解密模块和算法模块，Salsa20写入算法模块中等待加密模块或解密模块调用。此并行加密系统的加密算法并不局限于Salsa20，可根据需要自行添加加密算法，极具灵活性和可扩展性，根据实验及数据对比分析，基于Salsa20的并行加密系统可在保障MapReduce数据安全的同时确保数据处理效率。

目录

声明

第 1 章绪论

1.1 课题研究背景与意义

1.2 国内外研究现状

1.3 本文主要研究内容及结构安排

第 2 章 Hadoop 及安全机制相关知识

2.1 Hadoop整体架构与核心组件

2.2.1 Hadoop安全机制

2.2.2 Hadoop安全组件

2.3.1 Hadoop集群面临的安全威胁

2.3.2 网络攻击方式分析

2.4 本章小结

第 3 章基于HDFS透明加密的优化方案设计

3.1 HDFS 安全威胁分析

3.2 Apache透明加密技术分析

3.2.1 Apache的HDFS透明加密方案

3.2.2 密钥管理服务器安全分析

3.3 HDFS 透明加密中KMS 服务器的安全优化方案

3.3.1 KMS服务器的混合式身份认证

3.3.2 KMS服务器基于KeyProvider API的通信加密

3.3.3 KMS服务器的访问控制

3.4 优化方案安全功能的实现

3.4.1 混合式身份认证功能实现

3.4.2 基于KeyProvider API的通信加密功能实现

3.4.3 访问控制授权功能实现

3.5 优化方案的安全性分析

3.6 本章小结

第 4 章基于Salsa20 的MapReduce并行加密方案设计

4.1 MapReduce安全威胁分析

4.2.1 MapReduce数据处理机制分析

4.2.2 MapReduce并行加密方案设计

4.2.3 并行加密方案中加密算法分析与选择

4.3 MapReduce并行加密系统的实现

4.3.1 MapReduce编程模型接口功能分析

4.3.2 并行加密系统用户程序模块实现

4.4.1 并行加密系统的安全分析

4.4.2 并行加密系统的性能分析

4.5 本章小结

第 5 章实验环境搭建与验证

5.1.1 伪分布式平台搭建

5.1.2 实验环境搭建

5.2 HDFS 透明加密优化方案验证

5.2.1 HDFS透明加密优化方案实验验证过程

5.2.2 HDFS透明加密优化方案实验结果分析

5.3.1 MapReduce并行加密实验过程

5.3.2 MapReduce并行加密实验结果

5.4 本章小结

总结与展望

本文工作总结

未来工作展望

致谢

参考文献

攻读硕士学位期间发表的论文及科研成果