基于HDFS的数据安全保护机制研究

摘要

随着数据成为一个重要的经济资源，它的安全性、隐私性和正确使用越来越重要。但是目前身份认证，访问控制，异常检测，安全信息和事件管理等国内外主要的大数据安全与隐私的解决方案并没有对数据的生命周期和用户行为进行精确的追踪。溯源通过记录数据产品的演变过程，形成能准确表达数据特征和对象历史的元数据，为数据密集系统中的复杂数据分析与理解提供结构化的指导依据。
　　本文以数据库系统和分布式文件系统 HDFS为数据密集系统，数据库文件表和 HDFS文件为研究对象，在深入分析国内外数据溯源系统和溯源模型，探讨数据溯源在大数据溯源方面面临的问题与挑战之后，提出将数据溯源应用到大数据安全解决方案中，并设计了大数据溯源系统具体实现方案。
　　本文设计实现的大数据安全溯源系统分为溯源收集及其标准化、溯源压缩、存储中间件和可视化分析四个组件。溯源收集及其标准化组件针对不同的源数据系统，设计了兼容的标准数据采集格式；并实现了数据的远程安全采集，数据版本控制，以及源数据记录到模型的完整映射。溯源压缩组件提出了基于语义的高效的压缩算法解决元数据高效存储的问题。通过对数据系统的记录特征进行深入分析，识别无效数据的基本特征并进行过滤，节省了数据空间；识别重复或相似操作的基本特征，对大量相似操作进行了合并，在减轻系统存储负载的同时，减轻了数据分析的复杂度，优化了数据可视化的速度。存储中间件组件设计了大数据溯源信息存储的可扩展方案，支持不同数据库系统的接入，结构化数据和非结构化数据之间的数据备份和迁移。可视化分析组件实现了大数据溯源的图形数据存储，用户、文件、流程等多个方面数据访问。实现了包括DOT和XML文件在内的数据映射和数据展示，为用户提供丰富、友好、可复用的数据结果。
　　实验结果证明，提出的数据安全保护机制能有效结合 HDFS文件系统，充分利用元数据，使文件生命周期及其数据来源，和复杂的历史操作行为变得可核查，为数据保护形成完整的信息揭露和信息推导机制。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 研究背景

1.2 国内外研究现状

1.3 作者主要工作

1.4 论文组织结构

第二章 大数据溯源相关技术研究

2.1 溯源信息收集方法

2.2 基于存储的溯源压缩方案

2.3 溯源系统存储实现方案

2.4 可视化分析的基本方法

2.5 本章小结

第三章 基于HDFS的安全溯源系统需求分析

3.1 系统需求概述

3.2 溯源收集及标准化

3.3 溯源压缩

3.4 存储中间件

3.5 可视化分析

3.6 本章小结

第四章 大数据安全溯源系统设计与实现

4.1 系统概要设计

4.2 溯源收集及其标准化组件设计与实现

4.3 溯源压缩组件设计与实现

4.4 存储中间件组件设计与实现

4.5 可视化分析组件设计与实现

4.6 本章小结

第五章 系统测试及结果分析

5.1 测试环境

5.2 系统功能测试

5.3 系统性能测试

5.4 本章小结

第六章 总结与展望

致谢

参考文献