基于Hadoop集群下的数据分块与加密研究

摘要

随着数据量增加,单一存储模式下无法实现对海量数据信息存储,因此采用集群方式来实现海量数据进行有效存储,从而解决单一存储模式所带来的问题。但是,由于集群框架下每个DataNote节点由于其自身存储容量限制等问题,对数据进行分块来实现不同DataNode节点存储,提高了存储数据效率。当Client要访问集群框架下不同节点数据信息的时候,就要通过机架内或不同机架间进行数据传输,这样就会带来数据安全性问题。本文研究内容就是以Hadoop集群作为平台,对数据分块操作以及数据加密相关问题和算法进行研究,通过研究得到有效分块策略和加密算法改进,提高数据分块有效性和数据安全性。