信息数据存储平台开发

摘要

面对社会企事业单位、网络业务场景中大量的数据信息资源,传统以DFS为主的文件系统,由于其本身的物理存储资源,不一定直接连接于本地节点,且不能进行海量数据信息的分块切分与存储,围绕近年来网络数据存在的海量化、类别丰富化、并行计算困难、高并发读写等问题,引入Hadoop分布式文件系统、HDFS存储结构、HAR归档文件,构建起Hadoop分布式文件存储平台,开展多种文件类型的读取写入、判别查询、合并处理、缓存加载与备份存储,并比较DFS、HDFS两种文件计算方式的内存消耗、存储效率,以保证文件存储的安全有效性。