基于Hadoop技术的智慧图书馆海量数据储存系统研究

摘要

基于GFS(Google File System谷歌文件系统)理论与HDFS(Hadoop Distributed File System分布式文件系统)实现,根据智慧图书馆海量数据储存特性,设计了以计算机技术为载体的数据储存系统。按照软件工程理念与方法,开发系统框架与功能模块,并面向系统进行了全面测试。测试结果表明,系统可有效实现海量数据存储管理功能,且各节点运行过程中,对于不同数据类型,可根据节点选择科学可行策略,以供高效数据储存服务与读写功能,以此保障存储性能的实效性,从而实现系统良好负载均衡性,且在海量数据高效精确搜索的基础上,系统I/O效率得以显著提升。