基于Hadoop架构的高校科研数据存储系统设计

摘要

传统系统针对海量数据存储问题通过配置大量服务器提高存储与计算能力,但存在硬件成本较高的缺点.为此,设计基于Hadoop架构的高校科研数据存储系统.利用分析Hadoop等云计算核心技术,设计Hadoop架构的数据存储模型.之后,设计高校科研数据存储系统的结构,根据Hadoop技术的特点提高数据处理的效率.详细设计数据存储系统,主要包括文件系统模块、文件块存储策略、资源网架构、读写数据体系与数据库数据访问层等模块.最后,对设计的高校科研数据存储系统进行验证.通过实验可知,此系统能够使校园办公、科研与教学中的海量数据存储管理问题得到解决,开发成本比较低,运行比较稳定,便于扩展.