一种基于HDFS大数据存储的数据编辑方法

摘要

一种基于HDFS大数据存储的数据编辑方法，包括以下步骤：步骤一：配置存储策略、同步策略及数据合并策略；步骤二：数据接收服务根据存储策略将近一段时间内的数据存储在热数据存储内存及磁盘中；步骤三：数据同步服务根据同步策略以及数据是否为更新操作将热存储中的数据分别同步到分布式存储中的不同存储空间；步骤四：数据合并服务根据数据合并策略将分布式存储中两个存储空间的数据进行数据合并；步骤五：数据查询服务查询数据须先查询热存储，命中则返回，否则分别查询分布式存储两个存储空间，合并并返回查询结果。该方法实现了HDFS存储中的数据可更新功能，同时热存储中的数据提升访问效率。