一种在键值库中进行分布式数据分析的方法

摘要

本发明一种在键值库中进行分布式数据分析的方法，属于数据处理技术领域。将键值库中与哈希范围对应的数据作为一个数据块，每个数据块有多个副本，选取一个副本进行映射处理，得到多个中间数据块，存储在当前计算机上；聚集处理从映射处理的计算机上读取中间数据块，进行排序后进行聚集处理，得到一个输出文件并存储在非关系型数据库上的文件系统中；启动时，用户将数据分析程序打包成一个代码包，将该代码包和数据块描述信息存储在文件系统中，中心计算机从文件系统中读取数据块描述信息,根据该信息分配任务。本方法消除了映射聚集框架对分布式文件系统的依赖，可执行代码包都被存储在非关系型数据库上的文件系统中，降低了资源消耗和维护成本。