基于大数据的海量数据并行处理方法

摘要

本发明提供了一种基于大数据的海量数据并行处理方法，该方法包括：(1)获取并行计算平台当前可用进程数；(2)根据可用进程数，分配和初始化用于存储进位的缓存队列；(3)根据可用进程数将需要进行求和操作的运算任务进行区域切分；(4)多进程并行求取各区域的计算任务，将最后的进位值保存到缓存队列中相应的项中；(5)对已更新的缓存队列中每个区域的结果进行统一操作。本发明提出了一种基于大数据的海量数据并行处理方法，在多核计算平台的基础上，充分利用分布式并行环境提高运算速度。