一种面向海量数据的并行处理方法及系统

摘要

本发明涉及一种网络管理中面向海量数据的并行处理方法，尤其是一种提高带宽和资源利用率的任务调度方法，包括：定时从数据库中取出待采集任务，并将待采集任务插入任务采集队列，等待采集任务的执行；从任务采集队列中取出任务描述，根据带宽资源利用情况和/或计算资源使用情况将任务进行子任务划分，将子任务映射到采集任务处理单元等待子任务的执行；执行各个子任务以完成数据采集任务，将采集的数据加入数据缓存队列，并进行并行数据处理，将处理好的数据加入内存数据库；将内存数据库中的数据定期同步到物理数据库中。