分布式并行智能计算模型研究

摘要

针对复杂系统数据处理计算量大、实时性要求高等问题,提出了一种分布式并行智能计算模型.利用Spark平台在分布式集群所有节点的内存RDD中完成遍历扫描运算,结合有向无环图搭建并行计算框架,引入负载均衡处理实现分布式系统所有节点能够均衡分担计算任务.结果表明,与单机情况相比,各节点的遍历任务分配更均衡,并行度更高.