一种解决Spark数据倾斜问题的负载均衡方法及装置

摘要

本发明涉及一种解决Spark数据倾斜问题的负载均衡方法，包括S1：监测计算节点的平均CPU利用率、内存利用率，Spark Executor进程启动后，初始化Executor的权重信息；S2：每个计算节点根据预设抽样比例对本地中间数据进行抽样，然后将本地抽样信息通过消息通信发送给Master节点；S3：Master节点汇总抽样信息，建立数据分布的直方图，预测数据分布总体特征；S4：根据数据分布情况，将数据划分为多个分区，分区数为所有Executor总核数的整数倍，分区过程中对大型Key进行拆分；S5：计算Executor的性能因子，每个数据分区对应一个Executor任务，将任务按照贪心策略分配给性能因子最高的Executor；S6：Executor的权重根据其负载和资源利用率动态调整，重复步骤S5直到任务分配完毕。还包括对应装置。