一种Spark平台下的作业性能评估方法

摘要

为了解决Spark作业运行过程中性能评估和性能优化问题,文章提出一种基于层次分析的Spark作业性能评估和分析方法。首先,针对由于特征选取影响传统作业类型划分准确性的问题,文章选取更加真实的CPU、I/O特征,并结合K-Means聚类算法构建作业分类器,提升划分准确率;其次,文章通过消除作业运行过程中数据排序、磁盘溢写、文件合并等操作来优化作业工作流,并将优化后的作业性能指标作为评估基准,使得作业运行性能评估更具客观性和通用性;然后,对各性能指标进行量化、分层,利用层次分析法计算各层级间专家经验的指标权重,结合作业分类器和评估基准构建性能评估模型;最后,在作业类型划分、工作流优化方法和性能评估3方面进行实验验证。实验结果证明了文章提出的作业类型划分和工作流优化方法的有效性以及评估模型的准确性。