基于任务结构优化的RDD缓存策略研究

摘要

大数据计算框架Spark自诞生至今,一直采用LRU(Least Recently Used)作为缓存替换算法,但由于Spark的缓存调度器无法准确预测整个任务缓存的使用情况,导致部分情况下LRU算法效果欠佳.本文通过分析Spark任务结构,在优化和分析任务结构的基础上,提出了一种新的缓存替换策略,包括任务结构优化和RWR(RDD Weight Replace)缓存替换策略.综合多种影响RDD使用情况的因素,提出了一个合理的RDD权重模型,确保替换过程中相对更有价值的RDD能够缓存至内存中,用于提高缓存命中率和内存利用率,减少因内存瓶颈造成的计算错误,提高了Spark框架的整体计算速度.实验结果表明,本文提出的任务结构优化策略和缓存替换策略能够有效提高任务执行效率.