Spark平台下基于最大化缓存增益的缓存替换方法

摘要

本发明公开了一种Spark平台下基于最大化缓存增益的缓存替换方法，该方法首先通过对有向无环图中各种操作的依赖性进行分析，提出了一个用于衡量缓存收益的缓存增益模型，目标是使其缓存增益最大化。然后在作业到达率已知的情况下采用取整舍入方法对该受背包约束的最大化问题求得离线最优近似解。最后在作业到达率未知的情况下，采用投影梯度上升方法获取每个缓存项应放置在缓存中的概率，从而获得满足缓存增益最大化的在线自适应缓存替换策略。此方法充分利用了系统资源，缩短了Spark应用的执行时间，提高了缓存命中率。