一种基于PageRank的数据块预缓存方法

摘要

一种基于PageRank的数据块预缓存方法；其包括统计记录数据块调度情况；模型的构建；模型的更新；模型的保存；模型的加载；模型保存周期H的设定；基于PageRank算法的排序；缺块中断；数据块的预调入等。本发明是一种针对大数据处理过程中数据块频繁磁盘IO而造成的服务性能下降和数据块缓存命中率不高问题提出的解决方案，可广泛应用到大数据处理过程中，通过实时的统计记录数据块调度情况，再根据空间局部性、时间局部性和通过PageRank算法计算出来的数据块之间的紧密关系，采用预调入的方式，将要数据块主动的推送到缓存中，从而提高数据块缓存的命中率，大幅度的提高服务的性能。