基于缓存访问规律的低级缓存优化策略

摘要

目前计算机系统中具有多级缓存结构,靠近处理器的是高级缓存,而靠近主存的则是低级缓存。本文中的低级缓存是指靠近主存这一端的L2缓存和L3缓存。程序运行时,如果在低级缓存发生访问缺失,则需要很多时钟周期才能从更低级的缓存中读取数据。因此,研究者们试图寻找一种高效的缓存管理策略来提高低级缓存的效率。传统的缓存管理策略是利用程序运行时的局部性原理,将最近使用过的缓存数据块缓存起来,这种方法在高级缓存中很适用,但是在低级缓存中,由于程序的局部性有所降低,所以需要寻找新的方法来优化低级缓存。
　　 针对L2缓存,本文通过实验数据发现各应用程序运行时L2缓存的访问规律,并根据这一访问规律进行缓存优化。缓存数据块的访问规律是指在该缓存数据块在插入到L2缓存中后,被重复访问次数。L2缓存中大部分缓存数据块的重复访问次数少于2次,且一些重复访问次数较多的缓存数据块经常疲替换出去。根据该规律,本文提出基于重复访问次数的缓存管理策略(RCP),通过预测缓存块的重复访问次数尽早替换重复访问次数较少的缓存数据块。本文根据缓存数据块的重复访问次数,进一步将L2缓存在逻辑上分成两个相互协作的分区(TCP),以便有效地过滤重复访问次数较少的缓存数据块。实验结果表明,相对于传统的L2缓存管理策略,RCP和TCP平均减少4.02％和9.89%的L2缓存缺失数,平均性能加速分别为1.44%和2.4%。
　　 本文对更低级的L3缓存的访问规律进行分析,通过对大量测试程序的实验发现,在L3缓存中,连续的缓存数据块之间具有相同的访问属性,这些属性包括缓存数据块的重复访问次数、缓存数据块的连续访问时间间隔.因此,本文提出了缓存数据块的连续访问时间间隔预测机制(RRIT),通过存储记录先前缓存数据块的连续访问时间间隔来预测下一缓存数据块的连续访问时间间隔。在些基础上,本文进一步提出了针对L3缓存的缓存数据块过滤机制(RRIT-Filter).在经过单任务和多任务测试程序集的测试后,相对于基准测试系统,RRIT和RRIT-Filter在单任务情况下,分别获得7.61%和8.65%的平均性能提升,而在多任务情况下,分别获得23.97%和39.15%的平均性能提升。经过实验对比分析表明,在硬件代价相同的情况下,RRIT-Filter要优于其他最新的L3缓存管理策略。
　　 综上所述,本文通过实验数据发现低级缓存的访问规律,并分别提出了针对L2和L3的优化策略,实验结果表明,这些优化策略能提高低级缓存的效率并提升系统的性能。