基于决策树的异构存储设备缓存算法研究

摘要

大数据对存储系统的性能与容量等方面都有了更高的要求，数据中心多引入不同的存储设备以满足持续增长的性能与容量要求。存储设备间的性能差异使得存储设备负载和服务能力不匹配，导致系统整体性能还不能满足需求。现阶段的研究工作缺乏对存储系统中设备性能差异的考虑，I/O请求在不同存储设备上的访问速度的差异性造成性能短板，从而影响系统整体性能。 针对异构存储系统的设备负载和服务能力不匹配而导致的性能降低这一问题，提出了一种基于访问性能预测的缓存管理算法(Heterogeneous Storage Device Cache Algorithm Based on GBDT)，简称G-Cache算法，本算法采用了缓存分区策略，将整个缓存细分成多个逻辑分区，每个存储设备都有一个相对应的逻辑分区，为了合理设置缓存分区的大小，首先使用基于机器学习的GBDT(Gradient Boosting Decison Tree)决策树模型预测I/O请求在存储设备上的性能，然后结合性能预测结果来调节缓存分配大小。本算法通过调节缓存分配来平衡不同的存储设备之间的负载分布，使得存储设备上的负载和其本身服务能力相匹配，从而减轻甚至消除异构存储系统中的整体性能瓶颈，提升系统的整体性能。 使用真实的存储负载访问异构存储系统进行测试。测试结果表明，GBDT决策树能准确的预测I/O请求在存储设备上的性能。并且在不同类型的负载访问下，与Forney算法相比，G-Cache算法能明显的提升异构存储系统的性能。当缓存大小固定不变，改变条带长度，性能提升幅度为8.5%~27.8%。当条带长度固定不变，改变缓存大小，系统提升幅度为6.6%~25.5%。

目录

第一个书签之前