基于强化学习的Lustre文件系统的性能调优

摘要

高能物理计算是典型的数据密集型计算,文件访问模式以跳读为主,并发度高.吞吐率、响应时间等性能对整个系统至关重要,往往是重点关注的性能优化目标.分布式存储系统存在大量可供调节的参数,这些参数的设置对系统的性能有着很大的影响.而参数调节和系统的反馈之间是有延时的,如果采取了连续多个调节动作,很难确定究竟是哪个动作起了作用,或者每个动作对结果的影响是多少.因此,人工调节不免存在偏差,况且庞大的参数搜索空间、负载的连续性、负载和设备的多样性等因素也决定了传统方法是非常低效的.实际上,如果把调节引擎看作是智能体,把存储系统看作是环境,存储系统的参数调节问题是典型的顺序决策问题.因此,基于高能物理计算的数据访问特点,提出了用强化学习的方法来进行自动化的参数调优.实验表明,在相同的测试环境下,以Lustre文件系统默认参数为基准,该方法可使其吞吐率提升30％左右.