ENLHS:一种基于抽样的Kafka自适应调优方法

摘要

Kafka应用在生产环境中时,除机器的硬件环境和系统平台影响其性能外,Kafka自身的配置项决定着其能否在硬件资源有限的情况下达到理想的性能,但人为修改和调优配置项的效率极差.海量数据发送到Kafka后,如果不针对实际资源环境进行调优,Kafka使用默认的配置参数无法保证其在每个生产环境下的性能.因为Kafka自身的配置项非常大,传统的自适应算法在大规模生产系统中的性能较差.为了提高Kafka的自适应能力,消除系统中的复杂性,获得更好的运行性能,提出一种针对Kafka的自适应性能调优方法.该方法充分考虑了Kafka特征参数与性能的影响权值,并使用抽样的原理来提高数据集的生成效率并优化数据选取范围,提高建模的效率并降低优化方法的复杂度.实验结果显示,该算法对开源版本Kafka的吞吐率和时延进行了优化,提高了Kafka在给定的系统资源下的吞吐性能,并降低了时延.