一种基于动态水位值的Flink调度优化算法

摘要

新一代大数据间引擎Flink在面临远程传输问题时,主要通过Netty完成数据传输,并依靠Netty水位值机制来保证其反压机制的运行。Netty水位值机制是一种相对静态的机制,这使得Flink在面临突变性特别大的数据流时会反复进行反压,进而影响整个Flink集群的计算效率。针对此问题,本文提出一种基于动态水位值的Flink调度优化算法Flink-N,经实验验证,与Flink默认的反压机制相比,Flink-N在吐吞量、CPU利用率及时延均有很大提升,时延整体优化达18%,最高优化23%。