基于Flink流处理框架的FFT并行及优化

摘要

FFT作为雷达信号处理的关键计算步骤之一,本质上是一个基于数据流的处理过程。以往的FFT计算大多集中在通用计算平台上进行并行计算实现,计算系统存在扩展性和鲁棒性问题。随着科学计算应用在Flink上的逐渐兴起,将FFT在Flink上进行并行和优化,不仅可以很好地利用框架自身良好的系统扩展性和鲁棒性,同时也能使其具备高吞吐的实时性能。基于Flink对FFT流处理算法流程进行了设计和优化,同时针对Flink对适用于FFT计算的缓存窗口机制进行了设计,实验结果表明,改进后FFT并行算法在多个大规模点数下计算速度均有所提高。