基于滑动窗口的流数据并行处理方法

摘要

物联网技术和工业互联网的发展,使得在复杂重型装备制造过程,可以采集大量的制造生产数据。为实时监测制造过程,需提高流数据的处理速度。本文通过分析现有的流数据处理引擎,结合基于分区与基于时间两种滑动窗口思想,构建单位时间周期下融合子流处理结果的滑动窗口模型,采取并行实时运算模式实现实时流数据处理。并基于Lambda架构设计了流数据处理平台,将数据处理分成批量处理平台与增量处理平台两部分,以应对数据的多样化需求。最后通过吞吐量和延迟分析,验证了基于滑动窗口的并行流数据处理方法可以满足复杂重型装备实时监测对数据实时性的需求。