一种基于Storm-Kafka实现数据顺序处理的方法及其系统

摘要

本发明公开了一种基于Storm‑Kafka实现数据顺序处理的方法，基于Storm‑Kafka框架创建KafkaSpout源头组件；从kafka上获取数据；将数据分别发送至数据处理单元Bolt对应的队列和数据确认单元Acker对应的队列中；数据确认单元Acker和数据处理单元Bolt分别获取数据，并缓存；数据处理单元Bolt进行数据处理，缓存处理后的数据序号，并将数据处理的结果发送至数据确认单元Acker对应的队列中；数据确认单元Acker将结果返回至KafkaSpout源头组件。本发明还公开了一种基于Storm‑Kafka实现数据顺序处理的系统，包括组件创建模块、数据获取模块、数据发送模块、数据缓存模块、数据传输模块、数据处理模块和数据反馈模块。本发明具有高容错和高并发的特性，保证数据的处理效率；通过扩展KafkaSpout组件，实现数据的顺序处理。