基于Storm的食品数据并行计算一致性问题的优化方法

摘要

本发明公开了一种基于Storm的食品数据并行计算一致性问题的优化方法，首先获取食品事件数据，其次对每个事件进行single‑pass聚类，然后通过动态获取簇增量和延时计算两种方式解决数据不一致的问题，从而实现流式数据聚类，用于发现舆论导向，对公众关注点进行快速响应。本发明提供的基于Storm的食品数据并行计算一致性问题的优化方法通过Storm分布式框架并行处理以及动态获取簇增量和随机延时的方法提高了舆情数据的处理效率和准确率，解决了并行处理数据不一致以及遍历簇次数过多的问题。因此，本发明提供的技术方案实现了基于Storm框架的single‑pass算法，而且对single‑pass算法进行了改进，大大提高了运算效率，提高了优化方法的时效性。