一种基于strom和内存网格实现数据转换的方法及系统

摘要

本发明提供一种基于strom和内存网格实现数据转换的方法，需提供storm的复数个发射节点、处理节点、内存网格节点以及一个预热与更新节点，且每一处理节点对应一个发射节点和一个内存网格节点，所述方法包括：采集数据到消息队列中；一处理节点与一内存网格节点进行绑定，实现共享内存空间以及同步启动、关闭；在预热与更新节点收到加载数据请求后，调用所有处理节点从关联数据源获取待匹配的第一数据存入内存网格节点；发射节点读取消息队列中待匹配的第二数据到处理节点；处理节点再从内存网格节点中获取第一数据进行匹配，并将匹配后的数据发送给对应的输出节点。本发明还提供一种基于strom和内存网格实现数据转换的系统，提高数据处理效率。