基于Spark Streaming的流式RDF数据并行推理算法

摘要

本发明涉及一种基于Spark Streaming的流式RDF数据并行推理算法。首先结合OWL Horst推理规则，构建相应的规则连接变量关系表；在迭代并行推理阶段定时获取Streaming数据流中的批量新数据以及前次推理产生的数据作为输入数据，对输入的模式数据和实例数据进行归类处理并存储到相应的Redis集群；然后，根据规则连接变量关系表，判断本次推理能够激活的规则，结合相应的实例数据产生推理数据；最后，删除本次推理产生的重复数据并存储，本次迭代推理结束。本发明减少了MapReduce的任务数，结合Spark进行流式数据的迭代推理；设计规则连接变量关系表来存储数据以及推理中产生的新数据，保证了算法的完备性；设计了实例三元组的存储方案，结合Redis的特性，以空间换时间，实现了实例数据的快速读取。