基于Spark系统的大规模对象识别方法

摘要

本发明涉及一种基于Spark系统的大规模对象识别方法。该方法包括：步骤10、读取并解析所有匹配规则；步骤20、读取并解析作为对象描述数据的记录；步骤30、对于每个匹配规则，如果记录具有该匹配规则所需的所有属性，匹配结果为该记录的该所有属性的内容所组成的属性串以及该记录的记录id；步骤40、将相同属性串对应的记录id聚集在一起成为记录id的集合；步骤50、对每个对象所具有的记录id广播其所属的对象，对于同一记录id所对应的对象进行传递闭包处理得到新的对象；步骤60、反复进行步骤50，直至对象的数量没有改变。本发明采用大规模并行的策略，解决了面对海量数据的匹配效率问题；通过预定义的匹配规则，规避了数据缺少与错误的问题。