一种基于Map-Reduce框架的实体识别方法

摘要

本发明公开了一种基于Map-Reduce框架的实体识别方法，具体包括以下几个步骤：从用户数据库中导出海量数据，判断数据是否规范；基于相同属性值对实体进行初步聚类，建立属性索引表；对同一属性索引表中的实体进行实体识别，获取相似实体对，生成相似实体对集合文件，并计算实体对之间相似度；通过机器学习求得阈值；将相似实体对之间的相似度大小与阈值进行比较，大于阈值的相似实体对符合输出条件；通过实体划分建立实体对关系图，基于桥进行初步图划分，基于节点间公共邻居进行实体划分，生成实体分类文件；计算划分中的实体属于其所在实体分类的概率。本发明识别方法效率高，处理速度快，内存占用小，适用于大规模数据上的实体识别。