基于映射-化简和分词及邻接排序去重方法

摘要

本发明公开了一种基于Map-Reduce和分词及邻接排序去重方法，通过基于Hadoop的Map-Reduce分布式框架下采用SNM方法的基础上的一种分词排序的邻接排序去重方法，解决了在运用信息抽取技术进行信息抽取时抽取获得的数据存在着数据大量重复的问题，并且设计对数据进行分布式处理，根据字段匹配方法计算记录间的相似度判断记录是否重复，提高整体的去重运行效率。