基于布尔匹配规则的实体解析方法

摘要

实体解析(ER)是数据集成和数据清洗的一个重要步骤。判断记录是否相似可以通过记录的属性(属性值)是否相似来判断。基于规则的实体解析方法,通过制定规则来将每个属性(属性值)的相似度都进行比较(属性匹配规则),为了减小其求解的搜索空间,属性匹配规则将每个属性都采用相同的相似度算法和阈值来进行比较,这导致实体解析的精度不高。为了提高精度,本文提出一种基于布尔匹配规则的改进的实体解析规则生成算法,与传统的基于属性匹配规则和机器学习的实体解析方法相比,改进的实体匹配规则算法精度更高。本文首先提出一种基于语法约束的布尔匹配规则。在此基础上,本文提出了一种规则合成(Rule Evolution)算法,他可以根据输入的实例验证规则,并自动合成对整个数据集有效的ER规则。在真实数据集和合成数据集上的实验结果表明,我们的方法具有很高的准确性,本文提出的规则在有效性上优于其他可解释规则(如低深度的决策树,其他基于规则的实体解析)。