基于深度学习的大规模数据库重复记录删除研究

摘要

重复记录直接影响数据库管理的效率,当前重复记录删除的正确率低、误删率高,为了提高重复记录删除的正确率,满足重复记录管理的要求,提出基于深度学习的大规模数据库重复记录删除方法.首先对已有数据库重复记录删除方法进行分析,找到引起数据库重复记录删除不理想的因素;然后采用深度学习算法对数据库重复记录数据进行学习,建立数据库重复记录的分类器,根据分类结果进行数据库重复记录删除操作;最后通过仿真实验分析数据库重复记录删除效果.结果表明,深度学习算法可以对数据库重复记录进行准确分类和识别,获得较高的删除正确率,误删率明显小于其他数据库重复记录删除方法,研究结果具有一定的理论和实际价值.