相似重复记录

摘要： 数据仓库中的问题数据对数据质量有较大的影响,为了查找和去除这些问题数据,首要的工作是处理相似重复数据,目前针对重复数据清除应用最多的算法是基本邻近排序算法(SNM)。通过分析SNM算法的缺陷,提出了一种改进的SNM算法——ISNM。采用属性区分法计算属性权值,解决了人为主观赋予权值导致的问题;使用字段过滤算法计算2条记录的相似度,减少了窗口内记录属性的比对次数,加快了算法的检测速度;使用可变窗口代替固定大小的窗口,防止记录漏配并减少无用的记录比对。实验结果表明,改进后的ISNM算法在查全率、查准率和运行时间开销上有明显的优势。

摘要： 目前大型企业存储了大量的数据,但是数据质量令人担忧,集中表现在相似重复冗余的数据特别多,以及多个数据源的合并加重数据的冗余。大数据相似记录检测环节是数据清洗研究的重要方向。针对大数据中存在的相似重复数据的检测问题,文章提出了一种基于k-means分组聚类的检测算法,实验分析表明,该方法在确保精度不变的情况下提高了检测效率。

摘要： 为解决中文数据的重复检测问题,在SNM(Sorted-Neighborhood Method)算法的基础上提出了一种融合《同义词词林扩展版》和中文分词于一体的重复记录检测算法,通过利用《同义词词林扩展版》和Jaccard算法计算词语相似度,同时采用Python中Jieba中文分词的方式对语句进行分词,从而达到优化余弦相似度算法计算语句相似度.改进后的算法能有效的对记录为中文的字段和语句进行重复记录检测.并通过对某辅导机构学生测验信息数据集进行实验,实验结果表明,该算法的查全率及查准率比传统SNM算法有了很大提高.

摘要： 针对在海量日志记录中无法有效抽取高价值的数据问题,提出一种基于Mahout的k-means短文本聚类清洗算法,利用开源机器学习算法库Mahout,将文本聚类与数据清洗相结合,通过聚类检测相似重复记录,有效提升重复数据清洗速率.实验结果表明,该方法在保证较高查全率与查准率的同时,比传统相似重复数据清洗算法更具有扩展性,这对大数据的处理有较强的实用意义.

摘要： 针对在海量日志记录中无法有效抽取高价值的数据问题,提出一种基于Mahout的k-means短文本聚类清洗算法,利用开源机器学习算法库Mahout,将文本聚类与数据清洗相结合,通过聚类检测相似重复记录,有效提升重复数据清洗速率。实验结果表明,该方法在保证较高查全率与查准率的同时,比传统相似重复数据清洗算法更具有扩展性,这对大数据的处理有较强的实用意义。

摘要： 针对目前社工库存储的海量数据,数据冗余、查询效率低下的质量问题,本文提出了一种有效的基于划分的近邻排序算法.对不同渠道采集、以不同存储方式存储的社工数据进行整合形成能以二维表形式存储的海量数据集,采用划分思想,对大数据集进行分割,形成簇;采用改进的近邻排序算法对各个簇中的小数据集进行检测得到最终的相似重复记录检测结果.实验和对比分析结果表明,划分和近邻排序算法的结合使用不仅提高了海量数据相似重复记录检测的时间效率,检测准确率也有所提升.

摘要： 在大数据处理分析中,需要对数据记录进行相似重复记录检测并消除,可以提高数据记录的质量.邻近排序算法(SNM算法)是对数据库所有记录进行排序比对,新记录和旧记录都需要比对,而旧记录的相互比是已经做过的,这就造成了一定的计算浪费.在考虑尽量减少这种计算浪费的基础上,提出了一种针对关系数据库记录的相似重复记录检测算法,算法首先创建记录属性关系表,设定属性的相应权重和相似度阈值,通过属性关系表计算记录和其他记录的相似度,从而完成对相似重复记录的检测.实验表明新的算法的效率比SNM算法有一定提高.

摘要： 通过研究相似重复记录的数据清洗算法,在对N-Gram算法进行深入分析与研究后,指出其不足之处,并在此基础上进行改进并加以应用.实验结论证明,改进后的N-Gram算法无论是在查全率、查准率,还是运行速率上都得以大幅度提升.

摘要： 针对大数据来源多、维度高和体量大的特点,提出一种云环境下检测大数据相似重复记录的并行算法MP-SYYT.利用汉语词法分析技术、德尔菲法以及词频-逆向文件频率算法对传统的SimHash算法进行改进,以解决算法中关键词提取速度慢、精度和权重计算精度低的问题;利用倒排索引算法对传统SimHash算法进行优化,以提高其相似重复记录的匹配效率;利用所提MP-SYYT算法在云平台上定义Map函数和Reduce函数,并用MapReduce模型在云环境下实现了大数据相似重复记录的并行检测和直接输出;在Hadoop平台上进行实例分析,以验证MP-SYYT算法的高效性和实用性.

摘要： 针对网格聚类的特点,将其与MapReduce编程模型相结合,实现动车组海量数据中相似重复记录的清洗.Map函数判断每条记录所属的网格,并计算其到网格指定端点的距离.在Reduce阶段,筛选出网格编号和到网格指定端点距离相同的数据,接下来再利用SNM算法对这些数据进行处理.实验表明,将网格聚类应用到MapReduce上,能够快速地查找海量数据中的相似重复数据.

摘要： 为实现相似重复记录检测,提出一种基于One-Class SVM的分类检测方法.针对数据源中相似重复记录样本稀少的特点,将相似重复记录的检测建模为单分类问题;针对单一数据源的情况,根据记录中不同属性特征的类型不同,定义了字符串型、枚举型、连续型三种属性之间的相似性度量方法,将记录对之间的相似特征向量作为One-Class SVM分类器的输入进行检测;建立了以召回率、准确率、特征数量为目标的多目标特征选择优化模型,通过加权的方式将其转化为单目标,应用蚁群算法进行求解.实验结果通过将One-Class SVM和SVDD以及传统二分类SVM算法进行对比,突出该算法的有效性和实用性.

摘要： 为了保障数据质量，在进行数据分析之前必须进行数据清洗，而相似重复记录检测是数据清洗中的重要环节。以前的相关研究大多是领域无关的，本文面向专利数据领域，从专利文献自身的特点及专利分析需求出发，认为专利中相似重复属性的检测与相似重复记录的检测同样重要，提出了基于IRPU算法的专利数据相似重复属性及记录检测方法。实验结果表明，该方法适用于专利数据领域，具有较高的识别精度。

摘要： 本发明公开了一种近重复记录相似度评估方法，该方法包括：步骤一：对待消重的大数据集进行分块操作，得到许多较小的数据块；步骤二：针对每个数据块，初始化属性层和记录层的相似度；步骤三：如果未满足迭代停止条件，则使用记录层相似度去更新属性层相似度和使用属性层相似度去更新记录层的相似度；步骤四：输出属性层和记录层的相似度。本发明采用了迭代地在属性和记录层传播相似度，从而克服了现实生产中记录存在缺失值和噪音值的问题，更准确地评估记录间的相似度。本发明还是一个无监督的方法，克服了需要标注数据带来的成本，并且其输出还可以灵活地集成到一些现存的基于聚类的或者基于距离的消重系统框架中。

摘要： 本发明涉及一种基于分词与索引技术的重复记录检测方法，获取待处理记录集，遍历待处理记录集，选取出待分词字段集合，对每一条记录的待分词字段中的字段值进行分词，得到每条记录的分词集合；遍历待处理记录集的同时，根据获得的分词集合，建立并扩充待处理记录集的逆向索引，根据获得的逆向索引，建立并扩充待处理记录集的正向链集合；遍历结束，得到构建完成的逆向索引和正向链集合，获得候选记录对集合；采用记录重复性计算算法，对所有的候选记录对对应的待处理记录是否重复进行计算，最终得到候选记录对是否重复的结果，存储检测结果；若发生增加记录、修改记录、删除记录的增量记录，则对增量记录进行实时处理。

摘要： 本发明公开了一种近重复记录相似度评估方法，该方法包括：步骤一：对待消重的大数据集进行分块操作，得到许多较小的数据块；步骤二：针对每个数据块，初始化属性层和记录层的相似度；步骤三：如果未满足迭代停止条件，则使用记录层相似度去更新属性层相似度和使用属性层相似度去更新记录层的相似度；步骤四：输出属性层和记录层的相似度。本发明采用了迭代地在属性和记录层传播相似度，从而克服了现实生产中记录存在缺失值和噪音值的问题，更准确地评估记录间的相似度。本发明还是一个无监督的方法，克服了需要标注数据带来的成本，并且其输出还可以灵活地集成到一些现存的基于聚类的或者基于距离的消重系统框架中。

摘要： 本发明涉及一次性记录光盘的重复记录方法及装置，尤其是涉及重复记录是将所要求的数据替换记录在数据区域内的其它区域，为了在替换记录后也能确保用户数据区域的连续性，在光盘内已完成记录的特定区域，重复记录在将所要求的数据记录在光盘内用户数据区域的后端的同时，依靠上述替换记录，在光盘内的管理区域，将已变更的用户数据区域的最后可能记录的位置信息记录下来。本发明以在一次性记录光盘上可进行逻辑上的重复记录，特别是以在逻辑重复记录以后，也仍然保持用户信息区域的连续性。

摘要： 本申请属于智能船舶数据管理领域，具体涉及一种针对智能船舶近似重复记录的检测方法、消除方法，旨在为了解决现有方法对排序关键字的依赖性大导致漏检率较高及检测效率低的问题。针对智能船舶近似重复记录的检测方法根据属性的重要程度提取一个或多个属性作为排序关键字，对待检测数据集中的各条记录进行排序，通过宽度和滑动速度可调的滑动窗口顺序扫描排序后的待检测数据集，采用编辑距离算法计算两条记录的第一相似度，将第一相似度大于第一阈值的记录作为近似重复记录。该方法可降低近似重复记录的漏检率，检测效率高。针对智能船舶近似重复记录的消除方法将通过上述检测方法检测得到的近似重复记录合并，提高了数据的准确度。

摘要： 本发明公开了用于清洗数据重复记录的方法，包括，步骤1，预处理；步骤2，重复记录检测，通过字段匹配与记录匹配实现重复记录检测；步骤3，数据库级的重复记录聚类，在数据库级医用检测重复记录的算法对整个数据集中的重复记录进行聚类；步骤4，冲突处理，根据规则合并或者删除检测出的同一重复记录聚类中的重复记录，只保留其中正确的那条记录。本发明通过预处理、重复记录检测、数据库级的重复记录聚类以及冲突处理简化了现有的重复数据清洗方式，提高了清洗效率。

摘要： 本发明公开了对URL进行数据重复记录清洗的方法，包括：步骤1，通过网络爬虫从Internet上抓取网页内容，并抽取出需要的属性内容；步骤2，通过URL队列为爬虫提供需要抓取数据网络的URL；步骤3，通过数据处理模块对爬虫抓取的内容进行处理；步骤4，通过数据存储模块对需要抓取数据网站的URL信息、爬虫从网页中抽取出来的数据以及经过DP处理后的数据进行存储。本发明通过网络爬虫或网站公开API方式从网站上获取数据信息，本发明可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储，并且支持图片、音频、视频的采集，附件与正文可以自动关联，提高了网络信息的采集和抓取速度，同时提高了抓取后信息的存储速度。

摘要： 一种基于蚁群优化的相似重复记录检测中自动特征加权与选择方法，包括定义了基于属性类型的相似度函数计算公式，方法通过应用属性权重和检测阈值综合考虑的同步优化策略，将基于相对权重的特征选择方案，属性权重归一化的约束转换策略，以及蚁群算法求解过程中在不同变量间启发式信息的作用平衡策略，有机地整合起来，使整个方法更加系统、全面，加之整个方法基于领域无关的设计理念，适用范围更加广泛，体现了方法极大的健壮性和良好的可扩展性。

摘要： 本发明公开了一种相似重复记录的数据清洗自动化方法，该方法通过计算字段的重复率，实现自动选取进行排序的字段和自动确定字段的相似度权重，并且根据窗口内的首尾记录是否相似重复，动态调整窗口大小，从而实现相似重复记录的数据清洗自动化；降低人力成本，减少人为因素对结果的影响；本发明还提供了用于实施本发明上述方法的系统，各模块之间协作配合，重复计算和比较、处理，减少人工参与，在对数据清洗过程中得到更为准确的处理结果，自动化程度高。

摘要： 一种基于蚁群优化的相似重复记录检测中自动特征加权与选择方法，包括定义了基于属性类型的相似度函数计算公式，方法通过应用属性权重和检测阈值综合考虑的同步优化策略，将基于相对权重的特征选择方案，属性权重归一化的约束转换策略，以及蚁群算法求解过程中在不同变量间启发式信息的作用平衡策略，有机地整合起来，使整个方法更加系统、全面，加之整个方法基于领域无关的设计理念，适用范围更加广泛，体现了方法极大的健壮性和良好的可扩展性。