首页> 中国专利> 一种基于聚类的近似重复记录的检测方法及装置

一种基于聚类的近似重复记录的检测方法及装置

摘要

本发明提供一种基于聚类的近似重复记录的检测方法及装置,该方法包括步骤S1:使用Canopy聚类先对近似重复记录进行“粗”聚类;步骤S2:对Canopy内的点进行基于K‑means的聚类,得到近似重复记录;步骤S3:清洗近似重复记录。与现有技术相比:本发明提供了一种基于聚类的近似重复记录的检测方法及装置,通过Canopy聚类方法和K‑means聚类方法来聚类近似重复记录,保证了较高的检测近似重复记录的精确程度,提高了检测近似重复记录的效率;本发明创建的Canopy不会太大且Canopy之间重叠的不多,这样大大减少了后续需要计算相似性的对象的个数,从而降低了计算量,减小了内存需求;本发明中的K‑means算法中的阈值通过Canopy个数来确定,减少了选择阈值的盲目性。

著录项

  • 公开/公告号CN108268876A

    专利类型发明专利

  • 公开/公告日2018-07-10

    原文格式PDF

  • 申请/专利权人 广东精点数据科技股份有限公司;

    申请/专利号CN201611257674.5

  • 发明设计人 简宋全;李青海;侯大勇;邹立斌;

    申请日2016-12-30

  • 分类号G06K9/62(20060101);

  • 代理机构11473 北京隆源天恒知识产权代理事务所(普通合伙);

  • 代理人闫冬

  • 地址 510630 广东省广州市天河北路906高科大厦A-701

  • 入库时间 2023-06-19 05:55:12

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-08-03

    实质审查的生效 IPC(主分类):G06K9/62 申请日:20161230

    实质审查的生效

  • 2018-07-10

    公开

    公开

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号