一种从互联网采集的政府采购中标公告判重方法及系统

摘要

本发明公开了一种从互联网采集的政府采购中标公告判重方法及系统，首先，采集数据生成语料库，所述语料库基于NLP建立；从语料库中取出其中一条记录作为待判重公告，对该条记录对应的公告标题进行向量化处理，然后与语料库中其余的公告标题逐个计算相似度；当向量值差小于0.1条件成立时，则认为找到相似度较高的两个公告；找到后，进一步判断两个公告的采购人与供应商的相似度，如果采购人与供应商的相似度较高时，进一步判断两个公告的中标金额是否相等，如相等则判定为两个公告重复。该方法对通过网络爬虫的方式采集的政府采购中标公告进行判重，能够判别出一组政府采购中标公告中的重复公告，为后续数据分析与利用提供高质量数据集。