一种基于word2vec和语义相似度的专利文本建模方法

摘要

本发明涉及文本建模领域，提出一种基于word2vec和语义相似度的专利文本建模方法，包括以下步骤：爬取专利文本集并进行预处理；计算专利文本集每个词的TF‑IDF值，排序选取得到特征词集；文本集导入word2vec模型通过训练得到词向量；计算余弦相似度得到相近词集wordC_1；计算word2vec相似度得到相近词集textC_1；文本集导入文本处理系统进行训练，得到语义相似度，选取相近词集wordC_2；计算语义相似度得到相近词集textC_2；计算混合相似度得到扩展词集textC_f；计算权重形成新的文本标识，完成建模。本发明从word2vec的统计学角度和语义相似度的语义角度为传统向量空间模型增加一部分词语间的信息，在一定程度上降低其文本矩阵的稀疏性，且聚类效果更显著稳定，具有更强的文本标识能力。