一种基于词网络和词向量的短文本主题模型生成方法

摘要

本发明提出一种基于词网络和词向量的短文本主题模型生成方法，包括如下步骤：1)学习语义信息：a、分词并去除停止词；b、根据预处理得到的短文本数据学习词向量；c、计算词语之间的语义相似度。2)对每个词语构建伪文档：a、基于语义相似度获得词语共现列表，构建词网络；b、计算词语向量的算术关系获得潜在词语列表；c、判断伪文档长度并决定是否加入相似词语。3)对每个伪文档进行LDA主题建模，得到原始文档的主题、词语频率分布。本发明通过引入语义信息构建伪文档，并对伪文档进行主题建模，从而解决了短文本数据的稀疏和不平衡问题，使在短文本上进行主题发现、文本分类和文本聚类等任务的性能得到提升。