基于主题模型和词向量的短文本语义挖掘研究

摘要

互联网中散布着海量的短文本数据，分布在各行各业。这些短文本数据对于舆情监控、个性化推荐、用户特征分析等都有举足轻重的地位。短文本数据中包含着丰富的语义信息，但只用人力来对海量的短文本语义数据进行处理，需要较高的成本以及耗费大量的财力，因此对短文本进行语义挖掘迫在眉睫。短文本语义挖掘就是从短文本数据中根据不同的上下文获取有价值的知识，并用计算机进行处理。短文本在对语义进行挖掘时，由于短文本的篇幅较短，上下文特征稀疏，难免会造成短文本的语义缺失，大大影响短文本语义挖掘的效果。近年来，主题模型和词向量模型已经在短文本语义挖掘领域取得了广泛的应用，并在短文本中取得了较好的效果。本文在主题模型和词向量的基础之上，提出了针对短文本的两种不同的语义挖掘算法。 本文的主要工作有： 1.本文提出了EBW-BTM(Extended-Biterm-Words Biterm Topic Models)算法对短文本进行主题语义挖掘，针对BTM(Biterm Topic Models)主题模型中，双词特征之间缺乏语义联系。EBW-BTM算法主要在BTM主题模型中融入词向量模型，首先训练词向量模型，通过词向量模型计算出词语之间的相似度；然后在BTM主题模型双词参数的推理过程中，对双词相似度进行语义判断；最后找到合适的相似度阈值，对双词数量进行扩充。实验结果表明，与BTM模型相比，EBW-BTM算法在主题凝聚度和KL散度上都得到了较大的提升。 2.本文提出了Multi-word2vec算法对多义词进行多维词向量语义消歧，针对word2vec词向量中一个词语只能用一个向量来表示，造成多义词区分能力弱的问题。首先针对短文本特征稀疏的特点，本文采用BTM主题模型对词语进行主题标注；然后对词语-主题同时进行训练，得到词向量和主题向量；最后将词向量和主题向量进行连接，得到多义词的多维词向量。实验表明，与word2vec、TWE-2以及TWE-3算法相比，Multi-word2vec算法在文本分类中，取得了更高的准确率、召回率和F1值，对多义词语义消歧取得了不错的效果。

目录

第一个书签之前

摘 要

ABSTRACT

主要符号索引

第一章 绪论

1.1 选题背景及意义

1.2 相关研究综述

1.2.1 短文本主题模型综述和分析

1.2.2 短文本词义消歧综述

1.3 研究内容

1.4 组织结构

第二章 理论基础

2.1 BTM主题模型

2.1.1 BTM主题模型原理

2.2.2 BTM主题模型的参数估计

2.1.3 BTM主题模型的应用

2.2 word2vec词向量模型

2.2.1 word2vec模型原理

2.2.2 基于Hierarchical Softmax的训练模型和参数估计

2.2.3 基于Negative Sampling的模型和参数估计

2.3 本章小结

第三章 基于双词语义扩展的BTM主题模型

3.1 BTM主题模型的不足

3.2 改进算法介绍

3.2.1 融入词语义扩展的W-LDA

3.2.2 EBW-BTM算法

3.3 EBW-BTM实验及结果分析

3.3.1 实验数据

3.3.2 word2vec训练标准

3.3.3 评价标准

3.3.4 对照试验以及结果分析

3.4 本章小结

第四章 基于BTM主题模型的多义词词向量语义消歧

4.1 word2vec词向量的不足

4.2 Multi-word2vec多维词向量算法介绍

4.2.1 Multi-1算法原理

4.2.2 Multi-2算法原理

4.3 实验结果和分析

4.3.1 实验数据

4.3.2 定性评价

4.3.3 定量评价标准

4.3.4 定量评价

4.4 本章小结

第五章 总结和展望

5.1 全文总结

5.2 研究展望

参考文献

致谢

攻读硕士学位期间发表的论文