基于GV-LDA的微博话题检测研究

摘要

随着社交网络的不断发展,微博成为越来越多的人获取信息的平台。为了有效解决微博话题检测中海量短文本带来的词稀疏问题,提出结合全局向量模型（GloVe）和潜在狄利克雷分布（LDA）的GV-LDA模型。在使用LDA进行话题检测前,模型利用多义词词项的含义与词性相关的事实,在标注过并去除低频词的语料上,对全局向量模型进行训练获得词向量,对词性相同且相似度大于阈值的词进行替换以解决稀疏性问题。实验结果表明,GV-LDA模型较传统的LDA主题模型,可有效提高话题检测的准确率和召回率,并降低＂主题-词＂处理的维度,因此GV-LDA更适合微博话题检测。