基于主题词向量聚类的话题内新事件检测

摘要

目前关于话题内新事件检测的研究较少,传统的新事件检测方法多采用基于主题模型的方法,无法兼顾主题信息和语义信息,效果不够理想.针对该问题,该文提出一种基于主题词向量聚类的话题内新事件检测方法.该方法首先使用主题词嵌入(TWE)模型对经过预处理的语料进行训练,获取主题词向量;其次,通过对主题词向量进行K-means聚类来获取话题分布;再次,按照话题内新事件检测流程,将新事件检测问题转化为新子话题发现问题;最后,利用获取到的话题分布,对按时间顺序的文档进行检测.实验结果表明,该方法能够兼顾主题信息和语义信息,有效提高话题内新事件检测的性能.