基于短文本理解和改进聚类的微博热点发现

摘要

微博短文本具有内容短、特征稀疏、数据量大等特点,利用传统方法对博文进行热点话题发现的效果都不理想,因此提出了一种在大规模微博数据集上进行热点发现的方法。引入外部知识库来扩展微博信息,利用词语的语义知识进行短文本理解,解决了由于微博文本内容短、特征稀疏产生的短文本相似度较难度量问题。引入时间窗口机制对聚类算法进行改进,满足了热点发现的时效性,解决了微博数据量大导致效率低的问题。实验证明了方法的有效性。