基于海量信息过滤的微博热词抽取方法

摘要

针对海量微博信息，提出一种多步骤的热词抽取方法。首先，选择用户行为特性、微博信息的文本特征构建用户行为模型，并在此基础上提出一种基于规则的话题树生成过滤算法，筛除了微博中大量无关信息，进而对生成的话题树修剪优化；然后，根据话题树的节点内容，使用词频及其波动特性设计热词抽取算法，获取微博的热词信息。实验数据表明，该方法能大大减小输入的数据规模，同时较好的保留重要信息，有效实现热词抽取。