一种基于BTM和Single-pass的热点话题发现方法

摘要

本发明提供本发明提供一种基于BTM和Single‑pass的热点话题发现方法，该方法首先利用BTM主题模型进行主题建模，获得语料数据集的主题分布，然后使用VSM进行向量化，再使用改进的Single‑pass算法对上面得到的结果进行聚类，对聚类结果进行整理得到新的聚类结果，其次，对上述热点话题发现方法进行并行化计算，以提高其在大数据量情况下的主题挖掘的速度。本发明可以很好的解决微博数据稀疏及处理海量数据的能力的问题，改进后的Single‑pass算法可以很好的降低计算复杂度，保持算法的稳定性，对新的数据能有效的进行处理，对热点话题的持续影响力有较好的计算分析，且数据集通过MapReduce框架提高数据处理效率的基础上，仍然能够保持话题发现质量。