一种基于改进LDA模型的互联网话题在线挖掘方法

摘要

本发明公开了一种基于改进LDA模型的互联网话题在线挖掘方法，对应一个持续的、流式的、逐段进行的话题挖掘过程，它每次处理n个网页，这些网页通常由网络爬虫以在线、实时的方式从互联网采集得到，对这些网页的内容进行挖掘的结果生成k个话题。在处理完当前n个网页后，对新采集到的n个网页继续进行该过程。主要包括On‑LDA模型超参数的初始化、On‑LDA模型超参数的动态更新、基于On‑LDA模型的互联网话题挖掘等。本发明从根本上改变了传统LDA模型在话题挖掘过程中关于超参数、的赋值方式和使用效果。它充分利用网页内容所属的分类信息来对模型超参数、赋初值，使超参数的初值完全依赖于待挖掘网页内容本身，既简化了计算过程又更具合理性。