一种基于大规模主题建模的文档模型扩展方法

摘要

本发明涉及信息检索模型领域，提供一种基于大规模主题建模的文档模型扩展方法，包括以下步骤：利用基于LightLDA的分布式主题建模技术，构建主题数目为十万或百万级别的大规模主题建模，捕获微博文本中丰富的语义信息，特别是长尾语义信息；利用主题模型的信息对文档模型进行语义平滑，构建语义增强的文档语言模型,一定程度上解决微博数据稀疏问题。本发明文档模型扩展方法能够有效解决文档的数据稀疏性问题。