基于LDA的长短文本分类比较

摘要

LDA作为一种常用的主题模型,在文本挖掘中作为特征选择的方法被广泛应用。但随着互联网中短文本信息的逐渐增多,短文本代表性词少的特点使得LDA对于短文本的主题挖掘不一定能够达到理想效果,这给LDA的应用带来了巨大挑战。为了探究LDA主题模型对短文本的分类效果,基于LDA,对长文本和短文本进行分类,对比分类效果,判断LDA对于短文本的适用性。