概率主题模型及其在关联文本分类中的应用研究

摘要

随着互联网技术的快速发展,网络上以文本形式存在的信息迅速增加,如何有效地组织和管理这些文本信息是当前信息科学领域面临的一个重要挑战。文本分类可以解决大量文本信息的归类问题,是组织和管理海量文本信息的有效手段。同时,由于主题模型可以捕获到文档集合的语义结构信息,将主题模型应用于文本分类是提高分类器性能的有效途径之一。
　　 目前,基于LDA的监督主题模型sLDA以及传统的文本分类算法假设文档之间相互独立。然而,在实际情况中,文档之间可以存在关联关系,比如,从科技文献数据库(C-DBLP,DBLP等)中抽取出的文档可以根据文献之间的引用关系形成文档网络;网页可以根据超链接进行关联。当关联关系对文档属性的判断有重要影响并且文档包含的文本信息较少时,监督主题模型以及传统的文本分类方法(SVM、朴素贝叶斯等)的性能会有所下降。
　　 iTopicModel通过多变量马尔可夫随机场建模文档网络结构,将文档间的关联关系及文本信息进行统一建模,并且iTopicModel可以处理既有权重又有方向的文本信息网络。本文中,我们基于iTopicModel提出了一个新颖的概率主题模型(SRTM),将文档间的关联关系、文档的文本信息、文档的标号进行统一建模。首先用古典线性回归模型对文档标号进行建模,给出SRTM的联合概率分布,通过EM算法最大化联合概率分布的对数似然对SRTM的参数进行估计,然后给出对训练数据以外文档的标号进行预测的方法。最后我们用广义线性模型对文档标号进行建模,对SRTM进行扩展,使SRTM可以处理多种类型的文档标号。Cora研究论文分类数据集和电影评论数据集上的实验表明,在文档网络中,SRTM的预测结果要优于现有的监督主题模型。
　　 我们还将iTopicModel应用到文本分类任务中,基于iTopicModel提出了文本分类算法TC-iTM,该算法根据类信息已知的文档归属于各个主题的概率判断主题代表的类信息,根据待分类文档归属于各个主题的概率及文本信息对文档进行分类。在Cora研究论文分类数据集和DBLP数据集上的实验结果表明,当文档间的关联关系对类信息有较大影响时,TC-iTM的性能优于传统的文本分类方法。