基于LDA的新闻评论的话题挖掘方法

摘要

本发明涉及一种基于LDA的新闻评论的话题挖掘方法。现行的话题挖掘都是针对文档等长文本，对于短文本的挖掘还有很大的距离。本发明提出了基于LDA主题模型生成事件评论中的主题，并使用维基百科概念表示评论中的特征词形成评论的空间向量，对其进行k中心点聚类，生成主题簇并展示评论。首先，将维基百科语料库建立文档反向索引列表。其次，使用LDA主题模型确定主题和主题特征词。最后，使用k中心聚类评论。本发明可以有效地提高聚类的准确率，提高评论聚类的精确度。

说明书

技术领域

本发明涉及一种评论的话题挖掘方法，具体是一种基于LDA的新闻评论的话题挖掘方法。

背景技术

随着移动互联网的快速发展，我们逐渐步入大数据时代，越来越多的人可以将自己的观点、心情等信息发布到网络平台中。评论话题挖掘的一个巨大挑战是每一条评论都由不同的人发表，每条评论比较简短、信息量较少，错别字、网络词汇使用较多，所有评论包含话题信息广泛。每一条评论包含评论者从某一个角度对事件的一个态度，和其他评论没有相关性，因此可以看作一篇简短的文档。但是评论又围绕事件做出描述，可以将所有评论进行主题聚类，使用户可以轻松方便地知道其他用户关注事件的各个方面。

发明内容

本发明针对现有技术的不足，提供一种基于LDA的新闻评论的话题挖掘方法。

本发明方法具体包括以下步骤：

（1）将维基百科语料库建立文档反向索引列表。

（2）使用LDA主题模型确定主题。

（3）使用k中心聚类评论。

所述的将维基百科语料库建立文档反向索引列表，包括如下步骤：

A）下载维基百科中文语料库，去除不相关的页面（图片、音乐分类、运动项目、城市人口、国家人口等）。

B）使用中科院的NLPIR分词系统对文档进行分词，并过滤停用词。

C）统计所有文档中出现的词汇，过滤在所有文档中只出现一次的词汇，并建立索引词典(index,term)。

D）计算每篇文档中出现词汇的权重，w_i＝tf_i×idf＝tf_i×log(N/cf_i),其中tf_i是文档中的词频，idf是逆文档值,N是总的文档数目，cf_i是文档中出现词的文档数。

E）查找索引字典和文档词汇的权重建立文档的反索引列表，每一篇文档由(index,w_term)集合组成，w_term是索引号为index的词汇的权值。

所述的使用LDA主题模型确定主题，包括如下步骤：

F）对某一事件的所有评论作为LDA主题模型的输入文档集。

G）给定参数k作为评论中包含的主题数，并采用gensim的LDA主题模型训练文档集。

H）将评论与每个主题的相似度进行降序排列，获取大于阈值的评论作为聚类的数据源并确定了评论的主题。

所述的使用k中心聚类评论，包括如下步骤：

I）对于H）中的评论数据使用维基百科概念的反向列表转化每一条评论。

J）使其用维基百科的概念表示属性，构成空间向量。

K）使用余弦相似度公式度量两个评论间的距离。

L）并进行k-中心聚类成k个主题簇。

本发明的有益效果：

第一，由于本发明设计了LDA主题模型提取K个主题的核心特征词，所以能准确定义主题特征向量，有效地提高聚类的准确率。

第二，由于本发明设计了维基百科的概念扩充特征词的信息，所以能提高评论相似度的计算，有效地提高评论聚类的精确度。

附图说明

图1为维基百科文档反向索引流程图；

图2为LDA主题模型流程图；

图3为评论话题挖掘流程图

具体实施方式

下面结合附图，对本发明实现评论分类所采取的技术方案做进一步说明：

1、根据图1所示，获取维基百科中文语料库，并建立文档的反向列表。1）从http://download.wikipedia.com/zhwiki/latest/下载最新的XML文档数据语料zhwiki-latest-pages-articles.xml.bz2，大小为869.2M，这个XML文档对应整个维基百科页面文档，其中存储的是文档的标题、正文部分；2）使用Wikipedia Extractor抽取正文文本；3）文本数据的繁简转换；4）使用中科院的分词系统进行中文分词并去除停用词；5）统计所有概念中出现的词汇，并去除所有概念文档中只出现一次的词汇；6）对所有词汇建立索引词典，例如：（1，科技），（2，技术）；7）计算每篇文档中词汇的TFIDF，并建立文档的反向列表。

2、根据图2所示，对所有的评论进行训练获取k个主题的特征词。1）对某一事件的所有评论作为LDA主题模型的输入文档集；2）给定参数k作为评论中包含的主题数，并采用gensim的主题模型训练文档集；3）将评论与每个主题的相似度进行降序排列，获取大于阈值的评论作为聚类的数据源并确定评论的主题特征词。

3、根据图3所示，1）对于步骤二中的评论数据使用维基百科概念的反向列表转化每一条评论，使其用维基百科的概念表示属性，构成空间向量；2）使用余弦相似度公式度量两个评论间的距离；3）进行k-中心聚类成k个主题簇类。