基于语义理解的观点评论挖掘研究

摘要

随着互联网技术的迅速发展，网上文本数量呈指数级增长，如何从这些海量的文本中挖掘有用的信息成为当前研究的重要课题。本文立足于文本挖掘技术的研究，从商品的观点评论中挖掘信息，反馈给商家和消费者。 本文第一部分详细地介绍了文本挖掘和观点评论挖掘的发展概况和相关技术，随后在第二部分系统地分析了文本挖掘所采用的技术及算法。同时，对文本挖掘中的重要分支——文本分类做了深入的研究，探讨了文本分类的一般过程，以及目前比较流行的分类方法。在文章的第三部分对前人所做的工作做了一些改进，分为两个方法，第一由于传统粗糙集规则匹配方法过于复杂，设计了一种简化算法的分类方法；第二是基于词共现概念的文本分类方法，弥补了传统向量空间模型中特征项的独立性，用词共现的概念特征体现了文档中的语义。两种方法虽然都提高了分类结果，但所面对的问题不一样，第一种是为了优化算法复杂度，而第二种是侧重于语义概念的。 本文的后三部分鉴于网络评论的流行，结合一些文本挖掘的思想，对网络商品评论的挖掘做了一些研究。借助于国外一些学者的研究成果，设计了两种商品评论挖掘算法。第一种算法为基于关联规则和语义理解的商品特征挖掘，思想主要侧重于挖掘商品评论中的特征，整体思想比较简单，但过分依赖于统计的方法，缺乏深入的语义分析；第二种算法是在第一种方法的缺陷上做了一定改进，利用依存关系定位观点词，同时将语义相似度的思想引入中文的商品评论中，结合中文和英文的区别，正确率和召回率均有所提高，但总体来说，由于网络评论的自由性，召回率不如正确率。

目录

文摘

英文文摘

声明

1绪论

1.1研究背景

1.2研究现状

1.2.1文本挖掘的研究现状

1.2.2观点评论挖掘的研究现状

1.3研究意义

1.4课题的研究内容与来源

1.5本文的组织结构

2文本挖掘在观点评论上的应用

2.1文本挖掘介绍

2.2文本分类介绍

2.3文本分类过程

2.3.1文本向量化

2.3.2分类器的训练

2.3.3分类器的测试

2.3.4分类结果的评价

2.4文本分类技术

2.4.1简单向量距离分类

2.4.2 KNN分类方法

2.4.3朴素贝叶斯分类方法

2.4.4支持向量机分类方法

3基于改进的文本预处理的SVM分类

3.1基于粗糙集属性约简的文本分类

3.1.1粗糙集理论

3.1.2分类算法设计

3.1.3实验与分析

3.2基于词共现概念的文本分类

3.2.1关联规则算法

3.2.2词共现概念模型

3.2.3分类算法的实现

3.2.4实验与分析

4语义理解与观点评论

4.1语义理解

4.1.1语义理解的解释

4.1.2语义理解的研究现状

4.2观点评论挖掘的两个步骤

4.2.1观点抽取

4.2.2情感分类

4.3观点抽取

4.3.1词法分析

4.3.2句法分析

4.3.3观点词选择

4.3.4语义相似度

4.4情感分类

4.4.1 SVM学习分类方法

4.4.2相似度计算分类

5基于关联规则和语义理解的商品特征挖掘

5.1挖掘算法的思想来源

5.2挖掘算法设计

5.2.1词性标注

5.2.2频繁特征生成

5.2.3冗余约简

5.2.4观点词抽取和评论句筛选

5.2.5语义倾向性判断及概括

5.3实验与分析

5.3.1实验

5.3.2分析

6基于语义理解和极性分析的观点评论挖掘

6.1背景介绍

6.2商品的特征挖掘

6.3观点词的极性定位

6.3.1知网简介

6.3.2观点词的语义倾向性

6.3.3句法分析器

6.3.4极性定位

6.4句子的语义倾向性分析

6.4.1程度副词和否定词的影响

6.4.2句子的最终倾向性

6.5实验与分析

6.5.1实验

6.5.2分析

结 论

参考文献

攻读硕士学位期间发表学术论文情况

致 谢