基于近似文本分析的意见挖掘

摘要

本文对如何将部分解析技术引入意见挖掘，以提高分析的有效性问题进行了研究，其成果概括如下： (1)提出了基于部分解析的超解析方法及其增量式实现近似文本分析(ATA)(见第2章)。超解析通过放宽归约的严格程度(即允许非紧邻的成份进行归约，允许一个语言成份参与多个归约关系)，从而最大限度地寻找关于给定文本(或文本片段)的各种可能解释。为了优化归约时对有效语言成份组合穷举的过程，提出了候选者队列算法(CLA)。作为超解析的实现，本文提出近似文本分析，其系统由两部分构成：分析部件与广义归约部件。分析部件以缓冲队列作为核心的数据结构，从而将超解析的问题转化为了广度优先的搜索问题。而广义归约部件是CLA算法的增量式实现，负责语言成份的归约。 (2)提出了基于“近似文本分析”的情感分类方法ATA-SC，及其软件实现ATAFilter (见第3章)。ATA-SC方法考虑了实体词汇与情感词汇之间的语义关联，因此对于情感的识别能力要强于基于单对象假设的情感分类方法。而情感分类模块ATAFilter已集成于邮件过滤软件VIHunter中，在技术测试中展示了良好的性能，同时在实际应用中也获得令人满意的效果，取得了较好的社会效益。 (3)提出了一种新的意见抽取任务即意见实例抽取(OIE)，及其解决方法FC-OIE；提出了基于位置线索的语义关系识别(sARPC)方法，用于在FC-OIE中识别对象与特性之间语义关联(见第4章)。意见实例抽取任务的目标是保持意见表达的数据结构与源文本之间的关联，使得我们可以通过考察意见元组中各构成要素在原文中的地位，来发掘更深层次的信息。为了解决这一新的抽取任务，FC-OIE采取的策略是：通过SARPC方法为每个特性实例寻找语义关联最强的对象实例，构成“对象实例一特性实例”对偶；对于每个对偶，通过ATA-SC对所含的对象实例与特性实例周围的文本进行情感分析，判断语义方向。 (4)提出并实现了用于意见实例抽取与检索的意见搜索系统(OSS)(见第5章)。OSS的目的是从网络评论中抽取意见实例，并根据用户的检索兴趣进行反馈。该系统通过网络爬虫从互联网上抓取评论网页，通过文本清洗得到正文；然后以FC-OIE技术从文本中抽取意见实例，构成意见库；最后通过人机交互将意见库中的信息直观地反馈给系统的用户。

目录

文摘

英文文摘

论文说明：图表目录

声明

第一章绪论

1.1文本分析与理解

1.1句法解析

1.2健壮解析

1.3部分解析

1.2情感分类

2.1传统的分类问题

2.2主观性分类

2.3 词汇、短语级的情感分类

2.4句子、文档级的情感分类

1.3意见抽取

3.1传统的信息抽取

3.2意见抽取

1.4意见挖掘系统

1.5本文研究工作概况

5.1研究思路

5.2内容安排

第二章近似文本分析（ATA）

2.1超解析

1.1基本概念

1.2超解析的过程

2.2候选者队列算法

2.1算法描述

2.2遍历优化

2.3权重机制

2.4队列清理

2.3近似文本分析

3.1基本概念

3.2处理过程

2.4分析实例

2.5方法改进

5.1省略的自动补全

5.2文意转承的感知

2.6讨论

2.7小结

第三章基于近似文本分析的情感分类

3.1问题的提出

3.2整体结构与流程

3.3组成部分

3.1标记字典

3.2归约规则库

3.3候选者队列与语言单元

3.4扫描器

3.5队列，观察器与情感指标累加器

3.6分类器

3.4实验

3.5应用：基于语义的邮件过滤系统

5.1过滤系统的整体结构

5.2系统特点

5.3过滤效果

3.6讨论

3.7小结

第四章意见实例抽取（OIE）

4.1主要任务

4.2对象实例-特性实例的语义关系识别

2.1特性实例-对象实例语义依赖的主观认知

2.2特性实例-对象实例语义依赖的客观线索

2.3基于位置线索的语义关系识别方法

4.3对象实例-特性实例的语义方向识别

3.1为情感分类选定文本片段

3.2情感分类的方法

3.3构造分类器

4.4实验

4.1实验数据的准备

4.2对象实例-特性实例的语义关系识别

4.3对象实例-特性实例的情感分类

4.5讨论

4.6小结

第五章意见搜索系统（OSS）

5.1系统框架

5.2组成模块

2.1评论网页的搜寻

2.2文本清洗

2.3知识学习

2.4意见实例抽取

2.5人机交互与可视化

5.3讨论

5.4小结

第六章总结与展望

6.1总结

6.2进一步的工作

参考文献

作者在攻读博士期间发表的论文

作者在攻读博士期间获得的研究成果

作者在攻读博士期间参与的项目

致谢