基于半监督机器学习的文本情感分析技术

摘要

互联网的发展日新月异，人们也越来越体会到其对自身学习和生活的各种影响。以往用户一直是被动的从互联网上获取信息，但是现在越来越多的人主动的参与互联网上信息的产生与传播。因此，随之而来的是大量用户信息的产生和网络信息内容的多样化。面对互联网上海量的良莠不齐的信息和数据，一方面，用户需要花费大量的人力和物力去进行判断与甄别，以获取对自己有价值的信息，从而帮助自己的日常生活。另一方面，生产商和制造商希望针对这些海量的数据来分析大众对某个产品或服务的评价和反馈，从而帮助他们在瞬息万变的形势下做出正确的决策与判断。情感分析技术便在这样的背景下应运而生，它是能有效地获取网络评论信息的非结构化信息挖掘技术，本文的研究主要针对评价对象的情感倾向问题。
　　首先，本文对国内外的情感分析技术研究现状进行说明，介绍了在情感分析领域使用到的技术及其步骤和主要的支撑算法，并且对各个算法进行了分析与比较。情感分析的支撑算法，都需要有一定数量的已标注样本用做训练，情感分析的准确率会随着已标注样本数量的提升而增加。通过互联网我们可以获取大量未标记的自由文本，如果尝试对这些未标记的自由文本进行选择和标注，将耗费大量的物力和人力。所以我们引入了半监督机器学习的方法，尝试利用这些未标记的自由文本，将这些文本的隐含信息引入到标注样本中来提高分类器的分类性能。然而现有的半监督机器学习方法中存在一些缺点，在已标注样本较少的情况下，分类器的性能往往不够理想，导致挑选的样本错误率较高，最终无法显著的提高分类器的准确率。论文详细地分析了当前国内外学术界对于半监督机器学习问题的改善方法和意见，并在对他们进行总结和归纳的基础上引出了本文的算法。
　　最后，论文提出了一种基于对偶系统的半监督情感分类方法。该方法在已有的对偶系统的基础上，将其移植到半监督学习上。并且在半监督学习的挑选未标签样本的过程中，引入规则的方法以及长度的信息进而重新定义准确性和差异性。该方法提高挑选样本的质量和准确性，从而提升分类器的学习速率，并且同时保证正确率。通过测试表明，本文提出的算法在已有的半监督学习算法上获得了一定的提高，具有有效性和可行性。

目录

声明

摘要

1 绪论

1．1 课题研究背景与意义

1．2 情感分类研究现状

1．2．1 情感分类任务

1．2．2 情感字典的生成

1．2．3 情感分类模型

1．3 半监督情感分类研究现状

1．3．1 模型结合语言学的方法

1．3．2 基于统计学习的方法

1．3．3 两种极性转移解决方法比较

1．4 论文的研究内容与组织结构

2 情感分类相关技术介绍

2．1 情感分类基础知识简介

2．1．1 向量空间模型

2．1．2 特征权重

2．1．3 特征选择

2．1．4 训练分类器

2．1．5 分类结果评估

2．2 机器学习与分类技术简介

2．2．1 监督学习

2．2．2 无监督学习

2．2．3 半监督学习

3 基于半监督学习的情感分类

3．1 Self-training和Reserved self-training

3．1．1 方法简介

3．1．2 实验介绍与分析

3．2 协同训练(Co-Training)

3．2．1 方法简介

3．2．2 实验介绍与分析

3．3 直推式支持向量机(Transductive Support Vector Machine，TSVM)

3．3．1 方法简介

3．3．2 实验介绍与分析

3．4 Personal／Impersonal方法

3．4．1 方法介绍

3．4．2 实验介绍与分析

3．5 四种实验的对比

4 基于对偶系统的半监督情感分类

4．1 算法思想

4．1．1 反义样本的构成

4．1．2 对偶训练和对偶测试

4．2 半监督对偶系统

4．2．1 引入

4．2．2 算法结构设计

4．3 实验方案和结果

4．3．1 实验设置

4．3．2 比较系统

4．3．3 实验方案一与结果分析

4．3．4 实验方案二与结果分析

4．4 本章小结

5 基于对偶系统的半监督情感分类算法改进与系统实现

5．1 基于样本长度的改善方案

5．1．1 问题描述

5．1．2 优化方案

5．1．3 实验设置与结果分析

5．2 基于置信度选取的改善方案

5．2．1 问题描述

5．2．2 优化方案

5．2．3 实验设置与结果分析

5．3 基于对偶系统的半监督情感分类系统实现

5．3．1 PyQt简介

5．3．2 系统实现框架图

5．3．3 系统效果

5．4 本章小结

6 总结与展望

致谢

参考文献