情感分析技术研究及应用——基于web股评和微博内容财务危机预警

摘要

随着信息化时代的深入，微博的出现代表着基于web2.0的应用平台正在朝阳蓬勃的发展。微博，作为一个用户信息获取、传播和分享的平台，在日常生活中起着非常重要的作用。用户可以通过web或者客户端组建自己的圈子，并实现信息即时分享。数据显示，截止2011年12月，中国微博用户已经达到2.498亿，成为世界第一大国。微博倡议、微博慈善、微博反腐愈演愈烈。因此，微博就是民声，对微博信息的提取和分析，帮助领导层做决策便显得尤为重要。
　　 传统媒体由于部分职业道德的缺失，一些报道与评论只是报喜不报忧，而微博则提供了一个自由言论的平台，敢于说出自己的观点，具有很强的自主性和选择性。微博的影响力与内容质量紧密相关，用户知名度和发布信息的重要度直接影响关注者的数量。微博本身内容一般比较短小精悍，更具有自己的情感，主观性和针对性更强。因此，对用户主观性进行情感分析有着非常重要的现实意义。
　　 在财务领域，判断一个公司的经营状况，仅凭以往的财务指标，具有很大的局限性，如伪造账目和财务报表的推迟会影响模型的预测，而且财务危机是一个平缓变化的过程，不能单单以一个年度截面数据来反映公司财务状况。更加客观的评价一个公司的经营状况则要求对公司实时动态进行把握，上市公司股票走势无疑成为公司状况的一个有力说明，而微博则提供了这样一个平台，方便专家和炒股爱好者对股票进行评论。
　　 本论文旨在通过对关于上市公司的股票微博评论内容的挖掘，对其情感倾向分析，判断其股票走势，进而预测上市公司的经营状况。主要研究方法、技术和工作内容包括以下几个方面:
　　 一.实现了微博内容的提取技术，利用自然语言处理技术，并对微博内容进行文本表示、特征提取、语义相似度计算等。
　　 二.研究并实现了决策树、朴素贝叶斯、人工神经网络、K-近邻、支持向量机和基于关联规则的分类算法，并选出其中三个算法（朴素贝叶斯、K-近邻和支持向量机）进行算法思想概述，并对朴素贝叶斯和支持向量机进行了实验性能比较，实验表明:分类效果较好的是支持向量机。
　　 三.提出并设计了针对上市公司股票评论的微博情感分析模型。此模型是针对特定领域的短文本情感研究，因此，在特征提取时，选择财务股票有关的情感词汇列为文本特征项。
　　 四.分别研究并实现了基于机器学习的和基于字典知识的情感分析技术，然后对比两种分类结果，并对结果原因进行了详细的分析。
　　 五.根据情感分类结果，对上市公司进行财务危机预警。

目录

声明

摘要

第一章 前言

第一节 研究背景

第二节 国内外研究现状

第三节 本文研究内容和组织结构

一、研究内容

二、组织安排

第二章 相关理论知识

第一节 微博特点分析

一、微博结构

二、微博内容

第二节 情感分析与主题分析

第三章 各类关键技术及算法研究

第一节 文本预处理技术

一、文本提取

二、文本噪音移除

第二节 文本特征提取

第三节 语义相似度计算

第四节 分类算法

一、朴素贝叶斯

二、K-近邻

三、支持向量机

四、分类算法比较

第四章 微博研究

第一节 微博情感分析问题

第二节 微博情感分析模型

第三节 微博情感分类

第五章 微博情感分析系统架构与实现

第一节 需求分析

第二节 金融情感词典构造

一、基于HowNet构造

二、人工添加

第三节 系统关键模块设计与实现

一、相关股评微博内容提取

二、预处理模块

三、微博特征提取

四、情感计算模块

五、程序设计

第六章 实验结果分析

第一节 实验数据集选取及原因分析

第二节 实验结果与分析

一、机器学习实验结果

二、基于情感词典实验结果

三、实验结果对比分析

第七章 结论与展望

第一节 本文工作总结

第二节 未来工作展望

参考文献

附录A：部分数据以及字典展示

附录B：部分软件展示

致谢

读研期间发表论文