面向微博评论的观点挖掘系统的设计与实现

摘要

近几年，随着网络技术的飞速发展和计算机的普及，互联网已经成为人们发布信息和表达观点的重要媒介。作为新兴社交媒体的代表，微博为社会舆论积聚和传播提供了空前的便捷空间，用户可以在微博上浏览自己感兴趣的信息，发表自己的看法;也可以在微博上发布内容供别人浏览。作为庞大的社交网络平台，微博中的热门话题会受到广大用户的关注和评论，而关于热门话题的评论反映了广大用户对于该话题的态度和观点，因此针对热点话题下的评论进行观点分析和挖掘，对于全面掌握舆论动态、了解民意具有重要的现实意义。目前，虽然基于微博的观点挖掘已经得到了学者的广泛重视与研究，但是如何准确的、有效的对微博中的短文本评论数据做观点挖掘仍需进一步的研究与探索。 由于微博的公开性、匿名性、方便性等特点，微博平台成了垃圾评论滋生和传播的土壤，热点话题下的评论数据难免有与热点话题毫无关系的垃圾数据，其中含有情感倾向性的垃圾数据严重影响观点挖掘的准确性。因此，在挖掘观点之前，本文提出了垃圾数据识别的方法，去除评论中无关数据，可以有效的提高热点话题下评论用户观点分类的准确性。 本文首先分析了微博平台涉及的相关技术，通过OAuth协议连接到微博平台，得到受保护资源拥有者的访问权限，基于微博爬虫二次开发获取微博数据，并将其存放在MySql数据库中。接着分析微博数据中不同的垃圾数据形式，提出不同的垃圾数据识别的方法，主要包括显性垃圾数据识别和隐形垃圾数据识别，然后设计并实现了基于支持向量机(Support Vector Machine，SVM)观点分类模型，对垃圾预处理后的评论数据做情感倾向性分类。最后，本文设计并实现原型系统，对实验结果进行分析，并以表格的形式展示结果。

目录

声明

摘要

第1章绪论

1．1研究背景和意义

1．2观点挖掘研究现状及存在的问题

1．2．1观点挖掘研究现状

1．2．2存在的问题

1．3本文研究内容

1．4本文组织结构

第2章研究基础

2．1 OAuth互联网标准协议

2．2数据清洗方法

2．2．1识别重复数据

2．2．2识别网络水军

2．3中文分词的应用研究

2．4特征选择方法

2．5观点分类算法

2．6本章小结

第3章需求分析

3．1系统需求

3．1．1系统任务

3．1．2功能性分析

3．1．3非功能性分析

3．2可行性分析

3．2．1技术可行性

3．2．2经济可行性

3．2．3操作可行性

3．2．4实施可行性

3．3系统运行环境

3．4本章小结

第4章系统设计

4．1系统总体设计

4．1．1功能模块划分

4．1．2系统数据库设计

4．2功能模块设计

4．2．1微博数据采集模块

4．2．2垃圾数据识别模块

4．2．3情感观点挖掘模块

4．2．4其他功能模块

4．3本章小结

第5章系统详细设计与实现

5．1微博数据采集模块

5．1．1微博应用创建

5．1．2微博授权认证

5．1．3微博数据获取

5．2垃圾数据识别模块

5．2．1显性垃圾数据识别

5．2．2隐性垃圾数据识别

5．2．3垃圾数据识别算法

5．3情感观点挖掘模块

5．3．1数据集的情感分类标注

5．3．2微博评论的特征选取

5．3．3基于SVM的观点分类

5．3．4情感观点挖掘算法

5．4其他功能模块

5．5本章小结

第6章系统测试

6．1实验环境及数据

6．2实验测试

6．3系统功能测试

6．3．1测试方法

6．3．2功能测试

6．4本章小结

第7章结论与展望

7．1工作结论

7．2未来展望

参考文献

致谢

攻硕期间参加的项目及成果