基于网络爬虫的网络舆情分析系统的设计与实现

摘要

舆论是指在一定的社会空间内，随着某一事件现象的发生、发展、变化，民众对该事件的态度。舆情是舆论的放大体，指民众对社会现象的看法、想法态度及意见的总和，也是民众的社会政治态度对执政者决策行为有影响和指导作用的那一部分。随着互联网的发展，网络舆论逐渐成为社会舆论的发源地和放大器。在互联网时代，网络舆情作为社会舆情的网络反映，成为社会舆情的最主要的构成之一。
　　互联网是一个宝库，尤其是在互联网大数据时代，借助IT技术，实现对虚拟网络舆情的及时、全面的监控已经迫在眉睫。本文将主要介绍基于网络爬虫的网络舆情分析系统的设计与实现，以及网络爬虫(Web Crawler)的优点和在基于网络爬虫的网络舆情分析系统中的应用。
　　本文基于这样的背景将理论研究与实证研究相结合，首先研究了网络舆情构成和特征，结合当前国内互联网应用的实际情况，认为网络舆情信息采集的信息来源主要是各大论坛、网络社区和网民博客等能够集中反映公众对某一具体议题的情绪、意愿、态度和意见的地方
　　综上所述，本文在话题发现与热点话题追踪方面进行深入的研究，并设计并实现了一个网络舆情分析系统，在网络舆情信息技术的实用化上进行了分析，文章最后通过运行实例和对比分析验证了模型的可行性和有效性。

目录

声明

摘要

第1章 引言

1．1 研究背景

1．2 国内外研究现状

1．2．1 国外研究现状

1．2．2 国内研究现状

1．3 本文研究内容

1．4 本文结构

1．5 本章小结

第2章 相关技术介绍

2．1 网络舆情的概述

2．2 网络爬虫技术概述

2．2．1 网络爬虫的定义及分类

2．2．2 网络爬虫的工作原理

2．3 MySQL数据库概述

2．4 本章小结

第3章 系统需求分析

3．1 系统总体需求分析

3．2 网络爬虫技术的分析

3．3 功能需求分析

3．3．1 网络配置管理功能分析

3．3．2 分析过滤模块功能分析

3．3．3 下载管理功能分析

3．3．4 分析管理功能分析

3．4 本章小结

第4章 系统设计

4．1 系统架构设计

4．2 系统的部署设计

4．3 网络爬虫技术设计

4．3．1 数据采集设计

4．3．2 舆情提取分析设计

4．3．3 线程调度策略设计

4．3．4 HTML DOM的设计

4．4 系统各模块的设计

4．4．1 系统网络配置管理模块的设计

4．4．2 系统分析过滤模块的设计

4．4．3 系统下载管理模块的设计

4．4．4 系统分析管理模块的设计

4．5 数据库设计

4．5．1 系统E-R图

4．5．2 数据库表

4．6 本章小结

第5章 系统实现

5．1 系统总体实现

5．2 网络爬虫技术的实现

5．2．1 数据采集的实现

5．2．2 舆情提取分析的实现

5．2．3 线程调度的实现

5．2．4 舆情展示的实现

5．3 系统各模块的实现

5．3．1 系统网络配置管理模块的实现

5．3．2 系统分析过滤模块的实现

5．3．3 系统下载管理模块的实现

5．3．4 系统分析管理模块的实现

5．4 本章小结

第6章 系统测试

6．1 测试方法

6．2 测试用例

6．3 测试结果

第7章 总结与展望

7．1 总结

7．2 展望

参考文献

致谢