网络舆情智能分析系统的设计与实现

摘要

随着网络技术的快速发展，信息数据产生量和存储量都极具增长，各大新闻网站、论坛被数据所淹没。在如此庞杂的数据中，精准且飞速的筛选出有价值的信息变得越来越困难。常见的百度等搜索引擎提供的爬取范围过于广泛，导致获取结果的速度迟缓效率低下，人工检索的方式由于低效、搜索范围有限等诟病，满足不了搜索需求。为此，本论文的目标就是完成在一个精准的页面实现时效性检索，数据内容相关性和通过搜索关键词进行高度匹配的挖掘技术，加之准确的分类分析，完成网络舆情智能监控的目的。
　　本论文从XX地区的实际情况出发，提出了XX地区网络舆情智能分析系统的解决方案。该系统利用信息数据采集技术、语言处理技术和检索技术等，对国内国外网络中的网站网页、微博、博客、论坛、贴吧等网络信息进行全方位监控、定向采集和智能分析。在系统实现方面，主要用到了MVC的设计模式、面向对象技术及JAVA技术，系统分层设计中数据表示层用JSP语言完成、业务逻辑层使用Servlet 和Command实现、中间传输层使用EJB、数据处理层使用Hibernate。在信息数据挖掘技术方面主要采用网络爬虫技术、元搜索技术、DOM解析等关键技术，实现网页信息挖掘。
　　内容结构上，分析了本课题研究的背景意义、研究现状以及舆情产品目前存在的一些问题；同时，从智能分析系统总体功能需求进行了阐述，详解了技术要点，并做了理论详述；然后，对系统的总体框架设计、工作流程、功能模块及数据库等部分进行了详细分析设计，并完成了系统的部分实现界面；最后，经过测试和试运行，达到了预期目标。

目录

声明

第一章 绪论

1.1 课题研究背景和意义

1.2 国内外研究现状

1.3 课题研究内容

1.4 章节安排

第二章 系统开发相关技术

2.1 系统开发技术

2.2 宽度或深度优先搜索策略

2.3 个性化服务系统及问题

2.4 本章小结

第三章 系统需求分析

3.1 系统需求分析

3.2 系统重难点分析

3.3 技术性能需求分析

3.4 本章小结

第四章 系统总体设计

4.1 系统的设计原则

4.2 系统架构设计

4.3 本章小结

第五章 分析系统的设计与实现

5.1 系统功能设计

5.2 SPIDER工作过程

5.3 信息挖掘技术设计

5.4 爬虫工作的设计与实现

5.5 系统实现的部分界面

5.6 本章小结

第六章 系统的测试与评价

6.1 测试要求

6.2 测.试.环.境

6.3 测试内容和结果

6.4 测试结论

6.6 系.统.效.益.分.析

6.7 本章小结

第七章 结论与展望

7.1 结论

7.2 展望

致谢

参考文献