针对热点事件的微博客信息采集与分析系统

摘要

互联网用户规模急剧膨胀，受众群体越来越多，网络虚拟世界与现实物理世界的边界越来越趋于模糊。尤其是近年来，互联网虚拟经济发展迅速，网络上的商业行为日趋频繁，基于互联网“大数据”信息的商业应用层出不穷。另一方面，互联网上的海量信息缺乏有效管理，一些突发事件的不实言论容易误导民众，影响民众生活安定。因此，对互联网上海量信息的数据挖掘和分析越来越受到商业结构、官方机构部门的重视，显著意识到其对商业行为、社会热点导向等的重要影响。特别是社交网络的兴起，以微博客为代表，迅速形成了一个热门的互联网主流应用，用户群上升迅速，热点信息在此快速聚集和发散，深刻地影响当今社会的各个方面。因此，对微博客上的热点事件的快速、采集、分析、检测技术的研究也成为“大数据”背景下的一个重要研究方向。
　　本文以国内两大主要微博客数据源----新浪微博、腾讯微博的主要特点为主，分析了微博客数据的特点，并在服务商已有API接口的基础上，提出了基于模版的方法来提高信息采集的广度，并基于此设计了针对微博客热点事件的信息采集器与采集部署方案。该方案能很好的满足热点事件的快速、全面采集需求。社交网络上热点事件的传播途径分析和信息源头分析是一项具有相当挑战的工作，通过微博客上信息传播行为的长期观察，本文提出一种结合显性、隐性传播方式的信息传播通道重构模型，该模型在利用文本相似度的基础上，结合知网进行语义扩展，进而提高热点事件传播途径有效获取的准确率。本文设计、实现了一套针对热点事件的微博客信息采集和分析原型系统，该系统采用Myeclipse平台的集成开发环境，分为信息采集模块、信息分析基础模块、信息分析应用模块等三个主功能模块。其中信息分析基础模块的设计具有很好的可扩展性，为系统的进一步扩展打下了很好的基础。实验结果证明，该系统对微博客上热点事件数据的采集、分析是有效的，并且具有很好的可扩展性，能够为进一步的信息分析提供有效支撑。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 引言

1.1 研究背景和意义

1.2 国内外研究现状与分析

1.3 论文的主要工作

1.4 论文的章节组织

第二章 微博客特征与信息采集器设计

2.1微博数据获取的需求分析

2.2微博数据源特征分析

2.3微博数据采集器总体设计

2.4基于正则表达式的微博网页清洗技术

2.5 本章小结

第三章 热点事件传播路径分析提取与还原

3.1 针对微博客的短文相似度计算

3.2 结合显性和隐性传播方式的信息传播通道重构模型

3.3 本章小结

第四章 系统设计与实现

4.1 系统总体架构

4.2 采集器控制模块

4.3 热点事件描述模块

4.4 基础分析模块

4.5实验与运行结果

4.6 本章小结

结束语

一、论文总结

二、工作展望

致谢

参考文献

附录A 术语