基于多数据源的热点话题自动发现技术研究

摘要

随着互联网和网络技术的飞速发展,网络成为一种人们获取信息的新兴媒体和渠道。面对互联网上呈指数式增长的信息数据,怎样从这浩瀚的信息海洋中获取需要的以及感兴趣的信息,也成为信息时代人们普遍关注的问题。热点话题发现技术是话题检测与追踪技术在实际中的应用,它能够从网络信息流中发现热点话题,帮助人们更加全面的了解和认识一个事件,在政府、金融、信息安全等诸多领域有很大的实际应用前景。
　　本文首先概括介绍了话题检测与追踪技术国内外的发展与研究现状,接着介绍了热点话题发现技术国内外的研究概况,分析和总结热点话题发现存在和面临的问题。针对这些问题,本文做了重点研究和改进,所做主要工作如下:
　　第一,本文综合考虑媒体和用户两方面因素,通过融合两方面的特征,提出一种基于新闻报道和微博的热点话题热度计算公式,对话题进行热度评估。利用热度计算公式对话题热度进行评定得到热度值,然后按照热度值对话题进行排序,最后得到任意一段时间内的话题热度排序。方便人们及时了解最新、最热话题,同时利于政府部门监控和引导网络舆论。
　　第二,对话题发现算法做了改进,提出了一种基于关键词的网络热点话题发现算法。定义了关键词,并用关键词的集合对话题进行表示。在改进的话题发现算法中,采用两层聚类策略,首先对新闻的标题向量进行第一次聚类,找出新出现的话题,设定初始阈值,对于满足条件的报道合并到其对应的话题集。接着对话题里存放的新闻报道进行第二次聚类,利用本文中提出的热度计算公式进行热度分析,最后发现某时间段内的热点话题。
　　第三,将热点话题的热度值计算方法和改进的热点话题发现算法应用到网络舆情分析与监测系统中,对应用系统进行了整体介绍,详细的说明了系统各模块的功能以及实现过程,最后结合具体的实际案例验证本文所做工作的可行性和实际应用性。

目录

封面

声明

目录

中文摘要

英文摘要

第一章 绪论

1.1课题的研究背景和研究意义

1.2 研究现状

1.3 本文主要内容及创新点

1.4 论文的组织和安排

第二章 热点话题发现相关技术

2.1 热点话题发现概述

2.2话题表示模型

2.3 相似度计算方法

2.4 文本聚类

2.5 小结

第三章 基于新闻和微博的热点话题热度评估方法

3.1话题热度影响因素的分析

3.2基于新闻和微博的话题热度计算公式

3.3话题的热度指数

3.4实验与结果分析

3.5本章小结

第四章 基于关键词的热点话题发现

4.1 热点话题发现相关概述

4.2 基于关键词的热点话题发现方法

4.3实验结果与分析

4.4小结

第五章 网络舆情分析与监测系统实现

5.1系统总体设计方案

5.2舆情系统实现步骤及子模块介绍

5.3系统应用实例

5.4本章小结

第六章 总结与展望

6.1 总结

6.2 展望

参考文献

已发表学术论文

参加科研项目

致谢