基于聚类的网络舆情热点关键词推荐研究

摘要

随着网络信息技术的日益发展和人们利益诉求的日趋多元化，使得互联网已经成为各基层利益表达、情感宣泄、思想碰撞的重要舆论渠道。因此，对互联网舆情挖掘进行深入研究具有重要意义。具体来讲，舆情监测是指整合互联网信息采集技术及信息智能处理技术，通过对互联网海量信息自动抓取、自动分类聚类、主题监测、专题聚焦，实现用户的网络舆情监测和追踪等信息需求。随着近些年的发展，舆情系统不仅在信息监测上较好的满足了用户的需求，同时增加了许多服务功能为客户全面掌握信息动态，做出正确舆论引导，提供了依据。
　　在总结和分析了当今舆情系统整体发展趋势和时下互联网领域兴起的推荐应用后，本文从舆情系统自身的特点出发，打破传统的用户根据自己所想去配置监测关键词的方式，根据用户的兴趣所在主动为用户提供关键词推荐的服务。
　　提出在传统舆情监测系统中加入用户对已有舆情信息的评分功能，并称获得了评分的那些文档为高价值文档。然后使用隐马尔可夫模型和维特比算法对高价值文档进行分词处理，以达到较好的分词效果;然后使用TextRank算法提取文档关键词;有了关键词表示的文档后，对其进行k-means++聚类;获得分类的高价值文档后，重新计算每类中文档的关键词权重，最后从每类中选取权重较高的关键词作为该组的推荐词，每组的推荐词数用户可根据需要自行指定。通过这一方式推荐出来的关键词不是对原有关键词的简单包含或组合，而是从用户认为对自己比较有用的文章中获得的重要的关键词信息。最后经过实验验证，我们可以得出，该方法对于用户监测到比较准确的网络舆情信息能起到一定的帮助作用。

目录

声明

摘要

第1章 绪论

1．1 研究背景及意义

1．2 研究现状

1．3 工作简要介绍

1．4 章节安排

第2章 关键技术介绍

2．1 中文分词

2．1．1 分词目的

2．1．2 算法分类

2．1．3 技术难点

2．2 文本关键词提取

2．2．1 基于统计的方法

2．2．2 基于机器学习的方法

2．2．3 基于语义的方法

2．3 文本聚类介绍

2．3．1 基于划分的聚类算法

2．3．2 基于层次的聚类算法

2．3．3 基于密度的聚类算法

2．3．4 基于网格的聚类算法

2．4 本章小结

第3章 高价值文档评估获取与分词

3．1 总体框架简介

3．2 高价值文档评估获取层

3．3 文档分词层

3．3．1 研究动机

3．3．2 问题描述

3．3．3 构建分词模型

3．3．4 最短路径分词

3．4 本章小结

第4章 舆情热点关键词提取与推荐

4．1 文档关键词提取层

4．1．1 研究动机

4．1．2 问题描述

4．1．3 关键词提取

4．2 舆情热点关键词推荐层

4．2．1 文档聚类

4．2．2 产生推荐词

4．3 本章小结

第5章 系统实现与分析

5．1 系统开发与实现

5．1．1 开发平台与开发工具

5．1．2 系统实现

5．2 实验分析

5．2．1 评价指标

5．2．2 实验过程

5．2．3 实验结果及分析

5．3 本章小结

第6章 工作总结与展望

6．1 研究总结

6．2 展望

参考文献

攻读硕士学位期间发表的论文

攻读硕士学位期间参加的科研工作

致谢