特定领域下实时主题建模与事件检测

摘要

近年来，随着技术的不断发展，互联网上每天都会产生大量的信息，特别是一些与生活紧密相关的热点话题以及一些重要的大事件往往会通过网络率先引发、传输和扩散，这些信息往往会对社会公共安全造成重大影响，一方面人们越来越多的通过网络诉求、宣泄情感并且评论时事，另一方面网络也会成为虚假信息传播和扩散的平台，会被一些不法分子利用。所以如何高效、实时、全方位从网络数据流中捕捉热点话题和事件已经成为网络舆情监控以及社会公共安全分析的重要研究内容。
　　本文基于以上应用需求，构建了一个面向新闻流的实时主题建模和事件检测框架，集成了实时主题建模和事件检测的算法，并在此基础上进行了相关的主题挖掘工作。总的来说，它有效地解决了如下的问题:1）如何基于海量新闻流快速的进行主题建模，本文所用的主题建模算法能应用于大数据和数据流;2）如何快速有效的检测事件并进行相关的特征抽取，通过模块化和相关数据结构和数据库的设计，本文的事件检测算法能做到及时高效;3）如何通过相关的主题挖掘进行诸如主题的演化、演变等问题的研究，基于本文的算法和对事件和主题的表达可以方便有效地获得想要了解的问题。
　　本文以社会公共安全为应用领域，构建了食品安全数据集上进行实验。实验结果表明，本文所用的主题建模和事件检测算法精度、效率以及可解释性表现良好，可较好地满足相关的应用需求。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 研究背景和目的

1．2 研究目的

1．3 本文的主要工作

1．4 本文组织结构

1．5 本章小结

第2章 国内外研究现状

2．1 主题建模

2．1．1 LDA

2．1．2 LDA扩展模型

2．2 事件检测

2．3 实时计算

2．4 舆情分析

2．4．1 舆情分析的注意点

2．4．2 不同类型舆情分析比较

2．4．3 舆情报告图表制作

2．5 本章小结

第3章 基于主题的事件检测算法

3．1 算法框架

3．2 基于在线层次化狄利克雷过程的主题检测算法

3．2．1 狄利克雷过程

3．2．2 层次化狄利克雷过程

3．2．3 在线层次化狄利克雷过程

3．3 基于主题突发性的事件检测算法

3．4 基于在线层次狄利克雷过程的数据挖掘

3．4．1 主题演化与演变

3．4．2 主题叙事性

3．5 本章小结

第4章 算法集成应用

4．1 跨媒体计算验证平台

4．1．1 D-Ocean

4．1．2 DStream

4．1．3 跨媒体计算验证平台

4．2 建模与存储

4．2．1 海量存储与建模

4．2．2 实时存储与建模

4．3 基于主题的事件检测算法集成

4．3．1 实时流式处理

4．3．2 定时批量处理

4．4 本章小结

第5章 实验结果及系统展示

5．1 食品安全数据集

5．1．1 数据采集与整理

5．1．2 食品安全领域概念词典

5．2 基于在线层次化狄利克雷过程的主题发现

5．3 基于主题突发性的事件检测结果

5．4 主题挖掘结果展示

5．4．1 主题演化与演变

5．4．2 主题叙事性

5．5 乙肝疫苗拓展

5．5．1 实验参数

5．5．2 主题建模

5．5．3 事件检测

5．5．4 主题演化演变

5．5．5 总结与展望

5．6 本章小结

第6章 总结与展望

6．1 总结

6．2 未来研究方向

参考文献

致谢

作者简历