基于LDA的新闻话题演化研究

摘要

新闻话题的演化主要关注于如何将新闻中语义信息提取出来，将这些语义信息组织成话题表达出来，并将话题在时间轴上的变化情况反映出来。这样，新闻可以按照话题的演化关系进行组织。研究新闻话题的演化，本文进行了如下一些有益的探索：(1)提出了一种基于话题关联的话题演化方案。通过语义关联的话题来表征话题的演化序列。(2)研究了过滤LDA模型生成的无意义话题的方法。本文提出了几种基于话题权重和显著性话题的方案，过滤话题模型中无法解释的话题在2007~2009两会新闻语料库上进行了实验，结果表明：基于可变数目的话题模型和话题关联的话题演化方法不仅能够有效地描述报道的主题，同时可以描述话题在时间段上强度的变化，还准确的描绘了话题在内容上的迁移情况。

目录

摘要

ABSTRACT

第一章 绪论

1.1 研究背景及意义

1.2 问题的提出

1.3 本文组织

第二章 新闻报道建模

2.1 传统模型

2.1.1 向量空间模型

2.1.2 语言模型

2.2 LDA 概率生成模型

2.2.1 LDA 模型简介

2.2.2 其他话题模型

2.3 模型泛化能力评测

2.4 本章小结

第三章 话题演化相关工作

3.1 Post-hoc 方式的话题演化

3.1.1 使用文集的话题均值衡量话题强度的方式

3.1.2 离散话题的权重方式

3.2 引入时间变量改进模型的话题演化

3.2.1 引入连续的时间变量的原因

3.2.2 时间变量的具体引入方式

3.3 按时间先离散（Pre-discretized）方法

3.3.1 动态话题模型

3.3.2 连续动态话题模型

3.3.3 动态混合模型

3.3.4 图模型展示

3.3.5 在线LDA 模型

3.4 话题演化的评测方法

3.5 本章小结

第四章 基于LDA 和话题关联的话题演化模型

4.1 基于LDA 和话题关联的话题演化模型图结构

4.2 话题识别

4.2.1 话题定义

4.2.2 话题抽取

4.3 话题过滤

4.3.1 根据对应于话题的文档的数量进行过滤

4.3.2 根据话题在文集中比率进行过滤

4.3.3 根据显著性话题过滤

4.4 话题关联方法

4.4.1 话题在新词表上平滑

4.4.2 话题关联度计算

4.5 话题演化

4.5.1 话题关联方法的改进

4.5.2 话题过滤在话题演化中的使用

4.6 本章小结

第五章 实验设计与结果分析

5.1 新闻演化模型流程图

5.2 语料搜集与预处理

5.2.1 语料搜集

5.2.2 文本预处理

5.3 与传统建模方式的比较

5.3.1 实验设计

5.3.2 实验结果与分析

5.4 话题演化模型实验

5.4.1 实验设计

5.4.2 实验对比方法

5.4.3 话题抽取结果对比

5.4.4 话题过滤的实验结果与分析

5.4.5 话题的关联实验结果与分析

5.4.6 演化实验结果与分析

5.5 本章小结

第六章 总结与展望

6.1 全文总结

6.2 研究展望

参考文献

致谢

攻读学位期间发表的学术论文目录