基于社交媒体的灾害事件提取与时空分析——以地震灾害为例

摘要

当今时代，随着互联网的飞速发展，越来越多的用户在社交媒体上随时发表自己的看法，观点，身边事件。社交媒体被作为网络信息的一大数据平台，用来随时感知周围发生的事件及发展态势。当灾害事件发生时，大量含有位置信息的文本及媒体数据迅速充斥整个网络。本文探讨灾害类事件应急信息挖掘与分析的一种方法。运用网络爬虫方法获取社交媒体数据，基于此类数据，运用LDA主题模型提取方法，建立灾害类事件主题特征分类模型库，并运用SVM算法从大量的社交媒体数据中快速提取、分类灾害事件，进而通过面向灾害事件的前置后缀特征词与规则相结合的中文地名地址提取方法，结合开源网络地图API的地理编码功能，对灾害事件及应急信息进行地址提取与空间定位;最后，以2017年8月九寨沟地震事件为例，对于地震灾害事件的时间趋势，主题趋势以及不同主题空间定位等，利用统计分析、时间分析和空间分析方法，探寻突发事件的时间趋势和空间分布，为应急响应提供决策支持。
　　论文主要研究内容包括:
　　(1)通过新浪微博API与网络爬虫方法获取微博灾害类事件，并通过有加权的LDA主题模型提取方法构建灾害类事件主题模型库，运用SVM算法对微博事件进行文本灾害类事件判别与主题分类。
　　(2)运用人机结合的统计方法，提出灾害事件短文本中的前置后缀特征词与规则相结合的地名地址提取技术。对灾害事件及其相关应急信息进行有效提取。
　　(3)结合开源网络地图接口的地理编码功能，对模糊的以及带有方位属性的灾害事件进行有效的空间定位。
　　(4)利用本文所述方法，以“九寨沟地震”事件为例，实现了从微博数据中对典型灾害事件的主题、时间与空间信息进行分类、定位及统计分析。

目录

声明

摘要

1 绪论

1．1 研究背景及意义

1．1．1 研究背景

1．1．2 研究意义

1．2 国内外研究现状

1．2．1 微博相关数据研究概述

1．2．2 文本事件主题提取研究概述

1．2．3 中文地名地址提取研究概述

1．2．4 空间定位研究现状

1．3 研究内容及论文体系

1．3．1 研究内容

1．3．2 论文体系

1．3．3 特点与难点

2 基于微博数据的地震灾害事件提取与时空分析概念框架

2．1 概念框架

2．2 基于社交媒体的灾害事件分类体系

2．2．1 突发公共事件分类体系

2．2．2 地震灾害类事件信息分类

2．2．3 社交媒体地震灾害事件分类

2．3 面向微博的灾害类事件信息获取与主题分类

2．4 中文地名地址提取与空间定位

2．5 微博灾害事件时空分析

3 面向微博的灾害事件信息获取与主题分类

3．1 微博灾害类事件信息获取

3．1．1 微博数据结构分析

3．1．2 微博网站数据分析

3．1．3 浅层微博网站数据抓取的方法

3．2 候选文本主题模型提取算法

3．3 候选文本主题分类算法

3．4 灾害类主题SVM分类特征构建

3．4．1 样本选取与预处理

3．4．2 基于LDA的主题特征词提取

3．4．3 灾害类主题SVM特征向量训练与构建

3．5 SVM文本分类算法

3．5．1 面向微博文本的VSM(向量空间模型)特征提取

3．5．2 特征向量相似度计算

3．5．3 灾害类微博文本的实时分类

3．6 实验验证

4 灾害事件中文本地名地址提取与空间定位

4．1 基于前置后缀词特征词分析与构建

4．1．1 前置后缀特征词分析

4．1．2 面向微博灾害事件的人机结合的前置后缀特征词库构建

4．2 基于前置后缀词与规则相结合的中文地名提取

4．2．1 基于前置后缀词的地名地址切分初步提取

4．2．2 基于行政区划库数据的地址匹配过滤

4．2．3 基于规则的候选地名地址添加

4．2．4 地名地址标准化处理

4．3 结合多种开源地理编码API的灾害事件空间定位

4．3．1 基于网络地理编码API的空间定位

4．3．2 不同坐标投影的空间位置转换

4．4 实验验证

5 基于社交媒体的应急突发事件时空分析

5．1 事件趋势分析

5．1．1 时间趋势分析

5．1．2 主题趋势

5．2 探寻空间分布模式

5．2．1 发现地震灾害事件空间分布

5．2．2 不同主题下微博的空间分布

结论

致谢

参考文献

攻读学位期间的研究成果