基于非结构化数据的多类型网络构建研究

摘要

企业信息化与互联网的发展促使非结构化与半结构化数据不断增加。针对海量非结构化与半结构化数据进行挖掘分析成为近年来研究的热点。复杂网络与中文信息处理的最新研究成果为非结构化和半结构化数据挖掘提供了一个新方法和视角。即将中文信息处理技术与网络构建技术相结合，采用中文信息处理技术抽取非结构化数据中包含的信息，并构建网络进行分析，进一步挖掘其潜在信息。
　　 分析复杂网络在不同领域的应用，其主要包括两个阶段：网络构建与网络分析。网络构建是指从实际应用数据中，建立个体之间相互联系，构建关系网络。这是复杂网络应用的基础与关键。因此本文将以非结构化数据为对象，研究利用中文信息抽取技术构建多类型网络。
　　 首先，本文对文本聚类进行研究，并将其应用到数据集划分中，将数据集划分不同领域或主题的子数据集。通过对传统文本聚类的实现与分析，将复杂网络中的社区划分算法应用文本聚类中，实现基于社区划分算法的文本聚类，并取得一定的效果。
　　 其次，本文采用中文信息抽取技术抽取非结构化数据包含的实体相关信息。由于网络构建中边的重要性，本文主要对实体关系抽取进行研究。对传统的无监督聚类实体关系抽取算法中的实体对上下文信息收集以及实体对聚类两阶段进行改进，更快、更好的抽取非结构化数据中包含的实体关系。同时针对单文档以及稀疏文档集，本文实现了基于事件框架的实体关系抽取，以抽取用户指定的特殊实体关系。
　　 再者，通过比较复杂网络在不同领域的应用，分析与总结出常用的网络类型，即同质、异质、动态网络。根据非结构化数据的信息元素的多维性，从不同的视角与维度出发，构建了文档—文档关系网络、文档—实体关系网络、实体—实体关系网络以及动态网络。
　　 最后，设计并实现多类型网络构建原型系统，将本文中的研究内容融入其中。分别对各研究内容与原型系统进行实验，以验证其有效性。

目录

文摘

英文文摘

第1章 绪论

1.1 课题背景及意义

1.2 国内外研究现状

1.3 论文内容与研究点

1.3.1 数据处理

1.3.2 网络信息抽取

1.3.3 多类型网络构建

1.4 论文结构

第2章 信息处理相关技术介绍

2.1 中文信息处理基本概念

2.2 文本聚类

2.2.1 文本聚类基本概念

2.2.2 文本聚类算法综述

2.3 信息抽取

2.3.1 信息抽取基本概念

2.3.2 信息抽取发展历史与现状

2.3.3 信息抽取研究内容

2.4 本章小结

第3章 网络信息抽取研究与实现

3.1 数据集划分

3.1.1 划分基本过程

3.1.2 传统聚类的缺点分析

3.1.3 对聚类算法的改进

3.2 网络点与边信息抽取

3.2.1 网络点信息抽取

3.2.2 网络边信息抽取

3.3 实验结果及分析

3.3.1 实验数据集

3.3.2 评价指标

3.3.3 实验与分析

3.4 本章小结

第4章 多类型网络构建实现

4.1 网络类型概述

4.1.1 复杂网络实际应用

4.1.2 常用网络类型

4.2 网络构建设计与实现

4.2.1 数据模型

4.2.2 网络构建

4.2.3 网络转换与关系精简

4.3 本章小结

第5章 原型系统设计与实现

5.1 原型系统目标

5.2 原型系统设计

5.3 原型系统的实现

5.4 实验结果与分析

5.4.1 实验数据集

5.4.2 实验

5.4.3 实验结果分析

5.5 本章小结

第6章 结束语

6.1 总结

6.2 展望

参考文献

致谢

作者攻读学位期间发表的学术论文目录