一种基于深度学习的实体关系抽取方法及应用

摘要

随着信息时代的发展，人们越来越多的通过互联网来交流和发布信息，因此互联网上蕴含了大量的知识，但是这些知识大多以文本的形式存在，机器无法直接进行处理，如何将文本中的信息转换为结构化知识，成为自然语言处理领域的一个研究热点，其中一个很重要的方向就是关系抽取。
　　传统的关系抽取方法依赖于人工提取大量的特征，随着深度学习的不断发展，越来越多的学者尝试用深度学习来解决关系抽取问题，其中包括循环神经网络、卷积神经网络以及递归神经网络等，这些深度模型可以识别句子中的复杂特征，同时避免了耗时的特征工程，取得了非常好的效果。
　　本文在目前研究的基础上，提出了两种基于深度学习的关系抽取方法，一种是将双向循环神经网络与注意力机制相结合，同时加入浅层句法特征以及实体相关特征，优化抽取效果。另一种是使用卷积神经网络，分别在词语层面和字符层面对句子特征进行抽取，将二者结合进行最终的预测，弥补了中文分词不准确的问题。由于目前大部分研究都是在英文数据集上进行的，中文数据集比较匮乏，本文使用关联交易数据，生成了一个针对上市公司公告文本的中文关系分类数据集，并在该数据集上进行了实验比较。
　　最后，本文对DeepDive关系抽取工具进行二次开发，在其原有算法的基础上，加入数据增量处理以及基于深度学习的训练、预测模块，使其成为一个更加完善的关系抽取工具。

目录

声明

摘要

图目录

表目录

1．1 研究背景

1．2 国内外研究现状

1．2．1 实体间关系分类

1．2．2 实体和关系联合抽取

1．2．3 开放域实体关系抽取

1．3 本文的主要工作

1．4 本文组织结构

1．5 本章小结

第2章 关键技术概述

2．1 卷积神经网络

2．2 循环神经网络

2．2．1 长短时记忆单元

2．2．2 双向LSTM

2．3 DeepDive

2．4 本章小结

第3章 数据获取与标注

3．1 原始数据说明

3．2 公司名称识别

3．3 生成正负样本

3．4 本章小结

第4章 基于循环神经网络的关系抽取模型

4．1 模型结构

4．1．1 特征抽取层

4．1．2 Embedding层

4．1．3 BLSTM层

4．1．4 注意力层

4．1．5 特征融合及分类

4．2 模型训练

4．3 本章小结

第5章 基于卷积神经网络的关系抽取模型

5．1 模型结构

5．1．1 词语级别CNN模块

5．1．2 字符级别CNN模块

5．2 本章小结

第6章 实验设计与结果分析

6．1 实验设计

6．1．1 实验环境

6．1．2 评价指标

6．1．3 参数设置

6．2 不同模型对比实验

6．3 不同输入特征对比实验

6．4 不同分类关系对比实验

6．5 循环神经网络模型分析

6．6 卷积神经网络模型分析

6．7 CNN与BLSTM模型对比

6．8 本章小结

第7章 与DeepDive的集成

7．1 DeepDiva的关系抽取流程

7．1．1 数据预处理

7．1．2 使用远程监督和规则对样本进行标注

7．1．3 模型训练和推断

7．2 添加深度学习模块

7．2．1 add命令

7．2．2 merge命令

7．2．3 train命令

7．2．4 predict命令

7．3 本章小结

8．1 本文工作总结

8．2 未来研究方向

参考文献

攻读硕士学位期间主要的研究成果

致谢