一种基于密集连接卷积的网络安全领域关系抽取方法

摘要

本发明公开了一种基于密集连接卷积的网络安全领域关系抽取方法，具体包括：将句子包含的每一个单词映射到低维实值向量空间中，得到其所对应的词向量；将每个单词到两个实体的相对距离映射到低维位置向量，得到位置向量，并将单词的词向量的对应的位置向量拼接到一起作为神经网络的输入；使用密集连接卷积神经网络对输入特征进行特征提取、并输出；对输出特征进行分段池化；对分段池化后的句子加入注意力机制，并使用Softmax层进行分类。本发明的密集连接网络通过特征映射将词法、句法和语义特征结合起来有利于网络进行特征学习，从而能够更准确地表达句子含义，提升关系抽取性能。

说明书

技术领域

本发明涉及信息抽取中的关系抽取技术，具体涉及一种基于密集连接卷积的网络安全领域关系抽取方法。

背景技术

信息抽取，即从自然语言文本中，抽取出特定的事件或事实信息，能将海量内容自动分类、提取和重构。这些信息通常包括实体、关系、事件。20世纪90年代初，人们开始关注信息提取相关研究。之后信息提取算法方面取得很大进展，自动识别命名实体(人名、组织名等)方面取得巨大进步。

关系抽取是信息抽取的重要子任务之一，关系抽取在构建知识图谱中起着至关重要的作用。面向非结构化文本数据，关系抽取是从文本中抽取两个或者多个实体之间的语义关系。目前，关系抽取方法可以基本分为基于模板的关系抽取方法、基于监督学习的关系抽取方法和基于弱监督学习的关系抽取方法。但是这些关系抽取方法的性能差。

随着近些年深度学习的兴起，深度学习逐渐应用到实体关系抽取任务中来，基于深度学习的远程监督实体关系抽取方法因具有缓解经典方法中错误标签和特征抽取误差传播问题的能力而成为研究热点。因此，行业内急需研发一种基于深度学习的远程监督实体关系抽取方法。

发明内容

本发明提供了一种基于密集连接卷积的网络安全领域关系抽取方法，通过网络不同层次特征的合并和复用能够在噪声数据中学习到较好的特征，从而提升关系抽取性能。

为了实现上述目的，本发明的技术方案为：

一种基于密集连接卷积的网络安全领域关系抽取方法，包括以下步骤：

S1，将句子包含的每一个单词映射到低维实值向量空间中，得到其所对应的词向量；

S2，将每个单词到两个实体的相对距离映射到低维位置向量，得到位置向量，并将单词的词向量的对应的位置向量拼接到一起作为神经网络的输入；

S3，使用密集连接卷积神经网络对输入特征进行特征提取、并输出；

S4，对输出特征进行分段池化；

S5，对分段池化后的句子加入注意力机制，并使用Softmax层进行分类。

优选地，步骤S1包括：使用word2vec将句子s包含的每一个单词映射到低维词向量w＝{w

优选地，步骤S2包括：在句子s＝{w

优选地，步骤S3包括：

S31，把句子的向量表示矩阵X看作一个序列{x

S32，使用5层密集连接卷积神经网络进行特征学习，学习后，卷积神经网络的输出为：c

优选地，步骤S4包括：对于从卷积层得到的n个特征向量(c

优选地，步骤S5包括：

S51，通过加权平均实例向量s

S52，通过Softmax层计算条件概率：

优选地，在句子集合S上利用交叉熵定义目标函数如下：

本发明与现有技术相比，具有以下有益效果：

(1)相比目前的技术，密集连接网络通过特征映射将词法、句法和语义特征结合起来有利于网络进行特征学习，从而能够更准确地表达句子含义，提升关系抽取性能。

(2)相比目前的技术，密集连接方式即互相连接所有的层，具体来说就是每个层都会接受其前面所有层作为其额外的输入。模型能够更加有效地利用网络中所有层次特征，通过合并和复用不同层次特征，能够在远程监督学习中提取到较好的特征，使得网络提取的特征能够最大程度表征自然语言的语义关系，从而提升关系抽取性能。

附图说明

图1为本发明的网络安全领域关系抽取方法的整体模型结构图。

图2为本发明的密集连接卷积神经网络的结构图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图详细描述本发明提供的实施例。

远程监督实体关系抽取任务可以简单描述成：包含实体对

本发明采用一种基于密集连接卷积的网络安全领域关系抽取方法，基于密集连接卷积神经网络的模型结构如图1所示。一种基于密集连接卷积的网络安全领域关系抽取方法包括以下步骤：

S1，将来自网络安全领域文本包含的每一个单词映射到低维实值向量空间中，得到其所对应的词向量；

S2，将每个单词到两个实体的相对距离映射到低维位置向量，得到位置向量，并将单词的词向量的对应的位置向量拼接到一起作为神经网络的输入；

S3，使用密集连接卷积神经网络对输入特征进行特征提取、并输出；

S4，对输出特征进行分段池化；

S5，对分段池化后的句子加入注意力机制，并使用Softmax层进行分类。

步骤S1为输入层词向量映射：

对于给定的一个长度为n的句子s及其包含的n个单词s＝{w

步骤S2为输入层位置向量映射：

在句子s＝{w

步骤S3通过密集卷积进行特征学习，结构如图2所示：

S31，把句子向量表示X看作一个序列{x

S32，使用5层，神经网络来进行特征学习，对于网络的任意一层，该层(当前层)前面所有层的输出特征都是该层的输入，该层的输出特征是后面所有层的输入第l层的输出为：c

步骤S4使用PCNN模型中的分段最大池化进一步提取特征：

对于从卷积层得到的n个特征向量(c

步骤S5通过多实例选择注意力机制预测最终关系：

S51，多实例选择注意力机制：假设包含实体对

S52，最后通过一个Softmax层计算条件概率：

在句子集合S上利用交叉熵定义目标函数如下：

上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。