一种基于模式预训练的关系抽取方法

摘要

本方案公开了一种模式预训练关系抽取方法，主要用于解决实体关系联合抽取中的实体边界确定和关系分布不均衡的问题。本方案构建了对模型进行预训练的模式，以编码‑解码的方式进行建模。本专栏对编码部分、解码部分进行预训练。通过以相关的实体数据，对编码部分进行预训练，使其获得预测实体边界的信息。通过以相关的关系数据，对解码部分进行预训练，使用句法依存分析构建依存树，通过依存树的邻接矩阵，依照注意力机制中的mask机制，遮蔽部分信息。最后，通过监督学习的方式对整个框架中的参数进行更新，最后学习到一种适应力强，表达能力强的关系抽取模型。