基于刑事Electra的编-解码关系抽取模型

摘要

针对司法领域关系抽取任务中模型对句子上下文理解不充分、重叠关系识别能力弱的问题,提出了一种基于刑事Electra(CriElectra)的编-解码关系抽取模型。首先,参考中文Electra的训练方法,在1000000份刑事数据集上训练得到了CriElectra;然后,在双向长短期记忆网络(BiLSTM)模型上加入CriElectra的词特征进行司法文本的特征提取;最后,通过胶囊网络(CapsNet)对特征进行矢量聚类,从而实现实体间的关系抽取。实验结果表明,在自构建的故意伤害罪关系数据集上,与基于中文Electra的这一预训练语言模型相比,CriElectra在司法文本上的重训过程使得学习到的词向量蕴含更丰富的领域信息,且F1值提升了1.93个百分点;与基于池化聚类的模型相比,CapsNet通过矢量运算能够有效防止空间信息丢失,并提高重叠关系的识别能力,使得F1值提升了3.53个百分点。