基于ELECTRA模型与词性特征的金融事件抽取方法研究

摘要

【目的】针对金融事件抽取中金融事件实体边界模糊、抽取不准确的问题,提出基于预训练模型ELECTRA和词性特征的金融事件抽取方法。【方法】为增强模型对金融关键实体的感知力,充分考虑语料原始的语义信息以及词性特征信息,将语料分别通过两个ELECTRA预训练模型后进行融合操作,达到增强语义的效果;将学习到的信息传入BiGRU中,获取上下文长距离的语义依赖,输出原始的序列标签;利用CRF克服标签偏差问题,通过上述步骤完成金融事件抽取。【结果】基于预训练模型ELECTRA和词性特征的金融事件抽取方法在金融事件数据集上F1值达到70.96%,比经典的抽取模型BiLSTM-CRF性能提升20.74个百分点。【局限】数据集中事件数较少,预训练模型体积较大,会受到GPU/TPU内存的限制。【结论】本文模型能够更加全面地捕捉金融事件元素之间的联系,提升金融事件抽取的效果。