一种基于改进BERT的文本蕴含关系识别方法

摘要

本发明公开了自然语言处理技术领域的一种基于改进BERT的文本蕴含关系识别方法，提出新的训练目标TER用于进一步学习文本蕴含关系中的蕴含、冲突和中立等关系，同时，为了进一步增强预训练语言模型中的任务相关知识，并有效缓解微调过程中因训练数据不足而导致模型难以得到充分训练问题，提出预训练+任务相关预训练+微调的三阶段方法，给出相应的任务相关预训练数据的构造方法；TER‑BERT中所提出的TER训练目标及三阶段方法不仅使得模型能够更好地学习文本蕴含关系，而且可以充分利用已标注的目标任务语料构造训练数据并增强模型的任务相关知识，从而提高模型在党建问答系统、党建文本识别及文本摘要等应用系统中的性能。