基于知识指导前缀微调的自然语言处理方法、装置、计算设备和存储介质

摘要

本发明公开了一种基于知识指导前缀微调的自然语言处理方法、装置、计算设备和存储介质，首先构建与下游任务相关的前缀提示词和与从知识图谱中获得任务类别相关的标签词，然后利用前缀提示词的嵌入向量与输入文本的key值与value值拼接后进行self‑attention的计算，以使前缀提示词与输入文本紧密结合学习，同时综合所有标签词确定学习标签，即利用与任务类别相关的本体知识指导预训练语言模型的微调，这样使得微调的预训练语言模型对下游任务的预测效果更佳，提升了预训练语言模型的预测准确性。下游任务为情感分析任务和关系提取任务，采用相应方法得到的预训练语言模型提升的情感分析的准确性和关系提取的准确性。