一种面向金融场景的端到端自然语言处理训练框架与方法

摘要

本发明公开了一种面向金融场景的端到端自然语言处理训练框架与方法，涉及自然语言处理领域，所述训练框架包括：Google原生BERT模块、FinBERT预训练模块、基于类似self‑training思想从外部相关数据中挖掘新数据模块、下游任务语料上进行预训练模块、用半监督学习的框架来充分利用无标签语料模块、知识蒸馏模块、线上部署模块。所述训练方法包括以：步骤1、FinBERT预训练；步骤2、基于类似self‑training思想从外部相关数据中挖掘新数据；步骤3、下游任务语料上进行预训练，对所述FinBERT进行再一次预训练，得到的模型称之为TASK FinBERT；步骤4、用半监督学习的框架来充分利用无标签语料，在TASK FinBERT的基础上，训练得到的模型称之为UDA FinBERT；步骤5、蒸馏学习，将学习到的知识和特征蒸馏到轻量级模型上。