一种基于域-不变特征的元-知识微调方法及平台

摘要

本发明公开了一种基于域‑不变特征的元‑知识微调方法及平台，该方法学习同类任务不同数据集上高度可转移的共有知识，即域‑不变特征，微调网络集中学得同类任务不同数据集对应的不同域上的共同域特征，快速适应任何不同的域。本发明提升了同类任务通用语言模型的参数初始化能力和泛化能力，最终微调得到同类下游任务语言模型的通用压缩架构。在元‑知识微调网络中，本发明设计域‑不变特征的损失函数，学习与域无关的通用知识，即最小化一个域‑不变特征的学习目标来驱动语言模型具有域‑不变特征的编码能力。