基于预训练模型的学术文本语义特征提取方法、系统和存储介质

摘要

本发明提供一种基于预训练模型的学术文本语义特征提取方法、系统和存储介质，所述方法包括：获取学术资源文本数据；将获得的学术资源文本数据输入至预训练模型，得到多维的学术文本语义特征向量；所述预训练模型是基于多重负样例损失函数对Bert预训练模型进行微调、将微调后的Bert预训练模型作为教师模型通过知识蒸馏来训练学生模型得到的学生预训练模型；将所述多维的学术文本语义特征向量进行降维压缩，输出最终的学术文本语义特征。本发明在提高向量生成质量的同时加快了向量生成的速度，适用于学术大数据场景下的文本向量生成。