语义表示模型的预训练方法、装置、电子设备及存储介质

摘要

本申请公开了一种语义表示模型的预训练方法、装置、电子设备及存储介质，涉及人工智能领域。具体实现方案为：采集多个不同模态的单模态的训练数据集和同时包括多个模态的多模态的训练数据集；分别采用各单模态的训练数据集，对对应的单模态的语义表示模型进行预训练；基于训练好的各单模态的语义表示模型，采用多模态的训练数据集，对融合后的多模态的语义表示模型进行训练，其中多模态的语义表示模型包括多个单模态的语义表示模型和融合模型。本申请能够分阶段地对多模态的语义表示模型进行训练，能够有效地提高多模态的语义表示模型的表达准确性。