一种低数据场景下的对话模型训练方法及计算机设备

摘要

本发明提供一种低数据场景下的对话模型训练方法及计算机设备，本发明提供的低数据场景下的对话模型训练方法，包括如下步骤：步骤一、在语言模型2上附加小型transformer自注意力层，训练附加小型transformer自注意层，此步骤训练中，语言模型的参数被固定不变。步骤二、将训练好的附加transformer自注意层与复制下来的嵌入层组成新的transformer模型，继续训练新的transformer模型。本发明提供的低数据场景下的对话模型训练方法能够在缺乏对话数据的情况下，通过本发明的训练方法可以训练得到可用的检索式端到端对话模型，参数量小，不容易过拟合，推理运算速度快。