一种用于电商直播场景的小样本多轮对话的生成模型

摘要

本发明公开了一种用于电商直播场景的小样本多轮对话的生成模型，包括：使用一元语言模型构建包含字和词的中文词表，用jieba参照该词表对输入文本进行分词，用分词后得到的字和词对输入进行表征；字或词，角色，轮数和位置嵌入的和作为嵌入的表征输入到模型；模型一共包含12个Transformer块，每个块中将解码器和编码器融合在一起，实现上下文理解和生成回复能够实现参数共享；在每个块中使用两种自注意掩码的方式来控制当前词对上下文词的访问；处于上下文位置的词，能够看到所有的上下文的词，处于回复位置的词，只能看到其之前的词；在最后的一层输出每个字对应的隐状态。本发明使用电商直播过程中的真实场景的对话，采用prompt的方式，在基于少量样本的数据集上，实现对话系统。