基于预训练模型的端到端文本生成方法及相关设备

摘要

本申请实施例属于语音语义处理领域，应用于智慧城市领域中，涉及一种基于预训练模型的端到端文本生成方法，包括获取原始输入文本；通过编码器对所述原始输入文本进行数字化处理，并通过预训练的第一语言模型将数字化处理后的始输入文本进行向量化处理，得到与所述原始输入文本对应的第一上下文表达；将第一上下文表达与历史预测输出输入到预训练的第二语言模型中，得到对所述原始输入文本进行转换后的第二上下文表达；通过所述插入组件预测得到所述第二上下文表达中的待插入位置；通过所述填充组件预测所述待插入位置的预测字词，得到与所述原始输入文本对应的预测输出，直到预测输出与上一预设输出相同。采用本方法大大提高了模型预测的灵活性。