语言模型训练方法、文案生成方法以及相关设备

摘要

本公开的实施方式涉及文本处理技术领域，更具体地，本公开的实施方式涉及语言模型训练方法、文案生成方法以及相关设备。语言模型训练方法包括：获取构成训练文本的文本元素序列，文本元素序列分为拼接在一起的源段序列和目标段序列，文本元素序列以序列开始标记开头，源段序列和目标段序列均以序列结束标记结尾；对文本元素序列添加掩码；将带有掩码的文本元素序列输入语言模型的变换器网络，通过变换器网络对文本元素序列中的每个文本元素编码成带有上下文信息的向量；利用表征向量得到掩码的预测值，并根据预测值和真实值之间的交叉损失函数对变换器网络进行训练，使其收敛，得到语言模型。本公开的技术方案能够增强语言模型的可扩展性。