一种基于BERT的自动填补空缺文本方法

摘要

本发明提出一种基于BERT的自动填补空缺文本方法，包括以下步骤；步骤S1：以公开完型填空CLOTH数据集作为训练数据基础，利用分词器对进行预处理，提取出文章的内容和填空选项；步骤S2：将处理过的数据集通过联合调节所有层中的上下文来预先训练深度双向表示模型；并利用预训练模型提供语言模型，通过额外的输出层对其进行微调，最后以加入问题的位置信息和该语言模型共同组成编码器；步骤S3：用全连接层、gelu激活函数层、归一层和全连接层依次堆叠，构成解码器，并将编码器结果输入到解码器解码；步骤S4：以解码器的输出预测出空格处应该出现的单词；本发明能够实现利用人工智能完成对有空缺的文本进行预测和校对，辅助校对人员进行审查出版书本的工作。