基于预训练模型的大规模常识自动获取技术

摘要

针对大规模中文常识获取困难且费时费力的问题,该文提出了一种基于预训练模型的大规模常识自动获取技术,主要优点为:(1)基于BERT模型,采用完形填词式常识问答手段,实现预训练模型中蕴含隐性常识的自动获取;(2)使用基于Transformer的机器翻译模型,实现高效的无监督式英文常识转换为中文常识.在构建的常识问题集上进行实验表明,该方法获取到的中文常识知识合理可信,符合人类认知,是大规模中文常识自动获取的有效途径.