基于预训练语言模型的古今汉语自然语言处理方法

摘要

本发明公开了一种基于预训练语言模型的古今汉语自然语言处理方法，包括：将中文语料(文言文或白话文)输入到预训练语言模型；根据语料类型分别进行不同的预训练任务，以捕获多层级语义信息，获取文本表示；将生成的语料表示输入卷积层，得到更多可学习的表示；通过开关机制切换路径，根据语料类型选择通过句子级聚合或更新门以进一步优化表示；输出最终的中文语料表示。本发明能够充分利用文言文和白话文的特点执行不同的预训练任务，并且可以通过开关机制灵活调整模型结构，以根据语料类型采取不同方法优化语料表示，有效地捕获古今汉语的语料特征，在文言文和白话文的多项自然语言处理任务中实现了更高的准确率和召回率，具有良好的实用性。