融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法及装置

摘要

本发明涉及融合预训练语言模型及结构特征的英‑缅双语平行句对抽取方法及装置，属于自然语言处理技术领域。本发明包括步骤：数据预处理构建英‑缅平行句对数据集；利用基于多语言预训练语言模型训练英语和缅甸语词向量，以共享语义空间；通过融合英‑缅句子结构特征及孪生神经网络构建英‑缅双语平行句对抽取模型；收集双语文本并使用融合多语言预训练语言模型及英‑缅句子结构特征及孪生网络的英‑缅双语平行句对抽取模型计算每一句对的相似度，并设定相似度阈值来抽取英‑缅双语平行句对。本发明有效的从英‑缅可比语料中抽取平行句对并且降低对语义相似但不平行的句对的误判，为开展英‑缅神经机器翻译研究工作提供了数据支撑。