基于跨语言双语预训练及Bi-LSTM的汉-越平行句对抽取方法

摘要

汉越平行句对抽取是缓解汉越平行语料库数据稀缺的重要方法.平行句对抽取可转换为同一语义空间下的句子相似性分类任务,其核心在于双语语义空间对齐.传统语义空间对齐方法依赖于大规模的双语平行语料,越南语作为低资源语言获取大规模平行语料相对困难.针对这个问题本文提出一种利用种子词典进行跨语言双语预训练及Bi-LSTM(Bi-directional Long Short-Term Memory)的汉-越平行句对抽取方法.预训练中仅需要大量的汉越单语和一个汉越种子词典,通过利用汉越种子词典将汉越双语映射到公共语义空间进行词对齐.再利用Bi-LSTM和CNN(Convolutional Neural Networks)分别提取句子的全局特征和局部特征从而最大化表示汉-越句对之间的语义相关性.实验结果表明,本文模型在F1得分上提升7.1%,优于基线模型.