基于深度学习的跨语言词汇对齐模型研究

摘要

由于能够捕捉语言的内在规律,词向量在自然语言处理任务中得到广泛应用,通过跨语言词汇对齐能够将词向量的应用推广到跨语言情境中.文章在词汇深度表示学习的基础上通过改进生成对抗网络结构,提出一种新的词汇对齐模型(Word Alignment Model,WAM).为验证模型的有效性,在三组跨语言语料数据集上进行对比实验.与最好的无监督方法相比,WAM模型在P@1上提升0.25％,在P@10上提升0.46％.实验结果表明,通过改进生成对抗网络,能够以无监督的方式更好地实现词汇的跨语言对齐.研究结果对完成领域知识的跨语言迁移,解决跨语言情感分析、信息检索和问答系统等跨语言信息处理任务有重要意义.