基于语言相似性的迁移学习平行句对抽取方法及装置

摘要

本发明涉及基于语言相似性的迁移学习平行句对抽取方法及装置，属自然语言处理领域。本发明首先对泰语、老挝语的语料进行预处理，将泰语中的子词和词语基于音标进行替换，得到泰语、老挝语句子的统一表示，然后，基于泰语‑老挝语之间的语言相似性利用数据迁移和模型迁移的方法将汉语‑泰语的平行句对抽取模型迁移到汉语‑老挝语的模型上，最后，利用预训练好的平行句对抽取模型对输入模型的汉语‑老挝语平行句对进行预测。本发明所提方法能够有效地对语言相似性进行建模和利用资源较丰富的汉语‑泰语句对抽取模型迁移到资源较稀缺的汉语‑老挝语句对抽取模型上，从而达到提升汉语‑老挝语句对抽取模型性能目的，具有重要的理论和实际应用价值。