基于双向长短期记忆神经网络的老挝语分词方法

摘要

作为语言最小独立运行且有意义的单位,将连续型的老挝语划分成词是非常有必要的.提出一种基于双向长短期记忆BLSTM神经网络模型的老挝语分词方法,使用包含913487个词的人工分词语料来训练模型,将老挝语分词任务转化为基于音节的序列标注任务,即将老挝语音节标注为词首(B)、词中(M)、词尾(E)和单独成词(S)4个标签.首先将老挝语句子划分成音节并训练成向量,然后把这些向量作为BLSTM神经网络模型的输入来预估该音节所属标签,再使用序列推断算法确定其标签,最后使用人工标注的分词语料进行实验.实验表明,基于双向长短期记忆神经网络的老挝语分词方法在准确率上达到了87.48％,效果明显好于以往的分词方法.