基于局部自注意力机制和分割树的多准则中文分词方法

摘要

本发明公开了一种基于局部注意力机制和分割树的多准则中文分词方法。本发明对于语料库的一个文本序列，实现步骤如下：输入一个文本序列，通过word2vec获得每一个字符的unigram特征和Bigram特征，与预先定义的位置向量相结合作为嵌入层，将它传入到自注意力网络，并得到它的输出。将它通过crf层解码，对每个字符进行标注，并得到多个标注结果。将他的标注结果组合成一棵分割树，形成多个分割序列。将多个分割序列输入到评分系统，选择分数最高的那组分割序列作为输出。本发明提高了多准则分词的准确率。