面向中文陌生文本的人机交互式分词方法

摘要

本文提出了面向中文陌生文本的人机交互式分词方法,在没有分词底表和训练语料等语言知识的条件下,由系统自动地发现未登录词,提交给用户进行增删,不断重复此过程,反复获取文本中的词语,最后进行最大匹配法分词.四个不同语料的实验显示,在没有人机交互的条件下,可以得到72％(F值)左右的分词精度.经过较少的人机交互,可以使分词F值提高12％以上.随着用户工作量的增加,系统还能够进一步提高分词效果.