基于单字词转移概率的未登录词识别

摘要

未登录词识别是目前自动分词中的主要问题.本文采用排除法,通过排除第一趟分词后形成的分词碎片中的单字词来识别未登录词,取得了一定的效果.以往的未登录词的识别往往需要搜集特定资源,只对某一类型的未登录词进行识别,例如建立中文姓名、外国人名和地名资料库,进行人名、地名的识别.本文未利用任何有关未登录词的资源.实验结果表明,利用单字词转移概率和少量规则来识别未登录词,作为识别未登录词的一种新思路,是行之有效的.