基于语料库的汉语自动分词错误类型分析

摘要

运用CIPP对68908字的庭审会话语料库进行自动分词处理,并参照《现代汉语词典》(第7版)及《信息处理用现代汉语分词规范》(GB/T 13715-92)对分词结果进行人工校对及错误类型分析。研究发现,除了未登录词、交集型歧义和包孕型歧义外,还存在文言残留用语等切分标准不明确的问题。据此,分词规范需进一步改进和修订。