汉语计算机自动分词知识

摘要

汉语分词是汉语言计算机处理的一项不可缺少的工作。使用自动分词知识可以进一步提高自动切分精度,满足高标准的需求。本文在[1][2][3]的研究基础上,介绍了一些行之有效的自动分词知识。根据对48,092个汉字的语言材料统计结果表明(统计材料分社会科学和自然科学两部分),这些自动分词知识可以处理90％左右的歧义切分字段。