基于PAT TREE统计语言模型与关键词自动提取

摘要

未登录关键词的识别是中文信息处理中的一个关键问题.文章利用PAT TREE实现了一种可变长统计语言模型,由于不存在n元统计语言模型的截断效应,从而对待提取的关键词的长度没有限制.在该模型的基础上,通过相关性检测,从540M汉语语料中自动提取出了12万个关键词候选字串.最后,经过分析和筛选,候选字串的准确度由82.3%上升到96.1%.实验表明,基于PAT TREE的统计语言模型是实现未登录词提取的有力工具.