基于统计的汉语叠词自动识别研究

摘要

提出一种汉语叠词的自动获取方法。首先利用结构合理的五元组模型对分词后的语料进行统计以获得各类叠词候选集;在此基础上,通过叠词度的运算判断实现＂AAB＂式、＂ABB＂式、＂ABA＂式、＂ABAB＂式、＂AABB＂式叠词的自动获取;在叠词度判断的基础上,通过左、右邻接熵的运算判断实现＂AA＂式叠词的自动获取。该方法根据结构合理的五元组模型获得的统计信息,结合叠词度和信息熵的判断,实现了叠词的量化判断和自动获取。实验结果证明：该方法能有效实现汉语叠词的自动获取,且准确率高。