一种结合习语词典和同义词替换策略的汉语习语自动识别方法

摘要

本发明公开了一种汉语习语自动识别方法，属于自然语言处理技术领域，对汉语中的成语、俗语、谚语和歇后语进行识别。其基本思想是基于习语的不可合成性，如果用一个相似的词来替换习语的某一个词，它的互信息值与之前没替换的互信息值会有很大区别。识别分大两步骤，首先在成语、俗语、谚语和歇后语中进行查找，如果找到，一定是习语；否则也不能断定该词不是习语，即进入第二步，采用同义词替换方法计算替换前后的互信息值的变化，如果变化的差值大于阈值，即可把该词识别为习语。本方法可有效提升汉语分词的准确率，对相关研究的前期语料处理提供技术支持。