基于规则与统计的语气词用法自动识别研究

摘要

现代汉语语气词用法的自动识别研究是面向自然语言处理的现代汉语语气词知识库的重要内容之一，本文试图采用统计与规则相结合的方式进行现代汉语语气词用法的自动识别。首先构建了现代汉语语气词用法词典，在确定收词原则时，研究了基于主观认知的语气词和助词区分问题。其次进行了基于规则的现代汉语语气词用法的自动识别，创建了语气词用法规则库。由于人工总结的规则具有局限性，因此又研究了基于错误驱动的语气词用法规则自动提取算法。对于规则识别不好的词语，尝试了基于统计的语气词用法识别。最后结合统计方法与规则方法获取语气词用法自动识别的准确率。实验数据表明，使用统计与规则相结合的方法能使语气词用法的自动识别取得较好的效果。
　　 本文的主要工作包括：
　　 (1)构建了现代汉语语气词用法词典，确定了语气词用法词典的收词原则，并研究了基于主观认知的现代汉语语气词和助词区分问题。
　　 (2)构建了语气词用法规则库，在《人民日报》语料上初步完成了基于规则的语气词用法自动识别。
　　 (3)研究了语气词用法在多种语料库中的识别问题，从多种语料库中的语气词实际用法入手，修改和完善了语气词用法词典和语气词用法规则库。
　　 (4)研究了基于错误驱动的语气词“了”的规则自动提取算法。在使用人工书写的规则识别语气词用法的基础上，通过研究识别错误句子和正确标注句子之间的关系，自动获得新的规则集。
　　 (5)采用基于统计的方法进行语气词用法的自动识别，进一步提高语气词用法自动识别的准确率。
　　 (6)对基于规则和基于统计方法的结合进行了初步探讨，将用法识别准确率最高的模型作为该语气词用法自动识别的分类器。
　　 最后总结了本文的工作，指出了下一步的研究，提出了基于语气词用法的可行性应用前景。