基于自然语言理解的中文分词和词性标注方法的研究

摘要

决策是管理过程中经常发生的一种活动，企业或组织发展的优劣成败关键在于高层决策者在面临复杂问题时所做出决策的正确与否。随着信息化时代的到来，决策者们越来越需要利用计算机辅助他们的决策行为。这就对计算机处理自然语言能力提出了越来越高的要求，而汉语分词和词性标注是自然语言处理中的基础，对汉语分词和词性标注的研究有重要的意义。尽管目前国内外对汉语分词的研究虽然取得了很大的进展，然而还没有满足现实的需要。本文正是基于决策者们管理问题这一背景对汉语分词和和词性标注作出的进一步的研究。
　　 本文通过对汉语分词和词性标注理论的深入研究，包括词法分析技术的两方面:形态分析技术和词典分析技术，词性标注技术主要方法以及兼类词的排歧方法。在这些理论知识的基础上，重点是在为了决策者们管理问题语义理解正确的基础上，提出了一个改进的正向最大匹配算法--MMAM算法。该算法是建立在三层词典结构的基础上，对正向最大匹配算法中固定最大匹配词长进行改进，在分词过程中动态确定，以提高词典查询效率；结合正向最大匹配分词算法和词性标注进行分词、词性标注。同时利用词性判定规则库中的规则对一词多性进行识别，判断具体词性，进一步对词进行适当合并操作，优化了问题语义的理解，实现了词典库自学习的操作。
　　 经大量实验测试表明:本文研究初步实现的自动分词方法具有较高的分词速度和较好的分词精度，可以初步应用到各种文本处理之中。