基于语料库的自然语言句法分析技术研究

摘要

该文对于基于语料库的自然语言句法分析技术进行了深入的研究,主要的研究工作和成果如下:1.将最新的统计学习理论和机器学习算法SVM(支持向量机)应用于大规模的自然语言处理任务中.2.该文提出的标注算法精度明显高于隐马尔可夫模型(HMM)等常用的词性标注算法,可以达到97％以上的准确率.3.深入研究单词词义辨析的问题,提出一种高精度的自适应单词词义辨析算法,并在SENSEEVAL-2词义辨析系统公开竞赛提供的语料库中对该算法进行试验.4.对完全句法分析的子任务——浅层句法分析技术进行深入研究,在对语块的特点进行深入分析以后,该文提出了一种粗粒度的语块分析算法,并在CoNLL-2000语块分析系统测试提供的公开数据上对该方法进行测试.5.提出两种自然语言句法分析的模型,一种基于浅层句法分析技术,对输入语句进行逐层分析.另外一种方法利用概率化的支持向量机模型,将句法分析过程看作是一个分析动作的序列,并利用概率支持向量机模型寻找一个对给定句子的最优分析动作序列.6.创造性地将单词词义分析引入到句法分析当中,利用词义分析的结果对句法分析中难以处理的歧义问题进行排歧,显著地提高了句法分析算法的精度.而且单词词义分析方法本身也可以直接应用于信息检索等重要应用领域.