基于标点符号分割的汉语句法分析算法

摘要

目前大部分句法解析器都忽略标点符号这一重要的句法特征或者只进行非常简单的处理.本文根据标点符号的句法结构特性,提出单独解析块的概念,并且根据标点符号在句子中的特有特征和位置关系,给出了基于决策树算法(Id3)单独解析块识别方法,将标点融入汉语句法分析中.本文所用的实验数据(包括训练集和测试集)均来自中文宾州树库5.0.对句长大于40个词的汉语长句单独进行了实验,句法分析精度和召回率分别提高1.59%和0.93%,同时时间开销降低了近2/3.实验结果表明,标点对汉语长句句法分析非常有利, 系统性能获得了较大提高.