一种有效的概率上下文无关文法分析算法

摘要

句法分析的研究是自然语言处理领域的一个重要组成部分．该文提出并实现了一种有效的概率上下文无关文法ＳＣＦＧ（ｓｔｏｃｈａｓｔｉｃｃｏｎｔｅｘｔ－ｆｒｅｅｇｒａｍｍａｒ）的分析算法．首先对原有的ＧＬＲ分析表加以改造，以便能够利用分析过程的控制结构来计算有关的概率；然后对分析过程中的每个状态增设了下标，以区分不同的归约路径．通过上述手段，成功地引入了状态的前向（Ｆｏｒｗａｒｄ）概率和内（Ｉｎｎｅｒ）概率．利用这两个概率可以计算输入句子的所有可能分析树的概率，用于选择最佳的分析结果．通过对大规模真实文本进行实验，结果表明，这种算法具有较高的分析效率．