计算语言模型中的规则量化方法

摘要

规则的量化问题是基于规则与统计相结合的计算语言模型的一个关键性的问题。该文首先讨论了一个基于规则与统计相结合的计算语言模型，从而引出了规则的结合度的概念，并提出了相应的基于互信息的规则结合度的计算方法。该方法既给出了一条规则的实用性的定量评价，又为基于规则与统计相结合的计算语言模型提供了一个重要的规则参量。作者们通过实验指出了该方法对系统规则集的筛选与计算语言模型中规则与统计的结合机制的优化的重要指导意义。