基于前缀树合并的中文文本纠错方法

摘要

本发明提出了一种基于前缀树合并的中文文本纠错方法。首先使用LSTM(长短期记忆网络)作为基础网络提取更深层次的中文文本信息。区别于传统的基于N元模型的纠错方法，使用LSTM语言模型进行候选句合理性打分，并把相似度较高的候选句合并成前缀树型结构。然后，采用多线程流水线方案完成语言模型的概率计算，计算出每个候选句分词的概率。相比较传统的文本纠错技术而言，能够更好地结合句子语义来进行句子合理性打分。此外，本发明能够有效的减少LSTM语言模型的计算量，大大提高中文文本的纠错速率，能够很好地应用到中文文本自动校正的相关工程里。