基于加权有限状态转换器的文本内容添加标点方法

摘要

基于加权有限状态转换器的文本内容添加标点方法，涉及语音识别文本内容的后处理以及自然语言处理。将待处理文本进行预处理；将待处理句子文本中可能出现标点的分词间插入标志；将包含标志的句子编译为加权有限状态转换器形式；将均为加权有限状态转换器形式的句子和语言模型进行合成；对合成出的加权有限状态转换器进行剪枝等处理并求解最优路径；将最优路径上的数字状态索引转换为真实符号并逆序排列，即得经过自动添加标点处理的最终结果。以主要解决语音识别中解码内容无标点等断句信息从而影响文字表达与人工阅读的问题，次要用于任何现成无标点文本自动添加标点的问题。