去除停用语并预测句子边界的口语文本处理方法

摘要

本发明公开了去除停用语并预测句子边界的口语文本处理方法，首先收集口语识别文本语料；然后对文本语料中的停用语进行标注；再对文本语料中句子边界两侧的字词进行标注；继而采用机器学习方法训练序列标注模型；最后采用模型对口语文本进行处理。采用序列标注方式识别并去除文本序列中的停用语，采用文本向量嵌入、正反双向编码结合条件随机场的机器学习方案，高效抽取口语文本的深层语义特征，提高标签序列预测准确率；采用一个模型同时完成去停用语和句子边界预测；经过处理后，语音识别文本重点更加突出，有了合理的标点分隔，不仅利于人类阅读，也便于自然语言理解模块选择最佳处理粒度。