字符级基于序列模型的蒙古文切词方法及其切词系统

摘要

本发明公开了一种字符级基于序列模型的蒙古文切词方法及其切词系统，将蒙古文文本转化成以空格间隔的字符序列，并将字符序列中的英文、数字、汉字以及符号替换成相应的标记；将包含蒙古文字符的字符序列输入至基于神经网络模型的蒙古文切词组件，得到切分后的字符序列；判定切分后的输出字符序列是否包含除连接符号外的非蒙古文字符，如果包含将输出字符序列与原词比较，将对应的标记替换成被其替代的非蒙古文字符并去掉序列中的空格；否则去掉序列中的空格，完成反预处理；以词干‑词缀‑词缀的形式输出切分后的蒙古文文本。本发明通过神经网络实现待切分蒙古文词的字符序列到切分后的字符序列的自动转换，降低人工成本。