一种多语文本的切词方法

摘要

本方法提供一种多语文本的切词方法，在脱离对语言字典的依赖并且仅扫描一遍的情况下，对输入的文本进行切词的预处理操作，获取文本中一个个最小的语言相关单元，所述预处理包括基本切分处理、配对符处理、自定义普通符号处理，用于解决自然语言的预处理效率提升的问题。