一种切分索引分词的方法及系统

摘要

本发明公开了一种切分索引分词的方法，包括以下步骤：读取字符流；识别所述字符流，确定汉字、英文字符或数字以及不可识别字符；将已经确定的汉字、英文字符或数字与预先建立的词典树比较，确定匹配的分词；将英文字符或数字进行ASCII码通用模糊匹配，确定英文字符串或者数字串的分词；将上述匹配的分词和所述英文字符串或者数字串的分词以及不可识别字符，按所述字符流顺序进行排序；按所述排序后的分词和所述英文字符串或者数字串排序的顺序划分所述字符流。本发明还公开切分索引分词的系统。本发明提供一种切分索引分词的方法及系统，能够同时解决分词准确、一定量的冗余词以及单字分词的问题，增强用户体验。