一种无词边界标记语言文本的分词序列选择方法及系统

摘要

本发明公开了一种无词边界标记语言文本的分词序列选择方法及装置，为了解决现有技术中现有最优分词序列选择时计算量过大的问题，本发明公开的方法包括：对所述文本的一个片段进行分词处理，得到多个不同的分词序列；确定各分词序列共同的词边界；对各分词序列共同的词边界之前的部分进行最优分词序列选择。由于对各分词序列共同的词边界之前的部分进行最优分词序列选择，这样就可以获得更短的独立单元，因此分词计算量将更少。