中文文本中的字词分割方法

摘要

本发明提供了用于从一系列自然语言字符中选择可能是字词的字符组合的设备。该设备对于多个字符的每一个使用了(a)出现在以该字符开始的字词中的第二位置的字符和(b)该字符出现在字词中的位置的指示符。对于在该序列中存在的字符的多个连续组合中的每一个，该设备确定出现在该组合的第二位置的字符是否被指示为出现在以该字符为组合中的第一位置的那些字词中。如果是的话，该设备确定该组合的每个字符是否显示在字词中出现在它在该组合中的那个位置上。如果是的话，设备确定该字符组合可能是一个字词。在某些实施例中，设备执行字符组合与有效字词表的比较以确定该字符组合是否是一字词。