自然语言词法分析方法、装置及分析器训练方法

摘要

公开了自然语言词法分析方法、装置及分析器训练方法。该分析方法包括：将输入的自然语言语句切分为由可能为第一类型的词和/或可能作为第二类型的词的组成部分的字构成的多个序列，其中第一类型的词是除第二类型的词之外的词；用统计概率模型计算每一个序列的分数，该模型包括第一类型的词在上下文中的统计概率及作为第二类型的词的组成部分的字在上下文中的统计概率；据所述分数确定候选序列；据该候选序列对所述自然语言语句进行标注：对该候选序列中可能存在的第一类型的词，标注从所述统计概率模型获取的词信息，对除所述可能存在的第一类型的词之外的可能存在的字，标注从所述统计概率模型获取的字信息。