基于中文汉字结构的小样本OOV学习方法及系统

摘要

本发明提出一种基于中文汉字结构的小样本OOV学习方法及系统，包括：从语料库中获取通用词表以及该词表的词嵌入，爬取该词表中所有词的汉字结构信息，来构造训练集和验证集；在基于汉字结构信息的小样本OOV词学习框架下，构建基于汉字结构信息的小样本OOV词嵌入学习模型并对其进行训练，更新学习模型中的参数；构造下游任务语料的测试集，将测试集输入到训练好的OOV词嵌入学习模型中，得到OOV词的词嵌入。基于汉字造字的结构规律，利用神经网络建模汉字部件之间的关系，建立OOV词嵌入学习模型，将汉字的结构信息嵌入与上下文信息的特征进行拼接融合，从而得到OOV词的语义信息重要特征。