无监督可解释分词的方法、装置和电子设备

摘要

本发明提供了一种无监督可解释分词的方法、装置和电子设备，该方法利用掩码语言模型分类器可以很好地利用大量的未标记数据，无需进行数据的标记，降低了标注成本，由于掩码语言模型分类器为采用专业领域文本训练得到的，所以领域适应性强，此外，通过字级别掩码序列、局部扰动掩码序列、掩码语言模型分类器输出的掩码字符概率对局部可解释模型进行训练，使得局部可解释模型也具备了与掩码语言模型分类器相同的效果，同时，得到了局部可解释模型的可解释性权重，即得到了掩码字符的上下文因果相关度向量，进而得到待分词文本的字符之间的有向因果相关度矩阵，根据该有向因果相关度矩阵对待分词文本进行分词时，可以解决一词多义的技术问题。