一种基于高斯分布的词向量生成方法

摘要

本发明公开了一种基于高斯分布的词向量生成方法，首先对语料库进行预处理；其次使用标点符号对语料库划分上下文；然后结合局部和全局信息推断词义，确定词与词义的映射关系；最后通过优化目标函数获得词向量。本发明技术方案的创新点和有益效果在于：1、基于高斯分布来表示词，避免传统词向量的点估计特性，能为词向量带来概率质量，词义蕴含、包含关系等更为丰富的信息。2、使用多个高斯分布来表示词，能够应对自然语言中一词多义的语言特性。3、基于Hellinger距离定义高斯分布之间的相似性，将参数更新和词义判别结合起来，能够自适应地推断词义的数量，解决了现有技术模型的假定词义数量固定的问题。