联合词性与词序的相关因子训练的word2vec改进方法

摘要

本发明公布了一种联合词性与词序的相关因子训练的word2vec改进方法，提出Structured word2vec on POS模型，包括CWindow‑POS(CWP)模型和Structured Skip gram‑POS(SSGP)模型，两个模型均将词性标注信息与词语顺序作为影响因素联合优化，利用词性关联信息对上下文窗口内词语之间的固有句法关系进行建模；通过词性关联权重对上下文词语序列进行加权计算，再按词语位置顺序进行向量内积计算，使用随机梯度下降(SGD)算法联合学习相关权重和word embedding。本发明将词语按其位置顺序定向嵌入，实现了对词向量和词性相关加权矩阵进行的联合优化；在词语类比任务、词语相似性任务与定性分析都具有高效性。