融合中文字形和字义的字向量表示方法

摘要

字向量表示质量对中文文本处理方法有重要影响.常用中文字向量表示方法Word2Vec、GloVe存在没有考虑汉字整体字形结构所隐含的语义信息、没有利用字典包含的语言知识等问题.为了克服现有方法的不足,提出了融合中文字形和字义的字向量表示方法GnM2Vec(glyph and meaning to vector),首先采用字形自编码器自动捕获汉字字形蕴含的语义,得到字形向量,然后基于字形向量表示每条字义中的每个汉字,得到基于字形向量的字义向量,最后通过字义自编码器处理生成融合字形和字义的字向量表示.实验结果表明,在命名实体识别实验中,F1值较GloVe、Word2vec、G2Vec(基于字形向量)分别提高了2.25、0.05、0.3;在中文分词实验中,F1值分别提高了0.3、0.14、0.33.在短文本语义相似度计算实验中,使用了卷积神经网络(convolutional neural network,CNN)、Self-Attention和长短期记忆网络(long short-term memory,LSTM)3个模型,F1均值较word2vec和GloVe分别提高了3.24、1.99.