一种基于注意力机制的商品名称短文本分类方法和系统

摘要

一种基于注意力机制的商品名称短文本分类方法，包含：对商品名称进行预处理，去除非中文字段以及一些特殊字符；通过jieba分词，将预处理后的商品短文本分成若干个词，去除停用词，对得到的词进行短补长切，统一词的长度到事先设定好的词个数；将每个词利用Global Entity Linking算法进行实体消歧与链接，通过链接到百度百科的外部知识库，用其结果对短文本中的词扩充解释，并将实体链接的结果利用Bert进行word embedding编码，得到相应的特征向量；将得到的向量喂入Transformer网络，利用self‑attention机制，挖掘不同词对于税码分类的共享程度，赋予不同词的不同权重，最后通过Softmax对其进行分类，将概率最高的税码类别作为商品名称所属类别。本发明还包括实施上述发明方法的系统。