一种基于卷积神经网络和自注意力的文本分类模型

摘要

本发明属于文本分类领域，尤其是一种基于卷积神经网络和自注意力的文本分类系统，针对现有的不能够高效快速的得到完整的文本分类结果的问题，现提出如下解决方案包括字符选择输入模块，所述字符选择输入模块输出端设有预训练模块，所述预训练模块输出端设有卷积层，所述卷积层输出端设有自注意力层，所述自注意力层包括输入模块、线性模块、点乘注意力模块和残差连接模块，所述输入模块输出端设有线性模块。本发明首先利用单词级别的浅层CNN捕捉文本的局部特征和位置信息，然后利用自注意力捕捉长距离依赖，最后利用最大池化得到文本的最终表示，能够进行高效快速的文本分类，同时得到全面的分类结果。