一种基于Attention机制的多通道的文本分类方法

摘要

本发明涉及一种基于Attention机制的多通道的文本分类方法，首先将由固定的预训练词向量和随机初始化的词向量构建的句子嵌入矩阵分别作为一个文本通道，其次在每层通道上单独引入Attention机制为每个词创建上下文向量，然后将上下文向量和词向量进行拼接，从而得到多通道的句子嵌入矩阵。最后使用不同尺寸的卷积核对多通道的句子嵌入矩阵在多个通道上进行卷积操作，得到卷积后的文本特征向量，再使用最大池化层从特征向量中提取文本主要特征，最后经过Softmax层输出所属类别的概率分布，从而构建基于Attention机制的多通道的文本分类模型。提高了模型的泛化能力和训练速度，解决了非连续词之间相关性的问题。