基于卷积神经网络结合词向量的中文短文本分类研究

摘要

文本分类是自然语言处理领域里用于文本信息处理的关键性技术，主要由文本表示和分类模型（算法）组成。在当今文本信息极速增长的时代，文本分类为人们有效、便捷、快速地获取所需信息发挥着重大作用。短文本作为文本信息的主要载体之一，具有长度短、特征稀疏、实时性强、格式不规则等特点，从而基于词袋特征或向量空间的传统机器学习算法不能有效的提取短文本特征，进而影响分类效果。深度学习算法强大的特征提取能力在文本分类中具有独特的优势，因此，利用深度学习进行文本分类建模成为当前的研究热点。　　本文基于卷积神经网络模型并结合词向量的文本表示方法，针对中文短文本分类的相关技术点进行研究工作，取得的相关研究成果如下：　　1、提出一种应用于卷积神经网络文本分类的词向量模型。文本特征提取（文本输入表示）作为文本分类技术的要点，其构建质量直接影响着分类系统的分类效果。现在最流行的文本输入表示——词向量（Word Vector）虽然考虑了词语之间的关联性和相似性，但忽略了上下文局部词序特征，在一些情况下造成文本语义上的缺失和歪曲。为此，本文提出了一种结合N-Gram特征与Word2vec的词向量模型WordNG-Vec，其提取出的词向量（Word-NG向量），作为双通道卷积神经网络模型（DC-CNN）的输入。经过多组对比实验分析表明，在精确率（precision）和召回率（recall）和F1值三个评价指标下，本文提出的方法有效提高文本分类的效果。　　2、提出一种基于正则化层次Softmax的卷积神经网络文本分类模型。传统的卷积神经网络分类模型（CNN）的输出层采用的是扁平式架构的标准Softmax，在数据量较大、类别较多的文本分类任务中计算复杂度高，训练耗时长；而基于霍夫曼树（Huffman Tree）构建的改进算法——层次Softmax（Hierarchical Softmax，H-Softmax）能极大提高训练速度，但由于加入了大量的节点参数，使得优化难度增加，优化需要更长的迭代步，且容易过拟合，继而影响模型的拟合速度和分类效果。为此，本文提出了改进算法模型RHS-CNN（Regularization Hierarchical Softmax CNN），采用正则化的方法，对H-Softmax的节点参数进行约束，避免过拟合，增强模型的泛化能力。实验分析表明，本文提出的方法在相应评价指标上相对Softmax、H-Softmax有着一定的提升。

目录

声明

1 绪 论

1.1 研究工作的背景与意义

1.1.1 文本表示方法的研究背景和意义

1.1.2 卷积神经网络模型在文本分类中的研究背景与意义

1.2 国内外研究现状

1.2.1 文本表示方法研究现状

1.2.2 文本分类模型研究现状

1.3 本文的工作内容

1.4 论文组织架构

2 文本分类相关技术原理概述

2.1 传统文本表示方法

2.1.1 词袋模型

2.1.2 向量空间模型

2.1.3 词向量模型

2.2 卷积神经网络及应用

2.2.1 卷积神经网络概述

2.2.2 卷积神经网络在文本分类中的应用

2.3 本章小结

3 一种应用于CNN文本分类的词向量模型

3.1 引 言

3.2 相关模型理论

3.2.1 结合N-Gram特征与Word2vec的词向量模型

3.2.2 双通道卷积神经网络分类模型

3.3 实验结果与分析

3.3.1 文本数据预处理

3.3.2 模型超参数设置

3.3.3 评估指标

3.3.4 实验对比与分析

3.4 本章小结

4 一种基于正则化层次Softmax的CNN文本分类模型

4.1 引 言

4.2 模型理论

4.2.1 Softmax函数

4.2.2 基于霍夫曼树构建的层次Softmax

4.2.3 基于正则化的层次Softmax

4.2.4 基于RH-Softmax的CNN分类模型

4.3 实验结果与分析

4.3.1数据集

4.3.2 实验结果

4.4 本章小结

5 总结与展望

5.1 全文总结

5.2 未来展望

致谢

参考文献

个人简历、在学期间发表的学术论文及取得的研究成果