基于卷积神经网络的句子分类算法

摘要

句子分类是自然语言处理领域中重要的问题之一。最近的研究表明，基于神经网络的句子分类算法可以更大限度地利用上下文信息，在句子情感分类、问题归类等句子分类任务中取得很好的效果。目前用于句子分类的神经网络模型主要有递归神经网络、循环神经网络与卷积神经网络。
　　本文提出了两种新的句子分类算法，分别为预训练词向量分类算法与动态扩展句子分类算法。(i)预训练词向量分类算法将大规模语料预训练得到的广义通用语言场景下的分布式词向量用于初始化卷积神经网络的输入层。这相当于为神经网络模型引入了一般场景下丰富的语义信息。(ii)动态扩展句子分类算法在预训练词向量分类算法的基础上，通过对训练数据进行基于统计学的特征选取，对语义信息较少的句子进行动态扩展，扩展后的句子会被当作新的训练样本用于神经网络模型的训练。
　　实验结果表明本文提出的句子分类算法能够在语义并不丰富的训练数据上为分类模型提供一些额外的语义信息，提高分类准确性。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 课题背景

1．2 本文工作

1．3 本章小结

第2章 相关工作

2．1 传统句子分类方法

2．1．1 文本预处理

2．1．2 文本的表示

2．1．3 特征选择

2．1．4 常见的分类方法

2．2 基于神经网络模型的句子分类方法

2．2．1 词向量

2．2．2 基于神经网络的句子模型

2．3 本章小结

第3章 基于卷积神经网络的句子分类算法

3．1 词向量的学习

3．1．1 连续分布式词向量

3．1．2 CBOW模型

3．1．3 层次Softmax

3．1．4 更新神经网络参数

3．1．5 SKip-gram模型

3．1．6 模型的选择

3．2 动态卷积神经网络句子模型

3．2．1 卷积运算

3．2．2 k-Max Pooling

3．2．3 动态k-Max Pooling

3．2．4 生成多个特征图

3．2．5 Folding

3．3 基于DCNN的句子分类算法

3．3．1 新闻分类数据集

3．3．2 预训练初始化词向量DCNN句子分类算法

3．3．3 动态扩展句子分类算法

3．3．4 预训练与动态扩展

3．4 本章小结

第4章 实验设计与实验结果

4．1 数据准备

4．2 评价度量

4．3 实验设计与结果分析

4．3，1 预训练与随机初始化DCNN词向量

4．3．2 低频词的启示

4．3．3 动态扩展句子分类算法

4．3．4 参数设置

4．4 本章小结

第5章 总结与展望

5．1 总结

5．2 展望

5．3 本章小结

参考文献

攻读硕士学位期间的主要研究成果

致谢