基于混合神经网络模型的中文文本分类研究

摘要

近年来，深度学习理论被广泛应用在各个领域之中，在机器翻译、语音识别、计算机视觉等领域都有着优秀表现。现如今的信息时代充斥着非结构化的文本信息，每天产生的文本数据呈现出指数级增长。这些文本数据呈现出大量性、多样性和低价值密度性。如何从这些文本数据中提取出有价值的信息，是人工智能领域的一个备受关注的研究方向。　　本文在深入了解文本分类的现状和相关理论知识之后，以文本分类作为研究问题，将深度学习模型应用于文本分类领域之中。为了进一步提高模型分类精度和解决文本表示稀疏性的问题，本文提出了一种基于卷积神经网络（CNN）和长短时记忆网络（LSTM）的混合神经网络模型，同时对词嵌入层进行了改进，深化了主题词权重的同时，还能够提取文本中的局部特征和上下文语义信息。本文的主要工作内容和创新点如下：　　本文首先简要介绍了自然语言处理和深度学习理论的相关研究现状，分析了自然语言处理技术研究的重要性。并对文本分类任务的一般流程和有关算法做了充分的介绍。　　其次为了进一步提高主题词的权重值，在词嵌入层的生成中引入TF-IDF值，TF-IDF值能够衡量词语对于一类文档的特殊性，强调类别中的高频特征词。将由word2vec生成的词向量与TF-IDF值加权形成词嵌入层。为了提高文本分类的精确性，将卷积神经网络（CNN）和长短时记忆网络（LSTM）相结合进行文本特征提取，综合两种模型的特征提取性能，不仅能够提取文本局部特征，还能够捕捉到上下文语义信息，同时加入了dropout随机失活策略，提高了模型的抗过拟合能力。　　最后通过在中文文本数据集上进行文本分类任务，将前述改进相结合，实现了完整的文本分类系统架构并进行实验。综合对比了传统的机器学习方法如支持向量机（SVM）、朴素贝叶斯、卷积神经网络模型（CNN）模型以及本文所提出的改进的混合神经网络模型对比，从精确率、召回率和F1值上都验证了改进的混合神经模型确实具有更好的分类效果。

目录

声明

1 . 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.2.1 国内研究现状

1.2.2 国外研究现状

1.3本文的主要研究内容和创新

1.4论文组织结构

2 . 深度学习和文本分类相关理论

2.1 自然语言处理

2.2 文本分类简介

2.3 文本预处理

2.4 中文分词

2.4.1 基于字典的分词方法

2.4.2 基于理解的分词方法

2.4.3 基于统计的分词方法

2.5 文本表示

2.6 文本分类模型

2.6.1 支持向量机

2.6.2 决策树

2.6.3 朴素贝叶斯

2.6.4 k 邻近算法（KNN）

2 .7 文本分类的深度学习模型

2.7.1 深度学习

2.7.2 激活函数

2.7.3 循环神经网络模型（RNN）

2.8 本章小结

3. 改进的混合神经网络模型

3.1 文本分类任务流程

3.2 实验环境

3.3 改进的混合神经网络模型框架

3.4 数据预处理

3.4.1 数据来源

3.4.2 数据清洗

3.4.3 文本表示

3.5 词嵌入层的实现与改进

3.5.1 中文分词

3.5.2 TF-IDF值

3.5.3 词嵌入层的改进

3.6 CNN和 LSTM 相结合提取高阶特征

3.6.1 输入层

3.6.2 LSTM模型层

3.6.3 CNN模型层

3.7 本章小结

4. 模型训练及实验结果

4.1 模型训练

4.2模型评价准则

4.2.1 召回率

4.2.2 准确率

4.2.3 F1

4.3模型验证

4.4 模型对比实验

4.5 本章总结

5 . 总结和展望

5.1 总结

5.2 研究展望

致谢

参考文献