基于Attention-Based Bi-GRU模型的文本分类方法研究

摘要

大数据时代，各种终端设备产生了大量的文本数据，文本分类技术作为智能搜索、智能问答等自然语言处理的基础和关键技术一直是交叉学科领域的研究热点。由于文本是非结构化数据，利用传统机器学习方法解决文本分类时忽略了文本的上下文的语义信息且分类精度不高。 随着深度学习技术的不断发展，深度学习技术被证明在提取文本特征和提升分类精度上有诸多优势。本文在分析研究GRU和Attention机制的基础上，对混合深度学习模型解决文本分类问题进行了深入研究。本文的主要研究工作如下： （1）本文给出了文本分类的数学定义并学习研究了文本分类的一般过程，包括文本预处理，文本表示，分类器设计及其性能评价。针对词向量表示，研究和采用了Word2Vec词向量表示，使得词向量表示具有同义词相似的特征，同时避免了维度过高导致的神经网络难以训练。梳理了若干传统文本分类方法并指出其具有的缺陷。 （2）本文通过对GRU和Attention机制的研究，提出了一种文本分类混合模型——Attention-Based Bi-GRU，其中GRU解决了传统RNN在对序列数据进行编码时常常会面临长距离依赖消失的问题，Bi-GRU全面考虑了文本的上下文信息，Attention机制能够有效地突出重点，只保留对于当前任务有用的关键信息同时舍弃无用信息，实验证明该模型提升了文本分类的效果。 （3）本模型Attention-Based Bi-GRU将文本特征提取和softmax分类器融合在一起，训练中提取的文本特征可以用于分类，同时分类的结果也会反向作用于特征提取过程，达到一起优化的作用，该方法提供了一种端到端的文本特征提取方法，不依赖人工特征工程，大大节省了人力财力。

目录

声明

第一章 绪论

1.1研究背景和意义

1.2 国内外研究现状

1.3 本文主要工作

1.4 论文组织结构

第二章 相关理论和技术介绍

2.1文本分类概述

2.1.1文本分类的定义

2.1.2文本预处理

2.1.3文本表示模型

2.1.4特征选择指标

2.1.5文本分类算法

2.1.6文本分类性能评估

2.2深度学习相关知识

2.2.1循环神经网络

2.2.2长短期记忆网络

2.2.3门控循环单元

2.2.4常用激活函数

2.3本章小结

第三章 Attention-Based Bi-GRU模型的文本分类方法研究

3.1 分类问题再现

3.2 基于GRU和Bi-GRU的文本分类模型设计

3.2.1 基于GRU的文本分类模型

3.2.2 基于Bi-GRU的文本分类模型

3.3 Attention机制的思想

3.3.1编码-解码模型

3.3.2注意力模型

3.4基于Attention-Based Bi-GRU的文本分类模型设计

3.5 本章小结

第四章 实验与结果分析

4.1 实验设计

4.1.1实验环境

4.1.2实验语料数据集

4.1.3实验具体设计

4.1.4实验对比

4.2 实验结果与分析

4.3本章小结

第五章 总结与展望

5.1 本文总结

5.2 未来展望

致谢

参考文献