基于深度学习的问题分类组合模型研究

摘要

自动问答系统允许用户以自然语言进行提问，并返回给用户精确的回答。随着语义分析等自然语言处理技术、大数据等相关技术的发展，在智能客服等实际应用的需求之下，自动问答系统成为一个研究热点。
　　开放域问答系统通常包括问题理解、信息检索与答案生成三大主要模块。问题理解是问答系统处理用户输入的第一步，问题分类(Question Classification，QC)就是问题理解步骤中的关键一环，问题分类是指根据问题所对应的答案类型来将问题分为不同的类别。问题分类提供了候选答案中需要进行下一步精确定位和验证处理的答案类型的约束，其次，问题分类提供后续过程中可能用于决定采取何种答案选择策略的信息。问题分类准确性将直接影响到问答系统后续多种策略的制定，最终影响抽取的答案的准确性，因此问题分类成为自动问答系统研究中的基础任务。
　　目前中文问题分类任务的主要解决方案仍集中于传统方法，包括朴素贝叶斯、支持向量机等，深度学习方法的研究仍然比较匮乏，本文在此背景下，提出了一种基于深度学习的问题分类组合模型，论文的主要工作如下:
　　针对中文问题分类任务，本文设计了一个基于深度学习的组合模型，模型中同时引入字符向量与词向量，同时在模型中对二者采用不同的处理方式，使用LSTM模型处理词向量，使用卷积和池化操作处理字符向量，原因如下:
　　首先，在模型中同时使用字符向量与词向量，二者相互促进。字符向量与词向量都是当前的深度学习方法中常用的特征，然而大多模型只选用其一，本文认为，字符向量与词向量共同使用能够起到很好的互补作用，词向量为完整的语素，包含完整的语义信息，然而由于分词技术的不完善，存在由分词错误引发的语义错误或语义缺失;字符向量有效地避免了由于分词出现的错误，然而由于中文语素并不见得是单字，所以字符向量实际上破坏了语素的完整性，这就需要词向量的补充。在此考虑下，本文模型同时引入了字符向量与词向量，二者相互促进，提升了模型的性能。
　　其次，采用不同的方式提取词向量与字符向量不同维度的特征，多角度对问题进行表示。模型分别使用LSTM和CNN提取中文问句的词语级特征和字符级特征，并对两类特征进行组合，使用组合后的多角度特征作为原问句的特征向量进行分类。
　　在实现本文设计的模型后，本文进行了一系列对比实验，对比对象包括传统机器学习方法（朴素贝叶斯、支持向量机）和基础机器学习方法（卷积神经网络、循环神经网络等），以及其他对于词向量和字符向量不同的处理方式对比实验。本文模型在哈工大语料集上取得了93.13％的准确率，一系列的实验结果均证明了本文模型设计的合理性、科学性与有效性。
　　通过本文的研究，本文成功地将深度学习引入到问题分类领域，并取得了较好的结果，为如今技术飞速发展的时代解决问题分类提供了一种可行的思路，同时对问题分类的进一步研究也有一定的借鉴意义。

目录

声明

摘要

第一章 绪论

1．1 研究背景与意义

1．2 研究现状

1．2．1 问答系统研究的发展和现状

1．2．2 问题分类的主要任务

1．2．3 问答系统中的问题分类研究发展

1．2．4 深度学习在问题分类研究领域的发展与研究现状

1．3 本文的主要工作

1．4 本文的组织结构

第二章 相关研究工作

2．1 传统机器学习模型与SVlVl

2．2 人工神经网络及深度学习相关算法

2．2．1 人工神经网络

2．2．2 卷积神经网络

2．2．3 循环神经网络与长短期记忆模型

2．3 本章小结

第三章 基于深度学习的中文问题分类组合模型设计

3．1 问题分类流程

3．2 模型结构

3．2．1 模型总体结构

3．2．2 嵌入层

3．2．3 LSTM层

3．2．4 卷积层

3．2．5 池化层

3．2．6 预防过拟合

3．2．7 问题分类

3．3 模型设计思想分析

3．3．1 字符向量的引入

3．3．2 字符向量与词向量的不同处理

3．4 本章小结

第四章 基于深度学习的组合模型的问题分类实验

4．1 问题分类标准

4．2 问题分类语料集

4．2．1 语料集选择

4．2．2 语料集分析

4．3 评价标准

4．4 实验环境

4．5 基于本文模型的实验及结果分析

4．6 与基线分类器分类性能的比较

4．7 本章小节

第五章 总结与展望

5．2 未来工作的展望

参考文献

攻读硕士学位期间参加的科研项目与取得的科研成果

致谢