基于问答系统的问句意图识别方法研究

摘要

随着人工智能的发展和普及，智能问答系统的出现得到人们的广泛使用，它能够快速简洁、准确的返回人们用自然语言所提出问题的答案，但大量的信息增长使得人们对问答系统快速响应的需求不断增高，因此，提高问答系统的响应时间成为了该领域的主要研究目标。问答系统问句的分析直接影响了问答系统的应答性能。　　本文主要研究问句分析中的问句意图识别任务，旨在判断问句文本的意图类别，基于机器学习的方法是目前主流的方法之一，但在大量的标注的中文语料来训练分类模型时，还存在分类性能低下且耗时过长的问题，因此，在提高分类准确率的同时，缩短分类时间极具研究价值。并且，粗粒度的意图分类任务在文本分类中类别区分能力较缺乏。针对上述问题，本文主要研究工作如下：　　①针对目前大量标注的文本语料使用机器学习分类时准确率低下且耗时过长的问题，本文在基于深度学习的意图分类基础上，引入自注意力机制，结合基于门控循环单元的自注意力机制，提出基于门控自注意力的用户意图识别方法（Recurrent Neural Network and Attention inner GRU based on query，RAGRU）。通过门控自注意力机制应用于特征学习之前以关注句子前部到后部的全局特征，增强句子特征提取准确度，提高分类模型性能的目的。　　②针对粗粒度意图分类任务类别区分能力较缺乏以及提取特征引入较多无效字符而影响文本原始信息的问题，本文在RAGRU方法的基础上，引入CD_SFT模型（Word2vec and Specific TF-IDF），提出基于CD_SFT文本表示模型的问句意图识别方法（RAGRU based CD_SFT,RAGRUT）。其中CD_SFT方法融合了Wor2vec和改进的TF-IDF。通过CD_SFT模型获得增强后更具类别区分能力的文本信息，使用RAGRU方法来对增强的文本信息进行深度学习，从而获得更好的分类效果。　　③本文在垂直领域保险问句数据集上进行实验来验证RAGRU和RAGRUT方法的有效性，将RAGRU方法与其它常用基于深度学习的意图识别方法进行比较，实验表明RAGRU方法在保证分类准确率的情况下，分类时间也得到较大提升，准确率比最好的对比方法还要高1.14%，时间只有对比方法中最快的0.89%。将CD_SFT方法与Word2vec模型相比，准确率最高提高了1.68%，并使RAGRUT达到对比方法中的最高准确率。

目录

1 绪 论

1.1 研究背景与意义

1.2 国内外研究现状

1.2.1 问答系统研究现状

1.2.2 意图识别研究现状

1.3 本文研究内容

1.4 本文组织结构

2 意图识别相关理论与技术

2.1 文本预处理

2.2 文本向量化

2.2.1 字向量化

2.2.2 词向量化

2.2.3 向量空间模型

2.3 文本特征词权重

2.4 基于机器学习的文本分类模型

1）朴素贝叶斯

2）随机森林

3）支持向量机

2.5.1 卷积神经网络

2.5.2 循环神经网络

2.5.3 长短期记忆网络

2.5.4 门控循环单元

2.6 本章小结

3 基于门控自注意力的问答系统用户意图识别方法

3.1 意图识别数据获取及标注

3.2.1 注意力机制

3.2.2 算法框架

3.3 基于门控自注意力的用户意图识别方法

3.3.1 基于机器学习的用户意图识别

3.3.2 基于深度学习的用户意图识别

3.3.3 基于门控自注意力的自注意力机制

3.3.4 基于门控自注意力的用户意图识别框架

3.4 本章小结

4 基于CD_SFT文本表示模型的问句意图识别方法

4.1 研究理论与基础

4.1.1 Word2vec计算词向量

4.1.2 TF-IDF计算词权重

4.2 基于改进的 TF-IDF的问句意图识别方法

4.3 基于 CD_SFT文本表示模型的问句意图识别方法

4.4 本章小结

5 实验结果与分析

5.1.1 实验环境

5.1.2 实验数据集

5.2 评价指标

5.3 实验对比及结果分析

5.3.1 数据预处理

5.3.2 特征方法选择

5.3.3基于机器学习的意图识别方法对比

5.3.4 RAGRU方法性能分析

5.3.5 RAGRUT方法结果分析

5.4 本章小结

6 总结与展望

6.1 研究工作总结

6.2 研究展望

参考文献

附录

A. 作者在攻读学位期间参加的科研项目情况

B. 学位论文数据集

致谢