人机对话系统中用户意图分类方法研究

摘要

随着移动互联网时代的到来和人工智能浪潮的兴起，人们希望用自然语言就能和计算机进行交互的需求更加强烈。人机对话系统在提高人与计算机沟通效率的同时，极大地方便了人们的生活和工作，近年来得到了学术界和工业界越来越广泛的关注。人机对话是自然语言处理领域中一个综合性的问题。用户意图分类(IntentClassification)任务是人机对话的自然语言理解模块中一个重要的研究工作。用户意图分类准确性的提高，对于人机对话系统理解用户语言，生成合理回复具有重要意义。深度学习技术的发展给人机对话系统中用户意图分类任务提供了新的思路和解决方案。
　　本文研究和分析了传统机器学习分类方法、深度学习模型和字符级文本向量表示的基本原理。对如何利用深度学习去解决意图分类问题做了深入的研究。主要研究工作如下:
　　第一，针对意图分类任务中高质量中文语料集较为匮乏的问题，本文筛选和整理了华为诺亚方舟实验室爬取的某两个中文问答社区的原始对话语料，组织标注人员对意图类别进行标注，在此基础上构建了一个中文意图分类语料集，并已上传到GitHub开源社区供研究人员参考使用。
　　第二，针对对话短文本的向量表示问题，本文研究了字符级向量表示(Character-level neural embedding)。口语化的对话文本分词准确率不高，并且存在大量口语词和网络用语等未登录词。字符级向量表示能够有效避免未登录词和分词错误带来的问题，同时蕴含着丰富的语义信息。本文使用word2vec工具在中文维基百科大规模语料上训练出了字符级和词级向量。在多个深度学习模型上进行字符级和词级的对比，实验表明，字符级文本向量表示在意图分类任务上效果要优于传统的词级(Word-level)，并在本文提出的模型中应用。
　　第三，针对意图分类任务的特点，本文提出了一种基于字符级向量表示的融合卷积神经网络(CNN)与双向门循环单元结构(BGRU)的意图分类深度学习模型，即Character-CNN-BGRU组合模型。该模型有效整合了CNN和BGRU在特征抽取和语义理解上的优点，克服了单一模型的局限性，能够有效提高意图分类的性能。通过在两个中文数据集上的实验表明，本文提出的组合模型相比于传统机器学习分类方法在意图分类任务上有更好的表现。

目录

声明

摘要

第一章 绪论

1．1 研究背景与意义

1．2 研究现状

1．2．1 人机对话系统研究的发展和现状

1．2．2 人机对话系统中用户意图分类研究的发展和现状

1．3 本文的研究内容

1．4 本文组织结构

2．1 文本表示

2．2．1 文本向量表示

2．2．2 word2vec工具

2．2 传统机器学习分类模型SVlVl

2．3 神经网络与深度学习模型

2．3．1 人工神经网络

2．3．2 卷积神经网络

2．3．3 门循环单元模型(GRU)

2．4 本章小结

第三章 基于Character-CNN-BGRU模型意图分类研究

3．1 意图分类语料集构建

3．1．1 语料采集与预处理

3．1．2 语料集标注

3．2 字符级文本表示

3．2．1 预训练中文字符级向量

3．2．2 嵌入层(embedding layer)

3．2．3 字符级向量表示

3．3 Character-CNN-BGRU模型结构与设计思想

3．3．1 总体结构

3．3．2 卷积层

3．3．3 最大池化层

3．3．4 窗口特征组合序列与双向门循环单元层

3．3．5 多意图分类输出

3．3．6 设计思想

3．4 意图分类流程

3．5 本章小结

4．1 引言

4．2 实验准备

4．2．1 实验环境

4．2．2 评价指标

4．2．3 实验数据集

4．3 基于字符级文本表示的实验及分析

4．4 基于Character-CNN-BGRU模型的实验及分析

4．4．1 模型参数设定与优化

4．4．2 循环单元类型

4．4．3 双向循环网络

4．4．4 误差与性能分析

4．4．5 对比实验及分析

4．5 本章小结

5．1 总结

5．2 未来的工作与展望

参考文献

攻读硕士学位期间参加的科研项目与取得的科研成果

致谢