基于端到端学习的任务型中文多轮对话算法研究

摘要

随着互联网、信息通讯以及其他人工智能技术的普及和发展，各种人机交互产品层出不穷。而基于人机对话的人机交互方式是一种与计算设备交流的新型方式，它被广泛用于日常工作和生活中。人机对话中面向任务的对话更具有实用性和研究价值，所以本文的研究对象为面向任务的对话。　　从历史上看，面向任务的对话算法主要分为两个，其一是作为管道构建的，其二是基于端到端学习结构的。它们能基本实现任务型对话的功能，但是在当前大多公开的研究工作中还存在着以下问题：①对话策略管理完全依赖于状态跟踪器，状态跟踪器是将可观察到的会话历史记录总结为状态特征的部件，但大多数状态追踪方法是基于设计规则或专门标记的。②已有的基于端到端模型未加入领域知识限制，且大都是基于单独的循环神经网络进行训练，导致模型不能很好的理解用户的意图，生成的部分回复有时是难以理解的。③对话领域的数据往往是私人的，难以得到的，但是希望训练数据多且具有多样化，所以对话领域的数据增强方法也是值得探索的。　　针对上述问题，本文从对话状态追踪和对话编解码两部分对任务型对话模型进行改进，提出了一种带有领域限制的基于端到端学习的中文任务型多轮对话模型，它能准确且实时地对对话输入进行理解且生成合理的反馈并进行多轮这样的过程。具体改进如下：　　①本文设计了一种基于NBT（Neural Belief Tracker）的多插槽对话状态追踪模型，通过在预先训练的词向量上进行推理，用户话语和对话前后信息被组合成分布式表示。利用BERT（Bidirectional Encoder Representation from Transformers）模型作为表达学习的预训练模型，它的神经网络全部层中的前后信息可以被一起来进行训练，表示结果更加精确。然后进行多次二分类来使得多个值与单个状态变量相关联以达到识别对话中的多个相同类型和不同类型的插槽键值对的目标。另外，此模型还可以利用与底层应用的连接自动扩展插槽键值。最后此模块的结果也被作为对话生成部分的领域补充，使得生成反馈更加贴近当前任务。　　②本文设计了一种将双向LSTM和自注意力机制结合的编码-解码模型，它不仅可以捕获局部关键信息，而且还可以很好地解决对话中的长期依赖关系，并具有良好的并行性。　　③本文还设计了一种基于神经机器翻译（Neural Machine Translation,NMT）和双语词典的数据增强方法。利用NMT模型对原始数据进行翻译和回译。但是由于对话领域的特殊性，翻译中会产生大量UNK（UNKnown），所以本文利用双语词典对产生的UNK进行替换。这种方法不仅可以有效地扩展数据，还优化了UNK问题，能得到质量更高的数据。　　为了验证上述模型的有效性，本文将上述模型部署到DeepPavlov平台上并且利用公开任务型对话数据集CamRest676-Chinese进行了实验验证，并将该任务型对话模型与现有主流方法和其基础模型进行了比较。实验表明，本文的模型能够有效提升任务型对话系统的性能且能准确完成任务。

目录

1 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.2.1 基于管道的任务型对话研究现状

1.2.2 基于端到端学习的任务型对话研究现状

1.3 本文研究内容

1.4 本文的组织结构

1.5 本章小结

2 基于NBT的对话状态追踪模型研究

2.1 对话状态追踪方法概述

2.2 神经信念追踪器（NBT）

2.3 基于NBT的状态追踪模型

2.4 实验验证

2.4.1 实验数据集

2.4.2 模型效果验证

2.4.3 对比实验

2.5 本章小结

3 基于BiLSTM 和Self-Attention 的编解码模型

3.1 词嵌入模型选择

3.1.1 BERT原理

3.1.2 基于BERT的词嵌入模型

3.2.1 LSTM 原理

3.2.2 双向LSTM原理

3.2.3 自注意力机制原理

3.3.1 编码部分

3.3.2 解码部分

3.4 本章小结

4 基于NMT和双语词典的数据增强方法

4.1 对话数据增强方法概述

4.2 神经机器翻译（NMT）原理

4.3 基于NMT和双语词典的数据增强模型

4.4 本章小结

5 实验结果与分析

5.1 实验数据集

5.1.1 对话训练数据集

5.1.2 对话生成模板数据

5.1.3数据库数据

5.2 实验环境

5.2.1 任务型对话方法整体结构

5.2.2 实验框架细节

5.2.3 中文自然语言处理工具Spacy概述

5.3 模型训练和参数设置

5.3.1 数据预处理

5.3.2词嵌入实验设置

5.3.3 编码-解码模型实验设置

5.3.4 模型性能评估指标

5.4.1 模型效果验证

5.4.2 泛化能力验证

5.5 本章小结

6 总结与展望

6.1 本文总结

6.2 未来展望

参考文献

附录

A. 作者在攻读学位期间被录用的论文目录

B. 学位论文数据集

致谢