基于预训练的开放域角色化对话生成关键技术研究

目录

第1章绪论

1.1.1课题背景

1.1.2课题研究的目的和意义

1.2国内外研究现状

1.2.1生成式对话模型

1.2.2基于Transformer的预训练语言模型

1.2.3角色化回复生成建模技术

1.3本文的主要研究内容及章节安排

1.3.1研究内容

1.3.2 章节安排

第2章基于记忆模块的预训练角色化对话生成研究

2.1引言

2.2 研究内容介绍

2.3基于独立编码器的角色化回复生成建模

2.3.1 自注意力机制

2.3.2预训练Transformers

2.3.3独立角色化编码器

2.4基于记忆网络的角色化回复生成建模

2.4.1端到端记忆神经网络

2.4.2基于记忆网络的角色化编码

2.4.3 模型分析

2.5.1PersonalDialog数据集介绍

2.5.2基线模型介绍

2.5.4自动评价指标实验结果

2.5.5主观评价指标实验结果

2.6 本章小结

第3章基于复制机制的预训练角色化对话生成研究

3.3 SEQ2SEQ中的复制机制

3.3.1 复制网络

3.3.2指针生成网络

3.3.3 可用性分析

3.4基于复制机制的角色化回复生成

3.4.1模型设计

3.4.2实验设计

3.4.3自动评价指标实验结果

3.4.4主观评价指标实验结果

3.5 本章小结

第4章融合记忆模块和复制机制的预训练角色化对话建模研究

4.3融合记忆模块和复制机制的角色化回复生成

4.3.1模型融合方式

4.3.2 模型分析

4.4基于BERT的角色化一致性评价指标

4.4.2基于BERT的角色化一致性分类器

4.4.3角色化一致性的自动化评价

4.5实验设计与分析

4.5.3主观评价指标实验结果

4.5.4 样例学习

4.6 本章小结

结论

参考文献

攻读学位期间发表的学术论文

声明

致谢