面向小数据量垂直领域的问答方法研究

目录

声明

致谢

1 引言

1.1 研究背景及意义

1.2 国内外研究现状

1.3 论文研究内容

1.4 论文组织结构

2 相关理论与技术基础

2.1 引言

2.2 问答任务描述

2.3 相关技术

2.3.1 词向量

2.3.2 注意力机制

2.4 基于统计的问答方法

2.4.1 TF-IDF

2.4.2 BM25

2.5 基于深度学习的问答方法

2.5.1 基于句向量的深度学习模型

2.5.2 基于句子交互的深度学习模型

2.5.3 基于预训练语言模型

2.6 本章小结

3 基于 BERT改进的问答模型

3.1 问题分析与解决思路

3.1.1 问题分析

3.1.2 解决思路

3.2 BERT详细介绍

3.2.1 模型结构

3.2.2 MASK机制介绍

3.2.3 NSP机制介绍

3.3 QA-Predict 预训练任务

3.4 引入特征领域词的预训练语言模型

3.5 本章小结

4 基于 BERT改进的知识蒸馏模型（TQA-BERT）

4.1 问题分析与解决思路

4.1.1 问题分析

4.1.2 解决思路

4.2 知识蒸馏介绍

4.3 TQA-BERT 介绍

4.3.1 TQA-BERT 模型结构

4.3.2 知识蒸馏策略

4.3.3 软标签（Soft-Label）

4.4 本章小结

5 实验与分析

5.1 实验数据

5.2 实验评价方法

5.3 实验环境

5.4 对比实验及结果分析

5.4.1 实验模型

5.4.2 实验设置

5.4.3 实验结果与分析

5.5 本章小结

6 总结与展望

6.1 总结

6.2 展望

参考文献

作者简历及攻读硕士期间取得的研究成果

独创性声明

学位论文数据集