基于深度学习的多模态智能问答技术研究

目录

声明

第一章 绪 论

1.1 研究工作的背景与意义

1.2 多模态智能问答的国内外研究历史与现状

1.3 本文的主要贡献与创新

1.4 本论文的结构安排

第二章 多模态智能问答基础

2.1.1 人工神经网络

2.1.2 前馈神经网络

2.1.3 反向传播算法

2.1.4 卷积神经网络

2.1.5 递归神经网络

2.2.1 注意力简介

2.2.2 自注意力机制

2.2.3 多头注意力

2.2.4 多头自注意力机制

2.3 本章小结

第三章 面向时序的单模态智能问答研究

3.1.1 RecipeQA数据集

3.1.2 数据预处理和动作排序任务的构建

3.2 基于注意力机制的匹配与排序模型

3.2.1 层级匹配模型

3.2.2 面向时序的基于注意力的排序模型

3.2.3 答案预测和训练

3.3 实验与分析

3.3.1 基线模型

3.3.2 实验和结论

3.4 本章小结

第四章 多模态背景的机器阅读理解研究

4.1.1 问题定义

4.1.2 多模态背景融合

4.1.3 文本匹配

4.1.4 三元组交互模块

4.1.5 答案预测

4.2 实验和结论

4.3 本章小结

第五章 多模态问题的机器阅读理解研究

5.1.1 数据集介绍

5.1.2 任务的形式化定义和数据预处理

5.2 多级多模态的Transformer模型

5.2.1 多模态输入编码

5.2.2 步骤级别的注意力模块

5.2.3 文档-图像级别的注意力模块

5.2.4 序列建模

5.2.5 答案预测

5.3 实验和结论

5.3.1 实现细节

5.3.2 实验结果

5.4 本章小结

第六章 全文总结与展望

6.1 全文总结

6.2 后续工作展望

致谢

参考文献

攻读硕士学位期间取得的成果