融合自注意力机制的小样本学习实体关系抽取方法研究

目录

声明

致谢

1 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 论文研究内容

1.4 本文组织结构

2 相关技术概述

2.1 实体关系抽取技术概述

2.1.1有监督实体关系抽取

2.1.2无监督实体关系抽取模型

2.1.3半监督实体关系抽取方法

2.1.4开放式实体关系抽取方法

2.2 小样本学习

2.2.1基于元学习的小样本学习

2.2.2基于数据增强的小样本学习

2.2.3基于度量学习的小样本学习

2.3 小样本实体关系抽取

2.4 本章小结

3 基于多维度注意力机制的小样本实体关系抽取方法

3.1 模型基础与架构

3.2 模型提出动机

3.3 基于多维度注意力机制的小样本学习实体关系抽取模型

3.3.1嵌入层

3.3.2编码层

3.3.3原型网络层

3.3.4多维度注意力机制

3.3.5优化层

3.4 本章小结

4 融合自注意力机制的小样本学习实体关系抽取模型

4.1 模型基本结构

4.2 BERT预训练

4.2.1自注意力机制

4.2.2 Transformer编码器

4.2.3多头注意力机制

4.2.4BERTbase模型

4.3 分段最大池化

4.4 与其他预训练模型比较

4.4.1ELMo预训练模型

4.4.2GPT预训练模型

4.4.3三种预训练模型比较

4.5 本章小结

5 实验结果与分析

5.1 实验数据集

5.2 实验评价方法

5.3 实验结果

5.3.1模型训练

5.3.2实验设置

5.3.3多头自注意力可视化

5.3.4实体关系抽取实验结果与分析

5.4 本章小结

6 总结与展望

6.1 总结

6.2 展望

参考文献

作者简历

独创性声明

学位论文数据集