基于知识蒸馏和对抗训练的实体关系抽取研究

目录

声明

致谢

1 引言

1.1 研究背景及意义

1.2 国内外研究现状

1.2.1 传统的实体关系抽取方法

1.2.2 基于神经网络的实体关系抽取方法

1.3 论文研究的内容

1.4 论文的组织结构

2 相关理论基础

2.1 基于神经网络的文本表示

2.1.1 词向量模型

2.1.2 预训练语言模型

2.2 实体关系抽取特征编码模型

2.3 实体关系抽取解码方式

2.3.1 序列标注方法

2.3.2 指针标注方法

2.3.3 片段排列方法

2.4 知识蒸馏

2.5 对抗训练

2.6 评测标准

（1）查准率、查全率和F1度量

（2）Loss曲线图

2.7 本章小结

3 基于知识蒸馏的实体关系抽取模型

3.1 基础实体关系抽取模型

3.1.1 基于BERT的CASREL基础实体关系抽取模型

3.1.2 基于LSTM的CASRELLSTM基础实体关系抽取模型

3.2 基于知识蒸馏的实体关系抽取LSTMCasKd模型

3.2.1 LSTMCasKd模型结构

3.2.2 LSTMCasKd模型详细设计

3.3 实验对比与结果分析

3.3.1 实验数据

3.3.2 数据设定

3.3.3 实验内容

3.3.4 实验结果与分析

3.4 本章小结

4 基于对抗训练融合知识蒸馏的实体关系抽取模型

4.1 基于对抗训练的BERTCasAdv模型

4.1.1 BERTCasAdv模型结构

4.1.2 BERTCasAdv模型详细设计

4.2 基于对抗训练融合知识蒸馏的LSTMCasAdvKd模型

4.2.1 LSTMCasAdvKd模型结构

4.2.2 LSTMCasAdvKd模型详细设计

4.3 实验对比与结果分析

4.3.1 实验内容

4.3.2 实验结果与分析

4.4 本章小结

5 结论

参考文献

作者简历及攻读硕士/博士学位期间取得的研究成果

独创性声明

学位论文数据集