基于Transformer的中文文本情感分析研究

目录

声明

附图索引

附表索引

第1章 绪论

1.1 研究背景及意义

1.2 情感分析的国内外研究现状

1.3 主要工作

1.4 结构安排

1.5 本章小结

第2章 情感分析要素表述与研究

2.1 引言

2.2 文本获取

2.3 文本分词

2.4 文本向量化

2.4.1 独热编码

2.4.2 Word2Vec模型

2.4.3 GloVe模型

2.5 语言模型

2.5.1 n-gram模型

2.5.2 基于窗口的深度神经网络

2.5.3 循环神经网络及其变形

2.5.4 LSTM与GRU

2.5.5 卷积神经网络

2.6 本章小结

第3章 基于ALBERT的情感分析

3.1 引言

3.2 Transformer结构

3.3 BERT模型及其特点

3.3.1 Encoder结构

3.3.2 遮挡语言模型

3.3.3 下一句预测任务

3.3.4 BERT总结

3.4 BERT模型压缩的必要性

3.5 ALBERT模型

3.5.1 ALBERT的流程特点

3.5.2 ALBERT总结

3.6 基于ALBERT的情感分析模型的设计

3.6.1 对于训练模型的外部优化

3.6.2 ALBERT-FN模型的构建

3.6.3 ALBERT-FN对比实验的设计

3.6.4 对ALBERT-FN模型的不同参数的调整策略

3.6.5 对ALBERT-FN模型性能的进一步优化

3.7 实验结果和分析

3.7.1 数据清理

3.7.2 不同batch大小和混合精度训练对于结果的影响

3.7.3 ALBERT-FN模型的不同层分类结果的比较

3.7.4 不同训练速率对于ALBERT-FN模型的影响

3.7.5 ALBERT与其他模型的对比分析

3.7.6 对于ALBERT-FN模型的进一步改进

3.8 本章小结

第4章 基于知识蒸馏的情感分析模型

4.1 引言

4.2 知识蒸馏的概念

4.3 知识蒸馏的流程特点

4.4.1 蒸馏的方案

4.4.2 文本数据的扩充

4.5 实验结果及分析

4.5.1 超参数的选择

4.5.2 知识蒸馏对模型推理性能影响的分析

4.6 本章小结

总结和展望

参考文献

致谢