基于Reformer模型的文本情感分析

摘要

为提高中文文本情感分析任务的准确率,优化训练时长,提出基于Reformer的文本情感分析模型。利用Reformer模型的上下文语义编码能力,充分获得文本上下文的特征,提高文本分类准确率;在Transformer模型的基础上,引入局部敏感哈希注意力机制及可逆残差,降低模型的复杂度及内存的占用。在3个公开数据集上进行实验,实验结果表明,该模型在准确率及训练时间上均优于其它模型。