基于Transformer的情感分类研究

摘要

目前,基于机器学习的情感分类研究虽然在高资源语言的研究中取得了不错的发展,但是对于一些小语种(例如孟加拉语)这样的语言仍然处于起步阶段.研究小语种的情感分类关键在于语言处理模型和语料库的选取.本项研究提出了一种基于Transformer的情感分类技术,可以将小语种文本分为6种基本情感:愤怒、恐惧、厌恶、悲伤、快乐和惊讶.为了完成本项分类任务,准备了6000个小语种文本组成的语料库,然后利用各种机器学习模型(例如SVM、MNB、LR、RF)、深度神经网络模型(例如CNN,BiLSTM,CNN+BiLSTM)和基于Transformer模型(例如Bangla-BERT,m-BERT,XLM-R)的方法进行训练,结果证明基于Transformer的方法要优于其他模型.