基于BERT与记忆网络的长文本方面级情感分析

摘要

目前在方面级情感分析(ABSA)方法中,利用上下文或方面短语的平均值来计算方面短语或上下文之间注意力得分的方法往往会产生较大的信息损失,导致模型在长文本分类上的性能降低。为此,研究了一种建立在BERT表示上的记忆网络模型,BDMN。首先,把句子构造成多[CLS]的Token嵌入形式,然后,从BERT输出中获取到各短句的初始化向量,将其作为记忆体与方面短语的[CLS]向量进行充分注意力交互,最后,拼接输出注意力层所有短句的方面短语表示作为最终的情感分类特征向量。在AI Challenger 2018细粒度情感分析数据集上进行了模型评估,与目前的主流模型相比,其效果达到了最好。