基于多层特征描述及关系学习的智能图像情感识别

摘要

针对缺少标记的情感图像数据会严重影响卷积神经网络(convolutional neural network,CNN)性能的问题,利用半监督动态学习的方法建立了大规模的图像情感数据集--Large-scale deep emotion(LSDE)数据集。为了有效弥补图像特征和人类情感之间的差异,先将图像目标与背景进行分离,之后使用关系学习网络获得基于前景和背景图像的不同层级间的关系。在LSDE数据集、Twitter2数据集以及ArtPhoto数据集上的实验结果表明,关系学习网络能够有效地提取图像的多层级特征并学习到不同层级特征之间的关系,弥补图像特征和人类情感的差异,提高图像情感识别的准确率。