图像整体与局部区域嵌入的视觉情感分析

摘要

目前多数图像视觉情感分析方法主要从图像整体构建视觉情感特征表示,然而图像中包含对象的局部区域往往更能突显情感色彩.针对视觉图像情感分析中忽略局部区域情感表示的问题,提出一种嵌入图像整体特征与局部对象特征的视觉情感分析方法.该方法结合整体图像和局部区域以挖掘图像中的情感表示,首先利用对象探测模型定位图像中包含对象的局部区域,然后通过深度神经网络抽取局部区域的情感特征,最后用图像整体抽取的深层特征和局部区域特征来头同训练图像情感分类器并预测图像的情感极性.实验结果表明,所提方法在真实数据集Twitter Ⅰ和TwitterⅡ上的情感分类准确率分别达到了75.81％和78.90％,高于仅从图像整体特征和仅从局部区域特征分析情感的方法.