基于多视觉目标融合的图像情感分类方法研究

摘要

图像情感分析是一个较复杂的问题，主要难点在于引起情感的成因及表现形式的多样化。对象单独出现时可能并不表现出歧视的态度，但其与图像中其它相关对象同时出现时却传达出歧视的情感。歧视作为一种社会不公平、不公正的现象，不利于社会的发展与团结，影响着社会的人际关系。
　　当前，卷积神经网络、深度学习等技术在图像分类、目标对象检测等方面有着较好的支撑，但面向情感的分类准确性及划分细致程度仍有较大提升空间。图像情感与图中对象间关系以及多个对象对图像情感表达的影响还没有进行深入的探索。本文针对一种人类特有的高层语义情感—歧视情感，提出一种基于歧视敏感对象类及属性（Discrimination-Sensitive Object Classes and Attributes，DSOCAs）的分析方法，主要工作如下:
　　(1)面向图像歧视情感检测和判定问题，分析构成歧视情感的因素，并进行数据集构建。针对构成图像歧视情感的多视觉对象的相关性，提出面向多视觉对象、多属性的歧视情感学习框架。
　　(2)融合对象检测和迁移学习技术获取歧视敏感对象，同时针对同一歧视敏感对象存在多种属性的情况，利用同一对象不同属性之间具有相关性的特点，构建多任务深度学习神经网络进行训练，实现多种属性特征获取，提升了学习效率。
　　(3)针对图像歧视性与多个视觉对象的相关性，提出基于条件随机场的歧视分类方法，提高了图像歧视性判定的有效性和准确性。
　　(4)基于现有的Emotions in Context Database(EMOTIC)情感数据集和自主构建的歧视情感数据集，将歧视情感细分为5类（年龄歧视，性别歧视，种族歧视，语言歧视，肢体动作歧视），融合歧视敏感目标对象及其对象属性和位置进行了实验验证，实验结果表明提出的方法在精准率、召回率以及F1值都较基准方法有明显提升。

目录

声明

致谢

摘要

1．1 研究背景

1．2 研究目的与意义

1．3 本文的研究工作

1．4 本文的组织结构

2 国内外研究现状及相关工作

2．1 基于视觉认知的图像情感分析

2．2 基于深度学习的图像情感分析

2．3 基于目标对象的图像情感分析

2．4 本章小节

3 基于多视觉目标融合的歧视情感分析

3．1 歧视情感的分类

3．2 歧视敏感对象类及属性的定义

3．3 歧视情感检测及学习流程

3．4 本章小结

4 歧视敏感对象及属性的获取与融合学习

4．1 目标对象的获取

4．1．1 候选区域生成

4．1．2 Fast RCNN

4．1．3 模型训练

4．2 敏感对象的属性特征

4．2．1 卷积网络

4．2．2 损失函数优化

4．3 图像中文字语义判断

4．3．1 自然场景下的图像文字识别

4．3．2 语义判定

4．4 多目标属性融合

4．4．1 条件随机场的定义

4．4．2 CRF模型的建立

4．5 本章小结

5．1 数据集准备

5．2 实验环境

5．3 对比方法

5．4 性能分析

5．4．1 歧视对象检测的准确率

5．4．2 属性的获取

5．4．3 字符串识别准确度

5．4．4 分类准确性

5．5 实验优化

5．6 本章小节

6 总结与展望

6．1 工作总结

6．2 工作展望

参考文献

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集