多视图学习在网络图像情感分析中的应用

摘要

互联网技术的发展，使得网络上传的图像数量愈来愈多。这些图像表达了多方面的信息:媒体新闻报道、个人状态分享、用户情感宣泄等，其中社交媒体的广泛使用更使得网络成为表达个人情感和观点的重要平台。从互联网信息中挖掘用户和群众的情感态势方面的研究越来越受到研究者的重视，它对社会舆情分析、产品设计改良、媒体事件传播等具有重要的作用。图像作为网络不可或缺的信息载体，网络图像情感分析便变得十分必要。一种可取的网络图像情感分析方法是将图像分为包含人脸和非人脸的两类。为了分析特定人物情感，需要获取网络中该人物的图像，而网络中大部分不含标签信息，图像聚类分析对网络人物图像筛选十分重要。同时为了分析一般图像所表达的情感，需要有效的图像情感分类学习方法。本文便主要研究图像聚类分析和图像情感分类学习。
　　传统的图像聚类和情感分类方法多采用单一的图像特征，然而随着计算机视觉的发展，特征提取方法由底层特征、中层语义特征、深度学习等不断发展，不同视图特征表达了相似和互补的信息，相对单视图多视图特征能更好地表达图像信息。本文研究多视图学习方法，更好进行图像聚类分析和情感分类学习，具体工作包括:
　　(1)基于流形学习思想，提出内部局部结构约束的多视图学习算法。在多视图学习中多考虑视图之间的一致性、互补性约束等，但忽略了单个视图内部的结构。本文考虑样本之间的内部局部结构约束，并引入至高效的特征学习NMF方法中。提出新的多视图学习算法MultiGNMF，并用于图像聚类分析中。
　　(2)针对数据存在负数问题，将上述方法扩展为无非负要求。非负矩阵分解要求数据具有非负性，而现实科研数据中无可避免负数。结合SemiNMF算法的求解，本文将MultiGNMF算法扩展，提出MultiGSemiNMF算法。本文在两个公开的图像聚类库:UCI Digital和CMU PIE中做图像聚类实验，结果证明了本文提出的两个算法的有效性。
　　(3)基于多视图学习框架，研究图像情感分类学习多视图特征选择算法。图像情感语义较为抽象，单一视觉特征存在情感语义鸿沟。结合中层语义特征和美学特征的有效性，本文提出多视图特征选择算法，在两个公开的图像情感库。

目录

声明

摘要

1 绪论

1．1 研究背景和意义

1．2 国内外研究现状

1．3 本文研究内容

1．4 本文组织结构

2 背景知识介绍

2．1 网络图像情感分析基本框架

2．1．1 图像情感分析相关视觉特征

2．2 多视图学习基本框架

2．2．1 多视图学习的准则

2．2．2 协同训练

2．2．3 子空间学习

2．3 典型聚类和分类方法

2．3．1 典型分类器

2．3．2 典型数据聚类方法

2．4 本章小结

3 基于多视图学习的聚类分析

3．1 非负矩阵分解特征学习

3．2 基于局部结构约束的多视图学习

3．2．1 非负矩阵分解的多视图学习

3．2．2 MultiGNMF算法

3．3 MultiGSemiNMF算法

3．4 实验设计与分析

3．5 本章小结

4 基于多视图学习的图像情感分类

4．1 美学特征的图像情感分类

4．2 中间层特征的图像情感分类

4．2．1 属性描述方法

4．2．2 视觉情感本体

4．3 多视图学习图像情感分类

4．3．1 SOCFS特征选择

4．3．2 多视图SOCFS特征选择

4．4 实验设计与分析

4．5 本章小结

结论

参考文献

攻读硕士学位期间发表学术论文情况

致谢