场景图像情感语义分析关键技术研究

摘要

随着多媒体技术、互联网技术以及社交网络的迅速发展，人们可以访问的信息资源空前丰富。图像数据因其形象直观、蕴含信息综合性强等特点，应用领域逐渐增多，其数量更是以惊人的速度增长。但由于图像数据本身的结构复杂性、蕴含信息的多样性以及时空的多维性，导致有效的组织和管理大规模图像数据、快速的检索用户需求的图像成为学术界的研究热点。为此，图像的情感语义分析和检索技术应运而生，它综合人工智能、计算机视觉、模式识别、心理学以及数据库管理等领域的相关知识，对图像数据蕴含的高层情感语义进行分析，旨在获得图像蕴含的内在情感语义信息，建立实用性强的图像检索系统。因此，对图像进行情感语义分析和高效检索技术的研究有着广阔的应用前景和实用价值。
　　本文以场景图像为研究对象，对SUN Database数据库中的各类场景图像进行有针对性的情感语义分析和检索方法研究:从建立开放行为学实验环境下的场景图像情感语义数据获取平台开始，选择并改进了OCC情感模型，分析了场景图像语义理解方面存在的语义模糊性问题，采用粒子群(PSO)算法优化BP神经网络的权值和阈值，并由Adaboost算法组合15个BP神经网络的输出结果，构建强预测器，对场景图像的情感语义类别进行预测，搭建了适合大数据处理的基于MapReduce并行编程模型的场景图像检索平台，系统地研究了场景图像的情感语义分析和检索方法。主要成果及创新点如下:
　　(1)针对人们在理解图像时存在的语义模糊性问题，本文提出了基于模糊理论的场景图像情感语义自动标注方法。通过选择OCC情感模型中与场景图像情感语义相关性较强的10个情感词作为基本情感值，本文又定义了3个隶属变量{非常，中性，几乎不}来描述人们对场景图像理解的情感程度，采用基于权重的不规则分块方法提取了场景图像的颜色视觉特征，并使用T-S模糊神经网络进行语义特征映射，实现了用基本情感值和模糊隶属度对场景图像情感语义的自动标注，实验验证了不同用户对同一场景图像的情感理解方向是一致的，但理解的深浅程度有所差异。
　　(2)改进了OCC情感模型，提出了融合情绪、性格因素等认知因素的改进的OCC情感建模方法。本文使用维度观测量（PAD）模型描述人的情绪因素，得到OCC情感词与P、A、D各维度值的映射矩阵，使用五因素模型(FFM)模型描述人的性格，将性格分为五大类，再得到性格与情绪的映射矩阵，最后利用得到的两个映射矩阵将OCC情感模型量化，最终得到了融合情绪、性格因素的OCC情感量化模型。
　　(3)为提高对未知场景图像情感语义类别的预测精度，提出了基于Adaboost-PSO-BP神经网络的场景图像情感语义类别预测算法。本文应用改进的融合情绪、性格因素的OCC情感建模方法提取场景图像的情感语义特征向量，使用粒子群(PSO)算法优化BP神经网络的权值和阂值，将优化后的BP神经网络作为弱预测器，用Adaboost算法组合15个BP神经网络弱预测器的输出构建强预测器，有效的提高了场景图像情感语义类别的预测精度。
　　(4)针对大规模场景图像数据，为实现高效检索，提出了一种基于MapReduce并行编程模型的场景图像检索方案。本文设计了Hadoop集群并行处理架构下，大规模场景图像的并行存储和检索方法，将Mahout环境下分布式Mean Shift算法应用于场景图像的特征聚类中，实现特征并行聚类和匹配，提高检索性能。实验从检索准确率、加速比与效率、数据伸缩率等方面验证了提出的分布式并行检索方法的高效性。
　　本文围绕场景图像的情感语义理解展开研究，从情感语义数据的获取、自动标注、情感语义类别的预测以及大规模场景图像数据的高效检索等方面进行了探讨和研究。理论上，对场景图像蕴含的情感语义进行了抽象、分析和形式化表示，实践上，搭建了实验平台进行了验证和分析，为各类图像数据的情感语义理解提供了新的思路和途径。

目录

声明

摘要

图索引

表索引

符号说明

第一章 绪论

1．1 研究背景与意义

1．1．1 课题研究背景

1．1．2 课题研究意义

1．2 国内外研究现状

1．2．1 图像情感语义分析的研究现状

1．2．2 图像检索技术研究现状

1．3 大数据处理与图像检索

1．3．1 大数据的种类、特点和应用

1．3．2 大数据处理面临的问题

1．3．3 大数据处理与图像检索的关系

1．4 本文主要工作

1．5 论文组织结构

1．6 本章小结

第二章 开放行为学实验环境下的场景图像情感语义分析

2．1 图像情感语义理解的相关概念

2．2 图像语义层次模型

2．3 开放行为学实验环境下场景图像的情感语义分析

2．3．1 情感模型的选择

2．3．2 被试的选取

2．3．3 实验数据和方案设计

2．3．4 场景图像情感语义数据分析方法

2．3．5 场景图像的情感语义数据实验分析

2．4 图像分析和检索的性能评测

2．5 本章小结

第三章 基于模糊理论的场景图像情感语义标注方法

3．1 模糊理论

3．1．1 概述

3．1．2 基本定义

3．2 颜色视觉特征提取

3．2．1 颜色空间的选取

3．2．2 HSV颜色空间量化

3．2．3 基于权重的不规则分块场景图像颜色特征提取

3．3 场景图像的模糊语义描述

3．3．1 情感值的确定

3．3．2 情感规则G

3．3．3 情感规则映射T

3．4 基于T-S模糊神经网络的场景图像的情感语义特征映射

3．4．1 T-S模糊神经网络(T-S FNN)

3．4．2 语义特征映射

3．5 场景图像的情感语义自动标注

3．6 实验结果及分析

3．7 本章小结

第四章 基于Adaboost-PSO-BP神经网络的场景图像情感语义类别预测算法

4．1 融合情绪、性格因素的OCC情感模型

4．1．1 情绪因素描述

4．1．2 性格因素描述

4．1．3 融合情绪、性格因素的情感建模方法

4．2 BP神经网络权值和阈值的优化

4．2．1 BP神经网络

4．2．2 粒子群优化算法(PSO)优化BP神经网络

4．3 Adaboost-PSO-BP神经网络预测算法

4．3．1 Adaboost算法

4．3．2 Adaboost-PSO-BP神经网络算法

4．4 场景图像情感语义类别预测

4．5 实验结果与讨论

4．6 本章小结

第五章 基于MapReduce的大规模场景图像检索技术

5．1 Hadoop平台相关技术介绍

5．1．1 Hadoop的起源和背景

5．1．2 HDFS体系结构

5．1．3 MapReduce编程模型

5．1．4 Mahout算法库

5．2 基于MapReduce的大规模场景图像检索方案

5．2．1 场景图像检索整体框架

5．2．2 大规模场景图像及其特征的存储

5．2．3 场景图像的特征提取

5．2．4 基于分布式Mean Shift的场景图像特征聚类算法

5．3 实验与结果分析

5．3．1 实验环境与测试数据

5．3．2 系统性能测试与分析

5．4 本章小结

第六章 总结与展望

6．1 本文工作总结

6．2 研究展望

参考文献

致谢

攻读学位期间发表的学术论文

攻读学位期间主持和参与的科研项目

攻读学位期间获得的学术奖励

论文独创性说明