基于模糊近似推理的图像情感注释

摘要

人类的情感从心理学角度上主要指人的心理反应。西方有的学者把情感分为基本的六种：羡慕、爱、恨、欲望、愉快和悲哀。而国内一直流行着“七情六欲”之说，《礼记-礼运》说：“喜、怒、哀、惧、爱、恶、欲，七者弗学而能。”即所谓的七情。在现实世界中，情感活动离不开周围的环境，而现实中的环境可以被认为是由一帧帧图像组成的，已有研究显示，不同图像可以唤起人类不同的情感。而目前的图像处理和应用大多忽略了情感的影响和作用。有效地将人对图像的情感进行描述，是情感计算在图像处理方面的探索，是一个崭新的且有很大挑战性前沿课题。 图像中的可视化特征(颜色、纹理和形状)在基于内容的图像检索中扮演着重要的角色，将图像进行情感的标注能够对和谐的人--机交互、装潢和基于情感计算等工程作出相应的贡献，但情感有很大的主观性，不同的图像或图像中的不同颜色、纹理、轮廓等会给人不同的感受，而不同的人对同一幅图像也会产生不同的情感感受，这样很难在客观上给一幅图像定位为某种情感。 目前对情感的相关计算都是建立在心理学的基础上进行的，没有完整的数学理论基础。Hugo Liu等则对本文进行了情感识别，张颖等对人类面部表情做了一定的研究，王伟凝等给出一个图像情感语义提取的结构框架，指出图像重的颜色、纹理、形状和情感之间有很大的关系，王上飞等利用图像中的颜色和形状来对情感进行标注，并建立情感形容词对(反义词对)。但都没有指出具体的实施过程，和颜色、形状和情感对应关系，侧重于图像的检索技术层面，并没有提出对情感识别的有效解决办法。基于上面提到的问题，本文在提出一个基于情感的图像检索框架的基础上，着重作了以下几个方面的工作：首先，从大量的实验、研究和参考文献中积累出情感与图像中的对应关系，提供专家级的先验知识，分析并指出图像中的低级可视化特征和中间的对象等语义信息与最高阶的情感概念的关联，建立出相应表格，为后面的模糊近似推理规则库提供专家知识；第二，选取并修正合适的算法来提取颜色、纹理和形状特征，并作为模糊输入量；第三，提出一个情感空间表示法量化情感，达到情感数字化以实现可计算；第四，利用模糊集的近似推理理论对图像进行情感注释，建立模糊规则库。最后，在本课题具体的操作是这样的，在图像可视化特征表示方法参考了MPEG-7，建立了MPEG-7 DDL，以MPEG-7描述子的形式来表示并存储可视化特征，在情感的表示方面采用本体来表示，设计L-T-HLinker(基于模糊近似推理)把图像的低阶可视化特征连接到高阶的情感本体注释中。 经过对100幅自然图像和100幅装潢图像的实验，20名自愿者对图像的情感感觉进行对比，实验结果表明取得良好的效果。

目录

文摘

英文文摘

声明

第一章绪论

1.1选题背景和意义

1.2国内外研究热点以及现状

1.3本文研究的主要内容

第二章图像特征和情感

2.1情感的研究及应用

2.1.1情感的相关研究

2.1.2情感研究的相关应用

2.2图像特征与情感的对应关系

2.2.1颜色与情感的对应

2.2.2形状、纹理与情感的对应

2.2.3对象及感兴趣区域与情感的对应

2.3图像的可视化特征分析和提取

2.3.1颜色特征

2.3.2纹理特征

2.3.3形状特征

2.3.4对象和背景的分割

2.4情感图像检索系统框架

2.4.1图像检索系统介绍

2.4.2情感图像检索系统框架

2.4.3情感模型

2.5本章小结

第三章图像的情感语义本体表示

3.1本体在图像检索中的应用

3.1.1MPEG-7和ONTOLOGY的应用介绍

3.1.2情感本体建立

3.2实验步骤

3.2.1 Seg Toolkit的设计

3.2.2VisualExt的实现

3.2.3EmotionAnno的实现

3.3本章小结

第四章基于模糊近似推理的情感注释方法

4.1模糊情感注释

4.1.1模糊集合理论基础

4.1.2模糊近似推理基础

4.1.3本课题相关定义

4.1.4模糊系统建立步骤及算法过程描述

4.1.5模糊隶属度函数的确定

4.1.6模糊推理所需的模糊推理规则库

4.1.7模糊近似推理

4.1.8模糊输入量的确定

4.2图像情感注释实验结果及分析

4.3本章小结

第五章结论、探索与展望

5.1相关工具和平台选择

5.1实验讨论和探索展望

5.2本章小结

参考文献

附录

致谢

攻读学位期间发表的学术论文目录