图像视觉特征与情感语义映射的相关技术研究

摘要

图像蕴含丰富的情感语义，能唤起人类不同的情感。以情感为线索检索图像已经成为当前的一个前沿课题。在研究中发现，图像的视觉特征与图像的情感语义映射问题是这一课题的核心，它涉及认知科学、心理学、图像处理、模式识别和人工智能等多学科领域，其结果可用于广告设计、图像检索和心理学研究等多个方面，近年来受到广泛关注。图像视觉特征与情感语义之间的关系是复杂、多变、模糊和松散的，研究其映射问题，需要解决用户情感的有效建模，图像视觉特征与情感语义的对应，及其匹配规则的提取等问题。本文重点围绕以上问题展开系统研究，取得了如下创新性成果：
　　 ⑴提出一种用户情感计算模型，实现用户情感的建模。模型中计算了用户情感强度、情感衰减、情感间的相互影响因子，将主题刺激和外界环境刺激因子作为参量加入情感计算，构建了情感计算的系统原型。选取中科院CAPS心理学标注的852幅图片为测试标准数据，对本模型进行验证，实验结果表明了本文所提出的用户情感计算模型的准确性。
　　 ⑵提出了一种基于MPEG-7与模糊概念格的图像情感语义本体库构建方法，有效地解决了图像视觉特征与情感语义的映射匹配问题。本文定义了MPEG-7描述框架下的本体架构，通过模糊概念格生成算法构建图像情感语义应用本体，利用本体所具有的语义特性和推理能力，通过建立稳定的模糊概念格本体约束机制，实现了模糊情感的规则匹配算法，将图像视觉特征和情感语义衔接起来。利用文本标注工具Protégé 3.4结合推理工具RacerPro 2.0，进行了本体推理的模拟实验。结果表明，融合MPEG-7与模糊概念格的图像情感语义本体库及相关算法达到较高推理准确率。
　　 ⑶提出了一种图像情感语义的规则简化学习算法。该算法结合粗糙集理论，对图像情感语义规则训练集的属性进行了简化。算法中采用决策树学习算法，对图像情感语义规则训练进行分类；采用极小极大规则判定，简化图像情感语义规则，提高了图像视觉特征与情感语义映射的规则的准确率。实验中，分别选取标准的图像纹理和情感词汇对应数据集Texture_Emotion和UCI中Lymph、Breast-cancer、Zoo数据集，进行了规则学习的对比实验。结果表明，本文提出的基于粗糙集与决策树的图像情感语义规则简化学习算法具有较高的准确率和较合理的约简度，实现了图像视觉特征和情感语义映射的规则学习。
　　 ⑷针对平面广告设计行业对基于情感的图像检索的软件需求，提出了一种以本体为核心的图像情感语义检索系统模型，并根据此模型，采用本文提出的相关技术，构建了基于情感语义的图像检索系统架构，设计开发了广告行业图像特征自动标注和基于情感语义的图像检索系统，论证了本文的研究价值。