基于视觉注意模型的图像检索方法研究

摘要

随着网络和多媒体技术的发展，尤其是智能设备的广泛应用产生了大量的多媒体数据，其中图像和视频数据占有较大比例。数据规模的不断迅猛增长，致使现有的图像处理方法面临诸多挑战，如何有效地管理和利用这些数据成为学术界和工业界都比较关注的问题。基于内容的图像检索通过提取图像自身蕴含的视觉特征对图像进行查询，适用于大规模图像数据的管理和检索，是当前信息检索领域中的一项重要技术。
　　现有的基于内容的检索方法通常利用图像的颜色、纹理和形状等低层特征进行相似度计算，不能准确表达图像的高层语义，较少考虑人眼对图像观察时的注意力特点。人类视觉注意系统有从复杂场景中快速发现潜在目标对象并将其作为感兴趣区域进行重点分析和处理的能力，这种视觉注意机制可以利用有限的资源获取尽可能多的有效信息，将其应用到基于内容的图像检索方法中能提高图像检索系统的性能。
　　单一视角的图像特征通常只表示图像某一方面的信息，不能完整描述图像。多视角特征比单视角特征包含更多的有用信息，而简单地组合多种特征不仅会增加算法的复杂度还将导致特征维度过高，不利于图像检索。不同视角特征反映了同一图像的不同属性，并且具有许多一致性和互补性信息，获取这些信息有助于改进图像检索方法的性能。多视角学习可以利用不同视角特征中存在的互补信息，构建一组新的低维嵌入特征，是一种有效的特征融合手段。
　　本文在基于内容的图像检索框架下，模拟人类的视觉注意机制观察和理解图像，主要针对局部结构描述子特征、图像显著性特征和多视角学习融合特征的一些方法进行分析和研究。通过不断完善图像特征提取方法的系统结构，增强其对图像特征的描述能力，进而提高图像检索系统的性能。
　　(1)针对现有局部结构描述子在图像基元检测和匹配中出现特征重叠和梯度信息描述不够清晰的问题，本文提出了一种基于梯度变化的对角结构描述子。首先，基于视觉注意机制和图像局部邻域像素之间的变化规律，定义了5种类型的对角结构基元。其次，通过新的基元检测和匹配策略获取图像颜色、纹理和形状的中层特征表示。最后，利用相似度比较给出图像排序进而得到检索结果。实验结果显示，与其他几种方法比较，该方法获得了更高的检索精度。
　　(2)针对图像局部邻域像素变化的复杂性和多样性，以及现有局部结构描述子在对其进行表示时存在的一些问题。基于人类视觉系统在初始注意阶段的特点，本文提出了一种多趋势二值编码描述子揭示图像局部区域像素的多种变化趋势。首先，利用新的局部结构描述子把输入图像转换为对应的映射子图。在此基础上利用共生矩阵方法统计其空间相关性特征。然后，通过加权归一化策略对各特征向量进行转换并组合为新的全局图像特征向量，最终的图像特征融入了一定的空间信息。与其他几种方法相比，该方法取得了更好的检索效果。
　　(3)针对视觉显著性在图像分析和理解中的重要作用，以及图像像素显著性计算和区域显著特征提取时存在的问题。基于视觉注意模型和连通粒概念，本文构建了一种以区域显著性为基础的自适应目标和背景的图像特征提取方法。首先定义一组新的结构基元描述子，然后引入连通粒的概念，通过定义连通粒的属性来描述目标的连通性和空间分布特性。最后构建自适应向量融合模型生成一组向量表示图像特征。该方法能同时反映目标和背景特征，具有较强的目标特征区分能力，在检索实验中取得了较好的效果。
　　(4)针对如何有效模拟人类视觉对图像局部区域感知的问题。根据人类视觉感受野的特点和抽象模型，本文提出了一种基于韦伯定律的多层卷积显著特征图像检索方法。首先在图像预处理中利用韦伯定律计算图像的差分激励子图，在此基础上通过多层卷积和二值转换生成对应的多层显著特征映射子图，保留了图像分层显著信息。最后通过相关性层次统计模型，在不同映射子图之间进行相关性统计，有效获取了图像的空间相关信息。实验结果证明了该方法的有效性。
　　(5)针对图像单一特征只能表示图像某一方面的信息，不能完整描述图像的问题，本文以多视角学习和谱嵌入方法为基础，提出了一种改进的多视角谱嵌入特征融合方法用于图像检索，从多种视角特征中获取尽可能多的一致性和互补性信息。首先获取每种视角特征的低维嵌入，然后通过构建新的迭代优化策略生成最佳低维嵌入特征。实验结果表明该方法能获得较好的检索性能。

目录

声明

摘要

图目录

表目录

主要符号表

1绪论

1．1课题的研究背景及其意义

1．2视觉认知和视觉注意模型

1．2．1人类视觉认知特性与视觉注意系统

1．2．2视觉注意与显著性检测的关系

1．2．3视觉注意模型

1．3基于内容的图像检索技术

1．3．1图像特征提取

1．3．2相似性度量

1．3．3检索性能评价标准

1．3．4测试数据集

1．4本文研究的主要内容

2基于对角结构描述子的图像特征提取

2．1结构基元分析

2．2对角结构描述子

2．2．1对角结构理论基础

2．2．2对角结构基元

2．2．3对角结构基元匹配图像

2．3对角结构特征提取

2．3．1对角基元检测

2．3．2检测基元非重叠性证明

2．3．3图像分解和特征提取过程

2．3．4图像特征表示

2．4实验结果对比

2．4．1不同特征组合的性能分析

2．4．2检索性能评价

2．5本章小结

3基于多趋势二值编码描述子的图像特征提取

3．1局部结构描述子

3．2多趋势二值编码描述子

3．2．1 MTBCD定义

3．2．2基于MTBCD的共生矩阵

3．2．3 MTBCD特征提取框架

3．3实验结果与分析

3．3．1不同颜色划分和结构块大小性能比较

3．3．2图像检索结果比较

3．3．3分类检索精度比较

3．3．4不同数据集上的检索精度

3．3．5检索结果曲线

3．3．6维度比较

3．4本章小结

4基于连通粒的显著区域特征提取

4．1相关概念

4．1．1 HSV颜色空间

4．1．2连通粒概念

4．2显著区域特征提取

4．2．1新的结构元

4．2．2连通粒属性及分层模型

4．2．3自适应向量融合模型

4．2．4特征提取

4．3实验结果与分析

4．3．1非均匀颜色量化和连通性比较

4．3．2不同颜色空间检索精度比较

4．3．3图像检索结果比较

4．3．4精度和召回率比较

4．4本章小结

5基于韦伯定律的多层卷积显著特征图像检索

5．1相关概念

5．1．1基于局部描述子的图像特征提取

5．1．2韦伯定律

5．1．3韦伯局部描述子及其改进

5．2 WLSF的构建过程

5．2．1多层卷积模型

5．2．2差分激励图像

5．2．3 WLSF方法的框架

5．2．4 WLSF算法

5．3实验结果与分析

5．3．1场景图像检索

5．3．2旋转对象图像检索

5．3．3彩色纹理图像检索

5．4本章小结

6基于谱嵌入的多视角特征融合图像检索

6．1相关概念

6．1．1降维方法

6．1．2多视角谱嵌入

6．2 S-MSE学习框架

6．2．1 S-MSE局部嵌入

6．2．2 S-MSE全局嵌入和更新优化

6．2．3 S-MSE框架

6．3实验结果与分析

6．3．1不同距离度量的检索结果比较

6．3．2不同数据集上的检索结果比较

6．3．3特征维度比较

6．4本章小结

7结论与展望

7．1结论

7．2创新点摘要

7．3展望

参考文献

攻读博士学位期间科研项目及科研成果

致谢

作者简介