面向图像检索的视觉特征提取及语义标注

摘要

目前面向图像的搜索引擎主要有两种:一是基于文本信息的图像检索系统，根据图像信息通过人工进行文本描述，该方式是在早期图像量不大的时候提出的。现在面对浩如烟海的图片量，手工标注的方式，劳力耗费太大，并且具有较强的主观性，标注的人根据自己的认知进行判断，图片反馈的信息很大程度上跟人的心理活动有关，因此这种检索方式已经越来越不能满足现在的要求。二是基于图像视觉内容的图像检索系统。主要是通过提取稳定的图像视觉特征并形成描述子，构建以距离相似度为索引方式进行检索，返回按照底层特征相似度大小排序的图像。但是人们检索的思维习惯是在语义基础上，视觉底层相似的图像可能表达不同的语义信息，视觉特征不相同的图像的语义信息有可能是相同的。这就是通常意义上基于内容图像检索带来的“语义鸿沟”。
　　本文就此展开研究，在机器学习的基础上，将图像底层视觉特征与高层语义建立映射关系，结合监督学习和非监督学习两种方式构建语义标注模型。选用Dense SIFT采样形成SIFT局部描述符，完成对图像的特征提取和描述。由于特征维数较大，对每个描述符进行降维，接下来对特征进一步表达，分别选用词袋(Bag of Word，BOW)、局部特征聚合描述符(Vector of Locally Aggregated Descriptors，VLAD)、Fisher向量(Fisher Vector, FV)。FV相对BOW具有较大的数据编码优势，用较少的视觉词典形成更加细致的中间表达。为了弥补特征描述子的不足，引入了空间金字塔的特征表示方法，丰富了图像特征空间信息，最后使用支持向量机标注图像语义。
　　图像语义标注模型被建立，图像检索可通过语义特征实现。但语义空间内相似图像太多，有时仍不能满足用户的需求。因此在此基础上，本文在图像检索系统上加入图像底层视觉特征的直接索引作为辅助检索，能够按照用户视觉上相似度进行排序，进一步实现精确查找。该实现方法兼顾了由有监督学习的方式得到的图像语义特征和由无监督学习的方式得到的底层视觉特征两种方式的优点，不仅实现了更符合人思维习惯的图像检索方式，通过自然语言描述的视觉概念查找，而且极大的提高了图像检索系统的有效性和准确性。

目录

摘要

第一章 绪论

1．1 课题的研究背景及意义

1．2 国内外研究现状

1．3 本文的主要研究内容及各章节的安排

第二章 图像检索的视觉特征提取方法

2．1 颜色特征

2．1．1 颜色直方图

2．1．2 颜色相关图

2．1．3 颜色矩

2．2 空间／频率域的纹理特征

2．2．1 基于Gabor小波纹理特征提取

2．2．2 离散小波变换的纹理特征提取

2．3 形状特征

2．3．1 傅立叶形状描述子

2．3．2 形状无关矩

2．4 SIFT特征描述子

2．4．1 DoG尺度空间生成

2．4．2 特征点的搜索

2．4．3 确定关键点位置及尺度

2．4．4 确定关键点方向

2．4．5 生成特征描述子

2．5 小结

第三章 图像语义提取

3．1 主成分分析(Principal Components Analysis，PCA)

3．2 K-Means聚类算法

3．3 高斯混合模型(Gaussian Mixture Model，GMM)

3．4 支持向量机(SVM)

3．4．1 线性支持向量

3．4．2 非线性支持向量

3．5 小结

第四章 基于不同特征表达的图像语义标注

4．1 图像的密集采样SIFT

4．2 图像表示模型

4．2．1 视觉词袋(Bag of Visual Words)

4．2．2 Fisher Vector特征

4．2．3 局部特征聚合描述符

4．2．4 空间金字塔(Spatial Pyramid)

4．3 支持向量机的核函数

4．3．1 径向基函数RBF(Radial Basis Function)

4．3．2 直方图交叉核函数(Histogram Intersection Kernel Function)

4．4 实验及结果分析

4．5 小结

第五章 图像检索系统设计与仿真

5．1 图像检索的索引

5．2 综合多特征和语义的图像检索

5．3 系统评价参数

5．4 实验结果

5．5 小结

第六章 总结和展望

6．1 研究工作总结

6．2 展望

致谢

参考文献

作者简介

攻读硕士学位期间研究成果

声明