基于视觉属性和语义关系的大规模图像检索

摘要

随着互联网技术和可移动设备的快速发展，数字图像的数目正与日俱增。如何从海量图像中按照用户的意向检索出合适的图像正成为计算机视觉领域的研究热点。传统的基于内容的图像检索方式依赖于图像的底层特征，因而不可避免地面对着两个问题:即底层特征与高层语义之间的语义鸿沟;以及用户检索意图与所使用检索图像之间的意向鸿沟。鉴于这一问题，基于视觉属性的图像检索便应运而生了。通过对图像的视觉内容进行语义描述，视觉属性搭建起了连接底层特征与用户意向之间的桥梁。本文研究的内容便是基于属性的图像检索问题。
　　具体来讲，本文研究的是结合语义的多属性查询词的图像检索。传统的基于多属性的检索通常包括几个步骤，即图像特征提取、属性分类器学习和属性相似性检索。虽然基于属性的图像检索已经取得了许多卓越的成果，但其中仍然存在着一些问题。传统的属性分类器对于所有属性均采用同样的特征进行学习，没有考虑到每个属性的特殊性;传统的属性分类器学习多采用扁平式的结构，没有利用到属性之间更丰富的语义信息;传统的属性检索中，属性之间的关系矩阵学习多是基于属性之间的同现关系，导致检索系统的可扩展性较差。本文基于以上三个问题进行了相应的研究，具体地:
　　(1)针对属性分类器学习没有进行特征选择的问题。本文研究了多标签的特征降维方法MDDM。同时，本文将属性标签之间的语义相关性以及视觉相关性融入到MDDM算法之中，从而提升了算法的准确率。
　　(2)针对传统的属性分类器没有利用到属性之间的语义信息的问题。本文利用外部语义信息构建起属性之间层次化的拓扑结构。同时，本文联合多种拓扑结构构建起语义森林，并通过多核学习的方式实现了针对于每个属性的特征选择和属性分类器学习。
　　(3)针对传统属性检索中属性关系学习的问题。本文将属性之间的语义关系融入到多属性检索的逆向学习框架之中，从而提高了属性检索系统对于跨数据分布的可扩展性。
　　本文在两个国际公开数据库上进行了实验，并与当前国际领先的算法进行了对比。通过实验，本文验证了本文所提出算法的有效性。