图像检索研究进展:浅层、深层特征及特征融合

摘要

基于内容的图像检索方法利用从图像中提取的特征进行检索,常用的图像特征主要有颜色、纹理和形状,包括局部特征和全局特征.SIFT特征不易受平移、旋转、伸缩、视点变化及杂乱场景等因素的影响,而且提取速度快,在理论与实际生产中被广泛使用.对SIFF进行编码的方法主要有BOF、VLAD、FV和TE等方法,这些编码方法通常由"嵌入"和"聚集"两步组成.但是SIFT存在缺乏空间几何信息和颜色信息,高层语义的表达不够等问题,为了丰富描述符的信息,通常将SIFT与其他特征进行融合.融合方式主要包括:串连、核融合、图融合、Index-level融合和Score-level融合.卷积神经网络(Convolutional Neural Network,CNN)具有良好的跨域特性,从预训练的CNN提取的特征可以被广泛应用到各个领域的各种数据集.浅层特征的编码方法也可以用于对CNN特征的处理.CNN特征是通过learning得到的,具有层次性,可以通过CNN得到高层语义的信息.然而,与SIFT相比,CNN特征的通用性及几何不变性都不够强,依然是图像检索领域面临的挑战.本报告从浅层特征、深层特征和特征融合三个方面对国内外研究进展和面临的挑战进行介绍,并对未来的发展趋势进行展望.