基于内容与深度学习的图像检索研究

摘要

在数字图像技术突飞猛进的今天，海量的视觉图像信息呈爆炸式增长并且渗透在计算机行业的各个领域里。因而，如何迅速而有效地得到图像内容的表现方式和图像检索结果，一直是各个国家计算机产业发展的热门课题。在过去的十几年里，基于图像内容的图像检索已经炉火纯青，无论是图像语义内容的表达方式，还是相关的排序模型均已满足产业发展的各种要求。即使如此，其缺点仍然明显：特征间语义鸿沟难以处理；局部特征与全局特征各自为阵，难以形成优势互补。在近几年，深度学习在图像处理方面取得了令人瞩目的成绩，基于深度学习的特征在各项计算机视觉的任务中均有建树。在众多深度学习网络中，最具有代表性、最能表达图像整体内容本质的非卷积神经网络莫属。但是与此同时，图像中细节的表达、局部区域的识别和复杂图像背景干扰必然成为其劣势。 由于在基于内容的图像检索中，难以实现对图像局部特征与全局特征的融合，本文采用sift局部特征与颜色特征作为不同的两个维度，嵌入到优化后的二维词袋模型中，提出了一种特征融合的二维倒排索引图像检索方法，即将sift特征与颜色特征结合至词袋模型的各个维度上进行检索。再通过图像深度学习神经网络中产生的全局特征，对检索结果进行重排序，达到提高检索精度的目的。实验结果表明，这一方法得到的图像表达其有优秀品质并且检索结果在Holidays数据库上mAP可以达到0.872的水平，与大多数算法基本持平。 另外，本文又提出一种完全基于深度学习的图像检索方法。对于深度学习卷积神经网络在图像细节表达方面的不足，本文采用滑窗对图像卷积神经网络的特征进行处理取得一系列小特征块，然后处理相加得到一个具有局部表达能力的向量以此表达一幅图像。再者，对于特定物体的检索，则利用得到一系列小特征块在候选图像中进行近似目标定位，以此减少图像背景的冗余，再进行检索进程。实验结果表明，这一方法对图像局部细节的表达已经具有出色的能力，检索结果在Paris 6k数据库上mAP可以达到0.890的水平，与太多数科研成果相持平并有所超越。

目录

第一个书签之前