基于内容的概念建模和图像检索重排序

摘要

随着互联网的发展，多媒体技术（图像、视频、音频等）在互联网中的广泛应用。近些年来，数字化图像网络资源呈指数级增长。社交网络的出现，如Facebook，Flickr，Twitter，Instagram，Whatsapp，人人网，微博，微信等，更加推动了这一过程的大众化。用户在这个过程中扮演着两种角色，一种是多媒体资源的提供者，另一种是多媒体资源的消费者。
　　用户通过互联网获取自己想要的多媒体资源。在这个过程中，检索技术的出现提高了用户获得资源的效率。对图像检索来说，用户如何快速并准确地检索到自己想要的图像。这个课题成为近些年研究者们关切的热点话题。但是，对于图像搜索引擎返回给用户的图像当中，其中有部分并不是用户期望的图像。本文基于这个出发点，对搜索引擎返回给用户的图像进行重新排序。期望通过自己提出的方法，将尽可能多的与用户期望的图像置于重排序列表的前部。最后，将重排序好新的图像列表返回给用户，从而提高检索结果的相关度和用户体验。
　　本文主要做了以下几个方面的研究工作:
　　首先，对图像检索重排序进行了定义。并给出了与之相关的图像处理基础知识，对图像的视觉特征也进行了简单的介绍。同时，对最近几年出现的图像检索重排序算法进行了系统的归类。其次，提出了一种自适应选择的图像检索重排序方法，对不同类别的图像分别采用不同的图像视觉特征进行重排序。这个过程中，采用了图像的各种特征，如颜色，纹理，及局部SIFT特征。这种方法得到了比图像检索更好的效果。再次，提出了一种用于图像检索重排序的概念模型。该方法采用初始检索列表中前N幅图像对检索关键字（概念）进行建模，然后运用概念模型对图像检索进行重排序。在这个过程中我们采用了图像的局部SIFT特征。在概念建模阶段，采用了增量式学习方法。这个方法也得到了比仅通过分类和聚类方法更好的结果。最后，对本方进行了简单的总结，并对将来进一步研究工作做了展望。

目录

摘要

第一章 引言

1．1 研究背景及意义

1．2 本文研究工作概述

1．3 本文结构

第二章 图像视觉特征与相似度度量

2．1 特征概述

2．2 全局视觉特征

2．2．1 颜色特征

2．2．2 纹理特征

2．2．3 形状特征

2．2．4 其他全局特征

2．3 局部视觉特征

2．3．1 SIFT特征提取算法

2．3．2 SURF特征简介

2．3．3 局部特征的词袋模型

2．4 视觉特征的比较和选择

2．5 图像相似度度量

2．6 小结

第三章 图像检索重排序基础理论

3．1 图像检索重排序基础

3．1．1 图像检索重排序相关定义

3．1．2 图像检索重排序假设

3．2 视觉检索重排序方法概述

3．3 自反馈重排序方法介绍

3．3．1 伪相关反馈法

3．3．2 基于聚类的重排序

3．3．3 基于模式学习的重排序法

3．3．4 基于图模型方法

3．4 总结分析

第四章 自适应选择的图像检索重排序方法

4．1 研究目的及相关工作

4．2 自适应选择模型

4．2．1 文本特征的收集与分类过程

4．2．2 视觉特征的评估与选择

4．2．3 图像检索重排序

4．3 实验及结果分析

4．3．1 数据集说明

4．3．2 特征选择实验

4．3．3 WebQueries重排序实验结果与分析

4．3．4 MSRA-MM重排序实验结果与分析

4．4 总结与展望

第五章 概念建模与重排序

5．1 研究目的及相关工作

5．2 概念建模与重排序

5．2．1 模型总框架

5．2．2 构建视觉字典

5．2．3 获得概念模型

5．2．4 权重和最优N值的选择

5．2．5 图像重排序

5．3 实验及结果分析

5．3．1 权重对实验结果的影响实验

5．3．2 最优值N的实验

5．3．3 物体和场景的实验

5．4 总结与展望

第六章 总结与展望

6．1 本文总结

6．2 未来研究展望

参考文献

硕士期间发表的论文和专利

致谢

声明