基于视觉短语的商品图像检索

摘要

随着网上购物的快速发展，网络上出现百万张，甚至上亿张的不同类别的商业商品图片。传统的基于关键字的搜索引擎已经逐渐不能满足用户的需要。如何有效的利用视觉搜索手段来提供给用户精确度高、方便快捷的可视化搜索引擎目前仍然是一个重要的，富有挑战性的任务。在图像检索领域，词袋模型被广泛应用，结合倒排文件索引方法索引和检索数据库图像能够大大减少匹配中的候选图像数目，实现更有效的响应。基于词袋模型的搜索图像检索中忽略了点特征之间的空间关系以及逻辑关系，降低了一定的检索准确性。本文中，我们在词袋模型的基础上，结合点特征SIFT与区域特征MSER的不同特性，得到具有更好表达性的视觉词汇，以及在空间和逻辑上有紧密关系的图像的视觉短语。在文中，我们将在MSER区域内频繁出现的SIFT特征对即认为两个特征之间具有紧密关系，记为视觉短语。在完成整幅图像的全局特征匹配前提下，考虑到用户在购买商品时不仅会对商品的颜色，质地等因素有特别要求，同时也会对局部的设计感兴趣，针对这一点，我们提出同时提取图像的颜色、纹理等特征，并加入用户交互功能，以提供用户标注感兴趣区域的接口，进而实施系统对查询图像局部区域的第二阶段匹配，最后两阶段检索结果融合以提高检索精度。在实验评估部分，我们检验了利用本文提出的方法来实现的检索系统的实验结果。分别通过全局匹配，和局部匹配方法，对多次实验结果进行比较，验证了视觉短语和交互阶段局部匹配方法的有效性和必要性。

目录

声明

摘要

1 绪论

1．1 商品检索简介

1．2 图像检索发展介绍

1．3 系统总体介绍

1．4 本章小结

2 理论基础

2．1 SIFT特征

2．1．1 SIFT特征描述

2．1．2 SIFT算法主要过程

2．2 MSER特征

2．2．1 MSER特征描述

2．2．2 MSER算法概述

2．3 颜色特征

2．4 词袋模型

2．4．1 词袋模型概述

2．4．2 基于词袋模型的图像表示

2．5 聚类算法

2．5．1 聚类算法概述

2．5．2 K-means算法概述

2．6 倒排文件索引和检索

2．7 TF-DF算法

2．8 本章小结

3 系统分析与设计

3．1 系统功能分析

3．1．1 系统结构分析

3．1．2 系统主要功能

3．2 系统架构设计

3．2．1 系统预处理部分

3．2．2 图像检索处理部分

3．2 本章小结

4 基于视觉词汇和视觉短语的商品图像检索算法

4．1 图像特征提取

4．1．1 SIFT特征

4．1．2 MSER特征

4．1．3 颜色特征

4．2 视觉词汇和视觉短语

4．2．1 视觉词汇

4．2．2 视觉短语

4．3 特征索引

4．4 图像全局匹配

4．4．1 视觉词汇特征匹配

4．4．2 视觉短语特征匹配

4．5 图像的局部匹配

4．3．1 SIFT匹配

4．3．2 颜色特征匹配

4．6 本章小结

5 实验

5．1 数据集

5．2 评估

5．2．1 三种比较方法

5．2．2 度量标准

5．2．3 实验结果与分析

5．3 总结与分析

结论

参考文献

致谢