基于眼动追踪的图像检索重排序方法研究

摘要

近几年来，CBIR技术受到广泛关注，由于语义鸿沟的存在，初始检索效果不太令人满意，为了使检索性能得到提高，一些重排序方法被提出，其中交互式重排序方法成为研究的热点问题。
　　本文提出了一种基于眼动追踪的图像检索重排序方法，使用桌面式眼动仪获取用户观察结果图像的注视点数据，实时地分析这些注视点，找出用户感兴趣的信息，再将这些信息重组成一个新的查询，这个查询更能表达用户的查询意图，接着在图像数据库中进行二次检索，返回更多用户查询意图的相关图像。本文提出的基于眼动追踪的图像检索重排序方法主要分为两个模块:(1) BoW图像检索模块;(2)眼动追踪以及重排序模块。其中BoW图像检索模块主要完成图像的特征抽取、聚类生成视觉单词、量化特征点、建立倒排索引和检索服务这五个过程;而眼动追踪及重排序模块主要包括记录眼动数据、实时分析注视点和生成新查询这三个过程。
　　本文对于用户观看不同类型的图像的眼动数据也进行了详细地分析，作者认为当用户观察一幅图像时，人们的注视点更加偏向于图像的中心部分，并对某一个注视点进行了建模分析，提出了适应本文重排序方法的注视点模型。
　　对于本文提出的方法，本文使用牛津建筑数据集，一共包含5062张图像来作为测试数据集，对重排序前后检索性能进行评估。本文实验一共邀请了24名学生作为被试，每名被试观看12幅查询图像的结果图像，根据用户眼动数据以及检索性能指标的数据统计，本文提出的基于眼动追踪的图像检索重排序方法能够提高检索性能，平均准确率能够提高13.57％。

目录

声明

致谢

摘要

1 绪论

1．1 图像检索研究背景

1．2 本文研究的主要内容

1．3 本文章节安排

2 相关研究工作综述

2．1 眼动仪及眼动追踪技术

2．1．1 眼动仪简介

2．1．2 眼动追踪技术简介

2．2 基于词袋模型(BoW)的图像检索技术简介

2．2．1 BoW模型介绍

2．2．2 基于BoW图像检索技术介绍

2．3 图像检索中的重排序(Reranking)方法

2．3．1 Reranking简介

2．3．2 图像检索中Reranking方法综述

2．4 本章小结

3 基于眼动追踪的图像检索重排序方法研究

3．1 引言

3．2 基于眼动追踪的注视点研究

3．2．1 眼动追踪实验设计与设置

3．2．2 眼动追踪数据统计分析

3．2．3 注视点在BoW图像检索中的应用

3．3 基于注视区域(Fixation region)的Reranking方法

3．3．1 初次检索

3．3．2 连接眼动仪获取眼动数据

3．3．3 获取注视区域的视觉单词

3．3．4 新查询生成的策略

3．4 实验结果与分析

3．4．1 数据集简介

3．4．2 图像检索实验结果与分析

3．5 本章小结

4 系统设计

4．1 后台服务模块介绍

4．2 前台反馈模块介绍

4．3 系统工作流程

5 总结和期望

参考文献

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集