基于连续受限玻尔兹曼机和Fisher网络的移动视觉搜索框架

摘要

移动视觉搜索作为新兴的研究领域有诸多困难与挑战，如:移动端的计算能力与存储能力有限，在大规模图像搜索中面临着检索实时性和数据存储的难题;在海量图像数据库中搜索，面临搜索精度与实时性的挑战;移动互联网带宽有限、不稳定，导致图片上传延迟大的问题等等;动态图片专家组(MPEG)制定了视觉搜索紧凑描述子(CDVS)标准，旨在提供一个在图像检索应用中可交互的比特流语法。该标准在移动视觉搜索应用中描述子的紧凑性、可区分性、伸缩性和计算复杂度四个方面取得了很大的进展。CDVS检索过程有两个阶段，第一阶段:在移动端抽取并压缩图像特征生成自适应长度的CDVS比特流，经无线网络传输到服务器端;第二阶段:服务器端对接收的CDVS比特流进行解码并在数据库中检索，并返回检索结果。服务器端在数据库中检索步骤包括两步:第一步:对比特流中的全局描述子进行解码，并在数据库中进行最近邻搜索获得候选图片集;第二步:对比特流中的局部描述子进行解码，之后在候选集中对局部描述子进行几何一致性检验，将候选集中图片重新排序从而获得精确的匹配。 本文以MPEG CDVS技术框架为基础，针对全局描述子聚合算法进行了重点研究，取得了如下的创新成果: 1.提出一种基于连续受限玻尔兹曼机(CRBM)的局部特征降维方法。在CDVS全局特征聚合算法中使用主成分分析(PCA)对局部特征(SIFT)进行降维。但是SIFT和Fisher vector是非高斯统计数据，使用线性降维算法PCA对特征表征有很大损伤。在实验部分中证明基于CRBM的算法对局部特征降维比PCA更有效。 2.提出一种基于学习的网络NetFisher聚合Fisher Vector特征。传统FisherVector使用EM算法计算高斯混合模型参数。但是EM算法容易陷入局部最优而影响聚合特征效果。本方法提出的框架结构利用反向传播算法学习Fisher layer参数，获得更高效更鲁棒的Fisher Vector。

目录

声明

摘要

第一章 引言

1．1 研究背景与意义

1．2 移动视觉搜索(MVS)技术难题

1．3 紧凑描述子(CDVS)研究现状

1．3．1 CDVS标准发展历程

1．3．2 CDVS框架结构标准

1．3．3 CDVS检索流程标准

1．4 本文的工作与组织结构

第二章 相关工作

2．1．1 兴趣点检测和局部描述子

2．1．2 局部特征压缩

2．2 可变长局部特征聚合算法(SCFV算法)

2．2．1 Fisher kernel回顾

2．2．2 SCFV的标量量化方法

2．2．3 SCFV比特自适应算法

2．2．4 SCFV度量方式

第三章 基于连续受限玻尔兹曼机的局部特征降维算法

3．1 受限玻尔兹曼机

3．2 连续受限玻尔兹曼机的结构

3．3 CRBM无监督训练

3．4 CRBM监督微调

3．5 实验设计与分析

3．5．1 数据集与评测指标

3．5．2 实验结果与分析

3．6 本章小结

第四章 基于学习的Fisher layer网络结构

4．1 Fisher vector算法回顾

4．2 Fisher layer结构

4．3 损失函数

4．4 实验结果与分析

4．4．1 评价框架

4．4．2 实验结果

4．5 本章小结

第五章 总结与展望

5．1 总结

5．2 展望

参考文献

致谢