基于深度学习的细粒度商品图像检索方法研究

摘要

货架商品识别可以提高商店内商品的信息化程度，是改善消费者购物体验，提高商店的管理效率的重要技术手段，因此有着巨大的研究价值和商业潜力。在当前货架商品识别的任务中，虽然目标检测的方法取得了最优的效果，但是在实际应用中，这种方法却存在诸多问题需要解决。首先，由于货架图像中目标商品的种类繁多且摆放紧密，使得对训练数据的标注十分困难。其次，商品的品种和包装始终处在较高频率的更新状态，为了保持模型的检测效果而频繁的进行训练，增加了模型的使用成本。可以看出，目标检测模型中目标识别分支是导致其应用问题的关键所在。而图像检索方法通常可以在较少标注数据的情况下完成图像识别的任务。因此，本文使用图像检索的方法代替目标检测模型中的目标识别分支，提出了基于目标定位的细粒度商品图像检索方法。本文的主要贡献包括:　　1.本文首先深入研究了细粒度图像检索相关的方法，针对现有方法的不足，提出了基于注意力权重聚合的DSAW方法。首先为了解决现有方法目标特征选择不准确的问题，本文提出了DS特征选择方法。本方法分别从通道和空间对卷积特征图上进行目标特征选择，以避免背景噪声区域的干扰，实现了更加精确的特征选择。然后，针对特征聚合阶段细粒度特征的表达，本文提出了AW加权聚合方法。本方法对目标特征使用注意力机制分配相应的权重，使得聚合后的特征更好的保留对细粒度特征，从而实现更加准确的检索结果。最后，在CUB-200-2011、OxfordFlowers、OxfordPets、StanfordDog、Aircrafts五个公开的基准细粒度图像数据集上进行了测试，实验结果表明本方法实现了当前最优的检索性能。　　2.为了实现基于目标定位的细粒度商品图像检索方法，本文对现有的目标检测及图像检索方法做了大量改进与融合。首先，为了进行快速的目标商品定位，本文根据实际应用情况对减少了FCOS模型的特征金字塔层数，同时类别预测分支进行了改进，使得模型仅进行目标区域的正负类别预测。其次，为了提高目标定位的准确性，本文将定位分支的IOU损失函数改为更加精确的GIOU损失函数对模型进行训练。在接下来进行细粒度商品图像检索时，将提出的DSAW方法与CroW方法同时进行图像特征描述符的聚合，实现了对细粒度商品图像局部和全局特征的全面表达。最后，对本文提出的方法在货架商品图像数据集上进行了测试，实验表明本方法已经到达了与当前的目标检测方法的接近水准。但是由于本文的方法仅需要对数据标注要求更低，以及在面对数据集更新时有更强的适应能力，因此在实际应用中具有更大的优势。

目录

声明

第1章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.2.1 细粒度图像检索

1.2.2 目标检测

1.3 本文的研究内容和结构安排

第2章 本文相关算法的基本原理

2.1 细粒度图像检索的相关技术

2.1.1 图像检索概述

2.1.2 图像特征提取

2.1.3 图像特征描述符聚合

2.1.4 相似性度量

2.2 目标检测的相关技术

2.2.1 目标检测概述

2.2.2 基于锚点框的目标检测算法

2.2.3 无锚点框的目标检测算法

2.2.4 非极大值抑制

2.3 本章小结

第3章 细粒度图像检索方法研究

3.1 引言

3.2 DSAW方法介绍

3.2.1 基本概念与符合说明

3.2.2 特征描述符的筛选

3.2.3 特征描述符的聚合

3.3 实验结果与分析

3.3.1 DSAW方法的实现细节

3.3.2 实验数据集介绍

3.3.3 图像检索的评价指标

3.3.4 细粒度图像检索实验结果

3.4 本章小结

第4章 基于目标定位的货架商品图像检索

4.1 引言

4.2 目标商品定位方法

4.2.1 特征金字塔模块

4.2.2 Head预测模块

4.3 细粒度商品图像检索方法

4.3.1 CroW方法的实现细节

4.3.2 图像类别的确定

4.4 实验结果及分析

4.4.1 实验细节及数据集介绍

4.4.2 评价指标

4.4.3 实验结果

4.5 本章小结

结论

参考文献

附录A 攻读硕士学位期间所取得的研究成果

致谢