基于图像的货架商品数据获取关键技术研究

摘要

信息化社会对信息的获取变得尤为重要，及时有效的信息可以创造出非常可观的价值。而与人们生活息息相关的各种生活超市里货架上的商品信息中也隐藏着巨大的价值等着人们去挖掘。货架商品信息的获得主要是通过目标检测技术以及图像拼接技术来实现。但是货架上的商品信息有着目标类别多，目标尺度不均，部分目标之间特征差异大，部分目标之间特征差异小等特征，这导致目前的主流的目标检测网络很难只用一种算法来实现商品识别。此外，由于超市货架的摆放等原因，导致无法获得完整视角的整幅货架图像。而整个货架上的信息才具有最大的价值，所以需要通过图像拼接技术来完成，但是由于货架中的商品存在重复商品等原因导致特征提取效果不理想。　　本文提出了一种基于FPN网络类别级联目标检测方法。类别级联目标检测方法是对类别进行级联的方法，本文首先使用目标检测网络完成一阶段的分类，然后再使用分类网络完成二阶段分类。本文在FasterR-CNN网络中加入了FPN网络，FPN网络通过提取多尺度的特征信息进行融合，进而提高目标检测的精度，而多尺度的信息对于小目标非常友好，所以在小物体的检测精度有着更大的提升。所以在第一阶段使用了FasterR-CNN+FPN网络的目标检测网络，第二阶段使用DenseNet网络完成二阶段的分类。然后将二阶段的类别与一阶段的位置信息融合作为最后的输出。新的方法在实验中取得了很好的效果，相比于只使用FasterR-CNN+FPN网络来完成商品检测效果有着很大的提升。　　在货架拼接阶段，本文在特征提取阶段利用了商品检测阶段的信息，来提取特征。首先本文利用商品识别阶段的识别信息，获得待拼接图像中相互对应的商品。对相互对应的商品裁剪，然后提取每个对应商品的ORB特征，并在商品图像中完成图像配准，在完成单个商品图像配准后，根据图商品像的相对位置来消除错误匹配点。之后将单个商品的局部特征融合到整幅图，得到整幅图的全局特征。这个时候所得到的待拼接图像的特征匹配结果就会比较理想。然后使用得到的全局的特征匹配点完成其余图像拼接步骤。融合了目标检测结果后的特征提取方法在实验中取得了很好的效果，相比传统的在完整图像上提取特征点，完成图像配准的效果有很大提升。

目录

声明

第1章 绪论

1.1 选题背景与意义

1.2 国内外研究现状及发展趋势

1.3 本文的主要研究内容

1.4 论文的组织结构

第2章 相关技术

2.1 本章概述

2.2 基于深度学习的目标检测

2.2.1 目标检测常用术语

2.2.2 Faster R-CNN网络

2.2.3 FPN网络

2.2.4 DenseNet分类网络

2.3 图像拼接

2.3.1 特征提取

2.3.2 图像配准

2.3.3 单应矩阵

2.3.4 变形和融合

2.4 本章小结

第3章 基于FPN网络的类别级联目标检测网络

3.1 概述

3.2 基于FPN网络的类别级联目标检测网络

3.2.1 Faster R-CNN+FPN网络

3.2.2 DenseNet

3.2.3 类别级联目标检测网络结构

3.3 数据集分析

3.4 实验结果与分析

3.4.1 实验数据准备

3.4.2 主要超参设置

3.4.3 模型训练与使用

3.4.4 实验对比

3.5 本章小结

第4章 货架拼接

4.1 概述

4.2 目标检测技术与ORB融合特征

4.2.1 ORB特征提取

4.2.2 融合特征提取

4.2.3 消除误匹配点

4.3 货架拼接与商品融合

4.3.1 货架拼接

4.3.2 商品融合

4.4 实验结果与分析

4.5 本章小结

结论

参考文献

附录A 发表论文和参加科研情况说明

致谢