基于深度学习的超市商品图像识别方法研究

摘要

随着科学技术的发展，越来越多的场景都逐渐实现了自动化或半自动化。新零售的背景下，自动化零售近年来也受到了广泛的关注。传统的识别方法有条码识别和RFID射频识别。然而条码识别需要人工辅助，自动化程度低。RFID由于布置成本高，没有普及开来。通过人工智能技术和计算机视觉方法，自动化地识别顾客购买的商品，成为重要的研究课题。如何在非限制条件下，对可旋转、多视角、少量数据标注的商品识别是目前研究的重点和难点。
　　本文针对超市商品图像识别问题，其主要工作内容如下:
　　1.对于单个商品的识别，在实际场景下，图像包含大范围的背景且没有商品位置的标注;而且数据采集消耗成本大，训练图像仅有少量训练样本;此外，与通用物体识别不同，商品对象角度是不确定的，识别的难度更大。本文针此问题，提出了一种候选区域标注算法，仅需要公开数据集训练，即可对商品图像生成有误差的预标注。同时结合增强样本方法，生成不同角度的样本，并通过迁移学习对商品识别进行再训练，使模型具有旋转不变性，实现商品的识别。实验结果表明，通过所提出的候选区域标注算法，使得商品识别达到了86.6％的top-1准确率和94.34％的top-3准确率。
　　2.在仅有单个商品训练图像，且没有商品位置标注的情况，对于多个商品检测任务，需要完成多个商品的定位以及多个商品的识别任务。本文针对此问题，首先对Faster RCNN的边框回归层进行改进，提出了一种非类别特异性的边框回归层，仅使用公开数据集训练，无需在目标数据集上进行再训练，并将其用于数据预标定与商品定位。然后结合Grabcut与非类别特异性Faster RCNN，提出了一种样本增强方法，用来合成大量包含多个商品的训练图像，并用于模型训练。此外基于非类别特异性Faster RCNN提出了重识别层，提高了检测精度。最终，多个商品的识别与定位效果，达到了93.8％的召回率和96.3％的精度。
　　3.结合上述方法，设计并实现了超市商品图像识别验证系统，对所提出的算法进行验证测试。

目录

声明

摘要

1．1 研究背景及意义

1．1．1 研究背景

1．1．2 研究意义

1．2 国内外研究现状

1．2．1 国外研究现状

1．2．2 国内研究现状

1．3 基于视觉的商品图像识别研究方法综述

1．3．1 基于视觉的单个物体识别

1．3．2 基于视觉的多个物体识别与定位

1．4 本文研究内容与组织结构

第2章 本文所用相关算法介绍

2．1 卷积神经网络(CNN)

2．1．1 基本概念

2．1．2 网络结构

2．2 Faster RCNN

2．2．1 Fast RCNN

2．2．2 FPN(特征金字塔网络)

2．2．3 ResNet

第3章 基于Faster RCNN的单个商品识别方法

3．1 问题描述

3．2 系统框架设计

3．3 系统具体实现

3．3．1 图像采集

3．3．2 区域候选网络(RPN)

3．3．3 RPN预标注方法

3．3．4 网络训练

3．3．5 分类与定位的知识迁移

3．4 实验结果及分析

3．4．1 数据集

3．4．2 分类和检测结果

3．5 本章小结

第4章 基于改进Faster RCNN与Grabcut的多个商品识别与定位方法

4．1 问题描述

4．2 系统框架设计

4．3 系统具体实现

4．3．1 非类别特异性Faster RCNN

4．3．2 Grabcut

4．3．3 结合Grabcut的样本增强方法

4．3．4 重识别层

4．3．5 网络模型与训练

4．4 实验与分析

4．4．1 数据集介绍

4．4．2 实验结果

4．5 本章小结

第5章 超市商品图像识别验证系统

5．1 系统设计

5．1．1 图像提取模块

5．1．2 商品检测模块

5．1．3 数据传输模块

5．2 系统验证测试

5．3 本章总结

第6章 总结与展望

6．1 全文总结

6．2 未来展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果