一种基于模板匹配的冷柜内饮料种类识别算法

摘要

随着零售经济的发展，街边饮料自动售卖冷柜的需求越来越大，但是这些自动售卖冷柜需要人工补货，极大的增加了运营成本。本专利提出一种基于模板匹配的饮料种类识别方法：先拍摄冷柜内的照片，然后使用检测网络检测到照片中的饮料，之后用分类网络将这些饮料进行分类，最后统计每种饮料的数量。能够通过单目摄像头实现对冷柜中的饮料进行识别、统计，从而实现一个能够自动对饮料补货提醒，销量统计的智能饮料销售系统。

说明书

技术领域

本发明属于计算机视觉领域，是图像处理领域中的一项重要应用，尤其是涉及一种模板匹配的饮料种类识别方法。

技术背景

随着零售经济的发展，街边饮料自动售卖冷柜的需求越来越大，但是这些自动售卖冷柜需要人工补货，极大的增加了运营成本。本专利提出一种基于模板匹配的饮料种类识别方法，能够通过单目摄像头实现对冷柜中的饮料进行识别、统计，从而实现一个能够自动对饮料补货提醒，销量统计的智能饮料销售系统。

据我们了解，迄今为止尚无成熟的、能够投入使用的冷柜内饮料种类识别算法，本专利填补了这一领域的空白。

发明内容

本发明提出了一种基于模板匹配的冷柜内饮料种类识别算法。该方法使用基于深度卷积神经网络的目标检测算法和分类算法，较为准确的对冷柜内饮料种类进行识别，该方法可以在不同场景下有效的进行工作。

其技术解决方案是：

一种基于模板匹配的冷柜内饮料种类识别算法，所述方法包括：

步骤1)，通过冷柜内置摄像头拍摄冷柜内部的照片，手工标注采集的照片中的饮料的位置，然后将标注好的数据按照8：1：1的比例划分训练集、验证集和测试集；

步骤2)，构建基于FasterRCNN的检测网络并在收集的训练集上训练；

步骤3)，构建基于VGG16的分类网络，并用检测网络输出的检测结果来训练；

步骤4)，将数据集中每一类饮料经过分类网络后的特征聚类，求出聚类中心作为该类饮料的模板；

步骤5)，将收集的测试集先输入检测网络，然后将得到的饮料图片输入到分类网络提取特征，然后计算与该特征最近的模板，测试的饮料就属于该模板类，可以识别冷柜中饮料的种类和数量。

所述步骤1)中单目摄像头视角的设定，在不影响冷柜使用的同时，要拍摄到冷柜内部的所有饮料，并且尽可能减小饮料在照片中的倾斜角；对拍摄到的图片进行归一化算法，通过统计数据集所有照片的均值与方差，并将所有图片依此归一化，可以避免冷柜外部光线变化对检测结果造成不利影响；用矩形框标注出饮料所在位置，每张图片有多个标注框，并且饮料之间的互相遮挡使标注框之间有重叠部分。

所述步骤2)中检测网络，使用经典的梯度下降算法。

所述步骤2)、3)中网络的训练过程使用提前终止的方式结束，防止网络过拟合。

所述步骤3)中训练集经过检测网络中得到图片后进行尺寸调整，使之可以在之后的分类网络中使用批处理加速。

所述步骤5)中由于已知饮料类别数，因此使用k均值聚类，距离度量使用欧氏距离。

本发明所述整个算法可拓展性强，在不重新训练网络的前提下可以识别未参与训练的类别的饮料。

附图说明

附图1是本发明所构建的一种基于模板匹配的冷柜内饮料种类识别算法模型示意图。

具体实施方式

一种基于模板匹配的冷柜内饮料种类识别算法，包括以下步骤：

1)通过冷柜内置摄像头拍摄冷柜内部的照片，为了能减少饮料之间的遮挡，将摄像头设置在柜门处，通过改变冷柜内饮料的数量和摆放顺序，采集1000张图像。使用矩形框标注采集的照片中的饮料的位置，然后将标注好的数据按照8：1：1的比例划分训练集、验证集和测试集；

2)构建基于FasterRCNN的检测网络，将网络在COCO数据集上预训练后在收集的训练集上微调，每次并行处理4张图像。通过观察在验证集上的测试结果来确定最优的网络模型；

3)构建基于VGG16的分类网络，在ISLVRC 2012中预训练。之后用检测网络输出的检测结果来训练。具体来说，就是将检测网络得到的检测框所在位置的图像单独保存，之后改变这些图像的大小至256，然后将图像输入到分类网络中微调，通过验证集上的结果确定最优分类模型；

4)将数据集中每一类饮料经过分类网络得到的结果作为特征向量，然后求出每类向量的聚类中心作为该类饮料的模板；

5)将收集的测试集先输入检测网络，然后将得到的饮料图片输入到分类网络提取特征，然后计算与该特征最近的模板，测试的饮料就属于该模板类，这里使用的度量方式是欧氏距离。

这样就可以识别冷柜中饮料的种类和数量。

上述方式中未述及的技术内容，采取或借鉴已有技术即可实现。需要说明的是，在本说明书的教导下，本领域技术人员还可以作出这样或那样的容易变化方式，诸如等同方式，或明显变形方式。上述的变化方式均应在本发明的保护范围之内。