一种结合模板匹配与深度学习的商品种类检测方法

摘要

本发明公开了一种结合模板匹配与深度学习的商品种类检测方法。该方法总体上分为三个过程：1)输入货架图像，使用待检测物体事先采集的模板图像与货架图像进行特征点匹配，迭代得到所有能与模板图像匹配上的特征点集；2)利用模板图像对匹配上的各个特征点集区域分别进行对齐、裁剪，得到单个商品图像；3)对单个商品图像，使用深度学习的分类网络对其进行分类，得到具体类别。本发明方法利用手机对超商货架拍照进行自动物品检测，克服了人工理货员对商品计数时耗时长、人力消耗大的困难，可用于后续自动化计数、商品展示面积统计等具体应用。

说明书

技术领域

本发明涉及一种物体检测方法，尤其是涉及一种结合模板匹配与深度学习的商品种类检测方法。

背景技术

在日常生活中，超市、商店都会配备货架理货员，理货员除了整理货架商品之外，还需要不时地统计货架上商品的个数、某种商品在整个货架上的展示面积，提供给超市、供货商，作为调整货架商品摆放、评估商品销售速度、调整营销策略等用途时的重要参考数据。

目前，理货员一般都是对货架上的商品进行人工统计，人工统计一方面速度比较慢，超商需要安排更多的人力来做统计，另一方面可能会存在统计错误，在计数时数量数错或是将相似的商品误计数为同一类等。

针对这样的情况，自动化的货架图像物体检测方法能够代替传统的人工统计。物体检测是指在一幅图像中，找到所有属于待检测物体类别的物体，得到其位置、大小(用包围框描述)，并得到其具体类别。对货架图像进行自动化的物体检测能够快速得到感兴趣商品类的数量、货架展示面积占比等统计结果，上传数据、生成报告，节省了人力成本、有一定的准确率保障，并且方便管理人员查看。

目前效果比较好的基于深度学习的物体检测方法主要有Faster R-CNN、SSD等，但在货架物体检测问题中，由于一张完整的货架照片中包含了许多层、许多物体，每个物体的实际所占像素点面积比较小，直接对整张图像使用这些物体检测方法的效果并不理想。

发明内容

针对超商货架上商品数量统计的问题，由货架理货员人工统计费时费力，为了节省人力成本并保证一定的正确率，本发明提供了一种结合模板匹配与深度学习的商品种类检测方法。

本发明的技术方案是包括以下步骤：

1)对每一种待检测商品，采集具有同一商标图案的不同商品正面照片作为模板图像，并在每个图像中标记出商标区域和有效图案区域，采集货架正面照片作为货架图像；

待检测商品是具有相同的商标图案的商品，不同商标的商品需要分别单独检测。

所述的模板图像需要将商标和主要设计图案显露出来；商标区域是商标所在的图像区域，有效图案区域是商品厂商设计的具有辨识度图案所在的图像区域。

商标区域和有效图案区域通过抠图方式制作成掩码(mask)。

2)将每一模板图像与货架图像进行特征点匹配，得到货架图像中所有能与模板图像匹配上的特征点集；

3)对于步骤2)获得的各个特征点集，根据特征点集对货架图像进行对齐变换和裁剪处理生成单个商品图像；

4)对步骤3)中生成的各个商品图像，使用深度学习的分类网络进行检测分类，获得单个商品图像中商品种类的检测结果；

5)根据货架图像的各商品图像进行处理，构建货架图像中的商品区域，将位于同一商品区域的商品图像合并为一组，同一商品区域对应同一商品对象；

6)综合同一商品区域的各个商品图像的分类结果，获得货架图像该商品区域所对应商品种类的检测结果。该区域是指同一组特征点集所在的货架图像中的同一区域。

本发明的步骤2)综合利用了特征点之间的相似性与特征点组成的商品之间的几何相似性，将每一种待检测的商品的模板图像与货架图像进行特征点匹配，迭代处理得到所有能与模板图像匹配上的特征点集。

所述步骤2)具体为：

2.1)采集模板图像商标区域内的SIFT特征点与货架图像的SIFT特征点，SIFT特征点具有两个向量，其中一个向量由位置、尺度、方向构成，另一向量由128维描述子构成，计算模板图像商标区域内的任一SIFT特征点与货架图像的任一SIFT特征点之间的两两相似度；

每个SIFT特征点包含以下信息：特征点位置(x坐标，y坐标)、尺度s、方向θ(θ∈(-π,π])、一个128维的特征描述向量。

采用以下方式计算两个SIFT特征点之间的相似度：每个SIFT特征点的128维标准化描述向量记为v(标准化向量即向量的二范数为1)，货架图像上特征点总数记为M，模板图像商标区域内特征点总数记为N，则货架图像上的SIFT特征点i与模板图像商标区域内的SIFT特征点j之间的相似度度量A计算如下：

其中，v_i表示货架图像上的某SIFT特征点i的标准化描述向量，v_j表示模板图像商标区域内的某SIFT特征点j的标准化描述向量，v_i·v_j表示两向量点积，avg表示求平均值，std表示求标准差，M表示货架图像上特征点总数，N表示模板图像商标区域内特征点总数，avg{v_p·v_q|p＝1,2,…M；q＝1,2,…N}表示货架图像上的SIFT特征点与模板图像商标区域内的SIFT特征点的所有配对情况的标准化描述向量点积的平均值，std{v_p·v_q|p＝1,2,…M；q＝1,2,…N}表示货架图像上的SIFT特征点与模板图像商标区域内的SIFT特征点的所有配对情况的标准化描述向量点积的标准差；

2.2)根据相似度从大到小依次将SIFT特征点对加入到针对两图像之间新建的候选匹配特征点对列表L1中，候选匹配特征点对列表L1中的每一行均为一对相似度大的特征点，列表L1共两列，第一列为货架图像中的特征点，第二列为模板图像中的特征点，控制列表长度不超过阈值，并使得每个SIFT特征点不重复出现；

2.3)对候选匹配特征点对进行处理，将位于货架图像同一商品区域中的SIFT特征点归于同一特征点集，一商品区域对应了一近似商品对象，从而获得货架图像内与模板图像商标区域具有高几何相似度的近似商品对象。

具体实施中是通过随机初始化、增减特征点对的手段使得货架图像与模板图像商标区域内的特征点集合之间几何相似度增大的方式进行处理。

所述步骤2.3)具体为：

2.3.1)创建用于分辨货架图像与模板图像商标区域内的筛选后匹配特征点对列表L2，L2创建时为空，随机选择候选匹配特征点对列表L1中的任意两行的两对特征点加入到筛选后匹配特征点对列表L2中，作为初始的筛选后匹配特征点对列表L2，形成L2的随机初始化，筛选后匹配特征点对列表L2同样共2列，第一列为货架图像中的特征点，第二列为模板图像中的特征点；

2.3.2)为了综合考虑匹配上的货架图片中的特征点集合与模板图像商标区域内的特征点集合之间的几何相似度，定义L2第一列特征点集合与第二列特征点集合之间的几何相似度计算流程如下：

以筛选后匹配特征点对列表L2中的两对匹配特征点(即L2中的两行)共四个点为最小计算单元，四个特征点分别记为m_i、m_j、n_i、n_j，其中m_i与m_j是货架图像中的点，n_i与n_j是模板图像中的点，且m_i与n_i匹配，m_j与n_j匹配；每个特征点各自有位置(x坐标，y坐标)、尺度s、方向θ参数。

采用以下方式计算四个特征点之间的几何相似度：

第一步，计算：

式(1)中，分别表示点n_i、n_j、m_i、m_j的x坐标，分别表示点n_i、n_j、m_i、m_j的y坐标，D为n_i、n_j之间的距离与m_i、m_j之间的距离的比值，式(1)中算得D后代入(2)；

式(2)中，分别表示SIFT特征点n_i、n_j、m_i、m_j的尺度参数，Δ_s表示货架图像中的点m_i、m_j构成的图形与模板图像中的点n_i、n_j构成的图形在尺度上的差距值；

第二步，计算

θ₀＝θ_n-θ_m(3)

其中，θ₀表示与之间的角度，分别表示SIFT特征点n_i、n_j、m_i、m_j的方向参数，abs表示取绝对值，算得的Δ_θ表示货架图像中的点m_i、m_j构成的图形与模板图像中的点n_i、n_j构成的图形在角度上的差距；θ_m表示向量与x轴夹角，θ_m∈(-π,π]，θ_n表示向量与x轴夹角，θ_n∈(-π,π]；

第三步，计算m_i、m_j、n_i、n_j这四个点之间的几何相似度

其中，σ_θ和σ_s分别表示控制对两个特征点集之间的在尺度和方向上的容忍度，σ_θ，σ_s均是可设置的参数，具体实施可取0.2，Δ_θ与Δ_s分别由式(4)和(2)计算得到，exp表示以自然常数e为底的指数函数；

第四步，利用上述三步所得g(m_i,m_j,n_i,n_j)，采用以下公式计算筛选后匹配特征点对列表L2第一列特征点集合与第二列特征点集合之间的几何相似度G(L2)；筛选后匹配特征点对列表L2中所有匹配特征点对数(即行数)记为N，m_i、m_j分别为L2第一列(即货架图像上特征点)第i行、第j行的特征点，n_i、n_j分别为L2第二列(即模板图像商品区域内特征点)第i行、第j行的特征点：

由此，得到L2第一列特征点集合与第二列特征点集合之间的几何相似度；

2.3.3)在筛选后匹配特征点对列表L2随机初始化之后，考虑如下两种处理方式：

①在L1剩下的特征点对(即L1减L2)中，找出增加到L2中能够使得新的L2’所重新计算得到的几何相似度G(L2’)最大的一对特征点，并且G(L2’)大于原来的G(L2)；

②当L2包含的特征点对数大于2时，在L2已有的特征点对中，找出从L2中移除后使得新的L2’所重新计算得到的几何相似度G(L2’)最大的一对特征点，且G(L2’)大于原来的G(L2)；

若①、②均能够找到，则随机选择一种方式处理，增加或删除对应的一对特征点对，更新筛选后匹配特征点对列表L2，并进行下一步骤；

若①、②只有一种能够找到，则选择能够找到的那一种方式处理，增加或删除对应的一对特征点对，更新筛选后匹配特征点对列表L2，并进行下一步骤；

若①、②都不可选择，则直接结束循环，不进行下一步骤，此时的L2为货架图像与模板图像商标区域匹配上的特征点列表的一种情况；

2.3.4)然后重复步骤2.3.3)直到完成对筛选后匹配特征点对列表L2的迭代处理；

2.3.5)迭代处理后，若筛选后匹配特征点对列表L2内的特征点对数大于对数阈值，则保留当前迭代处理后的筛选后匹配特征点对列表L2作为结果，并将其中的货架图像上特征点从货架图像上去除，再更新L1，再重新随机初始化L2重复步骤2.3.1)～2.3.4)进行下一轮匹配(选择操作①、②的循环)，如此迭代直至没有特征点对数大于对数阈值的L2匹配结果。

每一轮保存下的L2的第一列都是货架图像上能够与模板图像商标区域内特征点匹配上的特征点集，认为货架图像上的这些特征点集所在位置都存在着一个与模板图像品牌相同的商品。

如此保留的匹配点集Ω作为特征点集，认为每个匹配上的特征点集所在商品的商标与模板图像中商品的商标相同，每个特征点集所在的商品与模板图像中的商品相近，可能是同一种类的商品，需进行下一步判别。

所述步骤3)具体为：

3.1)根据货架图像与模板图像商标区域的筛选后匹配特征点对列表，求解变换矩阵，将货架图像对齐到与模板图像；

3.2)根据模板图像中的有效图案区域的位置和大小，裁剪获得对齐后的货架图像中货架图像中相同位置和大小的图像区域作为单个商品图像。

所述步骤3.1)具体为：根据货架图像与模板图像商标区域的筛选后匹配特征点对列表，求取匹配上的货架图像中特征点集的包围盒中心center_shelf和模板图像商标区域中特征点集的包围盒中心center_tmpl，将货架图像中特征点集的每个SIFT特征点坐标减去包围盒中心center_shelf坐标，将模板图像商标区域中特征点集的每个SIFT特征点坐标减去包围盒中心center_tmpl坐标，用RANSAC方法求得货架图像中的特征点集变换到模板图像商标区域中的特征点集的仿射矩阵A，然后利用仿射矩阵A将货架图像中每个像素点对齐到模板图像中的相对应位置。

后利用仿射矩阵A将货架图像对齐变换到与模板图像相对应位置具体按顺序分为三个步骤：

变换1：货架图像原左上角的像素点记为原点，将货架图像原点移动到center_shelf，即所有货架图像上的像素点坐标减去center_shelf；

变换2：用仿射矩阵A，对所有货架图像上的像素点进行变换，得到所有货架图像上的像素点在以center_tmpl为原点的坐标系下的坐标；

变换3：将货架图像的原点移动回模板图像左上角的像素点，即所有货架图像上的像素点坐标加上center_tmpl。

实际变换时利用矩阵乘法将三个变换组合成单个变换矩阵T，对货架图像每个像素完成变换，即完成与模板图像的对齐。

所述步骤4)具体为：将单张商品图像输入到已经过深度学习训练好的分类网络模型VGG-16中计算，输出分类结果。

分类网络模型是由同一种商标的不同类别商品拍摄的大量样本照片，再经过不同的裁剪、调整亮度、旋转和增加模糊处理后输入深度学习的分类网络训练后获得。具体实施可以是分类网络模型VGG-16。

所述步骤5)中具体为：

5.1)对于每个商品模板图像，利用在步骤3)中对货架图像进行对齐时用到的变换矩阵T，转变为逆矩阵T^-1将模板图像的矩形有效图案区域的四个角进行变换，得到在货架图像上的坐标，求围成的四边形的包围盒，得到单个商品图像在货架图像上对应的包围盒；

5.2)根据变换得到的单个商品图像在货架图像上对应的包围盒与货架图像上其他单个商品图像对应的包围盒，采用以下公式计算每两个单个商品图像在货架图像上对应的包围盒之间的重叠大小overlap(A,B)：

其中，A和B分别表示两个单个商品图像在货架图像上对应的包围盒，|A∩B|表示货架图像上同时在两个包围盒内的像素数量，|A∪B|表示货架图像上至少在其中一个包围盒内的像素数量；

若重叠大小overlap(A,B)大于重叠阈值，则认为两个单个商品图像属于货架图像中的同一商品区域，即它们包含的是货架图像中的同一个商品；否则认为两个单个商品图像不属于货架图像中的同一商品区域，即它们包含的是货架图像中的不同商品；最后将属于货架图像中的同一商品区域的所有单个商品图像合并为一组。

这是由于货架图像中的一个商品与多个模板图像经过对齐和裁剪，产生多个单个商品图像，变换回货架图像后基本会重叠在一起。

所述步骤6)根据属于同一商品区域的各个单个商品图像的分类结果，采用投票法对所有分类类别投票，以次数最多的分类类别为该商品区域对应的最终分类结果，如此处理得到整幅货架图像上每处商品区域的分类结果。

本发明输入货架图像，与待检测物体的模板图像进行特征点匹配，匹配上的区域根据匹配关系与模板图像大小进行对齐、裁剪，生成单个商品图像，利用深度学习的分类网络模型对单个商品图像分类，最后整合各个区域分类结果，同一位置的结果进行投票，得到整个货架图像的物体检测结果。

为了提高物体检测的准确率，本发明先通过特征点匹配的方法，将货架图像中与待检测物体模板图像图案相同的部分找到，并根据匹配关系与模板图像的大小，将可能是待检测物体的区域通过仿射变换与模板图像对齐，裁剪出来，再用深度学习中的分类网络进行分类，确定类别。特征点匹配使用的方法综合利用了特征点描述向量之间的相似度与两个物体特征点集之间的几何相似度。深度学习中针对图像分类问题有一些著名的网络模型，如VGG-net、深度残差网络(ResNet)等，有不错的分类效果。

本发明的有益效果是：

本发明方法可以利用手机对超商货架拍照进行自动物品检测，克服了人工理货员对商品计数时耗时长、人力消耗大的困难，可用于后续自动化计数、商品展示面积统计等具体应用。

本发明方法利用模板图像与货架图像进行特征点匹配，并根据匹配关系与模板图像有效区域的大小进行对齐、裁剪，得到单个商品图像后再用深度学习分类网络分类，最终得到货架图像上的物体检测结果，相较于直接对整幅图像应用深度学习的物体检测方法，具有更高的检出率，且需要的训练样本原始图像更少。经过测试，对324张货架图像检测潘婷3个系列与飘柔2个系列的洗发水，获得的检测准确率达到95％以上。

附图说明

图1为实施例输入的待检测商品模板图像及商标区域、图案有效区域掩码。

图2为实施例需要进行物体检测的货架图像。

图3为实施例货架图像局部与模板图像商标区域特征点通过特征向量相似度计算匹配上的特征点示意。

图4为货架图像局部与模板图像商标区域经过几何相似度约束筛选后的匹配上的特征点示意。

图5为实施例货架图像与模板图像特征点匹配结果。

图6为实施例货架图像中一个商品与一幅商品模板图像的对齐结果。

图7为实施例货架图像中一个商品与一幅商品模板图像的对齐后裁剪结果。

图8为实施例货架图像中匹配到的单个物体包围盒按照重叠大小合并后的结果。

图9为实施例货架图像最终的物体检测结果。

具体实施方式

下面结合附图和实施例对本发明方法作进一步说明。

本发明实施例如下：

1)对每一种待检测商品，准备模板图像，并人工抠图制作商标区域掩码(mask)与图案有效区域掩码(mask)。模板图像需要将商标和主要设计图案显露出来，商标区域是商标所在的图像区域，有效图案区域指包含商品正面商标、图案和文字的矩形区域，即有效图案区域包含了商标区域。图1所示从上到下为3种待检测商品(潘婷1、潘婷2、潘婷3)，每一行从左到右分别是对应商品的模板图像、商标区域掩码、图案有效区域掩码。

2)输入货架图像，将货架图像的SIFT特征点与每一种待检测商品的模板图像商标区域内的SIFT特征点进行匹配，迭代得到所有能与模板图像匹配上的特征点集。

输入图2所示货架图像，首先用模板图像商标区域内的SIFT特征点与货架图像的所有SIFT特征点之间两两计算相似度，根据相似度从大到小依次将特征点对加入到两图像之间的候选匹配特征点对列表L1中，每一行为一对相似度大的特征点，共2列，第一列为货架图像中的特征点，第二列为模板图像中的特征点。

创建货架图像与模板图像商标区域内筛选后的匹配特征点对列表L2，L2创建时为空。随机选择L1中的两行，即两对特征点加入到L2中，作为L2的随机初始化。然后通过循环进行以下两种操作直到L2两列特征点之间几何相似度无法再增大，得到最终的筛选后的匹配特征点列表L2：①从L1剩下的特征点对中选择一对特征点加入L2，使得L2两列特征点集合之间的几何相似度增大②从L2中移除一对特征点，使得L2两列特征点集合之间的几何相似度增大。

由于该方法涉及随机选择，所以每次执行的过程与结果都不一定相同，以下举个简化的例子来说明该方法的流程。例如，如图3所示，为货架图像局部与模板图像潘婷1商标区域的特征点经过相似度计算、排序得到的匹配点列表L1的可视化展示，左侧为货架图像，右侧为模板图像，点a1与点a2匹配，点b1与点b2匹配，依此类推。可以看到，货架图像上的两瓶潘婷都与模板图像商标区域有匹配上的特征点。随机初始化L2阶段，随机选择了其中的两对特征点a1-a2、b1-b2加入到L2中，a1与b1分属于两瓶潘婷。接下的循环，第一轮选择将c1-c2加入到L2中使得L2两列特征点几何相似度增大，第二轮选择将a1-a2从L2中删除，因为移除a1-a2使得L2两列特征点几何相似度增大。至此，L2中包含的两对特征点b1-b2与c1-c2已经属于同一瓶潘婷。接下来的四轮循环，分别将d1-d2、f1-f2、h1-h2、i1-i2加入L2中。新一轮循环，由于没有增加或是移除一对特征点能使L2几何相似度增大的操作，因此循环结束，L2最终包含6对特征点：b1-b2、c1-c2、d1-d2、f1-f2、h1-h2、i1-i2。实际计算时特征点数目远多于该示例，实际这片局部图像与模板图像潘婷1商标区域内特征点匹配上的特征点如图4所示，可以看出特征点都在同一瓶潘婷内，效果较好，这正是由于加入了上述的几何相似度限制。

若L2内的特征点对数大于阈值，则保留匹配结果，从货架图像上去除匹配上的特征点，更新L1，再重新随机初始化L2、进行下一轮匹配(增加、移除特征点对以增大几何相似度的循环)，如此迭代直至没有特征点对数大于阈值的L2匹配结果。每一轮保存下的L2的第一列都是货架图像上能够与模板图像商标区域内特征点匹配上的特征点集，认为货架图像上的这些特征点集所在位置都存在着一个与模板图像品牌相同的商品。

图5所示为货架图像与模板图像匹配上的所有特征点，每一轮匹配上的特征点集用不同的颜色表示，从上到下分别为用三种待检测商品(潘婷1、潘婷2、潘婷3)的模板图像商标区域内特征点进行匹配的结果。

3)对2)中所得货架图像与模板图像商标区域的筛选后匹配特征点对列表，用RANSAC方法分别求解每次匹配中货架图像中的特征点集变换到模板图像商标区域中的特征点集的仿射矩阵，并去除错误匹配。货架图像到模板图像的对齐按顺序分为三个步骤：

-变换1：货架图像原左上角的像素点记为原点，将货架图像原点移动到匹配上的货架图像中特征点集的包围盒中心；

-变换2：用仿射矩阵进行变换，对所有货架图像上的像素点坐标进行变换，得到在以模板图像商标区域中特征点集的包围盒中心为原点的坐标系下的坐标；

-变换3：变换后将货架图像的原点移动回模板图像左上角的像素点。

实际变换时利用矩阵乘法将三个变换组合成单个变换矩阵，对货架图像每个像素完成变换。货架图像中一个商品与待检测商品潘婷2的模板图像的对齐结果如图6所示。

再根据待检测商品的模板图像中的有效区域大小，裁剪对齐后的货架图像中相应区域内容，得到单个商品图像，如图7所示。

4)对3)中生成的单个物体图像，使用深度学习的分类网络对其进行分类。

预先离线完成分类网络模型VGG-16的训练，训练样本由待检测的商品拍摄一定数量的样本照片，再经过裁剪、调整亮度、旋转、增加模糊来扩充，每一种待检测商品为一类。对每张单个物体图像，经过训练好的分类网络模型计算，输出预测类别及分数。

5)根据货架图像的各单个商品图像进行处理，构建货架图像中的商品区域，将属于同一商品区域的单个商品图像合并为一组。对于每个商品模板图像，利用在步骤3)中对货架图像进行对齐时用到的变换矩阵的逆矩阵，将模板图像的矩形有效图案区域的四个角进行变换，得到在货架图像上的坐标，求它们围成的四边形的包围盒，得到单个商品图像在货架图像上对应的包围盒。然后计算单个商品图像在货架图像上对应的包围盒与货架图像上其他单个商品图像对应的包围盒之间的重叠，若大于阈值，则认为两个单个商品图像属于货架图像中的同一商品区域；否则认为两个单个商品图像不属于货架图像中的同一商品区域。最后将属于货架图像中的同一商品区域的所有单个商品图像合并为一组，单个商品图像按对应的包围盒重叠大小合并后的结果如图8所示，其中不同商品区域用不同颜色表示。

6)每个商品所有区域对应的单个物体图像经过步骤4)后都得到了预测分类类别与分数，用所有分类结果投票，票数最多的类别作为该区域的最终类别，最终类别下分数最高的单个物体图像对应货架图像中的包围盒为该物体在货架图像中的位置。依次处理每个商品区域，得到整幅货架图像上的所有检测结果位置与类别。图9所示即为一张货架图像上所有检测到的潘婷2产品。

本实施例经过对324张货架图像检测潘婷3个系列与飘柔2个系列的洗发水，获得的检测召回率与精度达到95％以上。