一种货架缺货智能检测装置及其检测方法

摘要

本发明公开了一种货架缺货智能检测装置及其检测方法。现有的货架缺货情况的采集主要通过人工进行，效率低下，且成本较高。本发明一种货架缺货检测装置，包括移动拍照机器人、服务器和响应器。服务器与响应器连接。移动拍照机器人与服务器无线通信。移动拍照机器人包括移动平台、激光扫描测距雷达、升降平台、旋转平台、俯仰调节机构和摄像机。升降平台设置在移动平台上。旋转平台设置在升降平台上。俯仰调节机构设置在旋转平台上。俯仰调节机构包括安装架和舵机。安装架固定在旋转盘上。摄像机与安装架构成转动副。摄像机由舵机驱动翻转。本发明能够通过单个摄像机即可获取快速获取货架商品信息，不需要大量的劳动力，且能及时更新商品信息。

说明书

技术领域

本发明属于计算机视觉技术领域和智能移动技术领域，具体涉及一种货架缺货智能检测装置及其方法。

背景技术

随着我国零售业经济的不断平稳发展，大型超市规模的不断扩大，同时也产生了货架商品管理的难题。阿里巴巴提出的“无人超市”，更是提高了货架商品管理智能化的需求。传统超市管理主要依靠人力，货架商品管理需要大量的劳动力；“无人超市”主要基于射频识别(FRID)方案，可以完成基本的智能管理，如智能收银，但货架商品缺货检测仍没有相应的智能处理方案。现有的专利大都基于扫描含有货物信息的条码进行识别，是一种间接识别的方法，实际应用中操作繁琐。因此，需要研究及设计一种货架缺货智能检测装置及其方法。

发明内容

本发明的目的在于提供一种货架缺货智能检测装置及其检测方法。

本发明一种货架缺货检测装置，包括移动拍照机器人、服务器和响应器。所述的服务器与响应器连接。所述的移动拍照机器人与服务器无线通信。所述的移动拍照机器人包括移动平台、激光扫描测距雷达、升降平台、旋转平台、俯仰调节机构和摄像机。所述的升降平台设置在移动平台上。旋转平台设置在升降平台上。俯仰调节机构设置在旋转平台上。所述的激光扫描测距雷达安装在移动平台的顶部。所述的升降平台包括升降底座、升降驱动机构和升降盘。升降底座间隔固定在底盘上。升降底座与升降盘通过升降驱动机构连接。升降底座固定在移动平台上。

所述的旋转平台包括旋转底座、旋转盘和旋转电机。旋转底座固定在升降盘上。旋转盘设置在旋转底座的顶部，且与旋转底座构成转动副。旋转盘由旋转电机驱动。所述的俯仰调节机构包括安装架和舵机。安装架固定在旋转盘上。摄像机与安装架构成公共轴线水平设置的转动副。摄像机由舵机驱动翻转。

进一步地，所述的升降驱动机构包括升降电机、丝杠、滑块、第三连接轴、第四连接轴和两个叉剪单元。所述的叉剪单元包括第一连杆、第二连杆、第三连杆、第四连杆、第一连接轴和第二连接轴。所述第一连杆的中部与第二连杆的中部铰接。所述第三连杆的中部与第四连杆的中部铰接。第一连杆、第三连杆的顶端与第一连接轴的两端分别构成转动副。第二连杆、第四连杆的顶端与第二连接轴的两端分别构成转动副。

两个叉剪单元上下排列。位于上方的叉剪单元的第二连杆、第四连杆的底端与位于下方的叉剪单元的第一连杆、第三连杆的顶端通过位于下方的叉剪单元内第一连接轴的两端分别铰接。位于上方的叉剪单元的第一连杆、第三连杆的底端与位于下方的叉剪单元的第二连杆、第四连杆的顶端通过位于下方的叉剪单元内第二连接轴的两端分别铰接。位于下方的叉剪单元内第二连杆、第四连杆的底端与第三连接轴的两端分别构成转动副。第一连杆、第三连杆的底端与第四连接轴的两端分别构成转动副。第三连接轴的两端均支承在升降底座上。第四连接轴的两端分别伸入升降底座上开设的两个第一滑槽内。位于上方的叉剪单元内第一连接轴的两端均支承在升降盘上，第二连接轴的两端分别伸入升降盘上开设的两个第二滑槽内。

水平设置的丝杠支承在升降底座上。滑块与第四连接轴的中部固定。固定在滑块上的螺母与丝杠构成螺旋副。丝杠由升降电机驱动。

进一步地，所述的移动平台采用深圳玩智商科技有限公司生产的型号为EAIBOTSSD的移动平台。

进一步地，所述的移动平台包括底盘、行进轮、万向轮和行进电机。两个同轴设置的行进轮分别支承在底盘的两侧。两个行进电机固定在底盘的底部，且输出轴与两个行进轮分别固定。万向轮安装在底盘底部。

进一步地，所述的服务器采用PC端。所述的响应器采用扬声器。

进一步地，所述激光扫描测距雷达的型号为YDLIDAR G4。

进一步地，所述的旋转电机固定在旋转底座内，且输出轴与旋转盘固定。所述的舵机固定在安装架上，且输出轴与摄像机固定。

该货架缺货智能检测装置的检测方法具体如下：

步骤一、对依次排列的n个货架依次排序并编号，并将n个货架的编号、高度、应摆放商品种类相匹配并导入服务器。

步骤二、i＝1,2,…,n，依次执行步骤三和四。

步骤三、建立移动拍照机器人检测第i个货架时，摄像机的仰角θ_i、升降底座与升降盘的间距h_i、摄像机的镜头与第i个货架的间距L_i、第一个货架的高度S_i之间的关系如式(1)、(2)、(3)、(4)、(5)、(6)所示。

α_i＝90°-γ_i-θ_i(4)

α_i＝β_i+θ_i(5)

其中，为摄像机的自然视角；H为升降底座顶面、地面等间距与升降盘底面到摄像机镜头的间距之和；β_i、γ_i、α_i均为中间变量。

步骤四、联立式(1)、式(2)、式(3)、式(4)、式(5)和式(6)，求出θ_i、h_i、L_i。

步骤五、若n个货架为单排货架则通过方案一拍摄n个货架上商品的照片。若n个货架为单排货架则通过方案二拍摄n个货架上商品的照片。

方案一：

步骤5.1、将1赋值给i；进入步骤5.2。

步骤5.2、移动拍照机器人行进到第i个货架装有货物的一侧，且与第i个货架的一端对齐，使得摄像机朝向第i个货架。

步骤5.3、移动平台移动，使得摄像机的镜头与第i个货架的间距等于L_i；俯仰调节机构将摄像机的仰角调节为θ_i；升降平台运动，将升降底座与升降盘的间距调节为h_i。摄像机拍摄一张照片并加入第i照片组。

步骤5.4、若摄像机已拍摄完成第i个货架的所有图像，则进入步骤5.5；否则，移动拍照机器人正向行进z_i距离后执行步骤5.3；z_i＝S_i·e；e为摄像机所拍得照片的长宽比。

步骤5.5、若i小于n，则将i增大1，并执行步骤5.2至步骤5.4；否则，进入步骤六。

方案二：

步骤5.1、移动拍照机器人行进到第一个货架远离第二个货架的一侧，且与第一个货架的一端对齐，使得摄像机朝向第一个货架。移动平台移动，使得摄像机的镜头与第一个货架的间距等于L₁；俯仰调节机构将将摄像机的仰角调节为θ₁，升降平台将升降底座与升降盘的间距调节为h₁；摄像机拍摄一张照片并加入第一照片组。之后进入步骤5.2。

步骤5.2、若摄像机已拍摄完成第一个货架远离第二个货架的侧面所有图像，则进入步骤5.3，否则，移动拍照机器人正向行进z₁距离后执行步骤5.1；z₁＝S₁·e；e为摄像机所拍得照片的长宽比。

步骤5.3、将1赋值给i；进入步骤5.4。

步骤5.4、移动拍照机器人行进到第i个货架与第i+1个货架之间，且与第i个货架的一端对齐，使得摄像机朝向第i个货架。

步骤5.5、移动平台移动，使得摄像机的镜头与第i个货架的间距等于L_i；俯仰调节机构将摄像机的仰角调节为θ_i；升降平台运动，将升降底座与升降盘的间距调节为h_i。摄像机拍摄一张照片并加入第i照片组。进入步骤5.6。

步骤5.6、若摄像机已拍摄完成第i个货架朝向第i+1个货架的侧面的所有图像，则进入步骤5.7；否则，移动拍照机器人正向行进z_i距离后执行步骤5.3；z_i＝S_i·e。

步骤5.7、旋转盘转动180°。移动平台移动，使得摄像机的镜头与第i+1个货架的间距等于L_i+1；俯仰调节机构将摄像机的仰角调节为θ_i+1；升降平台运动，将升降底座与升降盘的间距调节为h_i+1。摄像机拍摄一张照片并加入第i+1照片组。进入步骤5.8。

步骤5.8、若摄像机已拍摄完成第i+1个货架朝向第i个货架的侧面的所有图像，则进入步骤5.9；否则，移动拍照机器人反向行进z_i+1距离后执行步骤5.7；z_i+1＝S_i+1·e。

步骤5.9、若i小于n-1，则将i增大1，并执行步骤5.4至步骤5.8；否则，进入步骤5.10。

步骤5.10、移动拍照机器人行进到第n个货架远离第n-1个货架的一侧，且与第n个货架的一端对齐，使得摄像机朝向第n个货架。移动平台移动，使得摄像机的镜头与第n个货架的间距等于L_n；俯仰调节机构将将摄像机的仰角调节为θ_n，升降平台将升降底座与升降盘的间距调节为h_n；摄像机拍摄一张照片并加入第n照片组。进入步骤5.11。

步骤5.11、若摄像机已拍摄完成第n个货架远离第n-1个货架的侧面所有图像，则进入步骤六，否则，移动拍照机器人正向行进z_n距离后执行步骤5.1；z_n＝S_n·e。

步骤六、i＝1,2,…,n，依次执行步骤七。

步骤七、服务器识别第i照片组的照片中的商品种类，并与第i个货架上的应摆放商品种类进行对比。

若第i照片组的照片中存在不属于第i个货架上的应摆放商品种类的商品种类，则判断第i个货架存在放货错误的情况，响应器提示工作人员去除第i个货架上的错误商品种类。

若第i个货架上的应摆放商品种类中存在第i照片组的照片中无法找到的商品种类，则判断第i个货架存在缺货，响应器提示工作人员为第i个货架补货。

若第i照片组的照片中的商品种类均为第i个货架上的应摆放商品种类，且第i照片组的照片中的商品种类数量等于第i个货架上的应摆放商品种类，则判断第i个货架上的货物正常。

进一步地，步骤七中服务器识别照片上商品种类的方法如下：

7.1、用n个货架上应摆放商品的图片对卷积神经网络进行训练，得到商品检测模型。

7.2、通过CANNY边缘检测算法获取的垂直投影直方图对摄像机8拍摄的照片按照货架的分层进行逐层分割，得到单层商品图像。

7.3、通过BRISK特征提取算法分别对步骤7.2得到的多张单层商品图像进行分割，得到多个商品图像块。

7.4、将所有商品图像块分别导入步骤7.1得到的商品检测模型，得到各商品图像块内商品的种类。

进一步地，所述的卷积神经网络采用FAST-R-CNN。

本发明具有的有益效果是：

1、本发明能够通过单个摄像机即可获取快速获取货架商品信息，不需要大量的劳动力，且能及时更新商品信息。

2、本发明能够根据货柜的高度调节摄像机的俯仰角、高度以及与货柜的间距，从而在保证拍摄到所有货柜上所有商品的同时，尽可能地让图片上的商品更加清晰。

3、本发明中应用了计算机视觉技术，加快了对货架商品的信息获取。

4、本发明的移动拍照机器人可移动、升降和旋转，设计灵活，可以满足不同场景的拍照要求。

附图说明

图1为本发明的整体结构示意图；

图2为本发明中移动拍照机器人的结构示意图；

图3为本发明计算拍照机器人与货柜相对位置的第一张示意图；

图4为本发明计算拍照机器人与货柜相对位置的第二张示意图。

具体实施方式

以下结合附图对本发明作进一步说明。

如图1和2所示，一种货架缺货检测装置，包括移动拍照机器人2、服务器3和响应器4。该货架缺货检测装置针对的货架1尺寸为2000mm×1200mm×500mm。服务器3采用PC端。响应器4采用扬声器。服务器3与响应器4连接。移动拍照机器人2包括移动平台5、激光扫描测距雷达9、升降平台6、旋转平台7、俯仰调节机构、摄像机8和控制模块。控制模块与服务器3无线通信。

所述的移动平台采用深圳玩智商科技有限公司生产的型号为EAIBOT SSD1的移动平台，该平台采用模块化硬件设计，拥有建立地图、定位导航和安全避障等功能，另外，还提供外扩硬件支持，易于软硬件集成。移动平台5包括底盘、行进轮、万向轮和行进电机。两个同轴设置的行进轮分别支承在底盘的两侧。两个行进电机固定在底盘的底部，且输出轴与两个行进轮分别固定。万向轮安装在底盘底部。激光扫描测距雷达9安装在底盘的顶面。控制模块设置在底盘内。激光扫描测距雷达可360°转向，采用三角测距原理。激光扫描测距雷达的型号为YDLIDAR G4。

升降平台6包括升降底座、升降驱动机构和升降盘。升降底座间隔固定在底盘上(即激光扫描测距雷达9位于升降底座与底盘之间)。升降驱动机构包括升降电机、丝杠、滑块、第三连接轴、第四连接轴和两个叉剪单元。叉剪单元包括第一连杆、第二连杆、第三连杆、第四连杆、第一连接轴和第二连接轴。第一连杆的中部与第二连杆的中部铰接。第三连杆的中部与第四连杆的中部铰接。第一连杆、第三连杆的顶端与第一连接轴的两端分别构成转动副。第二连杆、第四连杆的顶端与第二连接轴的两端分别构成转动副。

两个叉剪单元上下排列。位于上方的叉剪单元的第二连杆、第四连杆的底端与位于下方的叉剪单元的第一连杆、第三连杆的顶端通过位于下方的叉剪单元内第一连接轴的两端分别铰接。位于上方的叉剪单元的第一连杆、第三连杆的底端与位于下方的叉剪单元的第二连杆、第四连杆的顶端通过位于下方的叉剪单元内第二连接轴的两端分别铰接。位于下方的叉剪单元内第二连杆、第四连杆的底端与第三连接轴的两端分别构成转动副。第一连杆、第三连杆的底端与第四连接轴的两端分别构成转动副。第三连接轴的两端均支承在升降底座上。第四连接轴的两端分别伸入升降底座上开设的两个第一滑槽内。位于上方的叉剪单元内第一连接轴的两端均支承在升降盘上，第二连接轴的两端分别伸入升降盘上开设的两个第二滑槽内。

水平设置的丝杠支承在升降底座上。滑块与第四连接轴的中部固定。固定在滑块上的螺母与丝杠构成螺旋副。升降电机固定在升降底座上，且输出轴与丝杠的一端固定。

旋转平台7包括旋转底座、旋转盘和旋转电机。旋转底座固定在升降盘上。旋转盘设置在旋转底座的顶部，且与旋转底座构成公共轴线竖直设置的转动副。旋转电机固定在旋转底座内，且输出轴与旋转盘固定。

俯仰调节机构包括安装架和舵机。安装架固定在旋转盘上。摄像机8与安装架构成公共轴线水平设置的转动副。舵机固定在安装架上，且输出轴与摄像机8固定。

该货架缺货智能检测装置的检测方法具体如下：

步骤一、对依次排列的n个货架依次排序并编号，并将n个货架的编号、长度、高度、应摆放商品种类、与相邻货架的间距相匹配并导入服务器。

步骤二、i＝1,2,…,n，依次执行步骤三和四。

步骤三、如图3和4所示，建立移动拍照机器人2检测第i个货架时，摄像机8的仰角θ_i、升降底座与升降盘的间距h_i、摄像机8的镜头与第i个货架的间距L_i、第一个货架的高度S_i之间的关系如式(1)、(2)、(3)、(4)、(5)、(6)所示。

α_i＝90°-γ_i-θ_i(4)

α_i＝β_i+θ_i(5)

其中，为摄像机8的自然视角(即张角，为已知量)；H为升降底座顶面、地面等间距与升降盘底面到摄像机8镜头的间距之和(为已知量，使得摄像机8的镜头与地面的间距等于H+h_i)；β_i、γ_i、α_i均为中间变量，解方程的过程中能够被约去；β_i表示摄像机8视角的上边界线与货柜侧面的夹角；γ_i为摄像机8视角的下边界线与水平面的夹角。α_i为摄像机8视角的上边界线与辅助特征线的夹角；辅助特征线与摄像机8视角的角平分线共面垂直，且经过摄像机8视角的上边界线与货柜侧面的交点。由于辅助特征线与摄像机8视角的角平分线共面垂直，且货柜侧面为垂直于辅助特征线、摄像机8视角的角平分线所成平面的竖直平面，故辅助特征线与货柜侧面的夹角等于摄像机8的仰角θ_i。

步骤四、联立式(1)、式(2)、式(3)、式(4)、式(5)和式(6)，求出θ_i、h_i、L_i。

步骤五、若n个货架为单排货架则通过方案一拍摄n个货架上商品的照片。若n个货架为单排货架则通过方案二拍摄n个货架上商品的照片。

方案一(对应单排货架)：

步骤5.1、将1赋值给i；进入步骤5.2。

步骤5.2、移动拍照机器人2行进到第i个货架装有货物的一侧，且与第i个货架的一端对齐(移动拍照机器人2正向移动时，移动拍照机器人2向第一个货架的另一端行进)，使得摄像机8朝向第i个货架。

步骤5.3、移动平台5移动，使得摄像机8的镜头与第i个货架的间距等于L_i；俯仰调节机构将摄像机8的仰角调节为θ_i；升降平台6运动，将升降底座与升降盘的间距调节为h_i。此时，摄像机8视角的上边界线穿过第i个货架的顶部，下边界线穿过第i个货架的底部，使得摄像机8所所拍出的图像在包括第一个货架上所有置物层的同时，第i个货架上的货物在图像中尽可能的显示清楚。摄像机8拍摄一张照片并加入第i照片组。

步骤5.4、若摄像机8已拍摄完成第i个货架的所有图像，则进入步骤5.5；否则，移动拍照机器人2正向行进z_i距离后执行步骤5.3；z_i＝S_i·e；e为摄像机8所拍得照片的长宽比。

步骤5.5、若i小于n，则将i增大1，并执行步骤5.2至步骤5.4；否则，进入步骤六。

方案二(对应双排货架)：

步骤5.1、移动拍照机器人2行进到第一个货架远离第二个货架的一侧，且与第一个货架的一端对齐，使得摄像机8朝向第一个货架。移动平台5移动，使得摄像机8的镜头与第一个货架的间距等于L₁；俯仰调节机构将将摄像机8的仰角调节为θ₁，升降平台6将升降底座与升降盘的间距调节为h₁；摄像机8拍摄一张照片并加入第一照片组。之后进入步骤5.2。

步骤5.2、若摄像机8已拍摄完成第一个货架远离第二个货架的侧面所有图像，则进入步骤5.3，否则，移动拍照机器人2正向行进z₁距离后执行步骤5.1；z₁＝S₁·e；e为摄像机8所拍得照片的长宽比。

步骤5.3、将1赋值给i；进入步骤5.4。

步骤5.4、移动拍照机器人2行进到第i个货架与第i+1个货架之间，且与第i个货架的一端对齐，使得摄像机8朝向第i个货架。

步骤5.5、移动平台5移动，使得摄像机8的镜头与第i个货架的间距等于L_i；俯仰调节机构将摄像机8的仰角调节为θ_i；升降平台6运动，将升降底座与升降盘的间距调节为h_i。摄像机8拍摄一张照片并加入第i照片组。进入步骤5.6。

步骤5.6、若摄像机8已拍摄完成第i个货架朝向第i+1个货架的侧面的所有图像，则进入步骤5.7；否则，移动拍照机器人2正向行进z_i距离后执行步骤5.3；z_i＝S_i·e。

步骤5.7、旋转盘转动180°，使得摄像机8朝向第i+1个货架。移动平台5移动，使得摄像机8的镜头与第i+1个货架的间距等于L_i+1；俯仰调节机构将摄像机8的仰角调节为θ_i+1；升降平台6运动，将升降底座与升降盘的间距调节为h_i+1。摄像机8拍摄一张照片并加入第i+1照片组。进入步骤5.8。

步骤5.8、若摄像机8已拍摄完成第i+1个货架朝向第i个货架的侧面的所有图像，则进入步骤5.9；否则，移动拍照机器人2反向行进z_i+1距离后执行步骤5.7；z_i+1＝S_i+1·e。

步骤5.9、若i小于n-1，则将i增大1，并执行步骤5.4至步骤5.8；否则，进入步骤5.10。

步骤5.10、移动拍照机器人2行进到第n个货架远离第n-1个货架的一侧，且与第n个货架的一端对齐，使得摄像机8朝向第n个货架。移动平台5移动，使得摄像机8的镜头与第n个货架的间距等于L_n；俯仰调节机构将将摄像机8的仰角调节为θ_n，升降平台6将升降底座与升降盘的间距调节为h_n；摄像机8拍摄一张照片并加入第n照片组。进入步骤5.11。

步骤5.11、若摄像机8已拍摄完成第n个货架远离第n-1个货架的侧面所有图像，则进入步骤六，否则，移动拍照机器人2正向行进z_n距离后执行步骤5.1；z_n＝S_n·e。

步骤六、i＝1,2,…,n，依次执行步骤七。

步骤七、服务器识别第i照片组的照片中的商品种类，并与第i个货架上的应摆放商品种类进行对比。

若第i照片组的照片中存在不属于第i个货架上的应摆放商品种类的商品种类，则判断第i个货架存在放货错误的情况，响应器4提示工作人员去除第i个货架上的错误商品种类。

若第i个货架上的应摆放商品种类中存在第i照片组的照片中无法找到的商品种类，则判断第i个货架存在缺货，响应器4提示工作人员为第i个货架补货。放货错误与缺货的情况若同时出现，则同时提示工作人员。

若第i照片组的照片中的商品种类均为第i个货架上的应摆放商品种类，且第i照片组的照片中的商品种类数量等于第i个货架上的应摆放商品种类，则判断第i个货架上的货物正常。

步骤七中服务器识别照片上商品种类的方法如下：

7.1、用n个货架上应摆放商品的图片对卷积神经网络进行训练，得到商品检测模型。卷积神经网络采用FAST-R-CNN(基于区域的快速卷积网络)。

7.2、通过CANNY边缘检测算法获取的垂直投影直方图对摄像机8拍摄的照片按照货架的分层进行逐层分割，得到单层商品图像。

7.3、通过BRISK特征提取算法分别对步骤7.2得到的多张单层商品图像进行分割，得到多个商品图像块，每个商品图像块中均包含完整的商品图像。

7.4、将所有商品图像块分别导入步骤7.1得到的商品检测模型，得到各商品图像块内商品的种类。