一种大型仓库中基于无人机的货物精确盘点方法及系统

摘要

本发明公开了一种大型仓库中基于无人机的货物精确盘点方法及系统，利用无人机进行货物盘点，方法步骤包括：(1)二维码标识；(2)路径规划；(3)自动巡逻；(4)图像数据回传；(5)图像处理；(6)货物信息统计；(7)盘点比对；本发明使用无人机在仓库进行自动巡逻，统计货物库存并实施库存信息的比对和盘点。该方法不仅自动化程度高，且盘点精确度可达到厘米级别，实现了大型仓库中货物的精确库存盘点，减轻了盘点过程中的人力负担，提高了企业生产力。

说明书

技术领域

本发明属于仓储自动化领域，尤其涉及一种大型仓库中基于无人机的货物精确盘点方法及系统。

背景技术

现代仓储业中，货物库存盘点是企业为保证货物完整，定期或不定期地对库存实物进行清查核对是仓库的一项重要管理制度，是保护财产安全，保证帐实相符的必要措施。

然而，随着物流仓储行业的快速发展，仓库规模越来越大,传统的盘点方式费时,费力,效率低下,已严重影响了企业的生产效率。另外，大型仓库中多放置有高度在五米以上的高位货架，难以通过人工手持PDA等设备进行细粒度的库存盘点。在此种情况下，如何利用自动化的技术实施货物的精确盘点，在保障正确率的同时，减轻盘点过程中的人力负担，提高企业生产力，是本领域技术人员亟待解决的一个问题。

目前已有许多仓库盘点解决方案，但均不足以满足大型仓库中精确货物盘点的需求：

(1)手持PDA：手持PDA虽然减少了货物信息处理阶段的人力投入，但是在货物分拣阶段依然高度依赖人工操作，盘点效率低下，且极易发生漏检、误检错误。此外，大型仓库中，盘点人员需要借助扶梯等工具清点高处货物，易发生事故；

(2)无人机手动操控：按国家规定，无人机操作员需要有无人机驾驶资格证，提高了人力成本。另外，仓库环境复杂，遮挡物多，光线不足，无法接收GPS信号进行定位，因而无人机的飞行条件非常恶劣，存在较大的安全隐患；

(3)无人机自动巡逻：现有自动巡逻方案多结合RFID标签进行盘点。在货物体积较小，无人机防碰撞距离较大的前提下，实现货物精确盘点依赖RFID超高频标签。而无源超高频RFID标签技术目前尚存在读写不稳定，系统集成稳定性差等缺点，且超高频标签成本高。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于无人机的大型仓库货物库存精确盘点方法及系统，解决大型仓库中盘点效率低、错误率高、粒度粗的问题，实现按货箱盘点功能，精度达到厘米级。

本发明采取以下方案，一种大型仓库中基于无人机的货物精确盘点方法，使用无人机在仓库进行自动巡逻，实时拍摄货物二维码标签并回传后，利用图像处理与识别技术，统计货物库存，并在后台实施货物库存信息的比对和盘点，不仅自动化程度高，且精确度可达到厘米级别，从而实现了大型仓库中货物的精确库存盘点。

实现为：

(1)二维码标识：

货箱入库时，统一制作二维码识别码图，作为唯一标识与货箱绑定；所述二维码图中存储有货箱唯一编号、货物类别、放置货架信息、货箱入库的时间信息；

(2)路径规划：

根据仓库环境信息，计算得出无人机飞行空间和悬停拍摄点，规划无人机的路径；所述仓库环境信息包括仓库大小、货架位置分布、货物摆放密度、光照强度和其他障碍物信息；

(3)自动巡逻：

根据步骤(2)规划的所述无人机的路径，使无人机接收巡逻指令，按照规划路径巡逻，并在指定悬停位置对步骤(1)中所述货箱上的二维码图进行拍摄，得到悬停拍摄的图像；

(4)图像数据回传：

无人机将步骤(3)中悬停拍摄的图像实时回传至图像处理服务器；

(5)图像预处理：

图像处理服务器实时监听所述无人机悬停拍摄的图像的请求，然后对所述图像进行预处理操作，提取单个二维码，并发送给货物盘点服务器；

(6)货物信息统计：

货物盘点服务器接收所得二维码，然后识别二维码中存储的货箱唯一编号、货物类别、放置货架信息、货箱入库的时间信息，并将货物信息按类别统计去重后，存入数据库；

(7)盘点比对：

当无人机结束一轮巡逻后，货物盘点服务器将货物分类实盘结果与各类别货物账面清单分别进行自动化比对，从而定位大型仓库中存在的货物缺漏、货箱错位问题，实现货物库存信息的盘点流程。

所述步骤(2)中，路径规划具体过程如下：

(21)仓库布局规划：首先在尽可能利用仓库空间的前提下，提供无人机安全飞行环境，设计仓库布局需求，仓库布局需求具体包括：货架平行放置，且货架与货架之间的通道宽度W_通道不小于2米；货架高度H_货架低于仓库高度至少1米；货架长度L_货架小于仓库长度，且货架两端至与墙壁保持1米的距离，以保证无人机与障碍物即货架与墙壁的相对位置处于安全距离，靠墙一侧放置单排货架，其余空间内放置双排货架；测量货架上的货物长度为L_货物米，宽度为W_货物米，高度为H_货物厘米；

(22)飞行轨迹规划：在满足步骤(21)所述仓库布局规划的基础上，无人机在货架间的飞行空间由N条在竖直方向上保持平行的飞行轨迹构成，N>＝3*H_货架/H_货物，N手动设置，N的值越大，无人机实施拍摄的冗余度越大，开销越高，盘点正确率也越高；

(23)悬停位置规划：在步骤(22)中所述飞行轨迹的基础上，计算无人机的拍摄悬停点，计算具体包括：在单条轨迹上，无人机每隔D＝L_货物米，进行一次拍照任务，初次拍照点距离轨迹起始点L_货物/2米，总共拍摄L_货架/L_货物次，在轨迹终点时，无人机旋转180度，以对通道另一侧的货物进行拍摄。

所述步骤(22)具体包括：单个飞行轨迹由飞行高度H_飞行和与货架的距离X确定，飞行高度H_飞行＝H_货架/(N+1),2H_货架/(N+1),…,NH_货架/(N+1)，无人机在飞行时每个轨迹往返飞行一次，然后升/降进入下一条轨迹。当无人机在该通道内的飞行任务完成后，从货架上方越过，进入下一个通道，按照上述飞行轨迹的路线继续飞行任务；在巡逻过程中，无人机与货架的距离X始终保持在0.9-1.1米，以保证拍摄效果和飞行安全。

所述步骤(3)中所述自动巡逻时，通过无人机的飞行控制实现，在无人机的机体坐标系上，利用姿态控制函数，将无人机机身水平旋转的角度通过正、负速度分别表示为顺时针和逆时针旋转；无人机机身纵向垂直旋转的角度通过正、负速度分别表示为机头上下摆动；无人机机身横向旋转的角度通过正、负角速度分别表示机翼上下摆动的角度；无人机在垂直方向上的升降分别用正、负垂直速度表示；同时室内无法接收GPS信号，无人机通过视觉定位系统进行辅助定位和避障。

所述步骤(3)中所述自动巡逻时：在极端情况下切换为操作员手动遥控。

所述步骤(4)中，所述图像预处理，是从图像的复杂背景中分离出单个二维码，步骤包括：

(41)灰度化：将拍摄图像由RGB三色转为灰度图，去除图像多余的色彩信息，从而加快后续处理运算速度；

(42)二值化：将所得灰度图像进行二值化处理，通过自适应阈值，将图像像素点的灰度值设为0或255，从而提取出图像中的关键信息；

(43)开运算：将所得二值化图像进行开运算处理，从而消除图像中的小物体,并平滑较大物体的边缘；

(44)轮廓筛选：对开运算操作后的图像进行连通域标记，获得图像中所有连通轮廓，然后筛选出所有长、宽符合条件的方形轮廓，并记录轮廓的横纵坐标；

(45)定位二维码：根据轮廓坐标，计算是否有轮廓满足二维码中三个定位矩形的相对位置条件，若满足条件则定位二维码；

(46)提取二维码：根据二维码定位坐标，将二维码从原图中分割出来。

所述步骤(6)中，货物盘点服务器接收来自图像处理服务器提取的二维码，进行货物信息统计和纠错的具体步骤如下：

(61)信息提取：对传入的二维码进行识别，得到对应货箱的唯一编号ID、货物类别CA、放置货架位置ADR、货箱入库时间TS的信息；

(62)信息入库：记录从二维码中提取出的货物信息ID、CA、ADR、TS，其中ID表示货物的唯一编号，CA表示货物所属类别，ADR表示所放置货架的位置、TS表示货箱入库时间，然后依据货物类别CA，将该货箱对应的信息按CA所示类别分类记录，所述对应的信息包括货物的唯一编号、所放置货架的位置、货箱入库时间；

(63)信息去重：巡逻过程中，存在设置飞行轨迹条数N>H_货架/H_货物,导致货箱二维码被无人机重复拍摄，根据货物的唯一编号ID对存入信息去重，再将分类记录存入对应类别的实盘数据库。

所述步骤(7)中，当无人机结束一轮巡逻后，盘点步骤具体包括：

(71)总量级盘点：总量级盘点旨在对货物总数目进行盘点，得知货物缺漏数量，具体包括：首先统计货物各分类的实盘结果R＝R_CA1+R_CA2+R_CA3+…,并与账面清单的统计结果T＝T_CA1+T_CA2+T_CA3+…进行比对，然后计算两者统计结果的差异值Dif＝T-R，所得Dif即为货物缺漏数量；

(72)货箱级盘点：当总量级盘点结果Dif>0，表明货物存在缺漏，此时实施货箱级盘点，旨在定位已缺漏货物的ID编号；货箱级盘点过程采用哈希表HASH作为实施查询的临时数据结构，首先，遍历实盘结果，并在遍历过程中，将每条记录的货物ID值作为键存入Hash表；然后，遍历账面清单，并在遍历过程中，查询每条记录的货物ID是否存在为Hash表的键，若没有，则将该ID对应的货物标记为缺漏货物。

本发明的一种大型仓库中基于无人机的货物精确盘点系统，包括：飞行控制模块、图像处理模块和货物盘点模块，其中：

飞行控制子系统，控制无人机的飞行和拍摄过程，包括机上模块和终端模块；机上模块：依赖无人机厂商提供的控制接口，实现无人机在仓库中的自动巡逻和悬停拍照；终端模块：基于Android系统，向用户提供规划功能，控制机上模块的飞行路径和拍摄(盘点)精度；飞行路线参数设定，悬停点参数设定，无人机摄像头参数设定功能，所述飞行路线参数包括无人机飞行高度(包括多个轨道高度值)、往返次数、飞行起始点和重点，避障距离；悬停点参数包括悬停间隔距离、悬停最大时延；摄像头参数包括摄像头工作模式(定焦/自动对焦)、快门速度、拍摄云台角度、曝光度；

图像处理子系统：从飞行控制子系统在巡逻过程中实时回传的拍摄图像中提取出所包含的二维码图，包含图像预处理模块和二维码处理模块；图像预处理模块：通过设计和实现灰度化、二值化、开运算算法，去除无人机回传图像中多余的色彩信息，然后将图像像素点的灰度值设为0或255，提取出图像中的关键信息，并消除图像中的小物体,平滑较大物体的边缘，得到优化处理后的图像；二维码处理模块：通过设计和实现二维码的定位、切割和识别方法，将预处理后图中所包含的二维码的信息提取出来；

货物盘点子系统：读取图像处理子系统回传的二维码中存储的货物信息，并对货物信息实施记录和盘点。

所述图像预处理模块具体包括：

(1)灰度化设计与实现：

摄像头采集到的图像是RGB格式的彩色图像，由红绿蓝三种基本颜色按照一定的比例混合得到，每一种颜色分量有256个灰度级，彩色图像包含了大量识别过程中不需要的色彩信息，因此将彩色图像转换成灰度图像，减少存储开销和后续图像处理的计算量。

假设灰度图像中灰度值用Y表示，彩色图像各分量的灰度值分别为R、G、B，最终得到灰度化后的灰度值Y＝0.30R+0.59G+0.11B；

(2)二值化算法设计与实现：

灰度化后的图像仍包括目标物体、背景还有噪声。为了从多值的数字图像中直接提取出目标物体，根据图像上的每一个小区域，计算与其对应的阈值T，用T将该区域数据分成两部分：大于阈值T的像素点的灰度值均设定为最大值，8位灰度值最大为255，小于阈值T的像素点的灰度值均设定为0。最终得到像素点均为0或255的二值化图像；

(3)开运算算法设计与实现：

第一步使目标区域范围变小，图像的边界收缩，消除小且无意义的目标物，此过程称之为腐蚀，采用3*3的自定义结构B腐蚀A，即当B的原点平移到图像A的像元(x,y)时，如果B在(x,y)处，完全被包含在图像A重叠的区域，即B中为1的元素位置上对应的A图像值全部也为1，则将输出图像对应的像元(x,y)赋值为1，否则赋值为0。

过程可表示为：

第二步使目标区域范围变大，将与目标区域接触的背景点合并到该目标物中，边界向外部扩张，填补目标区域中的空洞以及消除包含在目标区域中的小颗粒噪声，此过程称之为膨胀，采用3*3的自定义结构B膨胀A，即当结构元素B的原点平移到图像像元(x,y)位置，如果B在图像像元(x,y)处与A的交集不为空(也就是B中为1的元素位置上对应A的图像值至少有一个为1)，则输出图像对应的像元(x,y)赋值为1，否则赋值为0。

所述二维码处理模块具体步骤包括：

(1)二维码定位：首先获取图像中所有连通轮廓，然后筛选出长、宽符合条件的方形轮廓，记录轮廓的横纵坐标；然后查询是否存在轮廓L1(x1,y1,h1,w1)、L2(x2,y2,h2,w2)、L3(x3,y3,h3,w3)，其中x表示轮廓的左上角横坐标，y表示轮廓的左上角纵坐标，h表示轮廓高度，w表示轮廓长度，定义Δ表示偏离值，则判断轮廓是否满足二维码中三个定位矩形的相对位置条件：

ⅰ.Δ＜10

ⅱ.h1±Δ＝w1±Δ＝h2±Δ＝w2±Δ＝h3±Δ＝w3±Δ

ⅲ.x2-x1Δ＝y3-y1Δ

若满足条件，则认为轮廓L1、L2、L3定位一个二维码，计算得到该维码的左上角标为(x1,y1)、右上角坐标为(x2+w2,y2)、左下角坐标为(x3,y3+h3)、右下角坐标为(x4+w4,y4+h4)，得到二维码的轮廓坐标；

(2)二维码提取：依据步骤(1)中计算得到的二维码的轮廓坐标，将原图中包含的二维码分割出来，并传输到货物盘点子系统。

所述货物盘点子系统包含读取模块、记录模块和盘点模块；

读取模块：对回传的二维码进行识别，得到对应货箱的唯一编号ID、货物类别CA、放置货架位置ADR、货箱入库时间TS的信息；

记录模块：依据货物类别CA，将该货箱对应的信息按CA所示类别分类记录；由于在巡逻过程中，可能存在设置飞行轨迹条数N>H_货架/H_货物,导致货箱二维码被无人机重复拍摄，根据货物的唯一编号ID对存入信息去重，再将分类记录存入对应类别的实盘数据库；

盘点模块：首先，统计货物各分类的实盘结果R＝R_CA1+R_CA2+R_CA3+…,并与账面清单的统计结果T＝T_CA1+T_CA2+T_CA3+…进行比对，然后计算两者统计结果的差异值Dif＝T-R，所得Dif即为货物缺漏数量；当总量级盘点结果Dif>0，表明货物存在缺漏；此时实施货箱级盘点，并采用哈希表HASH作为实施查询的临时数据结构；以上过程即完成一轮盘点。

所述采用哈希表HASH作为实施查询的临时数据结构的过程为：遍历实盘结果，并在遍历过程中，将每条记录的货物ID值作为键存入Hash表；然后遍历账面清单，并在遍历过程中，查询每条记录的货物ID是否存在为Hash表的键，若没有，则将该ID对应的货物标记为缺漏货物。

本发明与现有技术相比的优点在于：

(1)本发明使用无人机在仓库进行自动巡逻，实时拍摄货物二维码标签并回传后，利用图像处理与识别技术，统计货物库存，并在后台实施货物库存信息的比对和盘点，不仅自动化程度高，且精确度可达到厘米级别，从而实现了大型仓库中货物的精确库存盘点。

(2)本发明通过路径规划，实现了无人机在大型仓库中的自动巡逻；

(3)通过图像处理算法，实现了复杂环境下的二维码识别和扫描；

(4)本发明提出的盘点方法，可在大型仓库中实现自动化按货箱精确盘点的功能，从而降低人力成本，提高货物盘点精度和效率。

附图说明

图1为本发明提供的一种基于无人机的大型仓库货物库存盘点方法流程图；

图2为本发明的一种基于无人机的大型仓库货物库存盘点系统的组成框图；

图3为本发明一种基于无人机的大型仓库货物库存盘点系统中图像处理子系统的处理流程图。

具体实施方式

为了使本发明的目标、技术方案及优点更加清楚明白，以下将结合本发明实施例中的附图对本发明进行进一步详细说明。应当理解为，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明具体步骤包括：

(1)二维码标识：

货箱入库时，统一制作二维码识别码图，作为唯一标识与货箱绑定；所述二维码图中存储有货箱唯一编号、货物类别、放置货架信息、货箱入库的时间信息；

(2)路径规划：根据仓库环境信息，计算得出无人机飞行空间和悬停拍摄点，规划无人机路径；所述仓库环境信息包括仓库大小、货架位置分布、货物摆放密度、光照强度、其他障碍物信息；

(3)自动巡逻：根据步骤(2)中规划路径，使无人机接收巡逻指令，按照规划路径巡逻，并在指定悬停位置对步骤(1)中所述货箱上的二维码图进行拍摄；

(4)图像数据回传：无人机将步骤(3)中悬停拍摄的图像实时回传至图像处理服务器；

(5)图像预处理：图像处理服务器实时监听步骤(4)中所述无人机图传请求，然后对该图像进行预处理操作，提取出单个二维码并发送给货物盘点服务器；

(6)货物信息统计：货物盘点服务器接收步骤(5)中处理所得二维码图，然后识别二维码图中存储的货箱唯一编号、货物类别、放置货架信息、货箱入库的时间信息，并将货物信息按类别统计去重后，存入数据库；

(7)盘点比对：当无人机结束一轮巡逻后，货物盘点服务器将货物分类实盘结果与各类别货物账面清单分别进行自动化比对。从而定位大型仓库中存在的货物缺漏、货箱错位问题，实现货物库存信息的盘点流程。

进一步的，步骤(2)中根据仓库环境信息，计算得出无人机飞行空间和悬停拍摄点，规划无人机路径的过程如下：

(21)仓库布局规划：首先在尽可能利用仓库空间的前提下，提供无人机安全飞行环境，需定义仓库布局需求。

具体包括：货架平行放置，且货架与货架之间的通道宽度W_通道应不小于2米，货架高度H_货架低于仓库高度至少1米,货架长度L_货架应小于仓库长度，且货架两端至与墙壁保持1米的距离，以保证无人机与障碍物(即货架与墙壁)的相对位置处于安全距离。靠墙一侧放置单排货架，其余空间内放置双排货架。测量货架上的货物长度为L_货物米，宽度为W_货物米，高度为H_货物厘米。

(22)飞行轨迹规划：在满足(21)所述布局规划的仓库中，无人机在货架间的飞行空间由N(N>＝3*H_货架/H_货物)条在竖直方向上保持平行的飞行轨迹构成。其中，N可手动设置，N的值越大，无人机实施拍摄的冗余度越大，开销越高，盘点正确率也越高。

具体包括：单个飞行轨迹由飞行高度H_飞行和与货架的距离X确定。

其中飞行高度H_飞行＝H_货架/(N+1),2H_货架/(N+1),…,NH_货架/(N+1)。无人机在飞行时每个轨迹往返飞行一次，然后升/降进入下一条轨迹。当无人机在该通道内的飞行任务完成后，从货架上方越过，进入下一个通道。按照上述飞行轨迹的路线继续飞行任务。

在巡逻过程中，无人机与货架的距离X始终保持在0.9-1.1米，以保证拍摄效果和飞行安全。

(23)悬停位置规划：在(2)中所述飞行轨迹的基础上，计算无人机的拍摄悬停点。

具体包括：在单条轨迹上，无人机每隔D＝L_货物米，进行一次拍照任务，初次拍照点距离轨迹起始点L_货物/2米，总共需要拍摄L_货架/L_货物次。在轨迹终点时，无人机需要旋转180度，以对通道另一侧的货物进行拍摄。

进一步的，步骤(3)中所述自动巡逻时，通过无人机的飞行控制实现，在无人机的机体坐标系上，利用姿态控制函数，将无人机机身水平旋转的角度通过正、负速度分别表示为顺时针和逆时针旋转；无人机机身纵向垂直旋转的角度通过正、负速度分别表示为机头上下摆动；无人机机身横向旋转的角度通过正、负角速度分别表示机翼上下摆动的角度；无人机在垂直方向上的升降分别用正、负垂直速度表示；同时室内无法接收GPS信号，无人机通过视觉定位系统进行辅助定位和避障。同时，在极端情况下，无人机可切换为操作员手动遥控拍摄。

进一步的，步骤(5)中所述图像处理和分割，旨在从图像的复杂背景中分离出单个二维码，步骤包括：

(51)灰度化：将拍摄图像由RGB三色转为灰度图，去除图像多余的色彩信息，从而加快后续处理运算速度；

(52)二值化：将所得灰度图像进行二值化处理。通过自适应阈值，将图像像素点的灰度值设为0或255，从而提取出图像中的关键信息；

(53)开运算：将所得二值化图像进行开运算处理，从而消除图像中的小物体,并平滑较大物体的边缘；

(54)轮廓筛选：对开运算操作后的图像进行连通域标记，获得图像中所有连通轮廓，然后筛选出所有长、宽符合条件的方形轮廓，并记录轮廓的横纵坐标；

(55)定位二维码：根据轮廓坐标，计算是否有轮廓满足二维码中三个定位矩形的相对位置条件，若满足条件则定位二维码；

(56)提取二维码：根据二维码定位坐标，将二维码图从原图中分割出来。

进一步的，步骤(6)中，货物盘点服务器接收来自图像处理服务器提取的所述货物信息二维码图，进行货物信息和分类统计和纠错的具体步骤如下：

(61)信息提取：对传入的二维码图进行识别，得到对应货箱的唯一编号ID、货物类别CA、放置货架位置ADR、货箱入库时间TS的信息；

(62)信息入库：记录从二维码中提取出的货物信息(ID、CA、ADR、TS，其中ID表示货物的唯一编号，CA表示货物所属类别，ADR表示所放置货架的位置、TS表示货箱入库时间)。然后依据货物类别CA，将该货箱对应的唯一编号、放置货架位置、货箱入库时间按CA所示类别分类记录。

(63)信息去重：巡逻过程中，可能存在设置飞行轨迹条数N>H_货架/H_货物,导致货箱二维码被无人机重复拍摄。因此，根据货物的唯一编号ID对存入信息去重，再将分类记录存入对应类别的实盘数据库。

进一步的，步骤(7)中，当无人机结束一轮巡逻后，盘点步骤：

(71)总量级盘点：总量级盘点旨在对货物总数目进行盘点，得知货物缺漏数量。

具体包括：首先，统计货物各分类的实盘结果R＝R_CA1+R_CA2+R_CA3+…,并与账面清单的统计结果T＝T_CA1+T_CA2+T_CA3+…进行比对。然后计算两者统计结果的差异值Dif＝T-R，所得Dif即为货物缺漏数量。

(72)货箱级盘点：当总量级盘点结果Dif>0，表明货物存在缺漏。此时实施货箱级盘点，旨在定位已缺漏货物的ID编号。

具体包括：货箱级盘点过程采用哈希表HASH作为实施查询的临时数据结构。首先，遍历实盘结果，并在遍历过程中，将每条记录的货物ID值作为键存入Hash表。然后，遍历账面清单，并在遍历过程中，查询每条记录的货物ID是否存在为Hash表的键，若没有，则将该ID对应的货物标记为缺漏货物。

如图2所示，本发明基于无人机的大型仓库货物库存盘点系统，利用无人机进行货物盘点，分为三个子系统：

一、飞行控制子系统：飞行控制子系统主要控制无人机的飞行和拍摄过程；

该子系统包含两个模块，一是机上模块，二是终端模块。

(1)机上模块：依赖无人机厂商提供的控制接口，实现无人机在仓库中的自动巡逻和悬停拍照。本专利不对机上模块进行修改。

(2)终端模块：基于Android系统，向用户提供规划功能，控制机上模块的飞行路径和拍摄(盘点)精度。

具体可设置参数包括：飞行路线参数设定，悬停点参数设定，无人机摄像头参数设定等功能。其中飞行路线参数包括无人机飞行高度(包括多个轨道高度值)、往返次数、飞行起始点和重点，避障距离等等。悬停点参数包括悬停间隔距离、悬停最大时延等。摄像头参数包括摄像头工作模式(定焦/自动对焦)、快门速度、拍摄云台角度、曝光度等。

二、图像处理子系统：如图3所示，图像处理子系统主要从飞行控制子系统在巡逻过程中实时回传的拍摄图像中提取出所包含的二维码图；

该子系统包含两个模块，一是图像预处理模块，二是二维码处理模块。

(1)图像预处理模块：通过设计和实现灰度化、二值化、开运算算法，去除无人机回传图像中多余的色彩信息，然后将图像像素点的灰度值设为0或255，提取出图像中的关键信息，并消除图像中的小物体,平滑较大物体的边缘，得到优化处理后的图像。

具体包括：

①灰度化设计与实现：

摄像头采集到的图像是RGB格式的彩色图像，由红绿蓝三种基本颜色按照一定的比例混合得到，每一种颜色分量有256个灰度级。彩色图像包含了大量识别过程中不需要的色彩信息，因此将彩色图像转换成灰度图像，减少存储开销和后续图像处理的计算量。

假设灰度图像中灰度值用Y表示，彩色图像各分量的灰度值分别为R、G、B，那么最终得到灰度化后的灰度值Y＝0.30R+0.59G+0.11B。

②二值化算法设计与实现：

灰度化后的图像仍包括目标物体、背景还有噪声。为了从多值的数字图像中直接提取出目标物体，根据图像上的每一个小区域，计算与其对应的阈值T，用T将该区域数据分成两部分：大于阈值T的像素点的灰度值均设定为最大值(8位灰度值最大为255)，小于阈值T的像素点的灰度值均设定为0。最终得到像素点均为0或255的二值化图像。

③开运算算法设计与实现：

第一步使目标区域范围变小，图像的边界收缩，消除小且无意义的目标物。此过程称之为腐蚀。假定用3*3的自定义结构B腐蚀A，即当B的原点平移到图像A的像元(x,y)时，如果B在(x,y)处，完全被包含在图像A重叠的区域，(也就是B中为1的元素位置上对应的A图像值全部也为1)则将输出图像对应的像元(x,y)赋值为1，否则赋值为0。过程可表示为：

第二步使目标区域范围变大，将与目标区域接触的背景点合并到该目标物中，边界向外部扩张，填补目标区域中的空洞以及消除包含在目标区域中的小颗粒噪声。此过程称之为膨胀。假定用3*3的自定义结构B膨胀A，即当结构元素B的原点平移到图像像元(x,y)位置，如果B在图像像元(x,y)处与A的交集不为空(也就是B中为1的元素位置上对应A的图像值至少有一个为1)，则输出图像对应的像元(x,y)赋值为1，否则赋值为0。

(2)二维码处理模块：通过设计和实现二维码的定位、切割和识别方法，将预处理后图中所包含的二维码信息提取出来。

具体步骤包括：

①二维码定位：首先获取图像中所有连通轮廓，然后筛选出长、宽符合条件的方形轮廓，记录轮廓的横纵坐标；然后查询是否存在轮廓L1(x1,y1,h1,w1)、L2(x2,y2,h2,w2)、L3(x3,y3,h3,w3)，其中x表示轮廓的左上角横坐标，y表示轮廓的左上角纵坐标，h表示轮廓高度，w表示轮廓长度。判断轮廓是否满足二维码中三个定位矩形的相对位置条件：

ⅰ.Δ＜10

ⅱ.h1±Δ＝w1±Δ＝h2±Δ＝w2±Δ＝h3±Δ＝w3±Δ

ⅲ.x2-x1Δ＝y3-y1Δ

若满足条件，则认为轮廓L1、L2、L3可定位一个二维码。计算可得该维码的左上角标为(x1,y1)、右上角坐标为(x2+w2,y2)、左下角坐标为(x3,y3+h3)、右下角坐标为(x4+w4,y4+h4)。

②二维码提取：依据上一步骤中计算得到的二维码轮廓坐标，将原图中包含的二维码切割出来，并传输到货物盘点子系统。

三、货物盘点子系统：货物盘点子系统读取图像处理子系统回传的二维码中存储的货物信息，并对货物信息实施记录和盘点；

该子系统包含三个模块，一是读取模块，二是记录模块，三是盘点模块。

(1)读取模块：对回传的二维码图进行识别，得到对应货箱的唯一编号ID、货物类别CA、放置货架位置ADR、货箱入库时间TS的信息。

(2)记录模块：依据货物类别CA，将该货箱对应的信息按CA所示类别分类记录；由于在巡逻过程中，可能存在设置飞行轨迹条数N>H_货架/H_货物,导致货箱二维码被无人机重复拍摄，因此根据货物的唯一编号ID对存入信息去重，再将分类记录存入对应类别的实盘数据库。

(3)盘点模块：首先，统计货物各分类的实盘结果R＝R_CA1+R_CA2+R_CA3+…,并与账面清单的统计结果T＝T_CA1+T_CA2+T_CA3+…进行比对。然后计算两者统计结果的差异值Dif＝T-R，所得Dif即为货物缺漏数量。当总量级盘点结果Dif>0，表明货物存在缺漏。

此时，实施货箱级盘点，并采用哈希表HASH作为实施查询的临时数据结构。第一步，遍历实盘结果，并在遍历过程中，将每条记录的货物ID值作为键存入Hash表。第二步，遍历账面清单，并在遍历过程中，查询每条记录的货物ID是否存在为Hash表的键，若没有，则将该ID对应的货物标记为缺漏货物。

以上过程即完成一轮盘点。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。