一种货物入库检测方法、仓储入库系统及存储介质

摘要

本发明公开了一种货物入库检测方法、仓储入库系统及存储介质，涉及识别仓储出入库货物领域。该方法包括：通过双目相机采集待入库货物的三维数据，对所述三维数据进行预处理，将预处理后的所述三维数据通过训练后的深度卷积模型，识别出所述三维数据对应的货物型号，根据所述货物型号获得货物信息条形码，并存储进仓储数据库中。本发明方案使用双目相机捕捉货物的立体信息，并使用深度学习卷积模型，自动准确识别入库货物的类型和型号，保证准确的仓储信息。

说明书

技术领域

本发明涉及识别仓储出入库货物领域，尤其涉及一种货物入库检测方法、仓储入库系统及存储介质。

背景技术

随着电商规模日益扩大和社会的发展进步，对仓储的需求量也日益攀升。不同于普通仓库的码放和需要较多的人力劳动力，智能仓储逐渐以无人化、智能化、高效的特点占据发展新方向。

智能仓储为了尽可能做到无人化、智能化，会对入库的货物会进行智能仓位分配。而合理分配仓储位置和准确入库信息的基础，就是准确录入货物型号信息。使用人力的成本略高，且容易出现误识别事故。而且以智能仓库储藏能力，无法保证入库货物是同型号连续入库，不能简单地批次标记处理。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种货物入库检测方法、仓储入库系统及存储介质。

本发明解决上述技术问题的技术方案如下：

一种货物入库检测方法，包括：

S1，通过双目相机采集待入库货物的三维数据；

S2，对所述三维数据进行预处理；

S3，将预处理后的所述三维数据通过训练后的深度卷积模型，识别出所述三维数据对应的货物型号；

S4，根据所述货物型号获得货物信息条形码，并存储进仓储数据库中。

本发明的有益效果是：本方案通过采集待入库货物的三维数据，将预处理后的所述三维数据通过训练后的深度卷积模型，识别出所述三维数据对应的货物型号，根据所述货物型号获得货物信息条形码，并存储进仓储数据库中，本发明使用双目相机捕捉货物的立体信息，并使用深度学习卷积模型，自动准确识别入库货物的类型和型号，保证准确的仓储信息。

进一步地，所述通过训练后的深度卷积模型，识别出所述三维数据的货物型号具体包括：

通过特征提取模块提取预处理后的所述三维数据的左图图像特征和右图图像特征，采用权值共享法对所述左图图像特征和所述右图图像特征进行处理；

通过双目特征融合函数对处理后的所述左图图像特征和所述右图图像特征进行融合；

使用图像特征金字塔对融合后的图像特征进行特征挖掘；

通过分类模块对挖掘后的图像特征进行分类，输出对应的货物型号；

所述深度卷积模型包括: 所述特征提取模块和所述分类模块。

采用上述进一步方案的有益效果是：本方案通过深度卷积模型有效融合双目相机左右相机的数据特征，能够准确分类入库货物的型号。

进一步地，所述分类模块包括：全连接层和sigmoid层。

进一步地，所述使用图像特征金字塔对融合后的图像特征进行特征挖掘具体包括：

通过图像特征金字塔采用下采样和自上而下的连接路径进行特征挖掘，并通过横向连接保留原始特征信息。

采用上述进一步方案的有益效果是：本方案采用下采样和自上而下的连接路径进行特征挖掘，再通过横向连接中加入注意力机制增强有效特征信息。

进一步地，所述双目特征融合函数的公式如下:

其中，

进一步地，还包括：

在深度卷积模型中使用基于交叉熵的损失函数；

采用梯度反向传播更新所述深度卷积模型参数；

通过样本数据对更新后的所述深度卷积模型进行训练，获得训练后的所述深度卷积模型。

采用上述进一步方案的有益效果是：本方案通过基于交叉熵的损失函数，采用梯度反向传播更新所述深度卷积模型参数，再对深度卷积模型进行训练，实现加快货物分类深度卷积模型的训练速度，使其更专注于难识别货物型号的训练。

进一步地，所述损失函数包括：在多分类交叉熵损失的基础上，增加针对样本训练难易度的损失函数为：

其中，

进一步地，所述对所述三维数据进行预处理具体包括：

基于训练后的深度学习的生成对抗网络对所述三维数据进行预处理。

采用上述进一步方案的有益效果是：本方案通过基于训练后的深度学习的生成对抗网络的预处理，实现三维数据的图像降噪和信号增强。

本发明解决上述技术问题的另一种技术方案如下：

一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述任一方案所述的一种货物入库检测方法。

本发明的有益效果是：本方案通过采集待入库货物的三维数据，将预处理后的所述三维数据通过训练后的深度卷积模型，识别出所述三维数据对应的货物型号，根据所述货物型号获得货物信息条形码，并存储进仓储数据库中，本发明使用双目相机捕捉货物的立体信息，并使用深度学习卷积模型，自动准确识别入库货物的类型和型号，保证准确的仓储信息。

本发明解决上述技术问题的另一种技术方案如下：

一种仓储入库系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，实现如上述任一方案所述的一种货物入库检测方法。

本发明的有益效果是：本方案通过采集待入库货物的三维数据，将预处理后的所述三维数据通过训练后的深度卷积模型，识别出所述三维数据对应的货物型号，根据所述货物型号获得货物信息条形码，并存储进仓储数据库中，本发明使用双目相机捕捉货物的立体信息，并使用深度学习卷积模型，自动准确识别入库货物的类型和型号，保证准确的仓储信息。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明的实施例提供的一种货物入库检测方法的流程示意图；

图2为本发明的其他实施例提供的，采集待入库货物的三维数据的结构示意图；

图3为本发明的其他实施例提供的通过训练后的深度卷积模型识别出三维数据的货物型号的流程示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明实施例提供的一种货物入库检测方法，包括：

S1，通过双目相机采集待入库货物的三维数据；

在某一实施例中，如图2所示，采集待入库货物的三维数据的结构还可以包括：流水线传送带、红外感知模块、补偿光源和双目相机，电视机、显示器等待入库货物被放在流水线传送带上后，跟随传送带同步运动；当红外感知模块探测到货物完整传送至待检测区域后，触发开始检测信号，传送带停止传送，同时双目相机开始检测货物外型信息的数据。

在某一实施例中，双目相机检测货物外型信息，可以使用结构光光源补偿照射，使用格雷码和相移法对图像编码，由双目视觉相机采集货物的三维数据。在某一实施例中可以通过LenaCV HNY-CV-001定基线USB3.0接口的双目相机，帧率可达30帧/秒。

S2，对三维数据进行预处理；

在某一实施例中，通过对采集的图像进行降噪、信号增强等预处理，预处理操作可以包括：使用基于深度学习的生成对抗网络对双目相机采集的图像去噪和超分辨增强；生成对抗网络包含生成器和鉴别器，在训练阶段，将公共图像去噪训练集的输入样本进行一步下采样为生成器输入样本，输出标签样本保持不变，以训练生成对抗网络的去噪和超分辨增强双任务；在使用阶段，只使用生成器作为图像降噪的处理模块。

在某一实施例中，深度学习的生成对抗网络包含两部分：生成器和鉴别器，在训练阶段，生成器的输入是原始图像，输出是增强后图像；鉴别器输入是增强后图像，输出是判断打分，中间模型的运算过程均属于卷积神经网络。

S3，将预处理后的三维数据通过训练后的深度卷积模型，识别出三维数据对应的货物型号；

在某一实施例中，如图3所示，通过特征提取模块提取预处理后的三维数据的左图图像特征和右图图像特征，采用权值共享法对左图图像特征和右图图像特征进行处理；

在某一实施例中，可以通过用特征提取模块提取预处理后的双目相机左图和右图的图像特征，对左图和右图采用权值共享法进行参数共享，减少模型参数量；特征提取模块由残差结构块组成，在该实施例方案中，可以包括三个残差结构块，每个残差结构块包括两层卷积层、一层归一化层和一层激活层。

通过双目特征融合函数对处理后的左图图像特征和右图图像特征进行融合；

在某一实施例中，可以用双目特征融合模块将左右图特征进行融合，使用融合函 数

双目特征融合函数的计算公式为：

其中，

使用图像特征金字塔对融合后的图像特征进行特征挖掘；

在某一实施例中，可以使用图像特征金字塔对双目视觉的特征图进行特征挖掘，采用下采样和自上而下的连接路径挖掘特征，并用横向连接保留原始特征信息，横向连接中加入注意力机制增强有效特征信息；

通过分类模块对挖掘后的图像特征进行分类，输出对应的货物型号；

在某一实施例中，分类模块由全连接层和sigmoid层组成，本实施例中以四层全连接层为例，也可以其他层数的全连接层，分类模块的输出是货物及其型号的独热编码。

S4，根据货物型号获得货物信息条形码，并存储进仓储数据库中。

本方案通过采集待入库货物的三维数据，将预处理后的三维数据通过训练后的深度卷积模型，识别出三维数据对应的货物型号，根据货物型号获得货物信息条形码，并存储进仓储数据库中，本发明使用双目相机捕捉货物的立体信息，并使用深度学习卷积模型，自动准确识别入库货物的类型和型号，保证准确的仓储信息。

优选地，在上述任意实施例中，通过训练后的深度卷积模型，识别出三维数据的货物型号具体包括：

通过特征提取模块提取预处理后的三维数据的左图图像特征和右图图像特征，采用权值共享法对左图图像特征和右图图像特征进行处理；

通过双目特征融合函数对处理后的左图图像特征和右图图像特征进行融合；

使用图像特征金字塔对融合后的图像特征进行特征挖掘；

通过分类模块对挖掘后的图像特征进行分类，输出对应的货物型号；

深度卷积模型包括: 特征提取模块和分类模块。

本方案通过深度卷积模型有效融合双目相机左右相机的数据特征，能够准确分类入库货物的型号。

优选地，在上述任意实施例中，分类模块包括：全连接层和sigmoid层。

优选地，在上述任意实施例中，使用图像特征金字塔对融合后的图像特征进行特征挖掘具体包括：

通过图像特征金字塔采用下采样和自上而下的连接路径进行特征挖掘，并通过横向连接保留原始特征信息。

本方案采用下采样和自上而下的连接路径进行特征挖掘，再通过横向连接中加入注意力机制增强有效特征信息。

优选地，在上述任意实施例中， 双目特征融合函数的公式如下:

其中，

优选地，在上述任意实施例中，还包括：

在深度卷积模型中使用基于交叉熵的损失函数；

采用梯度反向传播更新深度卷积模型参数；

通过样本数据对更新后的深度卷积模型进行训练，获得训练后的深度卷积模型。

在某一实施例中，在训练阶段，使用基于交叉熵的损失函数，并用梯度反向传播更新模型参数；使用阶段，直接输出分类结果的独热编码，并转化成对应类别。

其中损失函数，可以是在常规的多分类交叉熵损失的基础上，增加针对样本训练难易度的损失函数为：

其中，

本方案通过基于交叉熵的损失函数，采用梯度反向传播更新深度卷积模型参数，再对深度卷积模型进行训练，实现加快货物分类深度卷积模型的训练速度，使其更专注于难识别货物型号的训练。

优选地，在上述任意实施例中，损失函数包括：在多分类交叉熵损失的基础上，增加针对样本训练难易度的损失函数为：

其中，

优选地，在上述任意实施例中，对三维数据进行预处理具体包括：

基于训练后的深度学习的生成对抗网络对三维数据进行预处理。

本方案通过基于训练后的深度学习的生成对抗网络的预处理，实现三维数据的图像降噪和信号增强。

在某一实施例中，一种存储介质，存储介质中存储有指令，当计算机读取指令时，使计算机执行如上述任一实施例的一种货物入库检测方法。

在某一实施例中，一种仓储入库系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序，实现如上述任一实施例的一种货物入库检测方法。

本方案通过采集待入库货物的三维数据，将预处理后的三维数据通过训练后的深度卷积模型，识别出三维数据对应的货物型号，根据货物型号获得货物信息条形码，并存储进仓储数据库中，本发明使用双目相机捕捉货物的立体信息，并使用深度学习卷积模型，自动准确识别入库货物的类型和型号，保证准确的仓储信息。

可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。

需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。