基于二维码的物流管理方法、系统、服务器和存储介质

摘要

本发明提供一种基于二维码的物流管理方法，包括：获取摄像头拍摄的一个物流箱经过识别区域的视频流，所述物流箱表面贴有对应的二维码；基于预设的神经网络模型对所述视频流进行目标检测，以分别获取二维码图像和物流箱图像；识别所述二维码图像，以生成二维码信息；对所述物流箱图像依次执行检测和追踪，以生成物流箱信息；将所述二维码信息和物流箱信息匹配，生成匹配信息，基于所述匹配信息更新物流库存信息。本发明对视频流进行检测截取到区中的二维码和物流图像，并识别出二维码和物流箱上的信息，实现了高速物流中二维码和物流箱的匹配管理。

说明书

技术领域

本发明实施例涉及物流管理领域，尤其涉及一种基于二维码的物流管理方法、系统、服务器和存储介质。

背景技术

在场景复杂的物流工厂里，物流叉车载着物流箱在工厂高速频繁的出入，如何精准快速获取物流箱上的二维码的信息。传统的物流信息记录方式非常繁琐，需要手动进行记录物流箱信息，或者通过扫描静止的二维码以获取信息。

但在物流过程中，由于快件高速运动，难以定位二维码并准确识别，导致识别不准确。但在实际的物流工厂中，传送的物流箱速度很快，还会不停的换位置，在高速行进的时候难以获取到准确的二维码信息，导致物流箱的信息获取不准确，造成物流信息管理效率低下，耗时过长，容易出错。

发明内容

本发明提供一种基于二维码的物流管理方法、系统、服务器和存储介质，解决了物流场景下高速移动的二维码难以定位和识别的难题。在这个应用场景中加入了强大的端到端AI解决方案，可以加快整体开发工作并释放更大的实时性能。

第一方面，本发明提供一种基于二维码的物流管理方法，包括：

获取摄像头拍摄的一个物流箱经过识别区域的视频流，所述物流箱表面贴有对应的二维码；

基于预设的神经网络模型对所述视频流进行目标检测，以分别获取二维码图像和物流箱图像；

识别所述二维码图像，以生成二维码信息；

对所述物流箱图像依次执行检测和追踪，以生成物流箱信息；

将所述二维码信息和物流箱信息匹配，生成匹配信息，基于所述匹配信息更新物流库存信息。

进一步地，在所述基于预设的神经网络模型对所述视频流进行目标检测，以分别获取二维码图像和物流箱图像之前，还包括：将所述视频流进行预处理。

进一步地，在识别所述二维码图像，以生成二维码信息之前，还包括：

对所述二维码图像进行矫正。

进一步地，将所述视频流进行预处理，包括：

将所述视频流进行解码；

将解码后的视频流进行去噪。

进一步地，基于预设的神经网络模型对所述视频流进行目标检测，以分别获取二维码图像和物流箱图像，包括：

基于预设的第一视图模型识别出视频流中的二维码图像；

基于预设的第二视图模型识别出视频流中的物流箱图片；

从所述视频流中截取二维码图像和物流箱图片。

进一步地，所述对所述二维码图像进行矫正，包括：

将多张所述二维码图像调整为统一的大小；和/或

调整所述二维码图像的对比度和亮度至预设数值；和/或

将所述二维码图像进行灰度转化；和/或

将所述二维码图像进行滤波；和/或

将所述二维码图像进行二值化处理；和/或

将所述二维码图像进行Canny边缘检测；和/或

将所述二维码图像进行Hough算子拟合直线和仿射变换。

第二方面，本发明提供一种基于二维码的物流管理系统，包括：

获取模块，用于获取摄像头拍摄的一个物流箱经过识别区域的视频流，所述物流箱表面贴有对应的二维码；

目标检测模块，用于基于预设的神经网络模型对所述视频流进行目标检测，以分别获取二维码图像和物流箱图像；

二维码识别模块，用于识别所述二维码图像，以生成二维码信息；

物流箱识别模块，用于对所述物流箱图像依次执行检测和追踪，以生成物流箱信息；

匹配模块，用于将所述二维码信息和物流箱信息匹配，生成匹配信息，基于所述匹配信息更新物流库存信息。

进一步地，还包括：视频流预处理模块，用于将所述视频流进行预处理

第三方面，本发明提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上述任意所述的基于二维码的物流管理方法。

第四方面，本发明提供一种终端可读存储介质，其上存储有程序，所述程序被处理器执行时能够实现如上述任一所述的基于二维码的物流管理方法。

本发明对视频流进行检测截取到区中的二维码和物流图像，并识别出二维码和物流箱上的信息，实现了二维码和物流箱的匹配管理，避免在高速移动的物流传送过程汇总二维码难以定位和识别的问题。同时，该过程由于获取到摄像头实时采集的视频流即可收集该数据进行分析和处理，实现了端到端的AI自动解决匹配问题，能够加快物流信息识别进度和管理效率。

附图说明

图1为本发明实施例一的基于二维码的物流管理方法流程图；

图2是本发明实施例二的基于二维码的物流管理方法流程图；

图3是本发明实施例二的替代实施例图；

图4是本发明实施例三的基于二维码的物流管理系统模块图。

图5是本发明实施例三的替代实施例模块图。

图6是本发明实施例四的服务器模块图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，第一打包模块可以为第二打包模块或第三打包模块，类似地，第二打包模块、第三打包模块可以为第一打包模块。第一打包模块和第二打包模块、第三打包模块都是分布式文件系统的打包模块，但其不是同一打包模块。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”、“批量”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

实施例一

本实施例提供了一种二维码的物流管理方法，适用于快递物流场景中，快件箱或快件架在传送带上高速运行时需要对快件进行信息匹配以更新物流库存信息的场景，如图1：

S101、获取摄像头拍摄的一个物流箱经过识别区域的视频流，所述物流箱表面贴有对应的二维码；

本实施例中，示例性地，JetsonNano开发板上架设一个摄像头，拍摄物流工厂里物流箱的进出的画面。该摄像头可以动态捕捉和追踪高速移动的物流件经过时的数据流。通过摄像头的视频流数据的捕获，抓取到视频流后，传输到JetsonNano开发板上进行后续的逻辑处理。可选地，该过程也可以通过PC端摄像头或其他可获取视频的边缘端智能设备，并可通过高性能服务器进行后续逻辑处理。其中，边缘端智能设备指低功耗且计算性能合格的设备，高性能服务器指高功耗可以取得最佳性能的设备。

其中，物流件经过识别区域时系统即执行识别操作，可以通过传送带、物流运载车、传送机器人等执行。

S102、基于预设的神经网络模型对所述视频流进行目标检测，以分别获取二维码图像和物流箱图像；

该步骤中，同一个贴有二维码的物流箱中，其二维码图像和物流箱图像均可以获取一次或多次。在后续的图像处理和识别谷草中，可以根据多个二维码图像进行矫正以实现对二维码信息识别的准确度。

目标检测是要把二维码和物流箱在图像中都检测出来并且精确得框选出来，然后把检测到的目标截取出来分别进行不同的后续操作。

在该步骤中，目标检测之前，需要对预先学习的深度学习神经网络模型进行训练，包括测试目标检测的准确率、召回率。例如，通过YoloV3-tiny神经网络进行训练，以实现查全率和查准率高的效果，如在一次实验中，查全率(recall)>＝99.3％，查准率(precision)>＝91％。

S103、识别所述二维码图像，以生成二维码信息；

S104、对所述物流箱图像依次执行检测和追踪，以生成物流箱信息；

该步骤中，通过追踪物流箱的移动轨迹，追踪设备(即上述步骤中提及的摄像头)获取的视频流，从视频流中获取移动轨迹，并把它在视频流中框选出来。示例性地，使用KLT技术对所述物流箱图像进行检测追踪，KLT目标跟踪Kanade-Lucas-Tomasi，它利用图像序列中像素在时间域上的变化以及相邻帧之间的关系来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。它在跟踪方面表现不错，尤其在实时计算速度上，而且鲁棒性好。而且在本实施例中，能够更准确识别和跟踪待跟踪的物体特征，使特征更容易被识别。

S105、将所述二维码信息和物流箱信息匹配，生成匹配信息，基于所述匹配信息更新物流库存信息。

该步骤中所述物流箱与二维码信息的匹配指在目标检测网络输出的结果后对被检测到的目标进行编号通过KLT进行追踪，匹配时同时计算物流箱和二维码的交并比，从而确定它们的位置关系，通过输出它们的编号信息和位置关系进行匹配并输出结果。

本实施例中，通过深度学习技术能够对摄像头输入的非结构性数据进行实时分析，以获取其中有价值的内容，并输出结构化数据(如本实施例终中的)

本发明对视频流进行检测截取到区中的二维码和物流图像，并识别出二维码和物流箱上的信息，实现了二维码和物流箱的匹配管理，避免在高速移动的物流传送过程汇总二维码难以定位和识别的问题。同时，该过程由于获取到摄像头实时采集的视频流即可收集该数据进行分析和处理，实现了端到端的AI自动解决匹配问题，能够加快物流信息识别进度和管理效率。

实施例二

本实施例在上述实施例的基础上详细描述了如何使用预设算法对图像进行识别及校正的方法，如图2，包括如下步骤：

S201、获取摄像头拍摄的一个物流箱经过识别区域的视频流，所述物流箱表面贴有对应的二维码；

S202、将所述视频流进行预处理；

该步骤中，具体地，预处理过程用于对数据进行去噪，去光源等操作，实现消除图像中无关信息的作用，提高了二维码和/或物流箱图像的相关信息的可检测性。预处理方式为：将所述视频流进行解码；将解码后的视频流进行去噪。

示例性地，使用GStreamer对视频流进行硬件解码，GStreamer将处理流程中的每个环节都封装成单个的插件，每个插件负责不同的任务，实现流式处理提高了解码速率。把视频流解码成一帧一帧的图像，最后把单帧的图像传给推理模型进行推理分析。

S203、基于预设的神经网络模型对所述视频流进行目标检测，以分别获取二维码图像和物流箱图像；

该步骤具体包括：基于预设的第一视图模型识别出视频流中的二维码图像；基于预设的第二视图模型识别出视频流中的物流箱图片；从所述视频流中截取二维码图像和物流箱图片。

S204、识别所述二维码图像，以生成二维码信息；

S205、对所述物流箱图像依次执行检测和追踪，以生成物流箱信息；

S206、将所述二维码信息和物流箱信息匹配，生成匹配信息，基于所述匹配信息更新物流库存信息。

如图3，在一种替代实施例中，对二维码信息生成之前，还需要对截取到的二维码图像进行矫正，即步骤S204之前还包括：S207、对所述二维码图像进行矫正。

矫正过程通过图像处理、数字处理以消除二维码图像的噪点，具体包括：将多张所述二维码图像调整为统一的大小；和/或调整所述二维码图像的对比度和亮度至预设数值；和/或将所述二维码图像进行灰度转化；和/或将所述二维码图像进行滤波；和/或将所述二维码图像进行二值化处理；和/或将所述二维码图像进行Canny边缘检测；和/或将所述二维码图像进行Hough算子拟合直线和仿射变换。

其中，调整二维码图像的对比度和亮度，能够实现增加二维码和背景的分离度的效果。将图片进行灰度化操作，即将图像的三通到彩色图像转化为单通道的灰度图。这样有利于减小计算的复杂度增加解码的速度。

滤波过程中，可选地，可以使用高斯滤波，以实现滤除掉图像中随机出现的高斯噪声的效果。进一步地，还可以使用双边滤波，即在高斯滤波的基础上加入了像素值权重项，不仅考虑距离因素，也考虑像素值差异，能够实现在去除图像上的噪声点的同时又保护了二维码的边缘信息的技术效果。

二值化即黑白化，通过二值化的图像具有更容易得到特征信息的效果。

可选地，对图像先进行腐蚀操作再进行膨胀操作，可以达到放大裂缝和低密度区域，消除小物体，在平滑较大物体的边界时，不改变其面积的效果。

Canny边缘检测能够检测条码的边界轮廓，将图像与周围非相关信息区别开来，提高检测精度。

由于设备采集到的图像一般包含二维码图像和背景，因此需要将整个二维码从整个图像中分离出来，即Hough算子拟合直线用于是给二维码进行定位，主要通过提取图形边缘直线进行定位，从Hough算子拟合的所有直线中，删除相似的直线，保留差距较大的直线。依此得到符合要求的四条边。最后据找到的四条直线，计算出四边形的四个顶点坐标。仿射变换作用是依据计算出的四个顶点坐标，找到横坐标找到最左边顶点，以这个顶点作为排序起点；随后依次求出该点与其余所连直线的斜率(Δy/Δx)，按照斜率从小到大，依次进行排列即可。最后对四个坐标进行顺时针排序利用顶点坐标进行仿射变换，即可得到一张矫正好的二维码图片。

本发明对视频流进行检测截取到区中的二维码和物流图像，并识别出二维码和物流箱上的信息，实现了二维码和物流箱的匹配管理。

实施例三

本发明提供一种基于二维码的物流管理系统3，如图4，包括如下模块：

获取模块301，用于获取摄像头拍摄的一个物流箱经过识别区域的视频流，所述物流箱表面贴有对应的二维码；

目标检测模块302，用于基于预设的神经网络模型对所述视频流进行目标检测，以分别获取二维码图像和物流箱图像；该模块具体用于：基于预设的第一视图模型识别出视频流中的二维码图像；基于预设的第二视图模型识别出视频流中的物流箱图片；从所述视频流中截取二维码图像和物流箱图片。

二维码识别模块303，用于识别所述二维码图像，以生成二维码信息；

物流箱识别模块304，用于对所述物流箱图像依次执行检测和追踪，以生成物流箱信息；

匹配模块305，用于将所述二维码信息和物流箱信息匹配，生成匹配信息，基于所述匹配信息更新物流库存信息。

如图5，在替代实施例中，还包括：视频流预处理模块306，用于将所述视频流进行预处理。该模块具体用于：将所述视频流进行解码；将解码后的视频流进行去噪。

还包括：矫正模块307，用于对所述二维码图像进行矫正，该模块具体包括：将多张所述二维码图像调整为统一的大小；和/或调整所述二维码图像的对比度和亮度至预设数值；和/或将所述二维码图像进行灰度转化；和/或将所述二维码图像进行滤波；和/或将所述二维码图像进行二值化处理；和/或将所述二维码图像进行Canny边缘检测；和/或将所述二维码图像进行Hough算子拟合直线和仿射变换。

本实施例通过提供一种基于二维码的物流管理系统3，可执行本发明任意实施例所提供的基于二维码的物流管理方法，具备执行方法相应的功能模块和有益效果。

实施例四

本实施例提供了一种服务器的结构示意图，如图6所示，该服务器包括处理器401、存储器402、输入装置403和输出装置404；服务器中处理器401的数量可以是一个或多个，图中以一个处理器401为例；设备/终端/服务器中的处理器401、存储器402、输入装置403和输出装置404可以通过总线或其他方式链接，图6中以通过总线链接为例。

存储器402作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于二维码的物流管理方法对应的程序指令/模块。处理器401通过运行存储在存储器402中的软件程序、指令以及模块，从而执行设备/终端/服务器的各种功能应用以及数据处理，即实现上述的基于二维码的物流管理方法。

存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器402可进一步包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络链接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置403可用于接收输入的数字或字符信息，以及产生与设备/终端/服务器的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。

本发明实施例四通过提供一种服务器，可执行本发明任意实施例所提供的基于二维码的物流管理方法，具备执行方法相应的功能模块和有益效果。

实施例五

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的基于二维码的物流管理方法，该方法可以包括：

获取摄像头拍摄的一个物流箱经过识别区域的视频流，所述物流箱表面贴有对应的二维码；

基于预设的神经网络模型对所述视频流进行目标检测，以分别获取二维码图像和物流箱图像；

识别所述二维码图像，以生成二维码信息；

对所述物流箱图像依次执行检测和追踪，以生成物流箱信息；

将所述二维码信息和物流箱信息匹配，生成匹配信息，基于所述匹配信息更新物流库存信息。

本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电链接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—链接到用户计算机，或者，可以链接到外部计算机(例如利用因特网服务提供商来通过因特网链接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。