一种数字式仪表定位和数字识别方法、装置和计算机设备

摘要

本发明公开了一种数字式仪表定位和数字识别方法、装置和计算机设备，首先利用Imgaug图像数据增强库对现场图像数据进行扩增，获得多角度、亮度和雨雪环境下的图像；然后利用YOLOv4算法检测数字式仪表，获得数字式仪表的仪表盘图像数据；再对仪表盘图像数据进行数字的检测和识别，获得表盘上所有数字的位置与类别；最后基于聚类的思想获得仪表盘上数字的行数，选定所需行数的所有数字框确定小数点的位置，得到最终的数字识别结果。采用本发明能够定位和识别带有多行数字且具有小数点的高精度数字式仪表示数，具有较高的准确率和较强的鲁棒性。

说明书

技术领域

本发明属于图像处理和深度学习技术领域，具体涉及一种数字式仪表定位和数字识别方法、装置和计算机设备。

背景技术

近年来，随着计算机算力的极大提升和大数据时代的到来，人工智能领域迎来了前所未有的发展机遇。深度学习作为人工智能领域的重要技术，在图像处理、自然语言处理、语音识别等领域大放异彩。在图像处理领域，利用深度学习技术处理分析各种各样应用场景下的图像，为人们的生活和工业生产制造带来了极大的便利，节省了大量的人力物力，为智能化城市、智能化工厂的建设夯实了技术基础。

随着数字电子技术的发展，数字式仪表作为工业生产中一种不可或缺的测量仪器，因其结构简单、读数精准、操作容易、低成本低功耗等优点被广泛应用于油气田、电力、化工等领域。数字式仪表的传统读数方法是依靠人工肉眼读取仪表上的数据进行记录，该方法存在工作量大、效率低、受人为因素影响较大等缺点。同时，如果仪表处在高温、高压或高辐射等恶劣环境中，工人长期在这种环境下工作对其身体损害极大。因此，机器人智能巡检技术应运而生。

机器人智能巡检代替人工巡检，通过相机采集图像信息进行数字式仪表的定位和自动读数，在实际工地上定期作业，降低人工巡检的危险成本，提高了巡检效率，实现了自动化监管。虽然机器人智能巡检具有全天候、不受恶劣环境影响等优势，但是现有的对数字式仪表定位和数字识别方法仍旧存在很多问题。例如基于字符分割和模板匹配的识别方法，无法有效应对倾斜图像，同时要求输入图像清晰度高，因此方法受环境噪声影响较大。而且目前很多高精度数字式仪表必然会存在小数点且其出现位置不固定，也可能一个仪表上出现多行数字。因此，如何让机器人在多变的自然环境下，高效精准的定位仪表位置、自动识别数字和定位小数点、包括识别多行数字仪表中的数字信息是机器人执行巡检工作中亟待解决的问题。

发明内容

针对现有技术存在的不足，本发明所要解决的技术问题是，提出一种能够用于智能巡检中应对多种拍摄环境和角度的数字式仪表定位和数字识别方法。该方法实现数字式仪表定位，并能够对具有单行或多行带小数点数字的仪表提取数字信息，方法具有较高准确率和较强鲁棒性的优点。

为达到上述目的，本发明所述一种数字式仪表定位和数字识别方法，包括以下步骤：

步骤1、采集包含各种仪表的现场图像数据；

步骤2、利用训练得到的仪表检测模型对图像中的数字式仪表进行定位，获得数字式仪表的仪表盘图像数据；

步骤3、利用训练得到的数字检测和识别模型对仪表盘图像数据进行七段码数字的定位和识别，获得表盘上所有数字的位置与类别；

步骤4、利用获得的所有数字的位置进行聚类，选定所需的某行数字进行小数点位置的检测，确定小数点的位置得到数字式仪表的数字识别结果。

进一步的，步骤2包括以下步骤：

步骤2.1、对现场图像数据，利用目标检测标注工具标注各种仪表的位置框和类别，类别标签分别为pointer、digital、gate、level、glasslevel和ballvalve，分别对应指针式仪表、数字式仪表、门阀式仪表、液体式仪表、玻璃式仪表和球阀式仪表；

步骤2.2、使用数据增强的方法对包含各种仪表的现场图像数据进行扩增，获得多种角度、亮度、雨雪环境下的现场图像数据；

步骤2.3、使用扩增后的现场图像数据，利用YOLOv4目标检测算法训练一个仪表检测模型；

步骤2.4、利用仪表检测模型，定位步骤1获得的现场图像数据中数字式仪表的位置，并且截取仪表盘图像数据。

进一步的，步骤2.3的过程为：

将扩增后的图像和标签数据按比例分成训练集和验证集，利用YOLOv4算法训练仪表检测模型；训练参数样本是否进行在线水平翻转flip设置为1，每训练N次在验证集上测试一次模型的检测效果指标mAP，500≤N≤1000，最后取在验证集上mAP最高的模型为最终的仪表检测模型。

进一步的，步骤3包括以下步骤：

步骤3.1、使用获得的仪表盘图像数据，利用YOLOv4目标检测算法训练一个七段码数字检测和识别模型；

步骤3.2、利用数字检测和识别模型，对步骤2获得的仪表盘图像数据进行检测，获得仪表盘上所有数字的位置和类别。

进一步的，步骤3.1包括以下步骤：

S3.1.1、对数字式仪表的仪表盘图像数据，利用目标检测标注工具标注表盘上所有数字的位置框即数字框和类别，类别标签分别为minus，0，1，2，3，4，5，6，7，8，9，所述minus代表负号；

S3.1.2、将仪表盘图像数据分成训练集和验证集，训练七段码数字检测模型，将训练参数样本是否进行在线水平翻转flip设置为0，每训练M次在验证集上测试一次模型的检测效果指标mAP，最后取在验证集上mAP最高的模型为最终的数字检测和识别模型，500≤M≤1000。

进一步的，步骤3.1中，令是否进行多尺度训练的训练参数random＝1。

进一步的，步骤4包括以下步骤：

步骤4.1、对步骤3检测到的所有数字框进行聚类，得到仪表盘上数字的行数；

步骤4.2、选定要检测的行序，对该行序的所有数字框按照横坐标大小从小到大排序，确定检测到的数字框是否包含负号，如果有负号则去除该数字框；

步骤4.3、根据相邻数字框位置确定小数点的候选区域；

步骤4.4、判断仪表盘上数字的颜色，如果为红色，则执行步骤4.5，否则执行4.6；

步骤4.5、若仪表盘数字为红色，则小数点候选区域所有像素点红色通道的值大小为对应位置像素取反；

步骤4.6、选择候选区域的红色通道像素值从小到大排序，取前5个最小像素值的平均值为候选区域的特征值；

步骤4.7、对所有候选区域的特征值进行比较，最小特征值对应的候选区域即为小数点所在位置。

进一步的，步骤4.4中，判断数字框内数字颜色的过程为：若第一个数字框内红色通道像素值均值与蓝色通道像素值均值之比大于1.5，且红色通道像素值均值大于200，即

一种数字式仪表定位和数字识别装置，包括：

采集模块，用于采集包含各种仪表的现场图像数据；

定位和识别模块，用于根据现场图像数据输出数字式仪表的数字识别结果。

一种计算机设备，包括电连接的存储器和处理器，所述存储器上存储有可在处理器上运行的计算程序，所述处理器执行所述计算程序时，实现上述方法的步骤。

与现有技术相比，本发明至少具有以下有益的技术效果：

(1)本发明利用Imgaug图像数据增强库对现场图像数据进行扩增，获得多种角度、亮度、雨雪环境下的图像数据，相比于仅用现场图像数据进行训练得到的检测模型泛化能力强，鲁棒性高。

(2)本发明根据合作方工业现场的真实情况采用聚类的方法提取所需行数的数字信息，并且选择小数点候选区域的红色通道像素值来确定小数点位置。这是因为合作方现场实际情况为数字式仪表示数均包含小数点，并且示数颜色有“红色”和“黑色”，而为方便工人在工业现场工作，现实中会用红色标记物粘贴到示数颜色为“黑色”的数字式仪表上作为预警参考。因此利用红色标记物区域的红色通道像素值偏高，而“黑色”小数点候选区域的红色通道像素值偏低的特性，避免其对“黑色”小数点的定位产生干扰。同样示数为“红色”的数字式仪表也是利用红色通道像素值偏高的特性，对其像素值取反来定位“红色”小数点。相比于无法定位小数点的数字识别方法实用性更高，能够识别高精度数字式仪表。采用本发明能够定位和识别带有多行数字且具有小数点的高精度数字式仪表示数，具有较高的准确率和较强的鲁棒性。

进一步的，步骤2.2中，利用YOLOv4算法训练仪表检测模型时，训练参数样本是否进行在线水平翻转flip设置为1，以增加训练样本的多样性。

进一步的，步骤3.1中，在七段码数字中由于“2”和“5”是镜像对称的两个数字，需要将其区分为两个不同的类别，因此将训练参数样本是否进行在线水平翻转flip设置为0，对数据不进行翻转的增强。

进一步的，步骤3.1中，为了得到一个能够同时检测大目标数字和小目标数字的检测模型，令是否进行多尺度训练的训练参数random＝1。

附图说明

图1为本发明方法流程图；

图2为本发明确定小数点位置的方法流程图；

图3为本发明检测数字位置得到的数字框示意图；

图4为本发明定位数字式仪表和识别数字结果图；

图5为本发明识别所需行序的数字识别结果图；

图6为本发明提供的数字式仪表定位和数字识别装置的模块结构示意图；

图7为本发明提供的计算机设备的结构示意图。

具体实施方式

为了使本发明的目的和技术方案更加清晰和便于理解。以下结合附图和实施例，对本发明进行进一步的详细说明，此处所描述的具体实施例仅用于解释本发明，并非用于限定本发明。

实施例1

如图1所示，本发明提出一种用于智能巡检中的数字式仪表定位和数字识别方法，具体步骤如下：

步骤1、工业现场巡检机器人采集包含各种仪表的现场图像数据；

步骤2、训练得到的仪表检测模型，利用训练得到的仪表检测模型对图像数据中的数字式仪表进行定位，获得数字式仪表的仪表盘图像数据。具体过程如下，S2.1-S2.3为训练过程，S2.4为推理过程：

S2.1：对现场图像数据利用LabelImg目标检测标注工具标注各种仪表的位置框和类别，位置框为各类仪表的最小外接矩形，类别标签分别为pointer、digital、gate、level、glasslevel、ballvalve，分别对应指针式仪表、数字式仪表、门阀式仪表、液体式仪表、玻璃式仪表和球阀式仪表；

S2.2：对获取的现场图像数据利用Imgaug图像数据增强库进行亮度变换、透视变换以及加雨加雪变换，增强次数设为3，数据量扩大为原来的3倍；

S2.3：将扩增后的图像和标签数据按8：2比例分成训练集和验证集，利用YOLOv4算法训练仪表检测模型。其中，训练参数为：网络输入宽width＝416，网络输入高height＝416，类别数目classes＝6，YOLO层前一层卷积核数目filters＝33，学习率learning_rate＝0.001。为了增加训练样本的多样性，将训练参数样本是否进行在线水平翻转flip设置为1，同时由于所检测的仪表不是小目标，因此为加快训练速度，令训练参数是否进行多尺度训练random＝0。训练次数为6000次，每训练1000次在验证集上测试一次模型的检测效果指标mAP(Mean Average Precision)，最后取在验证集上mAP最高的模型为最终的仪表检测模型。

S2.4：利用仪表检测模型检测步骤1的现场图像数据，定位出图像中标签为“digital”的数字式仪表位置，并且截取此位置的图像为仪表盘图像数据。如图4显示了检测现场图像数据中数字式仪表的位置框。

步骤3、训练数字检测和识别模型，利用训练得到的数字检测和识别模型对仪表盘图像数据进行七段码数字的定位和识别，获得表盘上所有数字的位置与类别。具体过程如下，S3.1-S3.2为训练过程，S3.3为推理过程：

S3.1：对数字式仪表的仪表盘图像数据利用LabelImg目标检测标注工具标注表盘上所有数字的位置框即数字框和类别，类别标签分别为minus，0，1，2，3，4，5，6，7，8，9，其中“minus”代表负号。

S3.2：将仪表盘图像数据按8：2比例分成训练集和验证集，用YOLOv4算法训练七段码数字检测模型。其中，训练参数为：网络输入宽width＝416，网络输入高height＝416，类别数目classes＝11，YOLO层前一层卷积核数目filters＝48，学习率learning_rate＝0.001。由于有些数字式仪表盘是多行数字，数字目标较小，因此为了得到一个能够同时检测大目标数字和小目标数字的检测模型，令训练参数是否进行多尺度训练random＝1，训练每迭代10次，随机调整输入图像的尺寸，进行多尺度训练，提升模型检测精度和鲁棒性。另外，在七段码数字中由于“2”和“5”是镜像对称的两个数字，需要将其区分为两个不同的类别，因此将训练参数样本是否进行在线水平翻转flip设置为0，对数据不进行翻转的增强。训练次数为7000次，每训练1000次在验证集上测试一次模型的检测效果指标mAP，最后取在验证集上mAP最高的模型为最终的数字检测和识别模型；

S3.3：利用数字检测模型检测步骤2获得的数字式仪表的仪表盘图像数据，检测出图像中所有数字的位置和类别。

步骤4、利用获得的所有数字的位置进行聚类，选定所需的某行数字进行小数点位置的检测，确定小数点的位置。最后结合上一步获取的数字类别得到数字式仪表的数字识别结果。如图2所示为确定小数点位置的方法流程图，具体过程如下：

S4.1：记步骤3检测到的所有数字框为B

S4.2：对选定行序的所有数字框G

S4.3：根据相邻数字框位置确定小数点候选区域

S4.4：判断数字框G

S4.5：选择候选区域的红色通道像素值从小到大排序，取前5个最小的红色通道像素值的均值为候选区域的特征值p

S4.6：由于合作方工业现场的数字式仪表均带有小数点，且包含小数点的候选区域其红色通道像素值是所有候选区域的最低值，因此对所有候选区域特征值进行比较，最小特征值min

S4.7：根据识别到的数字位置和类别，以及确定的指定行数的数字小数点位置，组合成数字识别结果输出，如图4和图5显示了数字识别结果。

S4.8：若需要识别其他行序的数字信息，则修改S4.1中的行序，重复S4.2到S4.7步骤即可。

本发明首先利用Imgaug图像数据增强库对现场图像数据进行扩增，获得多角度、亮度和雨雪环境下的图像；然后利用YOLOv4算法检测数字式仪表，获得数字式仪表的仪表盘图像数据；再利用YOLOv4算法对仪表盘图像数据进行数字的检测和识别，获得表盘上所有数字的位置与类别；最后基于聚类的思想获得仪表盘上数字的行数，选定所需的某行数字确定小数点的位置，得到最终的数字识别结果。采用本发明能够定位和识别带有多行数字且具有小数点的高精度数字式仪表示数，具有较高的准确率和较强的鲁棒性。

上述虽然结合附图对本发明的具体实施方式进行了描述，但不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

实施例2

如图6所示，本发明提供的一种数字式仪表定位和数字识别装置，包括采集模块与定位和识别模块：

采集模块，用于采集包含各种仪表的现场图像数据；采集模块可以是工业现场巡检机器人，或其他具有图像采集功能的装置或设备；

定位和识别模块，用于根据现场图像数据输出数字式仪表的数字识别结果。

实施例3

如图7所示，本发明提供的一种计算机设备，包括电连接的存储器和处理器，其中，存储器上存储有可在处理器上运行的计算程序，所述处理器执行所述计算程序时，实现上述的数字式仪表定位和数字识别方法的步骤。

所述数字式仪表定位和数字识别装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。