基于最小外接矩形变体的七段式数显仪表识别方法

摘要

本发明公开一种基于最小外接矩形变体的七段式数显仪表识别方法，采用了最小外接矩形变体算法，准确提取出数显仪表的数字区域，从而为七段式特征数字识别提供了保障，有效地解决了因噪声、旋转而造成的数字误检，提高了数字识别的鲁棒性和精确性。

说明书

技术领域

本发明属于数字仪表识别领域，特别涉及一种基于最小外接矩形变体的七段式数显仪表识别方法。

背景技术

随着科技的进步发展，生产制造业的管理手段逐渐由人工管理转变为自动化或半自动化的管理。在铝业制造行业的熔炉车间有专门用于称量铝渣的仪器，该仪器是由地磅和液晶数字显示仪表组成，地磅为设置在地面上的大磅秤用于放置铝渣，经由LED数显仪表显示其重量。但限制于环境和仪器无法安装微型计算机接口来输出读数，因此是由车间员工进行人工读数。人工读数的缺点一方面需要大量人力，另一方面会存在误读的情况导致重量统计不准确。

目前七段式数显仪表识别方法主要有传统数字图像处理技术和深度学习数字识别技术，深度学习数字识别技术需要大量的数据集和较高的硬件成本，此场景下不予考虑。传统数字图像处理识别算法主要有穿线法、模板匹配法、七段特征提取法，它们实现精确识别的前提是准确定位出数字部分。而现有的定位方法有通过Hough线确定旋转角度将数字置于水平或垂直，再对图像进行水平和垂直投影来获取每个数字。更多的是固定了图像的拍摄角度，按照固定角度旋转以矫正数字区域，再通过投影法或最小绑定矩形获取数字区域。然而在复杂的工业环境下，采集到的数字显示仪表图像往往会因为人为因素或环境因素而出现偏移、旋转、噪声，单纯地对原图像进行预处理或固定角度是无法实现稳定准确的定位和识别。

发明内容

本发明的目的在于提供一种基于最小外接矩形变体的七段式数显仪表识别方法，以解决现有技术在复杂的工业场景下无法稳定准确定位出七段式数码管数字。

为了解决上述问题，本发明提供如下技术方案：

一种基于最小外接矩形变体的七段式数码管仪表识别方法包括以下步骤：

步骤(1)、摄像头实时采集数字显示仪表区域的图像数据，并对图像进行预处理，得到二值化仪表区域图像；

步骤(2)、对步骤(1)二值化仪表区域图像进行数字定位，得到最佳外接矩形内的数字二值化图像；其中所述数字定位包括获取外轮廓点集过程、获取外轮廓凸包点集过程、获取最佳外接矩形过程；

所述获取外轮廓点集过程用于获取按照数字字符顺序排序的数字外轮廓列表；

所述获取外轮廓凸包点集过程用于根据数字外轮廓列表获取数字外轮廓凸包点集列表；

所述获取最佳外接矩形过程用于对获取外轮廓凸包点集过程得到的数字外轮廓凸包点集列表中的每个数字进行点集区域划分、凸包点集旋转，获取数字的最佳外接矩形，具体如下：

1)点集区域划分：

单个数字外轮廓凸包点集M

2)凸包点集旋转：

将同一区域内每个点两两组合构成D

3)获取最佳外接矩形

对于上述每个旋转变换结果

计算每个候选外接矩形框Q个像素点内的白色像素点个数C

4)使用Opencv库函数getRotationMatrix2D()和warpAffine()将步骤(1)处理后的仪表区域二值化图像顺时针旋转θ

5)遍历所有数字的外轮廓凸包点集，重复上述步骤1)至2)；

步骤(3)、数字识别

3-1七段特征区域设计：

构建七段式数字的水平和竖直向的匹配模板；

3-2七段特征提取识别：

1)判断步骤(2)获取的最佳外接矩形内数字二值化图像的高和宽，当图像的高大于宽，认为该图像中数字为竖直方向，反之为水平方向；

2)当数字为水平方向时高宽比小于0.4,则为数字1，否则为其他数字；当数字为竖直方向时宽高比小于0.4,则为数字1，否则为其他数字；

3)若为其他数字时，当数字为水平方向时采用水平向的匹配模板进行匹配，反之采用竖直向的匹配模板进行匹配，判定图像中数字。

作为优选，步骤(1)中图像预处理包括图像ROI裁剪、图像灰度化、图像Gamma化、图像二值化。

作为优选，步骤(2)中获取外轮廓点集方法具体是：

使用Opencv库函数findContours()分析步骤(1)二值化仪表区域图像的拓扑结构，提取出图像中每个数字连通区域的外轮廓点集；按照每个数字外轮廓的最小横坐标进行递增排序，得到按照数字字符顺序排序的数字外轮廓列表；

其中Opencv库函数findContours()封装了Suzuki轮廓跟踪算法。

作为优选，步骤(2)中获取外轮廓凸包点集方法具体是：

利用Opencv库函数convexHull()对获取外轮廓点集过程得到的数字外轮廓列表中每个数字外轮廓进行处理，得到按照数字字符顺序排序的数字外轮廓凸包点集列表；

其中Opencv库函数convexHull()封装了格雷厄姆扫描法。

作为优选，步骤3)中每个矩形外边界框Q个像素点内的白色像素点个数计算方法如下：

3-1)候选外接矩形框的每条边P

b＝kx

其中

3-2)重复步骤3-1)获取候选外接矩形框的4条边对应的

作为优选，步骤3)中顶点坐标逆时针旋转变换公式如下：

其中

作为优选，步骤(3)中七段特征提取识别中利用匹配模板进行匹配的方法是通过在匹配模板中设置的七段特征白色区域位置，依次判断步骤(2)获取的数字二值化数字图像在七段特征白色区域位置内每个区域的白色像素占比，根据阈值判断法判定图像中数字。

本发明的另一个目的是提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现上述的方法。

本发明的又一个目的是提供一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述的方法。

本发明的有益效果：该发明用于复杂工业环境下的七段式特征数显仪表的数字识别。本方法采用了最小外接矩形变体算法，准确提取出数显仪表的数字区域，从而为七段式特征数字识别提供了保障，有效地解决了因噪声、旋转而造成的数字误检，提高了数字识别的鲁棒性和精确性。

附图说明

图1为本发明的总体流程图；

图2为本发明图像预处理的结果示例；

图3为本发明旋转边分类图；

图4为本发明竖直和水平模板匹配图；

图5为本发明的实验对比图；其中(1)为最小外接矩形算法，(2)为本发明方法。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明是使用开源计算机视觉库Opencv进行实验，发明中使用和提出的公式都是基于图像坐标系而非直角坐标系。

本发明基于最小外接矩形变体的七段式数显仪表识别方法的总体流程图如图1所示，将七段式数显仪表的识别问题分为图像预处理、数字定位和数字识别三个步骤。图2为本发明图像预处理的结果示例。

步骤(1)、摄像头实时采集数字显示仪表区域的图像数据，并对图像进行预处理，得到二值化数字区域图像；其中图像预处理包括图像ROI裁剪、图像灰度化、图像Gamma化、图像二值化。

1-1实时采集数字显示仪表区域的图像数据：

本发明采集的图像是利用网络摄像头所拍摄的照片。本发明所使用的摄像头为400W像素，从原理上分析，采用的摄像头分辨率越高，所采集的图像数字信息越多，数字识别的准确度越高，但是会增加算法的计算量。事实上，当像素增加到一个阈值时，其数字识别的准确度达到了峰值，一味地增加像素不但不会增加识别准确度，反而造成算法识别时间的增加。

1-2图像ROI裁剪：

步骤1-1采集到的原图像是包含环境背景的数显仪表图像，利用数显仪表的颜色特征，调用Opencv库函数cvtColor()将采集到的原图像从BGR转换成HSV。

通过HSV色彩空间表得出红色区间为[156，43，46]至[180，255，255]的区间和[0，43，46]至[10，255，255]的区间，将在此区间内的像素值置255，其余像素值置0，记为图像2。

对图像2调用Opencv库函数findContours()获取所有连通区域的外接矩形，取面积最大者记其坐标位置为(p1，p2)，其中p1为矩形左上角坐标点，p2为矩形右下角坐标点。

在原图像中裁剪出(p1，p2)区域即为仪表区域。

1-3图像灰度化：

步骤1-1采集到的原图像为24位真彩图，调用Opencv库函数cvtColor()将步骤1-2裁剪后的仪表区域真彩图转换成8位的灰度图。

1-4图像Gamma化：

Gamma变换能增强数字区域和背景区域的对比度，从而消除数字区域周围的噪声。其变换公式为：

其中g表示步骤1-3灰度图中每个像素点的灰度值，M

1-4图像二值化：

数字图像二值化一般指的是将图像上的像素点灰度值设置为0或255，也就是转化成黑白两色的二值图像。本发明通过设定固定阈值240，将步骤1-4处理后图像灰度值大于240的像素点置255，小于240的像素点置0，从而获得仪表区域的二值化图像。

步骤(2)、对步骤(1)二值化仪表区域图像进行数字定位，得到数字的最佳外接矩形。其中所述数字定位部分包括获取外轮廓点集、获取外轮廓凸包点集、获取最佳外接矩形。

2-1获取外轮廓点集：

图像的外轮廓一般指的是一系列相连的点组成的曲线，代表了图像中该连通区域的基本外形。使用Opencv库函数findContours()分析步骤(1)二值化仪表区域图像的拓扑结构，提取出图像中每个数字连通区域的外轮廓点集。

其中Opencv库函数findContours()封装了Suzuki轮廓跟踪算法。

本发明所需的轮廓仅为外轮廓及其所有点，因此在调用该函数时的参数为cv2.RETR_EXTERNAL、cv2.CHAIN_APPROX_NONE，进而获取到二值化图像中每个连通区域的外轮廓点集，遍历每个连通域外轮廓点集并计算其最小绑定矩形面积，剔除面积小于300的轮廓，保留的轮廓为数字轮廓，按照每个数字轮廓的最小横坐标进行递增排序，得到按照数字字符顺序排序的数字轮廓列表。

2-2获取外轮廓凸包点集：

给定平面上的一个有限点集，包含点集中所有点的最小面积的凸多边形被称为该点集的凸包。利用Opencv库函数convexHull()对步骤2-1数字轮廓列表中每个数字轮廓进行处理，得到按照数字字符顺序排序的数字轮廓凸包点集列表。

其中Opencv库函数convexHull()封装了格雷厄姆扫描法。

2-3对步骤2-2数字轮廓凸包点集列表中的每个数字进行点集区域划分、凸包点集旋转，获取数字的最佳外接矩形。每个数字的处理操作相同，单个数字处理具体如下：

2-3-1点集区域划分：

单个数字外轮廓凸包点集M

2-3-2凸包点集旋转：

将同一区域内每个点两两组合构成D

如图3所示，同一区域内坐标点A＝(x0，y0)与坐标点B＝(x1，y1)连接成旋转边d

对于第二种情况使其顺时针旋转至平行于x坐标轴，其旋转θ

在图像坐标系中，一个点(x1，y1)绕旋转中心点(x0，y0)顺时针旋转θ

本方法中对所获取的单个数字外轮廓凸包点集M

其中

2-3-3计算步骤2-3-2旋转变换结果

其中，

对每个旋转变换结果

由于θ

每条边P

b＝kx

其中，

按照上述方法依次计算另外3条边对应的

从上述D个候选外接矩形框值中选取最大者记为C

使用Opencv库函数getRotationMatrix2D()和warpAffine()将步骤(1)处理后的二值化图像顺时针旋转θ

2-3-3遍历所有数字的外轮廓凸包点集，重复上述步骤2-3-1至2-3-2。

步骤(三)：数字识别。数字识别部分包括七段特征区域设计、七段特征匹配识别。

本发明使用的数字匹配方法是七段特征提取法，此方法鲁棒性强适用于竖直或水平的七段式数码数字。

3-1七段特征区域设计：

构建七段式数字的水平和竖直向的匹配模板，如图4所示是设计的两套模板。

3-2七段特征提取识别：

判断步骤2-3-3获取的最佳外接矩形内数字二值化图像的高和宽，当图像的高大于宽，认为该图像中数字为竖直方向，反之为水平方向。

其次判断是否为数字1，当数字为水平方向且高宽比小于0.4,则为数字1，否则为其他数字。当数字为竖直方向且宽高比小于0.4,则为数字1，否则为其他数字。

若为其他数字时，当数字为水平方向时采用水平向的匹配模板进行匹配，反之采用竖直向的匹配模板进行匹配。其匹配方法是通过在模板中设置的七段特征白色区域位置，依次判断步骤2-3-3获取的数字二值化数字图像在此七个区域内每个区域的白色像素占比，根据阈值判断法判定图像中数字。

本发明可以设置阈值为0.5，如若白色像素占比大于阈值则将判定数组中该区域对应的索引位置值置1，反之置0。

表1判定数组表

七段特征区域遍历完成后得出该数字的判定数组，将其作为健输入到数字字典中输出其对应的数字结果。

本实施例对本发明方法和现有传统最小外接矩形算法做了对比，如图5所示，图5(1)为使用最小外接矩形算法获得的矩形框，由于数字9右下角出现了残缺，导致数字定位后的矩形框出现弯曲，虽然此框是最小面积外接矩形框，但是显然无法通过七段式特征法识别出正确的数字结果。图5(2)为使用本发明获得的矩形框，鉴于七段式特征数字的边缘特征，应用本发明后矩形框内的白色数字不会出现扭曲，通过使用七段式特征法依然能够稳定识别出正确结果。