基于物联网和机器视觉的指针式仪表示值自动识别装置及方法

摘要

本发明公开了一种基于物联网和机器视觉的指针式仪表示值自动识别装置及方法，装置包括主站控制中心、网关及基站；其中基站包括待测指针式仪表表盘、摄像机、计算机及GPRS无线终端。本发明利用摄像机拍摄清晰的零时刻指针式仪表表盘图存入计算机，并根据实际情况设置相关参数；利用摄像机实时拍摄待测指针式仪表图像，对拍摄的图像基于智能优化算法进行图像处理，计算出指针式仪表示值，再通过GPRS无线终端将示值发送到主站控制中心，取代人工读数，克服人工读数的劳动强度大，误差大、效率低等缺陷和问题，并提高了主站控制中心和基站相互间的通信效率。

说明书

技术领域

本发明涉及仪表示值识别领域，特别涉及一种基于物联网和机器视觉的指 针式仪表示值自动识别装置及方法。

背景技术

目前，我国电力、石油、化工等行业仍大量地使用指针式仪表，特别是在 一些特殊场合(如煤气站)。指针式仪表示值的识别主要由人工完成的，通过人 工观测仪表表盘指针来读取示值，这种观测方法容易受到人的观测角度和观测 距离等主观因素的影响，误差较大，且人工读数劳动强度大，效率低。在远程 控制时，由于各基站和主站控制中心之间的信息通信效率较低，导致各基站不 能实时地获得主站控制中心的指令，以及各基站识别出的仪表示值不能实时的 反馈到主站控制中心。

物联网技术就是通过各种信息传感装置和技术实时采集任何需要监控、连 接、互动的物体或过程，采集各种需要的信息，按照协议，把任何物品与网络 连接，进行信息交换和通信，以实现对物品实时的监控和管理的一种技术。

机器视觉技术就是用机器系统代替人眼进行判断和测量。机器视觉系统是 指通过摄像机等设备将要检测的目标转换成数字信号，并传送到对应的图像处 理系统，系统根据要求进行检测，记录检测结果或者根据结果进行现场控制。 机器视觉相对于人的视觉有很多优越性，比如非接触测量，具有较宽的光谱响 应范围，能长时间稳定工作等。在图像处理时，本发明提出了基于混沌孤僻鱼 人工鱼群算法进行图像处理的方法，该方法提出采用孤僻鱼的孤僻性实现人工 鱼搜索方向的变异以避免早熟收敛，并将混沌搜索融入该改进算法，利用混沌 搜索的随机性、遍历性来提高算法在局部区域的细搜能力，提高搜索精度。这 些技术的应用，大大提高了示值的识别精度，降低了工人的劳动强度。

发明内容

本发明目的是为了克服人工读数劳动强度大、效率低以及误差大的问题， 提供一种基于物联网和机器视觉的指针式仪表示值自动识别方法及装置，大大 降低了工作人员读数的劳动强度，提高了读数的效率，有效保证了读数的准确 性。

实现上述目的中基于物联网和机器视觉的指针式仪表示值自动识别的技术 方案是：一种基于物联网和机器视觉的指针式仪表示值自动识别方法及装置， 包括主站控制中心、网关和基站，所述基站通过GPRS或者GSM网络与网关 实行通信连接；所述网关与主站控制中心连接，用于传递信息。

上述基站包括指针式仪表、有线摄像机、基站计算机和GPRS无线终端， 所述有线摄像机位于指针式仪表表盘的正前方，所述有线摄像机和GPRS无线 终端分别与计算机通信连接。

上述基站包括指针式仪表、无线摄像机、无线接收器、基站计算机和 GPRS无线终端，所述无线摄像机位于指针式仪表表盘的正前方，与无线接收 器无线连接，所述无线接收器和GPRS无线终端分别与基站计算机通信连接。

在上述技术方案中，基站还包括恒定光源，所述恒定光源位于指针式仪表 表盘的前方及摄像机的一侧。

一种基于物联网和机器视觉的指针式仪表示值自动识别方法，包括以下步 骤：

（1）设置待测指针式仪表量程M和单位，设置图像位置阈值T，利用摄 像机拍摄待测指针式仪表的零时刻表盘图像，并将拍摄的表盘图像传输到基站 计算机；

（2）基站计算机对步骤（1）所得的零时刻表盘图像进行图像算法处理；

（3）由步骤（2）所得的图像获取仪表零刻度线与图像水平基准线之间的 夹角α，仪表满量程刻度线与图像水平基准线之间的夹角β，表盘中心的坐标 位置，保存于基站计算机；

（4）主站控制中心向基站计算机发出仪表示值自动识别指令；

（5）基站计算机在接到控制中心的指令后，位于指针式仪表表盘正前方 的摄像机拍摄仪表表盘图像，并将拍摄所得仪表表盘图像传输到基站计算机；

（6）基站计算机对所得仪表表盘图像进行图像算法处理；

（7）由步骤（6）所得图像获取仪表指针与图像水平基准线之间的夹角 θ；

（8）由步骤（1）所得仪表量程M、步骤（2）所得夹角α与β、步骤 （7）所得夹角θ、通过公式（1）计算仪表示值：

$p=\frac{\theta -\alpha }{\beta -\alpha }M---\left(1\right)$

（9）将仪表示值传输到主站控制中心。

上述步骤（2）中的图像处理算法为基于图像二维最大熵的最优阈值图像 算法，具体为：

（2a）对步骤（1）所得零时刻表盘图像进行灰度化处理，得到零时刻表 盘灰度图像f₁(x,y)；

（2b）对步骤（2a）所得图像进行3*3中值滤波；

（2c）对步骤（2b）所得的图像进行3*3高斯平滑；

（2d）对步骤（2c）所得的图像进行最优阈值选取；

（2e）根据步骤（2d）所得最优阈值对（2c）所得图像进行二值化处理；

所述步骤（2d）中最优阈值的选择方法是基于图像二维最大熵的选择方 法，即采用由图像像素灰度s和邻域平均灰度t构成的二维阈值向量为(s，t)搜 索图像的最优阈值。

上述图像二维最大熵的选择是基于混沌孤僻鱼人工鱼群算法进行的，其具 体步骤如下：

(i)初始化，即设置鱼群规模M、孤僻鱼概率p、迭代次数g以及迭代总次 数N_g，其中，迭代次数设置为1；

(ii)随机产生M条人工鱼，即在L×L的二维灰度空间中随机选取M个点 (s,t)作为人工鱼的初始状态，形成初始鱼群；计算初始鱼群各人工鱼当前状 态的函数值fit，取fit为最大值者进入公告板，并将此人工鱼位置状态也赋值给 公告板；所述函数值fit代表灰度图像的二维熵，由公式（2）求得：

Φ(s,t)＝log[P₁(1-P₁)]+H₁/P₁+(H_L-H₁)/(1-P₁)    （2）

其中：P₁代表目标区（0≤i<s,0≤j<t）的概率累计分布，H_L代表L×L区域的 二维熵，H₁代表目标区的二维熵，且：

$H_L=-\underset{i=0}{\overset{L-1}{\Sigma }}\underset{j=0}{\overset{L-1}{\Sigma }}{p}_{\mathrm{ij}}\log p_{\mathrm{ij}}---\left(3\right)$

$H_1=-\underset{i=0}{\overset{s-1}{\Sigma }}\underset{j=0}{\overset{t-1}{\Sigma }}{p}_{\mathrm{ij}}\log p_{\mathrm{ij}}---\left(4\right)$

$P_1=-\underset{i=0}{\overset{s-1}{\Sigma }}\underset{j=0}{\overset{t-1}{\Sigma }}\log p_{\mathrm{ij}}---\left(5\right)$

其中，p_ij代表图像中点灰度为i及其邻域灰度均值为j的像素点的联合概率 密度，i为像素灰度,j为邻域平均灰度,且0≤i,j≤L-1,p_ij可由公式（6）求得：

$p_{\mathrm{ij}}=i\frac{f_{\mathrm{ij}}}{N}---\left(6\right)$

式中，f_ij代表图像中点灰度为i及其邻域灰度均值为j的像素点数，N为 总像素点数。

(iii)判断迭代次数g是否大于迭代总次数N_g，若迭代次数大于迭代总次 数，则进入步骤(viii)，否则进入步骤(iv)；

(iv)产生0-1之间随机数，若该随机数大于孤僻鱼概率p，则各人工鱼分 别模拟追尾行为和聚群行为，评价行动后的值，选择fit值较小的行为实际执 行，缺省行为方式为觅食行为；否则，则各孤僻鱼分别模拟逆追尾行为和逆聚 群行为，评价执行行为后的值，选择fit值较大的行为实际执行，缺省行为方式 为觅食行为；所述逆追尾行为是指当人工鱼在其当前邻域内的伙伴中找到一最 优伙伴，且该伙伴的状态具有较高的食物浓度并且其周围不太拥挤时，朝最优 伙伴的反方向前进一步的行为；所述逆聚群行为是指孤僻鱼在伙伴中心有较多 的食物并且不太拥挤时，朝伙伴的中心位置反方向前进一步的行为；

(v)计算每一条人工鱼的函数值fit，如果鱼群中的最优人工鱼的fit值优于公 告板的fit值，则更新公告板。

(vi)对公告板中人工鱼进行混沌搜索，若所得结果大于当前公告板人工鱼 的fit值，则更新公告板。

(vii)迭代次数加1，并且转到步骤(iii)；

(viii)输出公告板中人工鱼状态即最优阈值点（s^*,t^*）和函数值。

上述步骤（3）求取仪表零刻度线与图像水平基准线之间的夹角α、仪表满 量程刻度线与图像水平基准线之间的夹角β和表盘中心的坐标位置的方法采用 最小二乘拟合法，具体为：

（3a）对步骤（2e）所得图像进行连通域标记；

（3b）从步骤（3a）的标记结果中，选取零刻度线连通域和满量程刻度线 连通域；

（3c）对步骤（3b）中的连通域用最小二乘算法进行零刻度线和满量程刻 度线拟合；

（3d）求得零刻度线与图像水平基准线之间的夹角α，满量程刻度线与图 像水平基准线之间的夹角β，表盘中心的坐标位置，保存于基站计算机；

上述步骤（6）中的图像算法为基于图像二维最大熵的图像处理算法，具 体为：

（6a）对采集的指针式仪表表盘图像进行灰度化处理，得灰度图像 f_t(x,y)；

（6b）将所得灰度图像f_t(x,y)和零时刻表盘灰度图像f₁(x,y)进行最大灰度 比较，得到一幅无指针的指针式仪表表盘灰度图像f₀(x,y)。即若f₁(x,y)的灰 度值大于f_t(x,y)，则f₀(x,y)=f₁(x,y)，否则f₀(x,y)=f_t(x,y)；

（6c）将步骤（6a）所得仪表表盘灰度图像f_t(x,y)与步骤（6b）所获得的 无指针表盘灰度图像f₀(x,y)相减得到指针图像f_x(x,y)；

（6d）对步骤（6c）所获得的图像进行3*3中值滤波；

（6e）对步骤（6d）所获得的图像进行3*3高斯平滑；

（6f）根据步骤（2d）所得最优阈值对（6e）所得图像进行二值化处理；

其中步骤（7）获取仪表指针与图像水平基准线之间的夹角θ的具体步骤 为：

（7a）由步骤（6f）所得二值化图像计算每个像素值为0的点到表盘中心 的距离d_i,计算这些像素点的位置均值

（7b）获取图像像素值为0的点的位置到其位置均值的误差平方和：

$E_x=\underset{i=1}{\overset{N_0}{\Sigma }}{(x_i-\bar{x})}^2---\left(7\right)$

$E_y=\underset{i=1}{\overset{N_0}{\Sigma }}{(y_i-\bar{y})}^2---\left(8\right)$

其中N₀代表像素值为0的点的个数，（x_i，y_i）代表像素值为0的第i个 点的坐标（i=1,2,…,N₀）,代表像素值为0的点的水平位置均值，代表像素 值为0的点的垂直位置均值，E_x代表像素值为0的点的水平位置与其均值的误 差平方和，E_y代表像素值为0的点的垂直位置与其均值的误差平方和；

（7c）如果E_x的值小于位置阈值T，则置夹角θ为90°并转至步骤（7f）， 否则如果E_y的值小于位置阈值T，且大于表盘中心的水平位置，则置夹角θ 为180°并转至步骤（7f），否则如果E_y的值小于位置阈值T，则置夹角θ为0° 并转至步骤（7f），否则转至步骤（7d）;

（7d）由d_i值的大小排序确定其对应的权值q_i，权值q_i取距离从小到大排 列的位次与像素值为0的点的个数N₀的比值；

（7e）基于混沌孤僻鱼人工鱼群算法对仪表指针进行加权最小二乘直线拟 合，求得仪表指针与图像水平基准线之间的夹角θ；

（7f）保存夹角θ值并返回；

其中（7e）参照（2d）的算法，人工鱼状态取拟合直线参数（a，b）,人 工鱼状态的函数值fit由公式（9）、(10)确定：

$\mathrm{fit}=\frac{1000}{1+J}---\left(9\right)$

$J=\underset{i=1}{\overset{N_0}{\Sigma }}{q}_i{(y_i-a\times x_i-b)}^2---\left(10\right)$

式中，a，b为拟合直线y=ax+b的参数值，（x_i，y_i）代表像素值为0的第i 个点的坐标（i=1,2,…,N₀），J代表加权拟合误差平方和。

与现有技术相比，本发明的基于物联网和机器视觉的指针式仪表自动识别 方法及装置，采用物联网技术提高了主站控制中心和基站相互间的通信效率， 使得主站能够实时地监控各基站。本发明采用机器视觉系统对指针式仪表示值 进行自动识别，取代了人工识别，大大降低了工作人员读数的劳动强度，提高 了读数的效率，减小了读数的误差。

附图说明

图1是本发明的总体结构框图；

图2是基站第一种的组成图；

图3是基站第二种的组成图；

图4是零时刻表盘图像处理流程图；

图5是待测盘图像处理流程图；

图6是角度法的示意图。

具体实施方式

下面结合附图及给出具体实施方式的对本发明作进一步的说明。

如图1所示，一种基于物联网和机器视觉的指针式仪表示值自动识别装 置，包括主站控制中心、网关和基站，基站通过GPRS或者GSM网络与网关 实行通信连接；网关与主站控制中心连接，用于传递信息。

基站有两种组成模块：

如图2所示，第一种包括指针式仪表1、有线摄像机7、基站计算机4和 GPRS无线终端6，有线摄像机7位于指针式仪表1表盘的正前方，有线摄像 机7和GPRS无线终端6分别与基站计算机4通信连接。

如图3所示，第二种包括指针式仪表1、无线摄像机2、无线接收器3、基 站计算机4和GPRS无线终端6，无线摄像机2位于指针式仪表1表盘的正前 方，与无线接收器3无线连接，无线接收器3和GPRS无线终端6分别与基站 计算机4通信连接。

基站还包括恒定光源5，恒定光源5位于指针式仪表1表盘的前方及摄像 机的一侧。

一种基于物联网和机器视觉的指针式仪表示值自动识别方法，具体实施步 骤为：

（1）设置待测指针式仪表量程M和单位，设置图像位置阈值T，利用摄 像机拍摄待测指针式仪表的零时刻表盘图像，并将拍摄的表盘图像传输到基站 计算机；

（2）基站计算机对步骤（1）所得的零时刻表盘图像进行图像算法处理；

（3）由步骤（2）所得的图像获取仪表零刻度线与图像水平基准线之间的 夹角α，仪表满量程刻度线与图像水平基准线之间的夹角β，表盘中心的坐标 位置，保存于基站计算机；

（4）主站控制中心向基站计算机发出仪表示值自动识别指令；

（5）基站计算机在接到控制中心的指令后，位于指针式仪表表盘正前方 的摄像机拍摄仪表表盘图像，并将拍摄所得仪表表盘图像传输到基站计算机；

（6）基站计算机对所得仪表表盘图像进行图像算法处理；

（7）由步骤（6）所得图像获取仪表指针与图像水平基准线之间的夹角 θ；

（8）由步骤（1）所得仪表量程M、步骤（2）所得夹角α与β、步骤 （7）所得夹角θ，参见图6所示，通过公式（1）计算仪表示值：

$p=\frac{\theta -\alpha }{\beta -\alpha }M---\left(1\right)$

（9）将仪表示值传输到主站控制中心。

所述步骤（2）中的图像处理算法为基于图像二维最大熵的最优阈值图像 处理算法，如图4所示，具体为：

（2a）对步骤（1）所得零时刻表盘图像进行灰度化处理，得到零时刻表 盘灰度图像f₁(x,y)；

（2b）对步骤（2a）所得图像进行3*3中值滤波；

（2c）对步骤（2b）所得的图像进行3*3高斯平滑；

（2d）对步骤（2c）所得的图像进行最优阈值选取；

（2e）根据步骤（2d）所得最优阈值对（2c）所得图像进行二值化处理；

所述步骤（2d）中最优阈值的选择方法是基于图像二维最大熵的选择方 法，即采用由图像像素灰度s和邻域平均灰度t构成的二维阈值向量为(s，t)搜 索图像的最优阈值。所述图像二维最大熵的选择是基于混沌孤僻鱼人工鱼群算 法进行的，其具体步骤如下：

(i)初始化，即设置鱼群规模M、孤僻鱼概率p、迭代次数g以及迭代总次 数N_g，其中，迭代次数设置为1；

(ii)随机产生M条人工鱼，即在L×L的二维灰度空间中随机选取M个点 (s，t)作为人工鱼的初始状态,形成初始鱼群。计算初始鱼群各人工鱼当前状态 的函数值fit，取fit为最大值者进入公告板，并将此人工鱼位置状态也赋值给公 告板。所述函数值fit代表灰度图像的二维熵，由公式（2）求得：

Φ(s,t)＝log[P₁(1-P₁)]+H₁/P₁+(H_L-H₁)/(1-P₁)    （2）

其中：P₁代表目标区（0≤i<s,0≤j<t）的概率累计分布，H_L代表L×L区域 的二维熵，H₁代表目标区的二维熵，且：

$H_L=-\underset{i=0}{\overset{L-1}{\Sigma }}\underset{j=0}{\overset{L-1}{\Sigma }}{p}_{\mathrm{ij}}\log p_{\mathrm{ij}}---\left(3\right)$

$H_1=-\underset{i=0}{\overset{s-1}{\Sigma }}\underset{j=0}{\overset{t-1}{\Sigma }}{p}_{\mathrm{ij}}\log p_{\mathrm{ij}}---\left(4\right)$

$P_1=-\underset{i=0}{\overset{s-1}{\Sigma }}\underset{j=0}{\overset{t-1}{\Sigma }}\log p_{\mathrm{ij}}---\left(5\right)$

其中，p_ij代表图像中点灰度为i及其邻域灰度均值为j的像素点的联合概率 密度，i为像素灰度,j为邻域平均灰度,且0≤i,j≤L-1,p_ij可由公式（6）求得：

$p_{\mathrm{ij}}=i\frac{f_{\mathrm{ij}}}{N}---\left(6\right)$

式中，f_ij代表图像中点灰度为i及其邻域灰度均值为j的像素点数，N为 总像素点数。

(iii)判断迭代次数g是否大于迭代总次数N_g，若迭代次数大于迭代总次 数，则进入步骤(viii)，否则进入步骤(iv)；

(iv)产生0-1之间随机数，若该随机数大于孤僻鱼概率p，则各人工鱼分 别模拟追尾行为和聚群行为，评价行动后的值，选择fit值较小的行为实际执 行，缺省行为方式为觅食行为；否则，则各孤僻鱼分别模拟逆追尾行为和逆聚 群行为，评价执行行为后的值，选择fit值较大的行为实际执行，缺省行为方式 为觅食行为；所述逆追尾行为是指当人工鱼在其当前邻域内的伙伴中找到一最 优伙伴，且该伙伴的状态具有较高的食物浓度并且其周围不太拥挤时，朝最优 伙伴的反方向前进一步的行为；所述逆聚群行为是指孤僻鱼在伙伴中心有较多 的食物并且不太拥挤时，朝伙伴的中心位置反方向前进一步的行为；

(v)计算每一条人工鱼的函数值fit，如果鱼群中的最优人工鱼的fit值优于公 告板的fit值，则更新公告板。

(vi)对公告板中人工鱼进行混沌搜索，若所得结果大于当前公告板人工鱼 的fit值，则更新公告板。

(vii)迭代次数加1，并且转到步骤(iii)；

(viii)输出公告板中人工鱼状态即最优阈值点（s^*,t^*）和函数值。

所述步骤（3）求取仪表零刻度线与图像水平基准线之间的夹角α、仪表满 量程刻度线与图像水平基准线之间的夹角β和表盘中心的坐标位置的方法采用 最小二乘拟合法，具体为：

（3a）对（2e）所得图像进行连通域标记；

（3b）从步骤（3a）的标记结果中，选取零刻度线连通域和满量程刻度线 连通域；

（3c）对步骤（3b）中的连通域用最小二乘算法进行零刻度线和满量程刻 度线拟合；

（3d）求得零刻度线与图像水平基准线之间的夹角α，满量程刻度线与图 像水平基准线之间的夹角β，表盘中心的坐标位置，保存于基站计算机；

所述步骤（6）中的图像算法为基于图像二维最大熵的图像处理算法，如 图5所示，具体为：

（6a）对采集的指针式仪表表盘图像进行灰度化处理，得灰度图像 f_t(x,y)；

（6b）将所得灰度图像f_t(x,y)和零时刻表盘灰度图像f₁(x,y)进行最大灰度 比较，得到一幅无指针的指针式仪表表盘灰度图像f₀(x,y)。即若f₁(x,y)的灰 度值大于f_t(x,y)，则f₀(x,y)=f₁(x,y)，否则f₀(x,y)=f_t(x,y)；

（6c）将步骤（6a）所得仪表表盘灰度图像f_t(x,y)与步骤（6b）所获得的 无指针表盘灰度图像f₀(x,y)相减得到指针图像f_x(x,y)；

（6d）对步骤（6c）所获得的图像进行3*3中值滤波；

（6e）对步骤（6d）所获得的图像进行3*3高斯平滑；

（6f）根据步骤（2d）所得最优阈值对（6e）所得图像进行二值化处理；

步骤（7）获取仪表指针与图像水平基准线之间的夹角θ的具体步骤为：

（7a）由步骤（6f）所得二值化图像计算每个像素值为0的点到表盘中心 的距离d_i,计算这些像素点的位置均值

（7b）获取图像像素值为0的点的位置到其位置均值的误差平方和：

$E_x=\underset{i=1}{\overset{N_0}{\Sigma }}{(x_i-\bar{x})}^2---\left(7\right)$

$E_y=\underset{i=1}{\overset{N_0}{\Sigma }}{(y_i-\bar{y})}^2---\left(8\right)$

其中N₀代表像素值为0的点的个数，（x_i，y_i）代表像素值为0的第i个 点的坐标（i=1,2,…,N₀）,代表像素值为0的点的水平位置均值，代表像素 值为0的点的垂直位置均值，E_x代表像素值为0的点的水平位置与其均值的误 差平方和，E_y代表像素值为0的点的垂直位置与其均值的误差平方和；

（7c）如果E_x的值小于位置阈值T，则置夹角θ为90°并转至步骤（7f）， 否则如果E_y的值小于位置阈值T，且大于表盘中心的水平位置，则置夹角θ 为180°并转至步骤（7f），否则如果E_y的值小于位置阈值T，则置夹角θ为0° 并转至步骤（7f），否则转至步骤（7d）;

（7d）由d_i值的大小排序确定其对应的权值q_i，权值q_i取距离从小到大排 列的位次与像素值为0的点的个数N₀的比值；

（7e）基于混沌孤僻鱼人工鱼群算法对仪表指针进行加权最小二乘直线拟 合，求得仪表指针与图像水平基准线之间的夹角θ；

（7f）保存夹角θ值并返回；

其中（7e）参照（2d）的算法，人工鱼状态取拟合直线参数（a，b）,人 工鱼状态的函数值fit由公式（9）、(10)确定：

$\mathrm{fit}=\frac{1000}{1+J}---\left(9\right)$

$J=\underset{i=1}{\overset{N_0}{\Sigma }}{q}_i{(y_i-a\times x_i-b)}^2---\left(10\right)$

式中，a，b为拟合直线y=ax+b的参数值，（x_i，y_i）代表像素值为0的第i 个点的坐标（i=1,2,…,N₀），J代表加权拟合误差平方和。

上述实例只为说明本发明的技术构想及特点，基于本发明思想的其他实施 方式，均在本发明的保护范围之内。