一种基于机器视觉的虚拟人机操作界面系统及构建方法

摘要

本发明公开了一种基于机器视觉的虚拟人机操作界面系统及构建方法，包括以下步骤：在一台HMI显示器正前方装置摄像头，摄像区域覆盖整个HMI显示器；对HMI显示器显示的各子画面进行初始图像采集；对步骤二中采集到的各子画面初始图像进行处理并将图片信息传递给虚拟HMI客户端；对HMI显示器显示的图像进行实时采集，并利用图像处理和模式识别算法对数据进行提取和识别；虚拟HMI客户端将步骤三中得到的初始子画面信息与步骤四中得到的数据信息进行合并，从而在虚拟HMI客户端上进行HMI重建。该方法通过监控HMI的显示器进行数据采集，在单独的网络上进行HMI画面重建，既不占用PLC所在网络的带宽，也可以让生产方控制监控方的监控时间及监控内容，保证重要数据不泄密。

说明书

技术领域

本发明属于工业自动化技术领域，涉及一种基于机器视觉的虚拟人机操作界面系统及构 建方法。

背景技术

在工业自动化生产过程中，人机操作界面（HMI）是一种很重要的计算机程序，它可以显 示在生产过程中的生产状态。同时，生产操作人员可以利用其进行生产参数设置及生产状态 改变；工程技术人员和工艺人员可以从人机操作界面上对生产运行状况进行简单故障的诊断。

多方进行HMI监控，一般需要在多台机器上安装HMI程序。由于HMI和PLC进行数据交 换，占用了可编程逻辑控制器（PLC）一定的计算负荷，也占用了一定的网络带宽。因此，从 网络和PLC负荷角度出发，对安装HMI客户端的数量都会有一定限制；另一方面，出于对计 算机安全和生产数据保密因素的考虑，厂方不想外部计算机连入HMI所在网络进行监控，这 样从场外进行HMI监控也存在一定问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于机器视觉的虚拟人机操作界面系统及构建方 法，该方法和系统通过监控HMI的显示器进行数据采集，在单独的网络上进行HMI画面重建。

为达到上述目的，本发明提供如下技术方案：

一种基于机器视觉的虚拟人机操作界面构建方法，包括以下步骤：步骤一：在一台HMI 显示器正前方装置摄像头，摄像区域覆盖整个HMI显示器；步骤二：对HMI显示器显示的各 子画面进行初始图像采集；步骤三：对步骤二中采集到的各子画面初始图像进行处理并将图 片信息传递给虚拟HMI客户端；步骤四：对HMI显示器显示的图像进行实时采集，并利用图 像处理和模式识别算法对数据进行提取和识别；步骤五：虚拟HMI客户端将步骤三中得到的 初始子画面信息与步骤四中得到的数据信息进行合并，从而在虚拟HMI客户端上进行HMI重 建。

进一步，在步骤二中，对HMI各子画面进行初始图像采集，对各子画面分别得到多幅图 像，保证采集到各子画面各个状态的全部集合。

进一步，步骤三具体包括：对初次图像采集得到的HMI各子画面图像，通过手动处理得 到各子画面的背景图片，并给出背景图片的子画面类别标记；对初次采集得到的各HMI子画 面图像进行手动分割，分割出感兴趣的颜色、箭头方向等状态监控区域及过程数据区域，标 记这些区域的位置及对应子画面种类；标记区域的颜色、箭头等状态的全部样本，并给予子 画面种类及状态类别标记；将各HMI子画面背景图片、状态位置及状态样本及类别传送给虚 拟HMI的客户端。

进一步，在步骤四中，采集视频帧率大于HMI画面设定变化频率的两倍。

进一步，在步骤四中，结合采集到的每一帧HMI画面，在服务器上进行子画面类别的识 别；对于采集到的HMI画面和识别得到的子画面背景图片进行比较得到数字、颜色及箭头方 向的变化区域；利用模式识别算法对变化区域进行识别，识别出状态类别及数字。

进一步，在步骤五中，将子画面类别、状态类别、数字传递给客户端，客户端根据状态 类别、子画面类别找到状态位置和子画面背景图片，在客户端显示器上对该类别HMI子画面 背景图片的相应位置上进行数字和状态显示，显示出实时变化HMI子画面。

本发明还提供了一种基于机器视觉的虚拟人机操作界面系统，包括摄像机、服务器、交 换机及多台客户端计算机；摄像机对运行HMI的计算机显示器进行摄像监控，摄像机的摄像 区域覆盖整个显示器屏幕，并将得到的视频数据传送至服务器；服务器提取HMI各子画面的 背景图像，并给出类别标记；服务器对摄像机采集得到的实时视频利用图像处理和模式识别 技术进行过程数据提取和识别，将过程数据提取出来，并利用背景图像在客户端计算机进行 HMI重建。

进一步，摄像机采集视频帧率大于HMI画面设定变化频率的两倍。

本发明的有益效果在于：本发明通过监控HMI的显示器进行数据采集，在单独的网络上 进行HMI画面重建，既不占用PLC所在网络的带宽，也可以让生产方控制监控方的监控时间 及监控内容，保证重要数据不泄密。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明所述系统的结构示意图；

图2为本发明所述方法的流程示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1为本发明所述系统的结构示意图，如图所示，该系统包括摄像机、服务器、交换机 及多台客户端计算机；摄像机对运行HMI的计算机显示器进行摄像监控，摄像机的摄像区域 覆盖整个显示器屏幕，并将得到的视频数据传送至服务器；服务器提取HMI各子画面的背景 图像，并给出类别标记；服务器对摄像机采集得到的实时视频利用图像处理和模式识别技术 进行过程数据提取和识别，将过程数据提取出来，并利用背景图像在客户端计算机进行HMI 重建。

图2为本发明所述方法的流程示意图，该方法包括以下步骤：步骤一：在一台HMI显示 器正前方装置摄像头，摄像区域覆盖整个HMI显示器；步骤二：对HMI显示器显示的各子画 面进行初始图像采集；步骤三：对步骤二中采集到的各子画面初始图像进行处理并将图片信 息传递给虚拟HMI客户端；步骤四：对HMI显示器显示的图像进行实时采集，并利用图像处 理和模式识别算法对数据进行提取和识别；步骤五：虚拟HMI客户端将步骤三中得到的初始 子画面信息与步骤四中得到的数据信息进行合并，从而在虚拟HMI客户端上进行HMI重建。

下面通过一个实施例来说明系统的工作流程。

S1）一台运行HMI程序的计算机连接19寸以上的LED显示器，HMI画面更新时间为100ms。 在HMI显示器正前方安装一台千兆以太网彩色cmos工业摄像机，分辨率1400×1024，保证 摄像机正对显示器，位置固定不变，拍摄区域刚好覆盖整个HMI显示器。摄像机采样频率为 30Hz。一台计算机作为虚拟HMI服务器，一台计算机作为虚拟HMI客户端，工业摄像机、虚 拟HMI服务器、虚拟HMI客户机通过一台交换机组成独立的局域计算机网络。

S2）通过工业摄像机对HMI各子画面采集一定数量图像，保证样本图像包含诸如颜色、 箭头方向等各个状态的全部集合。

S3）对初次图像采集得到的HMI子画面图像，通过手动处理得到各子画面的背景图片， 并给出背景图片的子画面类别标记；

S4）对初次采集得到的各HMI子画面图像进行手动分割，分割出感兴趣的颜色、箭头方 向等状态监控区域及过程数据区域，标记这些区域的位置及对应子画面种类；

S5）标记区域的颜色、箭头等状态的全部样本，并给予子画面种类及状态类别标记；

S6)将各HMI子画面背景图片、状态位置及状态样本及类别传递给虚拟HMI的客户端；

S7）实时进行HMI图像采集，采集视频帧率大于HMI画面设定变化频率的二倍。

S8）结合采集得到每一帧HMI画面，在视频处理服务器上进行子画面类别的识别；

S9）对于采集得到的HMI画面和识别得到的子画面背景图片进行比较得到数字及颜色、 箭头方向等状态的变化区域；

S10）利用模式识别算法对变化区域进行识别，识别出状态类别及数字；

S11)将子画面类别、状态类别、数字传递给客户端，客户端根据状态类别、子画面类别 找到状态位置和子画面背景图片，在客户端显示器上对该类别HMI子画面背景图片的相应位 置上进行数字和状态显示，显示出实时变化HMI子画面。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述 优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和 细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。