自动识别和记录操作员操作的人机界面产品及其方法

摘要

本发明提供一种自动识别和记录操作员操作的人机界面HMI产品及方法。所述HMI产品包括：HMI控制单元（10），发送控制信号；摄像头（20），在HMI控制单元（10）的控制信号的控制下拍摄操作员的图片或者操作员的操作动作，将所拍摄的图片或视频传送到HMI控制单元（10）；以及存储器（30），在HMI控制单元（10）的控制下自动存储所拍摄的图片或视频。其中，HMI控制单元（10）根据摄像头（20）所拍摄的图片或视频进行自动识别，以判断所述操作员是否是授权的操作员，并确定是否需要记录所拍摄的图片或视频。

说明书

技术领域

本发明一般地涉及一种人机界面产品和相关方法。更具体地，涉及一种 能够自动识别和记录操作员操作的人机界面产品和相关方法。

背景技术

在工业控制领域，人机界面（HMI）产品应用的领域有很多，主要运用 在建筑、制药机械、纺织机械等方面。HMI产品的开放性很好，内置许多驱 动，可扩展性也很强，HMI产品通常与相关的控制产品配套使用。

通常的人机界面产品（未示出）包括显示模块、后模块、连接部件。显 示模块通常为触摸显示屏，面向操作者，用于接收操作员的输入操作并为用 户提供相关的状态和控制信息；后模块，位于显示模块的背面，其内部包含 人机界面产品的核心功能电路；连接部件，包含实现人机界面产品的功能的 多种连接端子，诸如人机界面产品的电源连接插座、USB电缆座、信号端子 等等。

目前越来越多的客户提出HMI产品在使用中的安全保障、机器操作交 互和记录方面的要求。虽然，目前操作人员可以基于密码来进行HMI操作， 即，当前的HMI产品使用密码来识别操作人员，但是这对于客户而言还不 够有效和安全，并且整个操作记录也均基于密码。如果密码丢失或被盗，则 客户站点的误操作会非常危险。

在当前的人机界面（HMI）产品的解决方案中，由于HMI产品中没有 嵌入摄像头，因此当前的HMI产品无法向操作机器的操作人员提供与操作 相关的图片或视频记录。

随着技术的迅猛发展，摄像头的尺寸、成本和可靠性等方面得到了极大 的改善，基于此，有可能将摄像头引入HMI产品和相关的机器控制系统， 以实现安全保障和记录方面的应用。本发明正是基于此而做出的。

发明内容

根据本发明的一方面，提供了一种自动识别和记录操作员操作的人机界 面HMI产品，包括：HMI控制单元，发送控制信号；摄像头，在HMI控制 单元的控制信号的控制下拍摄操作员的图片或者操作员的操作动作，将所拍 摄的图片或视频传送到HMI控制单元；以及存储器，在HMI控制单元的控 制下自动存储所拍摄的图片或视频。其中，HMI控制单元根据摄像头所拍摄 的图片或视频进行自动识别，以判断所述操作员是否是授权的操作员，并确 定是否需要记录所拍摄的图片或视频。

其中摄像头嵌入在HMI产品的显示模块的适当位置上。

其中在存储器中存储一数据库，该数据库具有以视频或图片为索引的用 户列表和操作记录。

其中存储器置于HMI产品的外部。

其中HMI控制单元基于摄像头拍摄的图片或视频进行操作人员的脸部 识别。

其中使用与操作人员相关的图片或条码作为操作HMI产品的口令或ID 卡。

根据本发明的另一方面，提供了一种用于HMI产品的自动识别和记录 操作员操作的方法，包括步骤：

用户操作HMI产品的触摸板或键盘，HMI控制单元将触发操作的授权 判断；

如果判断用户的操作是需要授权的操作，则进行操作员的授权判断，其 中HMI控制单元将根据摄像头拍摄的图片或视频来识别操作员，并根据识 别结果来判断操作员是否是授权的操作员，当判断其不是授权操作员，则将 返回并等待用户的下一操作；如果判断其是授权操作员，则将进行日志记录 判断；

如果判断用户的操作是无需授权的操作，则将直接进行日志记录判断；

在日志记录判断的步骤中，HMI控制单元将判断该操作是否需要被记录 在操作日志中，如果操作不需要被记录在日志中，则将不拍摄图片或视频， 直接返回并等待用户的下一操作，如果操作需要被记录在日志中，则HMI 控制单元控制摄像头对操作中的操作员拍摄图片或视频进行记录，并将该记 录存储在用于日志记录的存储器中或者外部诸如数据库的存储设备中。

其中需要授权的操作是指触发一些安全或保密动作的关键操作；无需授 权的操作是指与安全或保密动作无关的操作。

其中，无需授权的操作包括状态显示或监视操作。

其中，关于需要授权的操作和无需授权的操作的操作类型列表存储在 HMI产品的内置存储器中或者存储在HMI产品外部的存储设备中。

其中，在操作员的授权判断中，在显示模块的屏幕上反馈关于其是否是 授权操作员的信息。

附图说明

通过以下仅作为示例的并且结合附图的所写描述，对于本领域一位技术 人员来说，本发明的示例实施例将更好理解并且更明显，附图中：

图1示出了根据本发明的能够自动识别和记录操作员操作的HMI产品 的结构示意图；以及

图2示出了根据本发明的HMI产品的自动识别和记录操作员操作的方 法。

具体实施方式

本发明的设计思想是在HMI产品中嵌入摄像头，无论何时触发HMI产 品的按键操作，都将在HMI产品的后台中触发其自动拍照记录和识别功能 以确保仅仅授权人员能够操作HMI和与之相关的机器。本发明是将摄像头 技术的发展与客户应用及需求相结合而得到的。

通过本发明的能够自动识别和记录操作员操作的HMI产品，以极低的 成本提供了一种针对客户操作的安全锁应用。而且本发明的能够自动识别和 记录操作员操作的HMI产品还提供视频或图片等可跟踪记录，能够帮助客 户跟踪其误操作历史。

下面结合附图来详细描述根据本发明实施例的的能够自动识别和记录 操作员操作的HMI产品及其方法。

图1示出了根据本发明的能够自动识别和记录操作员操作的HMI产品 的结构示意图。

在图1的HMI产品结构中，仅示出了与本发明构思相关的部件，省略 了可能会混淆本发明的HMI产品的其他结构部件。

根据本发明的能够自动识别和记录操作员操作的HMI产品100包括 HMI控制单元10、摄像头20以及存储器30。HMI控制单元10控制HMI 产品的各个部件实现相应的控制动作，其中HMI控制单元10向摄像头20 发送控制信号以控制摄像头20的拍摄动作。摄像头20嵌入在HMI产品的 显示模块（未示出）的适当位置上，在HMI控制单元10的控制信号的控制 下拍摄用于识别操作员的图片或者操作员的操作动作，摄像头20将所拍摄 的图片或视频传送到HMI控制单元10。HMI控制单元10根据摄像头20所 拍摄的图片或视频进行自动识别，以判断所述操作员是否是授权的操作员， 并确定是否需要记录所拍摄的图片或视频。如果需要记录所拍着的图片或视 频，存储器30就在HMI控制单元10的控制下自动存储所拍摄的图片或视 频。

此外，基于摄像头20的拍摄功能，可以在存储器30中存储一数据库， 该数据库具有以视频或图片为索引的用户列表和操作记录。

存储器30可以内置在HMI产品中，也可以置于HMI产品的外部。

由于摄像头20的高分辨性能，HMI控制单元10基于摄像头拍摄的图片 或视频可以进行操作人员的脸部识别，并且可以使用与操作人员相关的图片 或条码作为操作HMI产品的口令或ID卡。

图2示出了根据本发明的HMI产品的自动识别和记录操作员操作的方 法。

如图2所示，步骤1：与现有技术中不带用于保密或安全操作记录的摄 像头的HMI产品一样，HMI产品上电开始工作。

步骤2：每当操作HMI产品的显示模块（未示出）的触摸板或键盘时， HMI控制单元10将触发操作的授权判断。

根据本发明的HMI产品中定义两种不同类型的操作：需要授权的操作 和无需授权的操作。需要授权的操作一般是指可能触发一些安全或保密动作 的关键操作；相反，无需授权的操作一般是指与安全或保密动作无关的操作， 诸如状态显示或监视操作等。其中关于需要授权的操作和无需授权的操作的 操作类型列表将存储在存储器30或者HMI产品外部的诸如数据库的存储设 备中。

步骤3：在步骤3中，如果判断用户的操作是无需授权的操作，则将直 接转到步骤6进行日志记录判断。如果判断用户的操作是需要授权的操作， 则转到步骤4进行操作员的授权判断。

此时，摄像头20将对操作员进行拍照，以供HMI控制单元10判断其 是否是授权的操作员。

步骤4：HMI控制单元10将根据摄像头20拍摄的图片或视频来识别操 作员。

步骤5：HMI控制单元10根据步骤4的识别结果来判断操作员是否是 授权的操作员，并在显示模块的屏幕上反馈关于其是否是授权操作员的信 息。当判断其不是授权操作员，则HMI将返回步骤1。如果判断其是授权操 作员，则HMI将进行到步骤6进行日志记录判断。

步骤6：在该步骤中，HMI控制单元10将判断该操作是否需要被记录 在操作日志中。如果操作不需要被记录在日志中，则将不拍摄图片或视频， 直接转到步骤8。如果操作需要被记录在日志中，则转到步骤7。

在步骤7中，HMI控制单元10控制摄像头20对操作中的操作员拍摄图 片或视频进行记录，并将该记录存储在用于日志记录的存储器20中或者外 部诸如数据库的存储设备中。并转到步骤8。

步骤8：当操作员的操作结束时，HMI将返回到步骤1等待下一次操作。

本发明的有益效果：

1、由于本发明HMI产品的HMI控制单元10所执行的控制动作是在后 台自动运行的，所以能够简化客户操作；

2、本发明的HMI产品能够提供关于操纵与HMI产品相关联的机器的 安全等级，以防止非授权人员误操作机器；

3、本发明的HMI产品的摄像头所拍摄的图片和视频记录，极大地改进 了操作历史和记录，能够为客户提供更可靠的记录信息。

虽然已经如此描述了以上示例实施例，但是将理解可以进行各种修改、 替换和/或变化。本领域技术人员将理解，可以对特定实施例进行其他改变和 /或修改，而不脱离如宽泛地描述的本发明的精神或范围。因此，无论从哪一 点来看都要将本实施例认为是说明性的而不是限制性的。