相关申请的交叉引用
本专利申请要求2019年3月25日提交的、题为“Systems and Methods forPerforming Industrial Plant Diagnostics and Operations”的美国临时申请第62/823,469号的优先权；2019年5月3日提交的、题为“Systems and Methods for PerformingIndustrial Plant Diagnostics”的美国临时申请号62/842,929的优先权；以及2019年3月25日提交的、题为“Systems and Methods for Detecting and Predicting Faults in anIndustrial Process Automation System”的美国临时申请号62/823,377的优先权。本申请的主题还与2018年6月28日提交的、题为“Machine Learning Analysis of Piping andInstrumentation Diagrams”的美国非临时申请第16/021，867号相关，该申请通过引用结合于此。
技术领域
本公开的各方面通常涉及工业过程自动化和控制系统。更具体地，本公开的各方面涉及用于从工程图和其他工程数据源提取工厂资产、从工厂资产创建工厂资产层次、从工厂资产层次和与其他资产的资产关联关系构建本体知识库、以及基于工厂资产层次和本体知识库提供用于控制工业过程自动化和控制系统的人机界面(“HMI”)的系统和方法。
背景技术
工厂操作员的任务是确保工业工厂正常操作。例如，这需要监控和处理由工厂组件(例如，泵、阀门、储罐、传感器)触发的警报，对工厂组件执行操作(例如，关闭组件和启动组件)，并通常监督工厂的正常操作。为了执行这些任务，工厂操作员可以使用HMI，该HMI为工厂操作员提供工厂组件和从工厂组件收集的数据的可视化表示。HMI可以允许工厂操作员与工厂组件交互(例如，执行诸如关闭组件的操作)。
HMI可以为特定工厂设计，以捕获工厂内的组件，显示用于操作工厂的数据，并提供用于启动工厂操作员可能需要的操作的界面。设计HMI可能既昂贵又耗时，并且可能需要工厂和过程工程的专业知识。如今，工厂HMI是使用以过程为中心的方法创建的，该方法侧重于过程定义。另一方面，工厂操作员对工厂的看法更以资产为中心，侧重于自动化控制定义(例如，工厂、区域、单元、装备、设备、特定装备的设定点等)。因此，工厂操作员可能会发现当前的工厂HMI不直观且难以使用。
因此，在工业工厂调试和操作的领域内需要改进。
发明内容
本公开的实施例提供了用于控制工业过程自动化和控制系统的系统和方法。该方法和系统自动地并且通过使用机器学习(ML)模型和算法，从工程图和其他工厂工程数据源中提取工厂资产，建立资产关系以创建工厂资产注册并从工厂资产中构建资产层次，从工厂资产层次中生成本体知识库，并且基于工厂资产层次和本体知识库提供用于控制工业过程的HMI。
总的来说，在一个方面，本公开的实施例涉及用于工业工厂的控制系统及其相应的方法。控制系统(及其方法)尤其包括一个或多个处理器和通信耦合到一个或多个处理器的存储单元。存储单元存储处理器可执行指令，当该指令被一个或多个处理器执行时，使得控制系统输入工业工厂的单元的工程图，该工程图包括表示工业工厂的资产的符号，并且使用机器学习从工程图中提取一个或多个资产以标识一个或多个资产。该一个或多个资产包括装备、仪器、连接器和线路，这些线路将装备、仪器和连接器相互关联。处理器可执行指令还使得控制系统使用机器学习来确定装备、仪器、连接器和线路之间的一个或多个关系以标识一个或多个关系。处理器可执行指令还使控制系统根据装备、仪器、连接器和线路以及装备、仪器、连接器和线路之间的关系创建流程图形。
根据前述实施例中的任何一个或多个，从工程图中提取一个或多个资产的过程包括基于几何的提取过程和基于机器学习的分类过程。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统基于装备、仪器、连接器和线路中的一个或多个从工程图中提取一个或多个控制回路。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统从工程图中提取单元标识符，其中单元标识符从工业工厂中的多个单元中唯一地标识特定单元，和/或从工程图中提取绘图号和修订号，绘图号从工业工厂的多个工程图中唯一地标识工程图，修订号指示工程图的修订，每当工程图中有改变时，修订号递增。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统使用来自工程图的单元标识符为工程图的每个装备、仪器、连接器和线路指定唯一标识符。根据前述实施例中的任何一个或多个，确定装备、仪器、连接器和线路之间的一个或多个关系的过程包括生成线路-线路图形的过程、生成装备-线路图形的过程、生成连接器-线路图形的过程和生成仪器-线路图形的过程。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统通过执行将线路-线路图形、装备-线路图形、连接器-线路图形和仪器-线路图形彼此合并的过程来创建工程图的流程图形，和/或合并来自工业工厂的多个工程图的流程图形来创建工业工厂的流程图形。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统显示资产层次中的装备、仪器、连接器和线路以及装备、仪器、连接器和线路之间的关系。
总的来说，在另一方面，本公开的实施例涉及用于工业工厂的控制系统及其相应方法。控制系统(及其方法)尤其包括一个或多个处理器和通信耦合到一个或多个处理器的存储单元。存储单元存储处理器可执行指令，当该指令被一个或多个处理器执行时，使得控制系统从工业工厂的多个工程数据源输入数据，该数据包括结构化和非结构化数据，并且从结构化和非结构化数据中提取一个或多个领域实体。处理器可执行指令还使得控制系统从结构化和非结构化数据中提取一个或多个领域实体的实例，并接收基于一个或多个领域实体和一个或多个领域实体的实例构建的语义模型。处理器可执行指令还使控制系统基于语义模型创建和存储知识图形，并从知识图形中提取信息以构建工业工厂的机器界面(HMI)显示和控制应用。
根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统使用机器学习从非结构化数据中提取工业工厂的一个或多个资产以标识一个或多个资产，和/或使用唯一标识每个资产的名称空间将工业工厂的一个或多个资产存储在资产层次中。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统提供资产注册应用编程接口(API)，用于允许用户和外部系统访问和使用资产注册。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统通过输入以下内容中的一个或多个来输入来自多个工程数据源的数据：警报数据、机柜装载报告、控制数据库、交叉布线报告、现场布线索引、历史数据、仪器索引、资产层次、嵌套装载报告、工厂资产索引、过程控制叙述和HMI规范。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统将知识库显示为多个互连的标记属性节点，每个节点表示领域实体，和/或当用户选择节点时显示每个节点的属性和关系。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统允许用户使用自然语言查询来进行知识库的搜索，显示响应于该搜索的节点以及这些节点共有的资产，和/或基于颜色编解码显示节点的图例。
总的来说，在又一方面，本公开的实施例涉及用于工业工厂的控制系统及其相应方法。控制系统(及其方法)尤其包括一个或多个处理器和通信耦合到该一个或多个处理器的存储单元。存储单元存储处理器可执行指令，当该指令被一个或多个处理器执行时，使得控制系统输入来自工业工厂的多个工程数据源的数据，并且使用机器学习从数据中提取工业工厂的一个或多个资产以标识一个或多个资产。处理器可执行指令还使得控制系统从资产创建人机界面(HMI)资产模型，HMI资产模型以层次结构布置资产，并从HMI资产模型生成HMI显示，HMI显示显示表示工业工厂的一个或多个资产的符号和表示资产之间的过程、连接和数据链接的线路。处理器可执行指令还使得控制系统向用户显示HMI显示并允许用户沿着显示垂直和水平导航，其中HMI显示基于用户在HMI显示上的位置改变动态地改变显示哪些资产。
根据前述实施例中的任何一个或多个，处理器可执行指令还使控制系统标识当前为工业工厂发出的所有警报和对应于警报的资产并且在HMI显示上显示警报，和/或在工厂级显示HMI显示，工厂级显示为工业工厂标识的所有当前发出的警报和对应于警报的资产。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统在用户选择对应于警报之一的资产时确定并在HMI显示上显示作为警报的潜在根本原因的资产，其中控制系统通过找到彼此连接并且也具有警报的所有资产来确定作为潜在根本原因的资产，和/或允许用户手动纠正HMI显示上警报的根本原因，并将来自用户的根本原因作为反馈提供给控制系统。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统基于用户在HMI屏幕上的位置的改变来自动放大或缩小显示在HMI显示上的资产。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统将HMI显示中的资产显示为二维视图，其中HMI显示允许用户在二维视图内垂直和水平导航。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统基于资产上发生的警报动态地改变显示在HMI显示上的资产，和/或基于以下内容之一在运行时在HMI显示上显示资产：基于资产在资产层次中的位置指定给资产的静态权重，以及基于在资产处发出的警报指定给资产的动态权重。
总的来说，在又一方面，本公开的实施例涉及存储用于使一个或多个处理器执行根据前述实施例中的任何一个或多个的方法的计算机可读指令的计算机可读介质。
附图说明
通过参考各种实施例，可以获得上文发明内容的本公开的更详细描述，其中一些实施例在附图中示出。虽然附图图示了本公开的选定实施例，但是这些附图不应被认为是对其范围的限制，因为本公开可以允许其他同等有效的实施例。
图1示出了根据本公开实施例的示例性工厂资产层次；
图2示出了根据本公开实施例的可用于构建工厂资产层次的示例性工程图；
图3示出了根据本公开实施例的可用于过程的示例性工业工厂控制系统；
图4示出了根据本公开实施例的可以与工业工厂控制系统一起使用的示例性智能处理模块；
图5示出了根据本公开实施例的可以与工业工厂控制系统一起使用的示例性HMI应用；
图6示出了根据本公开实施例的示例性基于ML的资产提取和关系构建；
图7A-图7B示出了根据本公开实施例的示例性箭头提取；
图8示出了根据本公开实施例的示例性泵提取；
图9和图9A-图9C示出了根据本公开实施例的示例性连接器提取；
图10A-图10B示出了根据本公开实施例的示例性线路-线路图形；
图11示出了根据本公开实施例的示例性装备提取；
图12A-图12B示出了根据本公开实施例的示例性装备-线路图形；
图13A-图13B示出了根据本公开实施例的示例性连接器-线路图形；
图14A-图14B示出了根据本公开实施例的示例性仪器-线路图形；
图15A-图16B示出了根据本公开实施例的PI&D流程图形；
图16A-图15B示出了根据本公开实施例的其中移除了设备的示例性线路-线路图形；
图17示出了根据本公开实施例的示例性控制回路；
图18示出了根据本公开实施例的用于构建工厂工程领域本体的示例性方法；
图19示出了根据本公开实施例的示例性警报数据；
图20示出了根据本公开实施例的示例性机柜装载报告；
图21示出了根据本公开实施例的示例性控制数据库；
图22示出了根据本公开实施例的示例性交叉布线报告；
图23示出了根据本公开实施例的示例性现场布线索引；
图24示出了根据本公开实施例的示例性历史数据；
图25示出了根据本公开实施例的示例性仪器索引；
图26示出了根据本公开实施例的示例性资产层次；
图27示出了根据本公开实施例的示例性嵌套装载报告；
图28示出了根据本公开实施例的示例性工厂资产索引；
图29示出了根据本公开实施例的示例性过程控制叙述；
图30示出了根据本公开实施例的用于数据提取的示例性表格格式；
图31示出了根据本公开实施例的用于使用实体类型构建语义模型的示例性用户界面；
图32示出了根据本公开实施例的显示知识图形的示例性HMI显示屏；
图33示出了根据本公开实施例的显示用户查询结果的示例性HMI显示屏；
图34示出了根据本公开实施例的示例性HMI设计规范；
图35示出了根据本公开实施例的用于构建HMI模型的示例性输入；
图36示出了根据本公开实施例的显示警报根本原因确定的示例性HMI屏幕；
图37示出了根据本公开实施例的显示工厂级警报聚集的示例性HMI屏幕；
图38示出了根据本公开实施例的根据HMI屏幕上的用户位置的示例性动态缩放；
图39示出了根据本公开实施例的显示动态缩放的示例性HMI屏幕；和
图40A-图40B示出了根据本公开实施例的HMI的示例性工厂级警报聚集。
在可能的情况下，使用相同的附图标记来表示附图中相同的元件。然而，在一个实施例中公开的元件可以有益地用于其他实施例，而无需具体叙述。
具体实施方式
该描述和附图说明了本公开的示例性实施例，并且不应该被认为是限制性的，并且权利要求限定了本公开的范围，包括等同物。在不脱离本说明书和权利要求书的范围(包括等同物)的情况下，可以进行各种机械、组成、结构、电气和操作上的改变。在一些情况下，没有详细示出或描述众所周知的结构和技术，以免混淆本公开。此外，只要可行，参考一个实施例详细描述的元件及其相关方面可以包括在没有具体示出或描述它们的其他实施例中。例如，如果参考一个实施例详细描述了元件，而没有参考第二实施例描述该元件，则该元件仍然可以被声明为包括在第二实施例中。
现在参考图1，示出了根据本公开实施例的可以创建的那种工业工厂资产层次结构100的示例。本文使用的术语“工厂资产”通常指工业工厂中通常使用的任何工厂装备、仪器、其分组、与其相关联的设备等。在资产层次100的底部是仪器(O)102，诸如传感器、监控器、致动器等。紧接仪器102的上方是装备(D)104，诸如容器、加热器、交换器、泵、马达、混合器等。一个或多个仪器102可以连接到一个或多个装备104，以形成闭环或开环控制回路106，该闭环或开环控制回路106执行工厂过程中的一些子过程，诸如混合、加热、沸腾等。几种类型的装备104和仪器102可以组合以形成单元(U)108，单元(U)108服务于工厂过程中的一些功能，诸如气体合成器单元。多个这样的单元108组成区域(A)110，而多个区域110组成工厂站点(S)112，并且多个站点112形成企业(N)114。
另外，一般来说，虽然层次结构100中的每个节点可以具有子节点和父节点，但是每个子节点通常只能具有一个父节点。但是，像管道和电线这样的资产可以被视为装备，使得从/向两个资产运送材料的管道可以在逻辑上分成两个管道。设备或仪器只能连接到一个装备。这种层次100以合乎逻辑的方式安排和组织工厂资产，并且对于工厂控制系统和工厂操作员来说更容易理解和使用。
图2示出了根据本公开实施例的可用于构建资产层次100(或其部分)的示例性工程绘图或工程图200。工程图200可以是任何图，诸如过程流程图(PFD)或管道和仪器图(P&ID)，其图形地描绘了工厂中的各种仪器102(例如，传感器)和装备104(例如，容器)如何相互连接。该示例中的示例图200是P&ID，每个P&ID显示多个符号，这些符号表示实现一个单元108通常需要的设备或仪器、装备和其他组件。贯穿图200的连接器202规定了各个PI&D(即，单元)如何连接在一起以形成区域、站点等。每个图200通常还具有通常在右下角的信息块204，该信息块204显示绘图标识符206、单元标识符和有助于唯一标识PI&D的其他信息(例如，修订号)。这里没有明确提及的PI&D的其他公知部分包括标签号、线路(例如，过程、电气、数据链路等)、环路等。
图3示出了根据本公开实施例的可用于处理工程图200和其他工厂工程数据源的示例性工业工厂控制系统300。可以看出，示例性系统300包括一个或多个处理器302、内部输入和/或输出(“I/O”)接口304和存储器306，所有这些都彼此通信耦合和/或电连接。这些组件尤其允许系统300从工程图200、线路(例如，过程、电气、数据链路等)中提取各种仪器102、装备104、控制回路106、单元108、区域110和站点112，建立资产之间的关系以构建工厂资产层次100，从工厂资产层次100中生成本体知识库，并提供用于控制工厂本体知识库的HMI。
系统300可以通信耦合和/或电连接到外部I/O组件308。外部I/O组件308允许系统300与用户和外部系统交互和通信。通信可以通过连接到I/O组件308的一个或多个通信网络(未明确示出)来完成。通信网络可以包括可连接到其他电信网络的广域网(WAN)和/或局域网(LAN)，包括其他WAN、LAN和/或互联网或内联网的一部分。通信网络可以是便于数据的交换的任何电信网络，诸如根据IEEE 802.3(例如，以太网)和/或IEEE 802.11(例如，无线网络)协议操作的那些网络。在另一个实施例中，通信网络是允许数据通过串行或并行通信信道(例如，铜线、光纤、计算机总线、无线通信信道等)物理传输的任何介质。
系统300的各种组件的操作在本领域中是众所周知的，因此在此仅简单提及。处理器302可以适于执行存储在存储器306中的处理器可执行指令。存储器306可以被适配为根据请求向处理器302提供处理器可执行指令。存储在存储器306上的指令中包括工业工厂控制应用310。工业工厂控制应用310可以包括多个功能模块，这些功能模块一起工作以提取资产、建立资产关系、构建资产层次、生成知识库以及提供HMI等。这些功能模块可以包括例如图像转换器312、过滤算法314、符号提取器模块316、标签预处理算法318、标签提取器模块320、规则引擎322、线路提取器模块324、智能处理模块326和HMI应用328。
图像转换器312被配置为将图200转换成图像格式。在一些实施例中，图像转换器312获得便携式文档文件(PDF)或其他电子数据格式的图200，并将该图转换成另一图像格式，诸如便携式网络图形(PNG)、联合图像专家组(JPEG)、图形交换格式(GIF)等。在一些实施例中，图像转换器312创建两个图像文件，一个用于显示，并且一个用于计算(例如，通过过滤算法314、符号提取316、标签预处理318、标签提取器320、规则引擎322、线路提取器324和智能处理326)。
过滤算法314被配置为处理计算图像以获得其中符号的近似尺寸。示例性符号包括但不限于符合国际自动化协会(ISA)标准的用于仪器、控制/显示元件、可编程逻辑控制器(PLC)、阀门、泵等的那些符号。在一些实施例中，符号包括标识字母(例如，“FIC”)和标签号(例如，“123”)。获得符号的近似尺寸有助于为了机器学习的目的(经由智能处理326)对符号进行归一化，如本文后面所讨论的(例如，为了避免为不同尺寸的符号创建训练数据)。
符号提取器316被配置为检测从图像中提取的符号。在一些实施例中，符号提取器316应用图像处理算法来标识图像中的符号的可能区域，然后经由粗略符号标识技术来检测图像中的符号类型和位置。符号提取器316保持新检测到的符号的运行计数，以便跟踪检测到的符号的数量，并确定在给定的执行周期期间是否检测到任何新的符号。
标签预处理318被配置为从计算图像中检测到的符号中移除符号线路，仅留下标签组件。在一些实施例中，这包括将符号居中，然后从符号中移除符号线路，仅留下标签组件。连接的像素被聚类，并且任何小于标准文本尺寸和大于标准文本尺寸的像素被移除。每个像素聚类都被指定了边界框，该框为处理目的定义了聚类周围的边界。标签预处理210然后垂直地并按照从左到右的顺序找到相同级的边界框。这允许标签预处理210移除非标签像素和噪声。
标签提取器320被配置为提取计算图像中的符号的标签分量，诸如标签名称和标签号。在一些情况下，标签名称和/或标签号中的相邻字符相互连接，并且应该被分开。在这些情况下，标签提取器320检查标签的字符中的垂直间隙并分割字符，然后使用机器学习技术(经由智能处理326)执行字符识别。当不存在垂直间隙时，标签提取器320确定给定字符集的宽高比是否大于预定阈值(例如，0.6等)。如果宽高比大于预定阈值，标签提取器320使用垂直方向上的像素密度应用分割。显示白色像素的峰值的区域是连接的字符中潜在的分割区域。此后，标签提取器320使用机器学习技术执行字符识别。
规则引擎322被配置为基于一个或多个规则来验证从计算图像中提取的标签。在一些实施例中，规则基于ISA符号标准，并且被分成两个类别：主要符合性检查(例如，红色类别)和次要符合性检查(例如，橙色类别)。示例性的主要符合性检查包括但不限于验证符号是有效类型之一(例如，现场设备、控制室显示器等)，以及验证标签名称具有一个或多个标识字母。示例性的次要符合性检查包括但不限于验证标签名中的标识字母不包含任何数字，并且标签名中的标签号不包含除结尾之外的任何字母字符。
线路提取器324被配置为提取计算图像中的符号之间的线路。在一些实施例中，提取的线路包括管道和连接符号，诸如管道、过程连接、电信号、气动信号、数据链路、用于填充系统的毛细管、液压信号线以及导向电磁或声波信号。如本领域普通技术人员将理解的，使用几何线拟合算法从图像中提取直线。一旦线路被提取，线路的一部分经受一个或多个机器学习模型(经由智能处理326)以获得如上所述的线路的类型。关于模块312-324的操作的附加细节可以在上述美国非临时申请第16/021,867号中找到，并通过引用结合于此。智能处理326和HMI应用328将在下面进一步讨论。
图4示出了根据本公开实施例的智能处理326的示例性实现。如所讨论的，该模块326实现机器学习模型和算法来标识计算图像中的符号。在一些实施例中，智能处理326将深度神经网络应用于图像的特定区域，该图像的特定区域是通过在整个图像上推进滑动窗口而获得的。在图4的示例中，智能处理326包括数据输入组件402、一个或多个机器学习模型404、自动反馈/纠正组件406、用户应用408、手动反馈/纠正组件410和分析器412。
在一般操作中，数据输入组件402接收表示图(例如，P&IDs、PFD等)的数据，并且在适当的预处理之后，将数据馈送给一个或多个机器学习模型404。机器学习模型404使用机器学习和图像处理技术来从输入数据中提取相关信息，诸如名称、数字、符号、线路、环路等。机器学习模型404还可以使用图像处理和/或几何算法来降低噪声并提高准确度。自动反馈/纠正组件406应用被配置为检测从机器学习模型404接收的输出中的误差的规则和算法。这些误差用于自动纠正模型输出，并经由分析器412反馈给机器学习模型404，从而更新机器学习模型404的学习。来自自动反馈/纠正组件406的经处理的输出然后经由用户应用408(例如，HMI应用328)显示给用户进行验证。用户做出的纠正被手动反馈/纠正组件410捕获，并经由分析器412反馈到机器学习模型404中，以更新机器学习模型404的学习。以这种方式，智能处理326可以不断演进和改进对输入数据的评估和从中提取相关信息。
如上所述，在一些实施例中，智能处理326将深度神经网络应用于所获得的图像的特定区域。深度神经网络处理导致符号候选的多类分类。在一些实施例中，符号按照ISA符号系统进行分类。示例性符号包括但不限于仪器、控制/显示元件、可编程逻辑控制器(PLC)、阀门、泵等。在一些实施例中，智能处理326利用至少三种类型的卷积神经网络来识别各种符号候选。这三种类型包括判定输入是单个字符还是多个字符的判定网络、识别单个字母和数字字符的单字符网络以及识别多个字符或单词的多字符网络。在一些实施例中，智能处理326还利用基于上下文的预测来区分相似的字符，诸如区分数字“1”和大写字母“I”以及区分字母“O”和数字“0”等。
图5是根据本公开实施例的HMI应用328的示例性实现。HMI应用328通常从框504开始，将来自各种工厂工程数据源的数据输入到工业工厂控制系统300中，这些数据源包括工厂工程图(例如，PI&D、PFD等)。在框506，处理数据以从数据中提取相关信息和资产，诸如名称、数字、符号、线路、环路等。经由智能过程316和其中的ML模型，使用机器学习来完成资产提取。使用本文描述的基于ML的资产提取处理数据构成了实际应用(例如，使用专门的自动化设计系统为工业工厂设计HMI)。本文描述的处理系统和方法可以通过允许标识图中的工厂组件的图像识别模型更有效和准确地运行来改进HMI设计的过程。这可以通过输入由预处理模块预先确定的图像来实现，这些图像可能导致图像识别ML模型的肯定标识。这也可以允许更好地训练模型，从而提高模型的准确性。
在框508，提取的资产和其他相关信息被用作资产关系建立过程的输入，以构建资产层次，如本文后面更详细描述的。资产关系的建立也借助于智能过程316和其中的ML模型来完成。在HMI设计的领域中，使用本文描述的基于ML的资产关系构建过程来构建资产层次是不容易理解的、常规的或传统的。使用本文描述的方法和系统构建资产层次构成了实际应用(例如，使用专门的自动化设计系统为工业工厂设计HMI)。
在框510，资产层次可用于基于语义模型创建知识图形，如本文稍后更详细描述的。使用本文描述的方法和系统创建知识图形在HMI设计领域是不容易理解的、常规或传统的。使用本文描述的方法和系统创建知识图形构成了实际应用(例如，使用专门的自动化设计系统为工业工厂设计HMI)。
在框512，知识图形可用于生成HMI资产模型(例如，自动使用计算机)，如本文稍后更详细描述的。使用本文描述的方法和系统生成知识图形在HMI设计领域是不容易理解的、常规或传统的。使用本文描述的方法和系统生成知识图形构成了实际应用(例如，使用专门的自动化设计系统为工业工厂设计HMI)。
在框514，HMI资产模型可用于提供或构建HMI(例如，自动使用计算机)，如本文稍后更详细描述的。使用本文描述的方法和系统生成HMI在HMI设计领域是不容易理解的、常规或传统的。使用本文描述的方法和系统提供HMI构成了实际应用(例如，使用专门的自动化设计系统为工业工厂设计HMI)。
图6更详细地示出了来自图5的示例性基于ML的资产提取过程506和基于ML的资产关系建立过程508。
基于ML的资产提取506通常开始于块602，在块602中，工程图(例如，PI&D、PFD等)从PDF转换成图像格式。在块604，用户输入标识每个图正在被使用的工厂站点和区域的信息。在块606，找到图中的所有文本，并且在块608，找到图的单元标识符。
在一些实施例中，找到单元标识符包括在图的信息块或图的其他预定义部分中搜索某些关键词，诸如“绘图”或“单元”或“部分”或其变体。预定义部分可以基于对先前图的分析来自动标识(例如，最右边的区域的宽度是P&ID和PFD宽度的20％，并且最低的区域的高度是P&ID和PFD高度的20％)，或者该部分可以由用户规定。一旦找到关键词(例如，“单元”)，系统检查与关键词相关联的文本，如果有表格，该文本可以与单词“单元”在同一单元格中，或者在单词的右边，或者在单词的下面。一旦确定了单元标签，确定的标签可以显示给用户进行验证。在一些实施例中，可以对相对较少数量的图(例如，大约20个)执行该过程。在这种情况下，确定的标签的位置可以用于确定其他图中的后续标签，而不需要或建议该确定的验证。
在块610，为每个图找到图中的所有设备和仪器(例如，标签、阀门、传感器、致动器等)，并且在块612，从图中移除或以其他方式抑制所有找到的设备和仪器以及文本。该过程可以包括在要移除的图特征周围生成边界框，并将所有内部像素设置为图的背景颜色(例如，白色或黑色)。在块614，文本和设备的移除使得更容易找到图中的所有线路。
在一些实施例中，可以通过缩小图并将它们转换成灰度来找到图中的线路。然后，可以通过检测和删除沿X轴和Y轴延伸超过预定长度(例如，分别是图的宽度和高度的0.7倍)的黑色像素(在白色背景的情况下)，来去除长的水平线路和垂直线路。一旦这样做了，可以通过搜索黑色像素的聚类(在白色背景的情况下)来找到剩余的水平线路和垂直线路。聚类是由少于预定数量的像素(例如，少于四个像素)分隔的一组像素。一旦找到，可以通过组合聚类的所有共线点来连接聚类以创建水平线路和垂直线路。可以移除小于预定长度(例如，16个像素)的线路。在移除线路之前缩放图的实施例中，移除的线路可以被缩放回它们的原始尺寸。这可能允许在确定工厂组件之间的连接和关系时存储和参考原始线路坐标。可以标识各种线路类型，包括管道和连接符号，诸如管道、过程连接、电信号、气动信号、数据链路、用于填充系统的毛细管、液压信号线和导向电磁或声波信号。在一些实施例中，上述线路提取可以使用几何线拟合算法来完成。
一旦线路被提取，线路的一部分经受一个或多个机器学习模型，以获得如上所述的线路的类型。在一些实施例中，线路提取器包括体现在存储存储器设备上的处理器可执行指令，以经由软件环境提供线路提取器。例如，线路提取器可以作为处理器可执行指令来提供，该指令包括过程、函数、例程、方法和/或子程序。
继续到块616，可以为每个图找到图中的所有箭头。这些箭头表示图中的流向。参考图7A和图7B描述了用于标识图中箭头的示例性技术。
参考图7A和7B，示出了示例性箭头702。为了分析箭头702，在一些实施例中，如图7A所示的检测到的线路704被指定有边界框706，该边界框706具有例如垂直于线路的方向的宽度，该宽度是预定数量的像素宽(例如，40个像素)。为了确定线路704是否是箭头，线路的每一端上的两个正方形708、710可以被绘制成边长等于生成的边界框706的高度。在一些实施例中，正方形708、710的边可以具有不同的长度。框708、710的内容可以使用机器学习模型或算法来分析，该机器学习模型或算法被训练来确定箭头712的存在和箭头的方向。ML算法可以是例如卷积神经网络。算法的训练数据可以通过将标识的线段的头部和尾部裁剪特定的尺寸(例如，40×40像素)来创建。这些裁剪的图像可以被存储，并且稍后被分类为左箭头、右箭头、上箭头、下箭头或无箭头。这种分类可以由例如人类来完成。可以从接收于不同来源(例如，不同客户端)的图中选择标识的线段。在一些实施例中，大约200个训练图像可以用于训练。如果两个正方形708、710都具有箭头，则箭头702可以被认为是双向的。如果两个正方形708、710中只有一个有箭头，箭头702可以被认为是单向的。
返回参考图6，在箭头被标识之后，在块618，为每个图找到图中的所有装备(例如，储罐、泵、锅炉、热交换器等)。然后为装备指定有助于唯一标识该装备的名称。根据特定的行业，可以使用几种命名约定中的一种。例如，可以使用以下命名约定：<装备类型>-<装备名称/ID>，其中连字符或空格用作分隔符。在上面图2的示例中，指定给容器的名称可以是“C-1119”，其中C是装备的类型，并且1119是图中的装备的标识符。然后，该名称可以作为储罐的Regex(正则表达式)保留以用于搜索目的。类似的命名约定可以应用于其他图组件。
在一些实施例中，寻找装备将几何或基于几何的标识方法与机器学习或基于ML的分类相结合。
通过首先从图中移除所有仪器(例如，通过背景化仪器)以简化过程，然后找到满足一个或多个标准的所有平行线路，来执行基于几何的装备的标识。然后找到连接平行线路的路径，并将其用于连接这样成对的平行线路。例如，可以通过搜索平行线路并连接那些满足一个或多个标准的线路对来找到储罐。然后可以在这样连接的每对周围定义边界框。一个标准可以要求两条线路在彼此的预定距离内。在一些实施例中，预定距离可以在两条线路的较大长度的大约10％和120％之间。这种线路的最小长度可以被设置为图的宽度的大约4％。这种线路的最大长度可以设置在图的宽度的大约50％。这两条线路的长度之差可以小于两条线路的更大长度的大约15％。两条线路的起点和终点(即四个点)可以用来制作框。框的宽度和/或高度可以扩展预定的百分比。例如，如果宽高比小于约0.3，则宽度可以扩大约80％。如果宽高比在大约0.3到大约0.4之间，宽度可以扩大大约60％。如果宽高比大于约0.4，则宽度可以扩大约40％。如果框要扩展到图形边界之外，扩展可能会在图形边界处停止。得到的扩展框可以是边界框。储罐的图像可以在边界框处裁剪。在一些实施例中，可以通过使例如一个或多个边的大约4个像素为白色(在白色背景的情况下)来擦除裁剪的图像边界。
基于ML的分类可用于标识装备类型。例如，可以使用机器学习模型或算法来分析结果图像中是否存在储罐并标识储罐类型。ML模型或算法可以被训练来检测储罐和对储罐进行分类。
在一些实施例中，可以分析得到的图像以确定它是否要输入到模型中。例如，如果图像具有包括连接像素(例如，最大间隙约为2个像素的像素)的聚类，该聚类具有最大维度大于聚类的非扩展边界框的最大维度的扩展边界框，并且包括在储罐标识过程中更早标识的两条平行线路的起点和终点，则该图像可以被输入到模型中。在一些实施例中，扩展边界框可以通过基于该过程中更早标识的宽高比来扩展非扩展边界框的一个或多个长度来生成。输入到模型中的图像可以是例如170×170像素的黑白图像。该模型可以用例如1950幅图像的训练数据集来训练。替代地或附加地，可以使用增强的训练数据。例如，46312幅图像可用于训练，2518幅用于验证。下面的表1示出了本领域普通技术人员可以理解的示例性训练数据增加细节。
表1：示例性训练-数据增强
本领域技术人员还将理解，上面的表格或类似的表格可以用于为本文描述的任何其他基于ML的过程提供训练数据增强。
现在参考图8，也可以标识其他装备，诸如泵。可以通过创建包含图中的一条或多条水平线路的端点的边界框来标识泵。图8示出了示例性泵800，围绕该泵800可以创建边界框。为了创建边界框，可以在垂直于线路802的每个方向上从水平线路802的端点(例如，P1)遍历像素，直到找到黑色像素(例如，P2)。可以计算P1和P2之间的距离(例如，D)。如果距离在预定值(例如，100像素和200像素)之间，则可以创建边界框，使得P1和P2位于边界框的对边的中心。边界框的宽度可以等于距离D。边界框可以向P2点扩展20％的长度。图可能在边界框处被裁剪。通过创建像素的组，可以从裁剪的图像中生成连接的像素的聚类，其中每个组具有水平、垂直或对角连接在一起的所有像素。对于长度或宽度在预定阈值(例如，150像素)的聚类，可以确定聚类的面积。具有最大面积的聚类可以通过例如找到聚类中x和y坐标的最小值和最大值来确定其边界框。x和y坐标的最小值可以确定边界框的左上角。x和y坐标的最大值可以确定边界框的右下角。图像可能会在此聚类的边界框处被裁剪。可以使用例如被训练成检测泵并对其分类的机器学习算法来分析得到的图像中泵的存在及其类型。例如，可以使用类似的CNN架构。
再次返回图6，在块620，还可以标识图中的连接器及其相关联的信息。回想一下，连接器指示位于不同图上的组件之间的连接。
图9示出了示例性连接器902。如可以看到的，连接器902的后端903(没有箭头的一端)具有与其连接的线路904，指示从由源标识符906标识的组件通过线路904通过连接器902流向由目的标识符908标识的组件。具有连接到其前端909(带有箭头的末端)的线路的连接器可以指示该线路上的从由源标识符标识的组件通过连接器流向由目的地标识符标识的组件的流动发生。连接器902内的连接器标识符910可以指示包含用目的地标识符908标识的组件的图的图标识符(单元标签)。类似地，连接器902内的连接器标识符910可以指示包含用相关联的源标识符标识的组件的图的图标识符。可以通过过滤长度在大约20像素到大约40像素之间的标识的线路来标识连接器。可以分析起点小于例如四个像素、终点小于例如四个像素的线路对，以确定它们是否是连接器的一部分。如果对中的一条线路的长度大于该对中的另一条线路的长度，并且该对之间的距离大于较长线路的长度的大约0.1倍并且小于该较长线路的长度的大约0.5倍，则可以分析该对以确定它们是否是连接器的一部分。可以创建包含两条线路的紧拟合边界框，并且每条边扩展两条线路之间距离的一半。图9A、9B和9C分别以912、914和916示出了得到的三个示例性连接器图像。得到的图像可以被输入到机器学习模型中，该模型被训练来标识连接器的存在和方向。
注意，源标识符906可以被突出显示或以其他方式强调，以便于用户容易查看。该技术可以应用于整个HMI，以引起用户对特定特征的注意。
为了标识与连接器902相关联的信息，可以围绕连接器902内的文本910生成边界框(未明确示出)，以确定它是否是连接标识符。如果该边界框被连接器902的边界框包含，则该文本可以被标识为连接标识符910。位于连接器902的边界框上方的文本，在例如连接器902的平行线路(例如，连接到箭头的两条平行线路)之间的距离的四倍内，可以被标识为包含在908中的目的地标识符。在一些实施例中，替代地或附加地，单词“到”之前和之后的文本可以分别被标识为材料名称和目的地标识符908。在这种情况下，材料名称可以标识流经管道或其他材料载体的材料。在一些实施例中，替代地或附加地，单词“来自”之前和之后的文本可以分别被标识为材料名称和来源标识符。为了标识包含在906中的管道标识符，可以在线904的方向上从连接器902的边界框跨越步幅。在一些实施例中，该步幅可以是连接器902的边界框长度的两倍。当移位的连接器边界框与单词的边界框相交时，该单词可以被标识为包含在906中的管道标识符。如果多个单词的边界框相交，具有最大数量字符的单词可以被标识为包含在906中的管道标识符。如果连接器902具有连接到其前端的线路，则可以使用前述方法中的一种或多种来标识源标识符和/或目的地标识符。
再次返回图6，在基于ML的资产提取过程506结束之后，可以针对提取的资产开始基于ML的资产关系构建过程508。在提取的资产之间构建关系的这个过程可以包括创建线路连接图形，该线路连接图形捕获图中所示的连接(例如，PI&D、VFD等)，然后合并这些图形以创建复合流程图形。被合并的图形可以包括表示连接到装备的图线路的图形、表示连接到连接器的图线路的图形和/或表示连接到仪器组件(例如，标签)的图线路的图形。此外，还可以生成线路连接，例如线路-线路(线路到线路)图形，以便于确定各种组件是如何连接的。
在块622，可以通过检测连接到组件的边界框的线路并检查这些线路的共线性或垂直度来生成线路-线路(线路到线路)图形。如果检测到共线性或垂直度，并且一条线路的起点或终点与另一条线路的起点或终点之间的距离小于预定值(例如，32个像素)，则这些线路可以被延伸，使得它们的末端相遇。形成组件(例如，装备)的一部分的线路可以通过移除端点都位于组件边界框内的那些线路来移除。为了给线段指定索引并跟踪线路连接，线路可以被分割。如果设备(例如，标签、阀门等)位于线路的顶部，将线路分成两段是特别有用的。为此，到垂直线路的起点和终点的距离可以从水平线路开始测量。在一些实施例中，水平线路的起点和终点可以从该测量中排除。如果测量的距离小于预定距离(例如，32个像素)，则可以在水平线路和垂直线路的起点或终点之间的最近点在水平线路中进行分割。对于垂直线路，可以重复该过程；如果从垂直线路到水平线路的起点或终点的距离小于预定数量(例如，32个像素)，则可以在垂直线路和水平线路的起点或终点之间的最近点处对垂直线路进行分割。在一些实施例中，从垂直线路到水平线路的起点或终点的距离可以排除垂直线路的起点和终点。线路可以被指定索引号。当线路在点处被分割时，两个新创建的段可以被指定索引号。可以生成表示线路连接的邻近矩阵(adjacency matrix)。
图10A示出了示例性邻近矩阵1002。邻近矩阵1002可以具有n×n的尺寸，其中n是线路的总数。邻近矩阵1002中位置[第一线路索引，第二线路索引]处的值可以是“0”，以指示分别具有第一索引和第二线路索引的线路没有彼此连接。该位置的值可以是“1”，以指示这些线路是连接的。应当理解，可以使用其他值。因此，邻近矩阵1002可以指示两条线路是否相互连接。例如，从左到右，节点L2在节点L1和节点L3上具有“1”，以指示L2连接到L1和L3。为了构建线路-线路图形，可以生成节点-边(节点到边)图形，其中线路索引被指定给节点，并且连接的线路索引被指定给节点之间的边。
图10B示出了对应于邻近矩阵1002的示例性线路-线路图形1004。在图中，节点E1和E2表示两台装备，并且节点L1、L2、L3、L4和L5表示线段。可以看出，线段L1、L2、L3、L4和L5以邻近矩阵1002所反映的方式将E1和E2连接在一起。
回到图6，在块624，作为基于ML的资产关系构建过程508的一部分，可以从图中生成表示装备-线路(装备到线路)连接的图形。图11和12A-图12B示出了根据一些实施例构建装备-线路图形的示例。
图11示出了示例性的装备1102。可以看出，出于计算目的，围绕装备1102放置了边界框1104。为了构建装备-线路图形，通过增加每条边的长度，例如增加2.5％，在每条边上扩展边界框。然后找到端点位于扩展边界框中的线路1106，并为每条线路生成相关联的节点(例如，L1、L2、L3等)。在一些实施例中，如果两条这样的线路彼此连接，则端点更靠近边界框中心的线可以生成相关联的节点。装备1102还可以具有所生成的相关联的节点(例如，E1、E2、E3等)。此后，装备-线路对可以具有所生成的相关联的边(例如，(E1、L1)，(E2、L2)，(E3、L3)等等)。
图12A示出了显示装备-线路连接的示例性表格。该图示出了列出与装备1102和线段1106相关联的各种节点(例如，L1、L2、L3等)和(例如，E1、E2、E3等)的装备-线路表1202，以及列出与这些节点相关联的边(例如，(E1、L1)、(E2、L2)、(E3、L3等)的边表1204。
图12B示出了对应于装备-线路表1202和边表1204的示例性装备-线路图形1206。可以看到，有五条边，边1、2、3、4和5，反映了线路L1、L5、L6、L7和L9连接到装备E1、E2、E3和E4的五个点。
为了找到两个装备之间的路径，可以通过将表示连接到装备的图线路的图形1206与邻近矩阵1002合并来标识连接到装备的线路。如果在两个装备之间发现多条路径，则最短路径算法(例如，迪克斯特拉最短路径算法(Dijkstra’s shortest-path algorithm))可以用在图形上以标识两个装备之间的路径。与路径的线路相关联的箭头方向可以指示装备之间的材料流的方向，并指派哪个装备是目的地，哪个装备是来源。
再次返回图6，在块626，作为基于ML的资产关系构建过程508的一部分，可以从图中生成表示连接器-线路(连接器到线路)连接的图形。以下是根据本公开的实施例构建连接器-线路图形的示例。
为了构建连接器-线路图形，如参考图9所讨论的，围绕连接器放置边界框。然后，边界框可以使其长边扩展，例如扩展其长度的0.1倍。如果连接器是传入连接器，扩展可以是箭头方向，并且如果连接器是传出连接器，扩展可以是相反方向。然后可以标识端点位于扩展边界框内的线路。然后可以为连接器生成节点，诸如C1，并且还可以为连接到连接器的线路生成节点，诸如Lc1。然后，可以为连接器线路对(诸如(C1，Lc1))生成有向边，其中边的方向由线路是连接到连接器的头部还是尾部来确定。为了确定装备是否连接到连接器，最短路径算法(例如，迪克斯特拉最短路径算法)可以用于图形上以确定连接到装备的线路和连接到连接器的线路之间的路径。如果连接被确定，则可以使用连接到连接器节点的边的方向来确定装备和连接器之间的流动的方向。
图13A示出了显示连接器-线路连接的示例性表格。该图示出了列出与连接器和线段相关联的各种节点(例如，c1、c2、Lc1、Lc2等)的连接器-线路表1302，以及列出与这些节点相关联的边(例如，(C1、Lc1)、(C2、Lc2等)的边表1304。
图13B示出了对应于连接器-线路表1302和边表1304的示例性连接器-线路图形1306。可以看到，存在五个连接器，C1、C2、C3、C4和C5，通过线路L1-L16所在的线段连接到两个装备，E1和E2。表1308显示了使用图形1306生成的路径。
再次返回图6，在块628，作为基于ML的资产关系建立过程508的一部分，可以从图中生成表示设备或仪器-线路(设备/仪器到线路)连接的图形。以下是根据本公开的实施例构建设备/仪器-线路图形的示例。
可以通过提供环绕设备的边界框来生成表示连接到设备或仪器(例如，标签、传感器等)的线路的图形。然后，可以标识端点位于边界框内的线路。如果每个边界框少于两条线路，则边界框的一边或更多边的长度可以增加，例如增加50％。然后可以为设备生成节点，诸如D1，并且还可以为连接到该设备的线路(诸如L1)生成节点。成对的仪器和与之相连的线路可以具有所生成的相关联的边。为了确定仪器和装备是否连接，可以在图形上使用最短路径算法(例如，迪克斯特拉最短路径算法)来确定连接到仪器的线路和连接到装备的线路之间的路径。
图14A示出了显示设备/仪器-线路连接的示例性表格。该图示出了列出与设备和线段相关联的各种节点(例如，D1、D2、L1、L2、L3、L4、L5等)的设备/仪器-线路表1402，以及列出与这些节点相关联的边(例如，(D1、L1)、(D1、L2)、(D2、L3)、D2、L4)、(D2、L5)等)的边表1404。
图14B示出了对应于连接器-线路表1402和边表1404的示例性设备/仪器-线路图形1406和1408。如在图形1406中可以看到的，设备D1具有连接到其上的两条线段，L1和L2。在图形1408中，设备D2具有与其连接的三个线段L3、L4和L5。
再次回到图6，到目前为止，只讨论了有向图形或具有特定流向的图形。除了有向图形，图中也可能有无向图形。作为基于ML的资产关系构建过程508的一部分，在块630，任何这样的无向图形可以被改变为有向图形。以下是根据本公开的实施例将无向图形改变为有向图形的示例。
要为图形(诸如线路-线路图形、装备-线路图形和设备-线路图形)指定方向，装备-线路图形中的所有线路节点被标识。对于这些线路中的每一条，线路-线路图形中所有可能的路径都被遍历到连接到连接器或另一装备的线路。路径然后可以被分割成段，并且这些段中的线路可以被指定方向。这可以基于连接的连接器的方向、箭头的存在或邻近路径中的线路的方向(例如，连接到连接器的线路)来完成。例如，如果一个路径是A->B->C->D，而另一路径是A->B->E，那么将这些到路径分成三个路径：A->B，B->C->D和B->E。然后可以按如下方式指定路径方向。如果路径中的线路之一连接到连接器，则将连接器的方向(传入或传出)指定给路径中的所有线路。如果路径中的线路的至少之一具有箭头，则将箭头的方向指定给该路径中的所有线路。如果路径中的所有线路都没有箭头，并且路径没有连接到连接器，则检查连接到连接器的邻近路径，并将邻近路径的方向指定给路径中的所有线路。
再次返回到图6，从块612回忆所有设备和仪器(以及文本)都从图中移除，得到仅显示从装备到装备以及装备到连接器的连接的线路-线路图形。作为基于ML的资产关系构建过程508的一部分，现在可以在块632更新线路-线路图形以包括那些设备和仪器。例如，这可以通过将设备恢复到它们被移除的点来实现。
图15A示出了根据图6的块612移除了设备的示例性线路-线路图形1502和边数据表1504。可以看出，从连接器(C)和装备(E)之间的点移除了设备，此时两个虚线圆位于该点处，并由两个对应的边替换，两个对应的边为边5(L3，L6)和边6(L6，L7)。
图15B示出了在更新以恢复设备之后的相同的示例性线路-线路图形1502和边数据表1504。可以看到，两个设备(D)现在位于连接器(C)和装备(E)之间，取代了两个边(L3，L6)和(L6，L7)。这使得线路连接图形不仅能反映装备到装备和连接器到装备的连接，还能反映设备到装备、设备到连接器和设备到设备的连接。
再次返回图6，作为基于ML的资产关系构建过程508的一部分，在块634，对于给定的图(例如，PI&D、PFD等)，为该图生成的各种线路连接图形可以被合并。例如，如果图是PI&D，那么所有的线路连接图形可以被合并以创建PI&D流程图形。
图16A示出了示例性的PI&D流程图形1602，该流程图形1602是由基于ML的资产关系构建过程508为给定的PI&D生成的各种线路连接图形进行合并而生成的。该PI&D流程图形1602与其组成图形不同，包含PI&D中的所有连接器、设备或仪器以及装备、以及它们之间的连接。因此，PI&D流程图形1602捕获从给定PI&D中提取的所有资产之间的关系。
图16B示出了包含合并的PI&D流程图形1602的数据的示例性表格1604。表格1604包括由基于ML的资产关系构建过程508为给定的PI&D生成的线路连接图形(例如，线路-线路、装备-线路、连接器-线路、设备-线路等)中的每一个的节点和边。表格1604还包含合并的PI&D流程图形1602的节点和边。这样的表格可以用作生成HMI的一部分。
再次返回图6，作为基于ML的资产关系构建过程508的一部分，在块636，给定图(例如，PI&D、PFD等)的控制回路可以被添加到合并的PI&D流程图形1602。如前所述，控制回路执行工厂过程中的一些子过程，并且可以是闭环或开环控制回路。大多数控制回路涉及一起工作的几个设备，包括传感器、致动器、控制器等。通常有两种类型的控制回路：简单控制回路和复杂控制回路。简单控制回路有输入、输出和控制器，而复杂控制回路包括几个简单控制回路。图17中描绘了根据本公开实施例的标识控制回路的示例。
图17示出了包含简单控制回路的示例图1700的一部分。为了说明的目的，已经标识了四个符号并标记为1702、1704、1706和1708，每个符号表示设备(例如，传感器、致动器、控制器等)或装备。在本例中，标识控制回路始于标识符号内部的所有标签和符号外部的所有单词。接下来，对于符号外部的每个单词，找到符号内部最近的标签。例如，对于1702处的符号，符号内部最近的标签是“TIC 1803”。对于给定的符号，可以忽略距离大于例如符号宽度的1.2倍的所有单词(即，与其他符号相关联的单词)。然后，对照来自像ISA这样的行业标准的单词列表来检查单词(例如，使用规则引擎)，以确定单词是否表示例如警报、信号、标签等。如果单词是标签，那么最近的标签的标签号被指定给该单词。例如，对于1702处的符号，标签号“1803”被指定给单词“TE”和“TT”，以产生“TE 1803”和“TT 1803”。这些标记的单词随后被添加到符号的标记的列表中。给定符号的标签包括符号内部和外部的所有标签。
一旦标识出符号内部和外部的所有标签，具有相同起始标识字母和相同标签号的所有标签被分组在一起。在图17的示例中，标签“TIC 1803”、“TV1803”、“TE 1803”和“TT1803”被分组在一起。这些标签用于定义简单的回路1710，该回路可以被包括作为图1700的提取的资产。
再次回到图6，在块638，工厂资产被组织在资产注册中，以便于随后的访问和使用。使用名称空间来组织资产，以便唯一地标识每个资产。如本领域普通技术人员所理解的，名称空间是用于标识对象的一组名称，因此当具有不同来源但相同名称的对象混合在一起时没有歧义。
在块640，每个图的合并的流程图形可以作为基于ML的资产关系构建过程508的一部分被合并，以创建整个工厂的单个工厂流程图形。回想一下，类似PI&D或PFD的图表示组成一个单元的仪器或设备和装备，并且上面讨论的资产提取过程导致给定单元的装备名称具有相同的单元前缀，因此是唯一可标识的。设备名称同样是通过在单元名称前加上前缀来创建的。连接器名称也是唯一可标识的，因为每个连接器名称都包含源装备的名称、目标装备的名称和管道名称。
线路索引或索引号(例如，1、2、3等)对于每个图是本地的，因此需要在多个图中唯一标识。例如，这可以通过在线路索引前加上单元名称或对应的图，然后再加上图号来完成。例如，如果单元名称为“UNIT1”，并且图号为“1116”，则线路索引号“15”可以改变为“UNIT1_1116_15”
为了为整个工厂创建单个工厂流程图形，可以如上所述生成工厂中每个图的流程图形。在需要的地方，如上所述，可以使线路索引在不同的图中唯一可标识。各种图的流程图形然后可以通过将来自每个图流程图形(或其表格表示)的所有节点和边插入工厂流程图形(或其表格表示)来合并。相互直接连接的图将具有同名的连接器节点。出现这种情况时，将移除重复的连接器节点，并通过连接要由移除的连接器连接的线路，在工厂流程图形中创建新边。所有其他节点和边应该保持不变。
得到的工厂流程图形可用于生成类似于图1所示的资产层次100的资产层次的可视化表示。资产层次和资产层次下的关系然后可以被存储为结构化数据，例如，存储在一个或多个JSON(JavaScript对象符号)文件中，用于工业工厂控制系统300的后续访问和使用。
在一些实施例中，如上所述，工业工厂控制系统300可用于将资产层次和资产关系的结构化数据合并到本体知识库中。然后，该系统从工厂工程数据源(其在工厂生命周期阶段中演进)动态地构建工厂工程领域本体。这通常包括：(1)(由系统)使用来自非结构化数据源的元数据和机器学习技术，从结构化数据源中提取领域实体(即类型和数据)；(2)(由领域专家)使用实体类型构建语义模型，并添加实体之间的关联关系；(3)(由系统)系统动态提取实体数据，并基于语义模型构建知识图形；以及(4)(由系统)为用户提供导航资产名称空间和关系以提取相关信息的能力。这种布置有许多好处。
一个好处是，自动化控制配置可以使用过程叙述来执行。目前，控制配置是耗时的手动过程，并且需要很强的控制工程背景。利用本文描述的工业工厂控制系统300，不熟悉控制工程概念的人也应该能够容易地配置该系统。这源于系统使用包括工厂工程师使用的普通语言的“过程叙述”。系统自动将过程叙述转换为控制策略和配置。通过利用名词-动词对，诸如AutomationML中的“资产.操作(Asset.Operation)”(参见IEC 62714)和基于状态的控制(参见ISA106、ISA 88和ISA 95)，可以将过程叙述转换为多个控制叙述。该系统使用来自资产模板、它们的关系、名称空间、控制策略模板和规则的信息，将过程叙述翻译成控制逻辑。
另一个好处是，测试用例可以基于过程叙述和文档化验证自动生成。工业工厂控制系统300使用过程叙述、控制配置和资产本体自动生成测试用例。然后，系统运行自动化测试场景来模拟该过程，以便验证控制应用。
现在参考图18，示出了示例性方法1800的流程图，该方法1800可以与工业工厂控制系统300一起使用，以从工厂工程数据源动态地构建工厂工程领域本体。该方法通常从块1802开始，其中工厂工程数据源被输入到系统中。数据源可能包括用于生成上述工厂资产层次和资产关系的PI&D和PFD，以及AutoCAD、SmartPlant和Aveva工程图。其他工厂工程数据源可以包括模拟模型、仪器索引、电缆计划、I/O分配列表、配置数据、交叉布线表、机柜装载报告、系统审计报告、历史数据、警报和事件等。
图19-图29示出了可用于生成资产层次和/或知识图形的示例性工厂工程数据源。这些工厂工程数据源对于本领域技术人员来说是熟悉的。例如，图19示出了1900处的示例性警报数据。图20示出了示例性的机柜装载报告2000。图21示出了2100处的示例性控制数据库。图22示出了2200处的示例性交叉布线报告。图23示出了2300处的示例性现场布线索引。图24示出了2400处的示例性历史数据(标签数据)。图25示出了2500处的示例性仪器索引。图26示出了2600处的示例性资产层次。图27示出了2700处的示例性嵌套装载报告。图28示出了2800处的示例性工厂资产索引。图29示出了2900处的示例性过程控制叙述。这样的数据源和其他工厂工程数据源，包括HMI规范(见图34)，然后可以用于生成资产层次和/或知识图形。
回到图18，在块1804，系统从工厂工程数据源提取领域实体和领域实体的实例。数据源可以包括结构化和非结构化数据源。例如，可以从数据源中提取实体(也称为类型或类)、属性(也称为特质)和关系。实体可用于规定本体的领域和范围，属性的值可用于规定本体模型的范围。语义模型可以包括从本体的领域和范围构建的一组三元组。三元组可以规定主语实体、谓词关系或定语以及宾语实体或值。主语实体可以是来自本体的领域的实体。宾语实体或值可以是来自本体的范围的实体或值。实体和值的实例可以从数据源中提取。例如，语义模型可以用主语“单元”、“谓语“具有”和宾语“设备”来规定三元组。包括对应的主语和宾语的实例的三元组可以包括“单元01”(实体“单元”的实例)“具有”(谓词)“控制阀01”(实体“设备”的实例)。
可以对来自工厂工程数据源中的每个结构化和非结构化的数据源使用多种数据提取技术。系统可以基于文件格式或数据库类型区分结构化和非结构化数据。非结构化数据文件(例如，电子邮件、文字处理文档、视频、图像、网页等)通常包括没有任何模式的文本和多媒体内容，而结构化数据文件(例如，电子表格、CSV文件、XML文件、RDBMS、时间序列、图形数据库等)包含模式或元数据。系统可以使用模式或元数据从这些结构化数据源中提取领域实体。在CSV文件格式中，例如，纯文本数据用逗号分隔，其中CSV文件中的每个新行表示新的数据库行，并且每个数据库行具有一个或多个用逗号分隔的字段。系统可以使用这个模式从数据源中提取领域实体。在图25中可以看到示例，其中领域实体是以CSV格式从示例性仪器索引数据源中提取的。如表的第一行所指示的，从该数据源提取的领域实体和关联关系包括工厂、区域、单元、环路、标签、过程函数等。这些领域实体的实例显示在后续行中。
对于非结构化数据，诸如P&ID、PFD、过程控制说明(PCN)和其他图像或非结构化文本格式，系统使用机器学习将来自非结构化数据源中的领域实体和关联关系提取为结构化数据。作为参考，过程控制叙述(PCN)是功能性陈述，其描述了设备安装控制、面板安装控制、PLC、HMI和其他基于处理器的过程控制系统组件如何被配置和编程，以控制和监控特定的过程、过程区域或设施。PCN是过程设计和控制系统设计之间必不可少的链路。对于PCN，系统使用命名实体识别(NER)技术从过程叙述中提取领域实体，诸如泵、阀门、位置、报警条件等。NER是用于非结构化文本信息的处理的技术。这种技术标记了文本中的单词序列，这些单词是事物的名称，诸如事物、人名、组织、位置、时间表达式、数量、货币值、百分比。
图30是表3000，其示出了提取到具有表格格式的文件中的领域实体类型和实例数据的示例。表中的领域实体类型包括控制器、复合、块、标签等，而对应的实例数据包括(对于第一行)CP2801、CF101_011900、PT038、011900PV038等。
回到图18，一旦已经提取了领域实体和关系，则在块1806，用户(例如，领域专家)使用提取的实体类型和相关联的关系来构建语义模型。图31显示了用户界面的示例，领域专家可以用它来构建语义模型。
在图31中，示出了允许用户规定从数据源提取的实体之间的语义关系的用户界面2100。从这个界面，用户可以从各种数据源手动浏览实体类型，并过滤语义模型所需的实体。例如，用户可以选择两个实体，诸如源和目标，并在它们之间创建命名关系。模式可以在概念层次上定义，这是逻辑模型。然后，用户可以从数据源中提取实体之间的特定于领域的关系。典型的关系是表示父子关系的“是……”(is-a)，表示包容关系的“具有……(……的部分)”(has-a(part-of))，等等。在该示例中，用户通过关系“具有区域”规定源“工厂”与目标“区域”相关用户。还可以添加附加的上下文信息作为实体定语。例如，用户可以添加类型、严重性、优先级作为报警实体的定语。
在一些实施例中，代替或除了由用户定义之外，语义关系可以从例如关系数据库管理系统(RDBMS)元组或XML文档中的父子节点中规定的主键和外键关系自动确定。可以添加属性来提供附加的上下文信息(例如，对于实体“报警”，可以添加属性“类型”、“严重性”或“优先级”)。可以对照一组预定的规则来验证所得到的语义模型。这些规则可以由例如标准ISA-106(“连续过程操作的程序自动化”)来定义。使用ISA-106，三元组“设备具有单元”可以在验证期间被标记为纠正，因为标准规定单元具有设备，而不是相反。字典文件中的公共本体和词汇可以代替标准或作为标准的补充用于验证。
回到图18，一旦语义模型已经建立，那么在块1808，模型被验证。语义验证是指验证数据元素在逻辑上是否有效的过程。例如，诸如装备具有区域这样的数据元素在ISA 106模式下是无效的，因为装备没有区域(语义模型通常根据行业标准来标准化实体关系类型)。在一些实施例中，系统自动验证在块1806中创建的实体之间的领域特定关系。为此，系统可以在字典文件中维护标准术语、它们的定义以及对公共本体和词汇的引用，这些都可以作为验证的参考。系统还提供了由领域专家手动验证和修改系统生成的关系的选项。
在块1810，保存经验证的语义模型以创建本体。在一些实施例中，根据以下众所周知的语义模型格式之一保存语义模型：OWL/XML、JOSO-LD和RDF/JSON。作为替代，语义模型可以通过将模型转换成GaphSON格式的标记属性图形模型来持久化。如果将语义模型转换成W3C本体，那么语义模型知识图形就可以在诸如AllegroGraph、Stardog或者AmazonNeptune的RDF三元组存储中存留。如果语义模型被转换成LPG(标记属性图形)，那么知识图形可以被存留成诸如GraphDB或Neo4j或Azure Cosmos DB的图形数据库格式。
在块1812，系统可以使用语义模型来构建和部署知识图形。如上所述，知识图形基本上是可用于导航和可视化组件之间关系的图形(即数据的物理模型)。语义模型在概念级上定义了知识图形中的源实体和目标实体之间的关系(例如，“区域具有单元”)。系统提取与本体类相关的实例，并使用相关联的关系和上下文信息构建知识图形。因此，知识图形表示了增强用户搜索所需信息的能力的互连实体的集合。知识图形可以在数据库系统中使用LPG、RDF或类似的图形模型来表示。知识图形的示例性可视化如图32所示。
参考图32，可以看到知识图形3200的可视化，其中实体和关系被显示为多个标记属性节点，其中一个节点被指示为3202。节点及其关系都被命名，并且可以存储由键/值对表示的属性。节点可以被标记以便容易地与相似的节点分组在一起。表示关系的边有两个主要性质：它们总是有开始节点和结束节点，并且它们是有向的，使图形成为有向图形。关系也可以有属性，这有助于为节点的关系提供附加的元数据和语义。图例3204基于颜色编解码提供每个节点3202表示什么的指示，例如，蓝色表示标签索引列表，绿色表示嵌套装载报告，橙色表示机柜装载报告等等。根据本公开的实施例，知识图形3200可以通过选择图视图选项3206来选择，并且是可从HMI获得的几个显示屏之一。用户可以通过选择选项从HMI选择其他显示屏，诸如用于上传数据的上传数据选项3206和用于搜索数据的查询引擎选项3208。
图33示出了根据本公开实施例的可从HMI获得的查询显示屏3300的示例。在该屏幕中，用户可以通过将自然语言查询键入搜索框3302来搜索数据。例如，用户可以通过向搜索框3302输入查询“在启动序列期间的预期警报是什么？”来要求HMI显示或以其他方式指示通常在正常工厂启动过程期间触发的警报。作为响应，HMI可以通过显示警报的标识符，以图形(带有虚线圆圈的节点)或文本形式显示请求的警报。用户还可以选择表示用户期望的数据类型的节点并将其拖动到搜索框3302中。在所示的示例中，用户可以将返回的六个警报拖放到搜索框3302中。借助知识图形，HMI可以快速突出显示六个警报的所有共同的资产，由没有虚线圆圈的节点指示，并将所有其他节点灰化或抑制到背景中。返回的共同资产可以包括其中警报被处理的控制处理器、这些警报共享的资产、处理警报的I/O模块等，指示警报的可能的根本原因。
在一些实施例中，用户和工厂操作员也可以输入命令来启动操作。HMI可以解析用自然语言编写的命令。例如，为了指示HMI启动填充标记为“储罐01”的组件，可以将命令“填充储罐01”输入到命令栏中(未明确示出)。
回到图18，一旦本体被构建，则在块1814，系统可以提供资产名称空间注册API，以便不同的应用使用数据。回想一下前面的内容(图6)，工厂资产是使用名称空间而组织到资产注册的。在一些实施例中，可以生成RESTful应用程序接口(例如，Azure活动目录图形API)，以允许下游应用程序从知识图形中提取信息。
在块1816，系统为用户提供基于过程叙述检索数据的方式。在一些实施例中，用户可以使用自然语言问题来检索数据以搜索数据。该系统可以将自然语言查询翻译成例如SPARQL查询或Gremlin查询。下游应用可以包括例如HMI，通过该HMI可以从转换的过程叙述和/或其他自然语言命令发出命令。
在块1818，可以设计和开发工厂控制过程和该过程的HMI(即，控制和HMI工程)，以允许用户使用系统300来控制工厂和各种工厂资产。这包括处理来自资产模型中的工厂资产和资产关系，以创建HMI资产模型。HMI资产模型以层次结构布置资产(见图37)，不同于本质上离散的传统解决方案(即基于单个P&ID图创建的解决方案)。然后，HMI可以使用HMI资产模型来自动创建唯一的、连续的HMI显示，类似于工厂级的二维平面图，其中包括每个资产的符号和表示过程、电气连接、数据链接等的线路，这些线路在符号之间延伸。然后，工厂操作员可以水平和垂直导航，并可以放大和缩小(即，沿着Z轴)二维视图，以在不同的资产之间移动并验证其行为。
在一些实施例中，HMI可以基于用户在HMI屏幕上的位置改变和在运行时(runtime)处生成的警报来动态改变向用户显示的资产。在运行时处显示的HMI资产可以主要基于两个因素来决定：(i)基于工程图中可用的资产层次细节(例如，PFD、P&ID等)指定给资产的静态权重；以及(ii)指定给发出警报的每个装备的动态权重。因此，在运行时处，HMI可以显示包括具有更大权重的资产的视图，或者如果存在警报，则显示具有警报的资产。HMI还可以动态更改视图，以包括最近发出警报的资产。关键装备上的警报将被赋予“高”或“高-高”指示器(例如，感叹号、红色等)，并将获得更多关注，并且整个警报链将在运行时处获得最高权重。为了设计HMI，需要建立HMI的设计规范。
图34示出了根据本公开实施例的HMI的示例性设计规范3400。规范3400规定了HMI的层次结构，其允许HMI以层次布置显示某些过程控制细节，包括过程装备细节和仪器控制细节。在该示例中，HMI以几个层次显示级3402、3404、3406、3408布置。级1显示过程区域概述，包括诸如操作KPI(关键绩效指标)、警报计数器、旁路信号计数器、趋势、整个工厂状态等信息。下一级，级2，显示过程单元控制，包括控制器、警报、趋势和状态。下一级，级3，显示过程单元细节，包括更小的装备组、控制器、警报、趋势、ESD显示、装备、诊断和状态。下一级，级4，显示过程单元支持细节，包括联锁、细节、“先出”、程序、文件和帮助。其他HMI设计规范可能包括与图形显示相关的规范，诸如警报优先级颜色(例如，红色、黄色、橙色等)，以及指示状态(例如，停止服务等)和功能(例如，反馈、趋势线路等)的颜色。还可以规定图标、符号和线路(例如，实线、虚线、点状线等)的含义以及工程单位(例如，公制、英制等)等。然后，这些HMI规范以及如上所述从各种工厂工程数据源提取的数据和信息可用于构建HMI资产模型。
图35示出了根据本公开实施例的示例性HMI资产模型3500。HMI资产模型，顾名思义，包括由HMI处理和使用以显示给用户的资产模型。为了当前的目的，HMI资产模型包括工厂资产和关系(资产层次)、本体知识库和前面讨论的各种工厂工程数据源。HMI资产模型因此包括PFD 3502(例如，高级装备、仪器、连接等)、PI&D和仪器索引3504(例如，装备、仪器、它们之间的关联、警报、管道、维护超控图形(MOS)和因与果(C&E)细节等)、HMI规范3506(例如，导航要求、警报聚集、历史化、诊断细节等)、控制叙述3508(例如，控制和监控参数、设定点、警报、范围、工程单元等)以及经由工程显示3510捕获的知识(例如，来自维护记录、先前的纠正动作、用户经验等)。随着各种数据源内容改变以及资产被添加和/或删除，该模型会自动更新，从而使该模型成为动态HMI资产模型。
一旦建立了HMI资产模型3500(或者更确切地说，其内容)，该模型可以用于开发根据本公开实施例的HMI。基于HMI资产模型开发HMI可以包括为各种资产(例如，仪器、装备、复合及其组合等)创建模板3514。这些模板可以包括例如级符号(例如，级2、级3等)、仪器和装备的详细显示、仪器属性和动作、动画脚本、控制工程模板、泵、阀门的综合细节等。根据HMI资产模型开发HMI还可以包括创建其他资产模型3516，其中所有区域和单元被表示为区域对象，每个复合和/或复杂的仪器组合根据它们的模板被实例化。该过程可能涉及相对于其他装备和设备给一些装备和设备指定更多的权重，其中前者被图形化地强调。可以例如通过控制叙述添加引入的新的装备和设备，并相应地调整资产层次。装备和设备可以基于它们在这些资产模型中的关联被分组。
除上述内容外，HMI资产模型还可用于构建控制各种工厂资产操作的控制应用。如前所述，可以使用机器学习从工程图等非结构化数据中提取工厂资产，以标识一个或多个资产。该程序还可以基于一个或多个装备、仪器、连接器和线路从工程图中提取一个或多个控制回路，以构建动态HMI资产模型。然后，自动控制生成过程可用于从动态资产模型中读取一个或多个控制回路，并为控制应用生成控制逻辑。控制逻辑将控制应用与实际工厂装备相连接，以允许控制应用读取或以其他方式获取过程值，并控制装备、设备、仪器等的操作。换句话说，HMI处理资产和资产关系，并创建HMI资产模型，以层次结构布置资产。该过程还将每个HMI资产的属性与对应的控制I/O参考联系起来，以便在运行时处，如果操作员打开HMI中控制应用程序中的阀门，其控制值将经由控制I/O参考(在HMI资产中链接)传播到工厂中的对应的设备，从而打开工厂中的阀门。
例如，根据HMI资产模型开发的HMI可以被用户用来监控各种显示，并容易地找到报警的根本原因。在一些实施例中，这种HMI可以使用HMI开发平台来开发，如可从得克萨斯州休斯顿的Wonderware West获得的系统平台2017InTouch OMI(操作管理界面)。在本公开的范围内，当然可以使用其他HMI开发平台。
接下来参考图36，在一些实施例中，根据本公开的HMI可以处理由各种设备发出的警报，并自动识别警报的根本原因。HMI主要通过两个因素来确定警报的根本原因：(i)工程图中定义的过程/材料流；以及(ii)工程图和任何控制叙述中定义的控制流程。在过程流的情况下，HMI首先找到引起不同警报的设备节点。对于每个设备节点，HMI检索对应于该设备节点的装备节点。对于该装备节点，HMI检索连接到该装备节点的任何上游装备节点，该上游装备节点也具有发出警报的设备。对相邻节点重复该步骤，直到HMI找到没有具有警报的设备连接到其的连接装备。这创建了警报链，使HMI能够通过找到警报链中最高级的装备来确定警报的根本原因。
在图36的示例中，HMI在屏幕3600上显示工厂级的二维平面图，屏幕3600包括表示资产的符号3602、3604、3606和3608以及在表示过程、电连接、数据链路等的符号之间延伸的线路3610、3612和3614。然后，工厂操作员可以在二维视图中水平导航并放大和缩小，以在不同的资产间移动并验证它们的行为。在本例中，材料从装备E1215(泵)流向装备E1214(锅炉)，并且在装备E1214(锅炉)的入口处存在压降。压力下降导致装备E1214(锅炉)入口处的设备(测量仪器)发出警报。问题可能出在装备E1215或出现在装备E1209上。但是在装备E1209处没有警报，所以HMI确定问题出在装备E1215(泵)处。在这个示例中，装备E1215(泵)的生产量已经减少，因此在连接的下游装备E1214(锅炉)处存在压降。因此，尽管警报是由在锅炉E1214处的测量仪器发出的，但在这种情况下，HMI会将警报的根本原因标识为泵E1215。HMI为该装备指定附加的权重以用于显示目的，并在装备旁边放置警报灯泡3616。在3618，表示由HMI找到的其他警报的其他警报灯泡被聚集。
此后，HMI可以允许工厂操作员纠正由系统识别的根本原因分析。例如，操作员可以手动选择不同的装备，并将该装备设置为警报的根本原因，而不是系统识别的根本原因，并且在一些实施例中还可以手动标识对应的警报链。操作员所做的这些纠正可以反馈到系统，以动态更新机器学习算法，从而使系统对于后续的警报根本原因分析更加准确。
现在参考图37，在一些实施例中，根据本公开的HMI可以聚集工厂中的警报，并提供显示聚集的警报的工厂级视图的显示屏3700。在一些实施例中，系统可以通过获得生成警报的所有装备的列表并从列表中标识第一装备来聚集警报。系统将该装备添加到新的警报聚类中，并检查相邻装备是否也在生成警报。如果是，则系统将相邻装备添加到当前报警聚类中。对列表中的下一装备重复该过程，直到所有装备和相邻装备都已处理完毕。在所示示例中，工厂级聚集的警报被描绘为屏幕3700的规定区域(例如，左上角)中的一系列灯泡3702，然而不同的位置或不同的图标或图形符号当然可以用于警报。灯泡3702中的每一个对应于在工厂中发出警报的相应组件(例如，设备、装备等)。可以看出，存在五个组件3704a、b、c、d、e发出警报，每个组件带有灯泡图标3706以指示该部件的警报状况。
选择(例如，通过轻敲、双击等)组件3704a-e之一使得HMI显示关于该组件的信息，包括哪些下游组件可能是警报的潜在根本原因。在一些实施例中，系统可以通过在最高装备级标识警报，然后找到连接到该装备的也具有警报的源装备，来确定警报的潜在根本原因。然后，系统深入源装备，找到连接的后续装备，该装备也有警报。重复该过程，直到找到报警的最低连接的装备。
图38图示了可以根据用户/观察者在资产层次屏幕上的位置动态放大(和缩小)资产的HMI的实施例。观察者在层次屏幕上的位置主要由两个因素决定：(1)由屏幕坐标(例如，x和y坐标)确定的地面位置，以及(2)观察者离地面的高度。基于观察者在屏幕上的位置，提供资产模型周围的相关信息以供查看。例如，考虑当用户相对于HMI屏幕位于区域1，并且在装备5、装备3、设备2和设备4处存在警报条件时。在本例中，HMI屏幕将显示装备7、1、2、4、5和6以及关于装备的任何相关信息，但不显示装备8、9或3，也不显示连接到装备3的任何设备。假设用户现在放大，使得用户的位置在单元3。在该示例中，HMI屏幕将像以前一样显示装备7、1、2、4、5和6，但也将显示装备8、9或3。一旦用户进一步向下移动到装备5，那么HMI屏幕将显示设备1、2、3、4和5以及关于这些装备的任何相关信息。HMI屏幕会自动移除用户的级之上的任何装备。
图39示出了根据本公开实施例的示例性HMI显示屏3900，其可以根据用户/观察者的位置动态放大(和缩小)资产。基于由用户的当前位置和工厂中的当前活动警报确定的缩放水平，动态HMI显示屏3900显示围绕资产模型的相关信息。在图39左侧的示例中，HMI显示屏3900显示了资产3902和3904之间的连接。在中间的示例中，用户已经放大，因此HMI显示屏3900重新映射连接，以在屏幕上显示附加资产3906。在右边的示例中，用户已经进一步放大，因此HMI显示屏3900再次重新映射连接，以在屏幕上显示另外的附加资产3908。
现在参考图40A和图40B，除了上面讨论的工厂级警报聚集之外，根据本公开实施例的HMI还可以在区域级执行警报聚集。图40A图示了这种HMI的示例性实施例，其中HMI使用工厂资产的二维视图来显示区域级警报聚集。从左边的示例开始，诸如线路4002的实线表示平面内的水平连通性，并且诸如线路4004的虚线表示跨多个平面(即，二维视图)的垂直连通性。可以看出，区域级资产A1和A2具有分别由高警报图标和严重警报图标指示的警报条件。当用户选择A2(例如，通过轻敲、点击等)时，HMI将用户带到右侧的示例，在该示例中，用户在资产U3处发现严重警报，并且在资产U2处发现高警报。
如果用户选择U2，HMI会将用户带到图40B左侧的示例，其中用户在装备U3E2上发现严重警报。从这里，用户将能够直观地查看U2E1处的严重警报源，该警报源通过U3E1以及U3E2级联。假设用户选择U2E1，HMI将用户带到图40B右侧的示例，在其中，用户将看到设备级资产，包括导致警报的问题源D1。选择D1将为用户提供关于该设备的信息、在该设备上看到的任何趋势、该设备可用的任何支持和指导，以及关于该设备获取的任何知识。
因此，如本文所述，本公开的实施例提供了用于控制工业过程自动化和控制系统的系统和方法。该方法和系统自动地并且通过使用机器学习(ML)模型和算法，从工程图和其他工厂工程数据源中提取工厂资产，建立资产关系以创建工厂资产注册并从工厂资产中构建资产层次，从工厂资产层次结构中生成本体知识库，并且基于工厂资产层次和本体知识库提供用于控制工业过程的HMI。
本公开的这些实施例可以包括专用计算机，该专用计算机包括各种计算机硬件，如下面更详细描述的。本公开范围内的实施例还包括用于携带或具有存储在其上的计算机可执行指令或数据结构的计算机可读介质。这种计算机可读介质可以是可由专用计算机访问的任何可用介质，并且包括计算机存储介质和通信介质。作为示例而非限制，计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质是非暂时性的，包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光盘存储器、固态驱动器(SSD)、盒式磁带、磁带、磁盘存储器或其他磁存储设备，或者可以用于以计算机可执行指令或数据结构的形式携带或存储期望的非暂时性信息并且可以由计算机访问的任何其他介质。当信息通过网络或另一通信连接(硬连线、无线或硬连线或无线的组合)传输或提供给计算机时，计算机将该连接正确地视为计算机可读介质。因此，任何这样的连接都被恰当地称为计算机可读介质。以上的组合也应该包括在计算机可读介质的范围内。计算机可执行指令包括例如使通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令和数据。
以下讨论旨在提供其中可以实现本公开的各方面的合适计算环境的简要概括描述。尽管不是必需的，但是本公开的方面将在由网络环境中的计算机执行的诸如程序模块的计算机可执行指令的一般上下文中描述。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、相关联的数据结构和程序模块表示用于执行本文公开的方法的步骤的程序代码装置的示例。这种可执行指令或相关数据结构的特定序列表示用于实现这些步骤中描述的功能的对应的动作的示例。
本领域技术人员将理解，本公开的方面可以在具有多种类型的计算机系统配置的网络计算环境中实践，包括个人计算机、手持设备、多处理器系统、基于微处理器的或可编程的消费电子产品、网络PC、小型计算机、大型计算机等。本公开的各方面也可以在分布式计算环境中实践，其中任务由通过通信网络链接(通过硬连线链路、无线链路或硬连线或无线链路的组合)的本地和远程处理设备来执行。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。
用于实现本公开各方面的示例性系统包括常规计算机形式的专用计算设备，包括处理单元、系统存储器和将包括系统存储器在内的各种系统组件耦合到处理单元的系统总线。系统总线可以是几种类型的总线结构中的任何一种，包括存储器总线或存储器控制器、外围总线和使用各种总线体系结构中的任何一种的局部总线。系统存储器包括计算机存储介质，包括非易失性和易失性存储器类型。基本输入/输出系统(BIOS)可以存储在只读存储器中，该系统包含诸如在启动期间帮助在计算机内的元件之间传输信息的基本例程。此外，计算机可以包括能够无线地从互联网接收或发送IP地址的任何设备(例如，计算机、膝上型电脑、平板电脑、PDA、手机、移动电话、智能电视等)。
计算机还可以包括用于读写磁性硬盘的磁性硬盘驱动器、用于读写可移动磁盘的磁盘驱动器、以及用于读写可移动光盘如CD-ROM或其他光学介质的光盘驱动器。磁性硬盘驱动器、磁盘驱动器和光盘驱动器分别通过硬盘驱动器接口、磁盘驱动器接口和光盘驱动器接口连接到系统总线。驱动器及其相关联的计算机可读介质为计算机提供了计算机可执行指令、数据结构、程序模块和其他数据的非易失性存储。尽管这里描述的示例性环境采用了磁性硬盘、可移动磁盘和可移动光盘，但是也可以使用用于存储数据的其他类型的计算机可读介质，包括盒式磁带、闪存卡、数字视盘、伯努利盒式磁带、RAMs、ROM、SSD等。
通信介质通常在诸如载波或其他传输机制的调制数据信号中包含计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递介质。
包括一个或多个程序模块的程序代码装置可以存储在硬盘、磁盘、光盘、只读存储器和/或随机存取存储器上，包括操作系统、一个或多个应用程序、其他程序模块和程序数据。用户可以通过键盘、定点设备或其他输入设备，例如麦克风、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等，向计算机输入命令和信息。这些和其他输入设备通常通过耦合到系统总线的串行端口接口连接到处理单元。可选地，输入设备可以通过其他接口连接，例如并行端口、游戏端口或通用串行总线(USB)。监控器或其他显示设备也通过接口(诸如视频适配器)连接到系统总线。除了监控器之外，个人计算机通常还包括其他外围输出设备(未示出)，诸如扬声器和打印机。
本公开的一个或多个方面可以体现在作为应用程序、程序模块和/或程序数据存储在系统存储器或非易失性存储器中的计算机可执行指令(即，软件)、例程或功能中。或者，软件可以远程存储，诸如存储在具有远程应用程序的远程计算机上。通常，程序模块包括例程、程序、对象、组件、数据结构等，当由计算机或其他设备中的处理器执行时，它们执行特定的任务或实现特定的抽象数据类型。计算机可执行指令可以存储在一个或多个有形的、非暂时性的计算机可读介质(例如，硬盘、光盘、可移动存储介质、固态存储器、RAM等)上，并由一个或多个处理器或其他设备执行。如本领域技术人员将理解的，程序模块的功能可以根据需要在各种实施例中组合或分布。此外，功能可以全部或部分体现在固件或硬件等价物中，诸如集成电路、专用集成电路、现场可编程门阵列等中。
计算机可以使用到一个或多个远程计算机的逻辑连接在网络化环境中操作。每个远程计算机可以是另一个人计算机、平板电脑、PDA、服务器、路由器、网络PC、对等设备或其他公共网络节点，并且通常包括以上相对于计算机描述的许多或所有元件。逻辑连接包括局域网(LAN)和广域网(WAN)，在此作为示例而非限制给出。这种网络环境在办公室范围或企业范围的计算机网络、内部网和互联网中是常见的。
在LAN联网环境中使用时，计算机通过网络接口或适配器连接到本地网络。当在WAN联网环境中使用时，计算机可以包括调制解调器、无线链路或用于在广域网(诸如因特网)上建立通信的其他装置。调制解调器可以是内置或外置的，经由串行端口接口连接到系统总线。在网络化环境中，相对于计算机描述的程序模块或其部分可以存储在远程存储器存储设备中。应当理解，所示的网络连接是示例性的，并且可以使用通过广域网建立通信的其他手段。
优选地，计算机可执行指令存储在诸如硬盘驱动器的存储器中，并由计算机执行。有利地，计算机处理器具有实时执行所有操作(例如，执行计算机可执行指令)的能力。
除非另有说明，否则在此示出和描述的本公开的实施例中的操作的执行或执行顺序不是必需的。也就是说，除非另有说明，否则操作可以以任何顺序执行，并且本公开的实施例可以包括比这里公开的操作更多或更少的操作。例如，预期在另一操作之前、同时或之后执行或实施特定操作在本公开的各方面的范围内。
本公开的实施例可以用计算机可执行指令来实现。计算机可执行指令可以被组织成一个或多个计算机可执行组件或模块。本公开的方面可以用任何数量和组织的这种组件或模块来实现。例如，本公开的方面不限于附图中示出并在此描述的特定计算机可执行指令或特定组件或模块。本公开的其他实施例可以包括不同的计算机可执行指令或组件，其具有比本文示出和描述的更多或更少的功能。
当介绍本公开的方面或其实施例的要素时，冠词“一”、“一个”、“该”和“所述”意在表示存在一个或多个要素。术语“包括”、“包含”和“有/具有”旨在是包含性的，并且意味着除了列出的要素之外，还可以有附加的要素。
已经详细描述了本公开的方面，很明显，在不脱离如所附权利要求中定义的本公开的方面的范围的情况下，修改和变化是可能的。由于在不脱离本公开的各方面的范围的情况下，可以对上述结构、产品和方法进行各种改变，因此包含在上述描述中并在附图中示出的所有内容都应被解释为说明性的，而不是限制性的。
机译： 从工程数据源中自动提取资产数据以生成HMI
机译： 从工程数据源自动提取资产数据，以产生HMI
机译： 从工程数据源中自动提取资产数据
