首页> 中国专利> 结合边缘计算和路径分析的数据处理方法及大数据云平台

结合边缘计算和路径分析的数据处理方法及大数据云平台

摘要

申请实施例所提供的结合边缘计算和路径分析的数据处理方法及大数据云平台,首先对部署在智能设备中的数据流监测脚本上传的数据传输记录进行解析得到目标数据的数据操作清单以及数据传递路径,其次基于数据操作清单以及数据传递路径确定目标数据在多个智能设备之间的数据流分布图并得到多个智能设备形成的智能生产系统的生产数据图谱,最后根据所述故障指令确定存在故障的目标智能设备并在生产数据图谱中查找出与目标智能设备对应的目标数据集合。如此,能够根据目标数据集合对目标智能设备进行故障排查,不仅能够减少故障排查的耗时,还能够将智能设备之间的数据传递路径考虑在内从而准确地进行故障排查。

著录项

  • 公开/公告号CN112800090A

    专利类型发明专利

  • 公开/公告日2021-05-14

    原文格式PDF

  • 申请/专利权人 袁媛;

    申请/专利号CN202110091899.2

  • 发明设计人 袁媛;

    申请日2020-07-14

  • 分类号G06F16/2455(20190101);G06F16/2458(20190101);G06Q50/04(20120101);

  • 代理机构

  • 代理人

  • 地址 655000 云南省曲靖市经济技术开发区西城工业园区(科创企业孵化中心内)

  • 入库时间 2023-06-19 10:58:46

说明书

技术领域

本申请涉及大数据分析技术领域,尤其涉及结合边缘计算和路径分析的数据处理方法及大数据云平台。

背景技术

大数据(bigdata)作为现如今重要的信息资产,在社会生产和人们生活中起着指导性作用。大数据分析能够对数据进行深度挖掘,从而获得数据背后的重要价值。

随着工业自动化的快速发展,将大数据应用到工业生产中已是大势所趋,结合边缘计算在工业生产中的应用,能够有效提高工业生产的效率。

在工业生产中,一般是由多个智能设备互相之间进行数据交互和通信实现对生产进程的有序推进。然而在实际应用时,多个智能设备组成的智能生产系统仍然会出现故障,但现有技术难以对智能生产系统进行有效地故障排查。

发明内容

本申请提供结合边缘计算和路径分析的数据处理方法及大数据云平台,以改善现有技术难以对智能生产系统进行有效地故障排查的技术问题。

首先提供一种结合边缘计算和路径分析的数据处理方法,应用于与多个智能设备互相之间通信连接的大数据云平台,所述方法包括:

依据每个智能设备的设备类别信息和设备接口信息生成与每个智能设备对应的数据流监测脚本,将所述数据流监测脚本下发给对应的智能设备;

获取每个智能设备对应的数据流监测脚本上传的数据传输记录,对所述数据传输记录进行解析得到所述数据传输记录对应的目标数据的数据操作清单以及数据传递路径;

基于每组目标数据对应的数据操作清单以及数据传递路径确定每组目标数据在所述多个智能设备之间的数据流分布图,并将每张数据流分布图进行关联存储得到所述多个智能设备形成的智能生产系统的生产数据图谱;

在接收到所述智能生产系统对应的故障监测设备上报的故障指令时,根据所述故障指令确定存在故障的目标智能设备,并在所述生产数据图谱中查找出与所述目标智能设备对应的目标数据集合;其中,所述目标数据集合用于对所述目标智能设备进行故障排查,所述目标数据集合中包括经所述目标智能设备处理过的至少一组业务数据以及所述业务数据的数据流向信息。

其次提供一种大数据云平台,用于执行上述的方法,所述大数据云平台与多个智能设备互相之间通信连接,所述大数据云平台包括以下功能模块:

脚本下发模块,用于依据每个智能设备的设备类别信息和设备接口信息生成与每个智能设备对应的数据流监测脚本,将所述数据流监测脚本下发给对应的智能设备;

记录解析模块,用于获取每个智能设备对应的数据流监测脚本上传的数据传输记录,对所述数据传输记录进行解析得到所述数据传输记录对应的目标数据的数据操作清单以及数据传递路径;

图谱生成模块,用于基于每组目标数据对应的数据操作清单以及数据传递路径确定每组目标数据在所述多个智能设备之间的数据流分布图,并将每张数据流分布图进行关联存储得到所述多个智能设备形成的智能生产系统的生产数据图谱;

故障排查模块,用于在接收到所述智能生产系统对应的故障监测设备上报的故障指令时,根据所述故障指令确定存在故障的目标智能设备,并在所述生产数据图谱中查找出与所述目标智能设备对应的目标数据集合;其中,所述目标数据集合用于对所述目标智能设备进行故障排查,所述目标数据集合中包括经所述目标智能设备处理过的至少一组业务数据以及所述业务数据的数据流向信息。

申请实施例所提供的结合边缘计算和路径分析的数据处理方法及大数据云平台,首先对部署在智能设备中的数据流监测脚本上传的数据传输记录进行解析得到目标数据的数据操作清单以及数据传递路径,其次基于数据操作清单以及数据传递路径确定目标数据在多个智能设备之间的数据流分布图并得到多个智能设备形成的智能生产系统的生产数据图谱,最后根据所述故障指令确定存在故障的目标智能设备并在生产数据图谱中查找出与目标智能设备对应的目标数据集合。如此,能够根据目标数据集合对目标智能设备进行故障排查,不仅能够减少故障排查的耗时,还能够将智能设备之间的数据传递路径考虑在内从而准确地进行故障排查。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。

图1是本申请根据一示例性实施例示出的一种结合边缘计算和路径分析的数据处理系统的示意图。

图2是本申请根据一示例性实施例示出的一种结合边缘计算和路径分析的数据处理方法的流程图。

图3是本申请根据一示例性实施例示出的一种大数据云平台的功能模块框图。

图4是本申请根据一示例性实施例示出的一种大数据云平台的硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

依附于边缘计算的发展,智能设备之间的数据交互和数据处理通常就近地部署在设备侧,如果其中一环的数据出现错误,会导致错误的数据在不同的智能设备之间传递,从而引发智能生产系统的故障。在这种情况下,由于智能设备是分布式系统,需要从每个智能设备中调取数据处理记录并进行检查,一方面增加了故障排查的耗时,另一方面无法将智能设备之间的数据传递路径考虑在内从而难以准确地进行故障排查。

为改善上述问题,本发明实施例旨在公开一种结合边缘计算和路径分析的数据处理方法及大数据云平台,不仅能够减少故障排查的耗时,还能够将智能设备之间的数据传递路径考虑在内从而准确地进行故障排查。

请首先参阅图1,为本发明实施例所提供的一种结合边缘计算和路径分析的数据处理系统100的系统架构示意图,所述系统可以包括互相之间通信的大数据云平台200和多个智能设备300。其中,智能设备300可以是具有数据处理功能的工业生产设备,智能设备300可以应用到多个工业领域,在此不作限定。在图1的基础上,图2提供了一种结合边缘计算和路径分析的数据处理方法的流程图,所述方法可以应用于图1中的大数据云平台200,具体可以包括以下步骤S21-步骤S24所描述的内容。

步骤S21,依据每个智能设备的设备类别信息和设备接口信息生成与每个智能设备对应的数据流监测脚本,将所述数据流监测脚本下发给对应的智能设备。

在具体示例中,运行在智能设备300中的数据流监测脚本能够爬取智能设备300的数据传输记录,并将数据传输记录上传给大数据云平台200,这样可以使得大数据云平台200对数据传输记录进行分析。

步骤S22,获取每个智能设备对应的数据流监测脚本上传的数据传输记录,对所述数据传输记录进行解析得到所述数据传输记录对应的目标数据的数据操作清单以及数据传递路径。

在步骤S22中,目标数据是被智能设备300所处理的数据,数据操作清单中包括智能设备200对目标数据的拆分、清洗、标记、格式拆分和特征提取等操作逻辑信息,数据传递路径中包括智能设备200在完成对目标数据的数据操作之后进行下发的所有下游的智能设备200的通信地址。可以理解,将多个通信地址按照目标数据对应的传递标识进行连线可以得到目标数据对应的数据传递路径。

步骤S23,基于每组目标数据对应的数据操作清单以及数据传递路径确定每组目标数据在所述多个智能设备之间的数据流分布图,并将每张数据流分布图进行关联存储得到所述多个智能设备形成的智能生产系统的生产数据图谱。

可以理解,数据流分布图中包括目标数据在不同智能设备300中的业务形式以及在不同智能设备300之间的上下游关系,对数据流分布图进行关联存储,能够将不同目标数据之间的数据关联性考虑在内,从而为后续的故障排查提供准确可靠的判断依据。进一步地,生产数据图谱可以以图数据的形式进行存储。

步骤S24,在接收到所述智能生产系统对应的故障监测设备上报的故障指令时,根据所述故障指令确定存在故障的目标智能设备,并在所述生产数据图谱中查找出与所述目标智能设备对应的目标数据集合;其中,所述目标数据集合用于对所述目标智能设备进行故障排查,所述目标数据集合中包括经所述目标智能设备处理过的至少一组业务数据以及所述业务数据的数据流向信息。

通过应用上述步骤S21-步骤S24,首先对部署在智能设备中的数据流监测脚本上传的数据传输记录进行解析得到目标数据的数据操作清单以及数据传递路径,其次基于数据操作清单以及数据传递路径确定目标数据在多个智能设备之间的数据流分布图并得到多个智能设备形成的智能生产系统的生产数据图谱,最后根据所述故障指令确定存在故障的目标智能设备并在生产数据图谱中查找出与目标智能设备对应的目标数据集合。如此,能够根据目标数据集合对目标智能设备进行故障排查,不仅能够减少故障排查的耗时,还能够将智能设备之间的数据传递路径考虑在内从而准确地进行故障排查。

在实施上述方案的过程中发明人发现,在生成数据流分布图的时候,需要考虑目标数据在不同智能设备中的业务形式,否则会导致数据流分布图的部分图数据的缺失。为改善上述问题,在步骤S23中,基于每组目标数据对应的数据操作清单以及数据传递路径确定每组目标数据在所述多个智能设备之间的数据流分布图,具体可以包括以下步骤S231-步骤S233所描述的内容。

步骤S231,获取根据所述数据操作清单所生成的与所述目标数据对应的结果数据,通过对所述数据传递路径进行提取得到的通信地址以及传递标识确定所述结果数据在多个下游智能设备中的业务形式。

步骤S232,按照所述数据传递路径对应的路径参数将多个业务形式对应的描述信息进行节点化以得到每个业务形式对应的业务节点。

步骤S233,将所述结果数据在每个业务节点对应的下游智能设备中的执行数据封装到对应的业务节点中,并根据所述传递标识将多个业务节点进行连线以得到所述数据流分布图。

可以理解,通过上述步骤S231-步骤S233,能够将目标数据在不同智能设备中的业务形式考虑在内,这样能够确保在生成数据流分布图时,数据流分布图中的部分图数据(业务节点)不会出现缺失。

在上述步骤S231-步骤S233的基础上,为了降低业务节点之间的相似性,确保每个业务节点的特征识别度,步骤S232所描述的按照所述数据传递路径对应的路径参数将多个业务形式对应的描述信息进行节点化以得到每个业务形式对应的业务节点,进一步可以包括以下步骤S2321-步骤S2325。

步骤S2321,将所述数据传递路径对应的路径参数对应的路径优先级列出,并根据所述路径优先级生成所述路径参数对应的参数网络,在根据所述参数网络确定出每个业务形式的对应的描述信息中包含有已发送信息类别的情况下,根据每个业务形式的对应的描述信息在对应的已发送信息类别下的信息字段以及所述信息字段的字段编码确定每个业务形式的对应的描述信息在已接收信息类别下的各信息字段与每个业务形式的对应的描述信息的已发送信息类别下的各信息字段之间的时序差异系数。

步骤S2322,基于所述时序差异系数将每个业务形式的对应的描述信息在所述已接收信息类别下的与在所述已发送信息类别下的信息字段在时序上存在连续性的信息字段划分到对应的已发送信息类别下。

步骤S2323,在每个业务形式的对应的描述信息对应的已接收信息类别下包含有多个信息字段的情况下,依据每个业务形式的对应的描述信息在所述已发送信息类别下的信息字段以及所述信息字段的字段编码确定每个业务形式的对应的描述信息在所述已接收信息类别下的各信息字段之间的时序差异系数;通过所述各信息字段之间的时序差异系数对所述已接收信息类别下的各信息字段进行筛选得到目标信息字段;根据每个业务形式的对应的描述信息在所述已发送信息类别下的信息字段以及所述信息字段的字段编码将筛选得到的部分目标信息字段划分到所述已发送信息类别下。

步骤S2324,根据每个业务形式的对应的描述信息在对应的已发送信息类别的信息字段确定每个业务形式的对应的描述信息的节点化逻辑信息。

步骤S2325,按照从所述节点化逻辑信息中提取得到的逻辑顺序将每个业务形式的对应的描述信息在对应的已发送信息类别的信息字段一次进行信息压缩得到信息特征值,将所述信息特征值进行整合以得到每个业务形式对应的业务节点。

基于上述步骤S2321-步骤S2325所描述的内容,能够对每个业务形式对应的信息字段进行类别划分和调整,从而降低业务节点之间的相似性,确保每个业务节点的特征识别度。

在一个更为具体的实施方式中,为了确保在封装执行数据时执行数据与业务节点的兼容性,避免执行数据和业务节点之间由于兼容性问题导致执行数据在封装时出现错误,步骤S233所描述的将所述结果数据在每个业务节点对应的下游智能设备中的执行数据封装到对应的业务节点中,示例性地可以包括以下步骤S2331-步骤S2334所描述的内容。

步骤S2331,确定用于表征每个业务节点对应的下游智能设备的数据处理进程的设备配置信息,并提取所述设备配置信息中不随所述下游智能设备的时间片资源占用率的变化而变化的目标配置信息;判断所述目标配置信息的信息编码格式是否与所述结果数据的数据编码格式一致;在判定出所述信息编码格式与所述数据编码格式不一致时,生成与所述信息编码格式对应的格式标签并将所述格式标签加载至对应的业务节点中,在判定出所述信息编码格式与所述数据编码格式一致时,根据所述数据编码格式生成数据拆分标识符并将所述数据拆分标识符加载至对应的业务节点中。

步骤S2332,若所述业务节点中存在所述格式标签,则基于所述格式标签对应的兼容性分布信息构建所述业务节点的数据封装列表;若所述业务节点中存在所述数据拆分标识符,则将所述数据拆分标识符映射到所述业务节点对应的节点容器中并基于所述数据拆分标识符在所述节点容器中的映射标识符生成所述业务节点的数据封装列表。

步骤S2333,针对每个业务节点对应的下游智能设备,从该下游智能设备的数据库中确定存在与所述结果数据对应的数据索引值的存缓存地址信息,根据所述缓存地址信息从所述结果数据中确定出对应的原始数据,将所述数据库中与所述结果数据对应的执行数据以及从所述结果数据中确定出的原始数据进行整合得到待封装数据。

步骤S2334,确定所述待封装数据中的每个数据段的封装优先级,按照封装优先级由大到小的顺序对所述数据段进行排序得到数据段排序序列,按照所述数据封装列表依次将所述数据段排序序列中的数据段封装到对应的业务节点中。

在执行上述步骤S2331-步骤S2334所描述的内容时,确保在封装执行数据时执行数据与业务节点的兼容性,避免执行数据和业务节点之间由于兼容性问题导致执行数据在封装时出现错误,从而准确地实现将执行数据封装到对应的业务节点中。

在具体实施过程中,为了确保目标数据集合的完整性从而提高后续的故障排查的可靠性,步骤S24所描述的根据所述故障指令确定存在故障的目标智能设备,并在所述生产数据图谱中查找出与所述目标智能设备对应的目标数据集合,具体可以包括步骤S241-步骤S243所描述的内容。

步骤S241,提取所述故障指令的指令流信息,从所述指令流信息中确定出设备注册信息,根据所述设备注册信息从预设的信息库中确定所述目标智能设备;基于所述目标智能设备的api接口提取所述目标智能设备的签名密钥。

步骤S242,在所述生产数据图谱中标记出存在所述签名密钥的第一图数据以及与所述签名密钥的相关性系数大于设定值的目标密钥的第二图数据。

步骤S243,基于所述第一图数据和所述第二图数据生成与所述目标智能设备对应的目标数据集合。

可以理解,通过上述步骤S241-步骤S243,不仅能够将与目标智能设备直接相关的第一图数据进行标记,还能够对与目标智能设备存在高相关性的第二图数据进行标记,这样能够基于第一图数据和第二图数据完整地确定目标数据集合从而提高后续的故障排查的可靠性。

可选地,为了确保数据流监测脚本与智能设备的匹配性,避免智能设备在接收到数据流监测脚本时将数据流监测脚本误判为异常爬虫,在步骤S21中,依据每个智能设备的设备类别信息和设备接口信息生成与每个智能设备对应的数据流监测脚本,示例性地可以包括以下步骤S211-步骤S214所描述的内容。

步骤S211,分别提取所述设备类别信息对应的类别文本集以及所述设备接口信息对应的接口文本集;其中,所述类别文本集和所述接口文本集中分别包含多个具有不同文本权重值的文本文件。

步骤S212,判断所述类别文本集对应的第一文本文件的数量与所述接口文本集对应的第二文本文件的数量是否相同;若不相同,则确定所述第一文本文件对应的文本权重值的第一均值以及所述第二文本文件对应的文本权重值的第二均值;在所述第一均值大于所述第二均值时,以所述第一文本文件的数量为参考对所述第二文本文件进行合并以使得合并之后的第二文本文件的数量与所述第一文本文件的数量相同;在所述第二均值大于所述第一均值时,以所述第二文本文件的数量为参考对所述第一文本文件进行合并以使得合并之后的第一文本文件的数量与所述第二文本文件的数量相同。

步骤S213,在所述第一文本文件的数量与所述第二文本文件的数量相同的情况下,提取所述类别文本集中的其中一个第一文本文件的码流信息,且并行地将所述接口文本集中具有最大文本权重值的第二文本文件确定为基准文本文件;将所述码流信息映射到所述基准文本文件中以得到镜像码流信息,根据所述码流信息和所述镜像码流信息之间的配置权重生成所述类别文本集与所述接口文本集之间的文本流转换矩阵。

步骤S214,依据所述文本流转换矩阵确定所述类别文件集中的每个第一文本文件与所述接口文本集中的第二文本文件之间的对应关系,并通过所述对应关系的逻辑拓扑生成与每个智能设备对应的数据流监测脚本,将基于所述文本流转换矩阵对应的特征密钥添加到所述数据流监测脚本中;其中,所述特征密钥与智能设备唯一对应。

在应用上述步骤S211-步骤S214所描述的内容时,能够在生成数据流监测脚本之后对应添加与智能设备唯一对应的特征密钥,这样确保数据流监测脚本与智能设备的匹配性,避免智能设备在接收到数据流监测脚本时将数据流监测脚本误判为异常爬虫。

可选地,步骤S22所描述的对所述数据传输记录进行解析得到所述数据传输记录对应的目标数据的数据操作清单以及数据传递路径,具体可以包括以下步骤S221-步骤S223所描述的内容。

步骤S221,将所述数据传输记录导入预设的记录解析线程。

步骤S222,判断所述记录解析线程的线程参数是否存在更新标识,若不存在,则基于所述数据传输记录对应的传输链路参数对所述线程参数进行更新;其中,完成更新后的线程参数存在更新标识。

步骤S223,在所述线程参数存在所述更新标识时,启动所述记录解析线程以输出与所述数据传输记录对应的目标数据的数据操作清单以及数据传递路径。

可以理解,通过上述步骤S221-步骤S223,能够确保记录解析线程在对数据传输记录进行解析时的实时性,从而确保数据操作清单以及数据传递路径的准确性和可靠性。

基于上述同样的发明构思,请结合参阅图3,提供了一种大数据云平台200,用于执行图2所示的方法,所述大数据云平台200包括以下功能模块:

脚本下发模块210,用于依据每个智能设备的设备类别信息和设备接口信息生成与每个智能设备对应的数据流监测脚本,将所述数据流监测脚本下发给对应的智能设备;

记录解析模块220,用于获取每个智能设备对应的数据流监测脚本上传的数据传输记录,对所述数据传输记录进行解析得到所述数据传输记录对应的目标数据的数据操作清单以及数据传递路径;

图谱生成模块230,用于基于每组目标数据对应的数据操作清单以及数据传递路径确定每组目标数据在所述多个智能设备之间的数据流分布图,并将每张数据流分布图进行关联存储得到所述多个智能设备形成的智能生产系统的生产数据图谱;

故障排查模块240,用于在接收到所述智能生产系统对应的故障监测设备上报的故障指令时,根据所述故障指令确定存在故障的目标智能设备,并在所述生产数据图谱中查找出与所述目标智能设备对应的目标数据集合;其中,所述目标数据集合用于对所述目标智能设备进行故障排查,所述目标数据集合中包括经所述目标智能设备处理过的至少一组业务数据以及所述业务数据的数据流向信息。

可选地,所述故障排查模块240,具体用于:

提取所述故障指令的指令流信息,从所述指令流信息中确定出设备注册信息,根据所述设备注册信息从预设的信息库中确定所述目标智能设备;基于所述目标智能设备的api接口提取所述目标智能设备的签名密钥;

在所述生产数据图谱中标记出存在所述签名密钥的第一图数据以及与所述签名密钥的相关性系数大于设定值的目标密钥的第二图数据;

基于所述第一图数据和所述第二图数据生成与所述目标智能设备对应的目标数据集合。

可选地,所述图谱生成模块230,具体用于:

获取根据所述数据操作清单所生成的与所述目标数据对应的结果数据,通过对所述数据传递路径进行提取得到的通信地址以及传递标识确定所述结果数据在多个下游智能设备中的业务形式;

按照所述数据传递路径对应的路径参数将多个业务形式对应的描述信息进行节点化以得到每个业务形式对应的业务节点;

将所述结果数据在每个业务节点对应的下游智能设备中的执行数据封装到对应的业务节点中,并根据所述传递标识将多个业务节点进行连线以得到所述数据流分布图。

可选地,所述图谱生成模块230,进一步用于:

将所述数据传递路径对应的路径参数对应的路径优先级列出,并根据所述路径优先级生成所述路径参数对应的参数网络,在根据所述参数网络确定出每个业务形式的对应的描述信息中包含有已发送信息类别的情况下,根据每个业务形式的对应的描述信息在对应的已发送信息类别下的信息字段以及所述信息字段的字段编码确定每个业务形式的对应的描述信息在已接收信息类别下的各信息字段与每个业务形式的对应的描述信息的已发送信息类别下的各信息字段之间的时序差异系数;

基于所述时序差异系数将每个业务形式的对应的描述信息在所述已接收信息类别下的与在所述已发送信息类别下的信息字段在时序上存在连续性的信息字段划分到对应的已发送信息类别下;

在每个业务形式的对应的描述信息对应的已接收信息类别下包含有多个信息字段的情况下,依据每个业务形式的对应的描述信息在所述已发送信息类别下的信息字段以及所述信息字段的字段编码确定每个业务形式的对应的描述信息在所述已接收信息类别下的各信息字段之间的时序差异系数;通过所述各信息字段之间的时序差异系数对所述已接收信息类别下的各信息字段进行筛选得到目标信息字段;根据每个业务形式的对应的描述信息在所述已发送信息类别下的信息字段以及所述信息字段的字段编码将筛选得到的部分目标信息字段划分到所述已发送信息类别下;

根据每个业务形式的对应的描述信息在对应的已发送信息类别的信息字段确定每个业务形式的对应的描述信息的节点化逻辑信息;

按照从所述节点化逻辑信息中提取得到的逻辑顺序将每个业务形式的对应的描述信息在对应的已发送信息类别的信息字段一次进行信息压缩得到信息特征值,将所述信息特征值进行整合以得到每个业务形式对应的业务节点。

可选地,所述图谱生成模块230,进一步用于:

确定用于表征每个业务节点对应的下游智能设备的数据处理进程的设备配置信息,并提取所述设备配置信息中不随所述下游智能设备的时间片资源占用率的变化而变化的目标配置信息;判断所述目标配置信息的信息编码格式是否与所述结果数据的数据编码格式一致;在判定出所述信息编码格式与所述数据编码格式不一致时,生成与所述信息编码格式对应的格式标签并将所述格式标签加载至对应的业务节点中,在判定出所述信息编码格式与所述数据编码格式一致时,根据所述数据编码格式生成数据拆分标识符并将所述数据拆分标识符加载至对应的业务节点中;

若所述业务节点中存在所述格式标签,则基于所述格式标签对应的兼容性分布信息构建所述业务节点的数据封装列表;若所述业务节点中存在所述数据拆分标识符,则将所述数据拆分标识符映射到所述业务节点对应的节点容器中并基于所述数据拆分标识符在所述节点容器中的映射标识符生成所述业务节点的数据封装列表;

针对每个业务节点对应的下游智能设备,从该下游智能设备的数据库中确定存在与所述结果数据对应的数据索引值的存缓存地址信息,根据所述缓存地址信息从所述结果数据中确定出对应的原始数据,将所述数据库中与所述结果数据对应的执行数据以及从所述结果数据中确定出的原始数据进行整合得到待封装数据;

确定所述待封装数据中的每个数据段的封装优先级,按照封装优先级由大到小的顺序对所述数据段进行排序得到数据段排序序列,按照所述数据封装列表依次将所述数据段排序序列中的数据段封装到对应的业务节点中。

在上述基础上,还提供了一种结合边缘计算和路径分析的数据处理装置,关于该装置的具体描述如下。

A1.一种结合边缘计算和路径分析的数据处理装置,应用于大数据云平台,所述大数据云平台与多个智能设备互相之间通信连接,所述装置包括以下功能模块:

脚本下发模块,用于依据每个智能设备的设备类别信息和设备接口信息生成与每个智能设备对应的数据流监测脚本,将所述数据流监测脚本下发给对应的智能设备;

记录解析模块,用于获取每个智能设备对应的数据流监测脚本上传的数据传输记录,对所述数据传输记录进行解析得到所述数据传输记录对应的目标数据的数据操作清单以及数据传递路径;

图谱生成模块,用于基于每组目标数据对应的数据操作清单以及数据传递路径确定每组目标数据在所述多个智能设备之间的数据流分布图,并将每张数据流分布图进行关联存储得到所述多个智能设备形成的智能生产系统的生产数据图谱;

故障排查模块,用于在接收到所述智能生产系统对应的故障监测设备上报的故障指令时,根据所述故障指令确定存在故障的目标智能设备,并在所述生产数据图谱中查找出与所述目标智能设备对应的目标数据集合;其中,所述目标数据集合用于对所述目标智能设备进行故障排查,所述目标数据集合中包括经所述目标智能设备处理过的至少一组业务数据以及所述业务数据的数据流向信息。

A2.如A1所述的装置,所述脚本下发模块,具体用于:

分别提取所述设备类别信息对应的类别文本集以及所述设备接口信息对应的接口文本集;其中,所述类别文本集和所述接口文本集中分别包含多个具有不同文本权重值的文本文件;

判断所述类别文本集对应的第一文本文件的数量与所述接口文本集对应的第二文本文件的数量是否相同;若不相同,则确定所述第一文本文件对应的文本权重值的第一均值以及所述第二文本文件对应的文本权重值的第二均值;在所述第一均值大于所述第二均值时,以所述第一文本文件的数量为参考对所述第二文本文件进行合并以使得合并之后的第二文本文件的数量与所述第一文本文件的数量相同;在所述第二均值大于所述第一均值时,以所述第二文本文件的数量为参考对所述第一文本文件进行合并以使得合并之后的第一文本文件的数量与所述第二文本文件的数量相同;

在所述第一文本文件的数量与所述第二文本文件的数量相同的情况下,提取所述类别文本集中的其中一个第一文本文件的码流信息,且并行地将所述接口文本集中具有最大文本权重值的第二文本文件确定为基准文本文件;将所述码流信息映射到所述基准文本文件中以得到镜像码流信息,根据所述码流信息和所述镜像码流信息之间的配置权重生成所述类别文本集与所述接口文本集之间的文本流转换矩阵;

依据所述文本流转换矩阵确定所述类别文件集中的每个第一文本文件与所述接口文本集中的第二文本文件之间的对应关系,并通过所述对应关系的逻辑拓扑生成与每个智能设备对应的数据流监测脚本,将基于所述文本流转换矩阵对应的特征密钥添加到所述数据流监测脚本中;其中,所述特征密钥与智能设备唯一对应。

A3如A1所述的装置,所述记录解析模块,具体用于:

将所述数据传输记录导入预设的记录解析线程;

判断所述记录解析线程的线程参数是否存在更新标识,若不存在,则基于所述数据传输记录对应的传输链路参数对所述线程参数进行更新;其中,完成更新后的线程参数存在更新标识;

在所述线程参数存在所述更新标识时,启动所述记录解析线程以输出与所述数据传输记录对应的目标数据的数据操作清单以及数据传递路径。

A4.如A1所述的装置,所述故障排查模块,具体用于:

提取所述故障指令的指令流信息,从所述指令流信息中确定出设备注册信息,根据所述设备注册信息从预设的信息库中确定所述目标智能设备;基于所述目标智能设备的api接口提取所述目标智能设备的签名密钥;

在所述生产数据图谱中标记出存在所述签名密钥的第一图数据以及与所述签名密钥的相关性系数大于设定值的目标密钥的第二图数据;

基于所述第一图数据和所述第二图数据生成与所述目标智能设备对应的目标数据集合。

A5.如A1所述的装置,所述图谱生成模块,具体用于:

获取根据所述数据操作清单所生成的与所述目标数据对应的结果数据,通过对所述数据传递路径进行提取得到的通信地址以及传递标识确定所述结果数据在多个下游智能设备中的业务形式;

按照所述数据传递路径对应的路径参数将多个业务形式对应的描述信息进行节点化以得到每个业务形式对应的业务节点;

将所述结果数据在每个业务节点对应的下游智能设备中的执行数据封装到对应的业务节点中,并根据所述传递标识将多个业务节点进行连线以得到所述数据流分布图。

A6.如A5所述的装置,所述图谱生成模块,进一步用于:

将所述数据传递路径对应的路径参数对应的路径优先级列出,并根据所述路径优先级生成所述路径参数对应的参数网络,在根据所述参数网络确定出每个业务形式的对应的描述信息中包含有已发送信息类别的情况下,根据每个业务形式的对应的描述信息在对应的已发送信息类别下的信息字段以及所述信息字段的字段编码确定每个业务形式的对应的描述信息在已接收信息类别下的各信息字段与每个业务形式的对应的描述信息的已发送信息类别下的各信息字段之间的时序差异系数;

基于所述时序差异系数将每个业务形式的对应的描述信息在所述已接收信息类别下的与在所述已发送信息类别下的信息字段在时序上存在连续性的信息字段划分到对应的已发送信息类别下;

在每个业务形式的对应的描述信息对应的已接收信息类别下包含有多个信息字段的情况下,依据每个业务形式的对应的描述信息在所述已发送信息类别下的信息字段以及所述信息字段的字段编码确定每个业务形式的对应的描述信息在所述已接收信息类别下的各信息字段之间的时序差异系数;通过所述各信息字段之间的时序差异系数对所述已接收信息类别下的各信息字段进行筛选得到目标信息字段;根据每个业务形式的对应的描述信息在所述已发送信息类别下的信息字段以及所述信息字段的字段编码将筛选得到的部分目标信息字段划分到所述已发送信息类别下;

根据每个业务形式的对应的描述信息在对应的已发送信息类别的信息字段确定每个业务形式的对应的描述信息的节点化逻辑信息;

按照从所述节点化逻辑信息中提取得到的逻辑顺序将每个业务形式的对应的描述信息在对应的已发送信息类别的信息字段一次进行信息压缩得到信息特征值,将所述信息特征值进行整合以得到每个业务形式对应的业务节点。

A7.如A5所述的装置,所述图谱生成模块,进一步用于:

确定用于表征每个业务节点对应的下游智能设备的数据处理进程的设备配置信息,并提取所述设备配置信息中不随所述下游智能设备的时间片资源占用率的变化而变化的目标配置信息;判断所述目标配置信息的信息编码格式是否与所述结果数据的数据编码格式一致;在判定出所述信息编码格式与所述数据编码格式不一致时,生成与所述信息编码格式对应的格式标签并将所述格式标签加载至对应的业务节点中,在判定出所述信息编码格式与所述数据编码格式一致时,根据所述数据编码格式生成数据拆分标识符并将所述数据拆分标识符加载至对应的业务节点中;

若所述业务节点中存在所述格式标签,则基于所述格式标签对应的兼容性分布信息构建所述业务节点的数据封装列表;若所述业务节点中存在所述数据拆分标识符,则将所述数据拆分标识符映射到所述业务节点对应的节点容器中并基于所述数据拆分标识符在所述节点容器中的映射标识符生成所述业务节点的数据封装列表;

针对每个业务节点对应的下游智能设备,从该下游智能设备的数据库中确定存在与所述结果数据对应的数据索引值的存缓存地址信息,根据所述缓存地址信息从所述结果数据中确定出对应的原始数据,将所述数据库中与所述结果数据对应的执行数据以及从所述结果数据中确定出的原始数据进行整合得到待封装数据;

确定所述待封装数据中的每个数据段的封装优先级,按照封装优先级由大到小的顺序对所述数据段进行排序得到数据段排序序列,按照所述数据封装列表依次将所述数据段排序序列中的数据段封装到对应的业务节点中。

进一步地,还提供了一种结合边缘计算和路径分析的数据处理系统,具体描述如下。

B1.一种结合边缘计算和路径分析的数据处理系统,包括互相之间通信的大数据云平台和多个智能设备,所述大数据云平台用于:

依据每个智能设备的设备类别信息和设备接口信息生成与每个智能设备对应的数据流监测脚本,将所述数据流监测脚本下发给对应的智能设备;

获取每个智能设备对应的数据流监测脚本上传的数据传输记录,对所述数据传输记录进行解析得到所述数据传输记录对应的目标数据的数据操作清单以及数据传递路径;

基于每组目标数据对应的数据操作清单以及数据传递路径确定每组目标数据在所述多个智能设备之间的数据流分布图,并将每张数据流分布图进行关联存储得到所述多个智能设备形成的智能生产系统的生产数据图谱;

在接收到所述智能生产系统对应的故障监测设备上报的故障指令时,根据所述故障指令确定存在故障的目标智能设备,并在所述生产数据图谱中查找出与所述目标智能设备对应的目标数据集合;其中,所述目标数据集合用于对所述目标智能设备进行故障排查,所述目标数据集合中包括经所述目标智能设备处理过的至少一组业务数据以及所述业务数据的数据流向信息。

B2.如B1所述的系统,所述大数据云平台,具体用于:

分别提取所述设备类别信息对应的类别文本集以及所述设备接口信息对应的接口文本集;其中,所述类别文本集和所述接口文本集中分别包含多个具有不同文本权重值的文本文件;

判断所述类别文本集对应的第一文本文件的数量与所述接口文本集对应的第二文本文件的数量是否相同;若不相同,则确定所述第一文本文件对应的文本权重值的第一均值以及所述第二文本文件对应的文本权重值的第二均值;在所述第一均值大于所述第二均值时,以所述第一文本文件的数量为参考对所述第二文本文件进行合并以使得合并之后的第二文本文件的数量与所述第一文本文件的数量相同;在所述第二均值大于所述第一均值时,以所述第二文本文件的数量为参考对所述第一文本文件进行合并以使得合并之后的第一文本文件的数量与所述第二文本文件的数量相同;

在所述第一文本文件的数量与所述第二文本文件的数量相同的情况下,提取所述类别文本集中的其中一个第一文本文件的码流信息,且并行地将所述接口文本集中具有最大文本权重值的第二文本文件确定为基准文本文件;将所述码流信息映射到所述基准文本文件中以得到镜像码流信息,根据所述码流信息和所述镜像码流信息之间的配置权重生成所述类别文本集与所述接口文本集之间的文本流转换矩阵;

依据所述文本流转换矩阵确定所述类别文件集中的每个第一文本文件与所述接口文本集中的第二文本文件之间的对应关系,并通过所述对应关系的逻辑拓扑生成与每个智能设备对应的数据流监测脚本,将基于所述文本流转换矩阵对应的特征密钥添加到所述数据流监测脚本中;其中,所述特征密钥与智能设备唯一对应。

B3如B1所述的系统,所述大数据云平台,具体用于:

将所述数据传输记录导入预设的记录解析线程;

判断所述记录解析线程的线程参数是否存在更新标识,若不存在,则基于所述数据传输记录对应的传输链路参数对所述线程参数进行更新;其中,完成更新后的线程参数存在更新标识;

在所述线程参数存在所述更新标识时,启动所述记录解析线程以输出与所述数据传输记录对应的目标数据的数据操作清单以及数据传递路径。

B4.如B1所述的系统,所述大数据云平台,具体用于:

提取所述故障指令的指令流信息,从所述指令流信息中确定出设备注册信息,根据所述设备注册信息从预设的信息库中确定所述目标智能设备;基于所述目标智能设备的api接口提取所述目标智能设备的签名密钥;

在所述生产数据图谱中标记出存在所述签名密钥的第一图数据以及与所述签名密钥的相关性系数大于设定值的目标密钥的第二图数据;

基于所述第一图数据和所述第二图数据生成与所述目标智能设备对应的目标数据集合。

B5.如B1所述的系统,所述大数据云平台,具体用于:

获取根据所述数据操作清单所生成的与所述目标数据对应的结果数据,通过对所述数据传递路径进行提取得到的通信地址以及传递标识确定所述结果数据在多个下游智能设备中的业务形式;

按照所述数据传递路径对应的路径参数将多个业务形式对应的描述信息进行节点化以得到每个业务形式对应的业务节点;

将所述结果数据在每个业务节点对应的下游智能设备中的执行数据封装到对应的业务节点中,并根据所述传递标识将多个业务节点进行连线以得到所述数据流分布图。

B6.如B5所述的系统,所述大数据云平台,具体用于:

将所述数据传递路径对应的路径参数对应的路径优先级列出,并根据所述路径优先级生成所述路径参数对应的参数网络,在根据所述参数网络确定出每个业务形式的对应的描述信息中包含有已发送信息类别的情况下,根据每个业务形式的对应的描述信息在对应的已发送信息类别下的信息字段以及所述信息字段的字段编码确定每个业务形式的对应的描述信息在已接收信息类别下的各信息字段与每个业务形式的对应的描述信息的已发送信息类别下的各信息字段之间的时序差异系数;

基于所述时序差异系数将每个业务形式的对应的描述信息在所述已接收信息类别下的与在所述已发送信息类别下的信息字段在时序上存在连续性的信息字段划分到对应的已发送信息类别下;

在每个业务形式的对应的描述信息对应的已接收信息类别下包含有多个信息字段的情况下,依据每个业务形式的对应的描述信息在所述已发送信息类别下的信息字段以及所述信息字段的字段编码确定每个业务形式的对应的描述信息在所述已接收信息类别下的各信息字段之间的时序差异系数;通过所述各信息字段之间的时序差异系数对所述已接收信息类别下的各信息字段进行筛选得到目标信息字段;根据每个业务形式的对应的描述信息在所述已发送信息类别下的信息字段以及所述信息字段的字段编码将筛选得到的部分目标信息字段划分到所述已发送信息类别下;

根据每个业务形式的对应的描述信息在对应的已发送信息类别的信息字段确定每个业务形式的对应的描述信息的节点化逻辑信息;

按照从所述节点化逻辑信息中提取得到的逻辑顺序将每个业务形式的对应的描述信息在对应的已发送信息类别的信息字段一次进行信息压缩得到信息特征值,将所述信息特征值进行整合以得到每个业务形式对应的业务节点。

B7.如B5所述的系统,所述大数据云平台,具体用于:

确定用于表征每个业务节点对应的下游智能设备的数据处理进程的设备配置信息,并提取所述设备配置信息中不随所述下游智能设备的时间片资源占用率的变化而变化的目标配置信息;判断所述目标配置信息的信息编码格式是否与所述结果数据的数据编码格式一致;在判定出所述信息编码格式与所述数据编码格式不一致时,生成与所述信息编码格式对应的格式标签并将所述格式标签加载至对应的业务节点中,在判定出所述信息编码格式与所述数据编码格式一致时,根据所述数据编码格式生成数据拆分标识符并将所述数据拆分标识符加载至对应的业务节点中;

若所述业务节点中存在所述格式标签,则基于所述格式标签对应的兼容性分布信息构建所述业务节点的数据封装列表;若所述业务节点中存在所述数据拆分标识符,则将所述数据拆分标识符映射到所述业务节点对应的节点容器中并基于所述数据拆分标识符在所述节点容器中的映射标识符生成所述业务节点的数据封装列表;

针对每个业务节点对应的下游智能设备,从该下游智能设备的数据库中确定存在与所述结果数据对应的数据索引值的存缓存地址信息,根据所述缓存地址信息从所述结果数据中确定出对应的原始数据,将所述数据库中与所述结果数据对应的执行数据以及从所述结果数据中确定出的原始数据进行整合得到待封装数据;

确定所述待封装数据中的每个数据段的封装优先级,按照封装优先级由大到小的顺序对所述数据段进行排序得到数据段排序序列,按照所述数据封装列表依次将所述数据段排序序列中的数据段封装到对应的业务节点中。

在上述基础上,请结合参阅图4,提供了一种大数据云平台200的硬件结构示意图,所述大数据云平台200包括互相之间通信的处理器270和存储器280,所述处理器270通过运行从所述存储器280中调取的计算机程序以实现图2所示的方法。

进一步地,还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在运行时实现图2所示的方法。

本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号