公开/公告号CN116340296A
专利类型发明专利
公开/公告日2023-06-27
原文格式PDF
申请/专利权人 南方电网数字电网研究院有限公司;
申请/专利号CN202310621938.4
申请日2023-05-30
分类号G06F16/21(2019.01);G06F16/22(2019.01);G06F16/2458(2019.01);G06F16/25(2019.01);G06F16/26(2019.01);G06F16/28(2019.01);G06F16/9538(2019.01);
代理机构华进联合专利商标代理有限公司 44224;
代理人周清华
地址 510700 广东省广州市黄埔区中新广州知识城亿创街1号406房之86
入库时间 2024-01-17 01:13:28
法律状态公告日
法律状态信息
法律状态
2023-07-14
实质审查的生效 IPC(主分类):G06F16/21 专利申请号:2023106219384 申请日:20230530
实质审查的生效
2023-06-27
公开
发明专利申请公布
技术领域
本申请涉及电力数据技术领域,特别是涉及一种基于数据探针的多源数据融合与统一信息模型构建方法。
背景技术
电网系统中包含多个数据模型,每个数据模型中存储有各电力设备对象的对象信息;面向具体业务场景时,所需要的数据模型有所差异。
当数据模型较多时,需要调度人员分别从各系统调取各对象的对象信息,数据调取过程较为繁琐。
发明内容
根据此,有必要针对上述技术问题,提供一种能够准确采集电力模型中相应数据的基于数据探针的多源数据融合与统一信息模型构建方法。
第一方面,本申请提供了一种基于数据探针的多源数据融合与统一信息模型构建方法,该方法包括:
响应于检索请求,在知识图谱索引库中进行检索,得到检索请求对应的访问对象;其中,知识图谱索引库基于多源数据库中各对象对应的对象索引构建;
向连接于多源数据库的执行器发送包括访问对象的抽取指令,以指示执行器在多源数据库中抽取访问对象对应的对象信息;
控制数据探针将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
在其中一个实施例中,控制数据探针将对象信息反馈至虚拟化服务器,包括:
控制执行器将对象信息反馈至数据中台;
将对象信息以定时转发的方式发送至虚拟化服务器。
在其中一个实施例中,方法还包括:
将知识图谱索引库进行可视化处理,并将可视化处理后的知识图谱索引库反馈至虚拟化服务器,以供虚拟化服务器在可视化处理后的知识图谱索引库中标记访问对象,并向发送方展示。
第二方面,本申请还提供了一种基于数据探针的多源数据融合与统一信息模型构建装置,该装置包括:
请求响应模块,用于响应于检索请求,在知识图谱索引库中进行检索,得到检索请求对应的访问对象;其中,知识图谱索引库基于多源数据库中各对象对应的对象索引构建;
调度模块,用于向连接于多源数据库的执行器发送包括访问对象的抽取指令,以指示执行器在多源数据库中抽取访问对象对应的对象信息;
反馈模块,用于控制数据探针将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
第三方面,本申请提供了一种基于数据探针的多源数据融合与统一信息模型构建方法,该方法包括:
响应于调度中心发送的包括访问对象的抽取指令,在多源数据库中抽取访问对象对应的对象信息;其中,访问对象是调度中心基于检索请求在知识图谱索引库中进行检索得到;
响应于调度中心的控制操作,将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
在其中一个实施例中,在多源数据库中抽取访问对象对应的对象信息,包括:
根据访问对象的数据类型,从读写插件集中选择目标读写插件;
根据访问对象对应的数据源,确定目标读写插件在多源数据库中的加载位置;
在加载位置处加载目标读写插件;
通过加载的目标读写插件,在多源数据库中抽取访问对象对应的对象信息。
在其中一个实施例中,响应于调度中心的控制操作,将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息,包括:
响应于调度中心的控制操作,根据虚拟化服务器的数据类型和访问对象的数据类型,确定目标转换插件;
根据目标转换插件,对对象信息进行数据类型转换;
将转换后的对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈转换后的对象信息。
在其中一个实施例中,将转换后的对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈转换后的对象信息之前,方法还包括:
对转换后的对象信息进行完整性校验和有效性校验。
在其中一个实施例中,方法还包括:
将对象信息中的对象关系信息,存储在数据探针中的关系型数据库中;
将对象信息中的对象属性信息,存储在数据探针中的文本数据库中。
第四方面,本申请还提供了一种基于数据探针的多源数据融合与统一信息模型构建装置,该装置包括:
指令响应模块,用于响应于调度中心发送的包括访问对象的抽取指令,在多源数据库中抽取访问对象对应的对象信息;其中,访问对象是调度中心基于检索请求在知识图谱索引库中进行检索得到;
信息转发模块,用于响应于调度中心的控制操作,将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
第五方面,本申请还提供了一种计算机设备,该计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
响应于检索请求,在知识图谱索引库中进行检索,得到检索请求对应的访问对象;其中,知识图谱索引库基于多源数据库中各对象对应的对象索引构建;
向连接于多源数据库的执行器发送包括访问对象的抽取指令,以指示执行器在多源数据库中抽取访问对象对应的对象信息;
控制数据探针将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
第六方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
响应于检索请求,在知识图谱索引库中进行检索,得到检索请求对应的访问对象;其中,知识图谱索引库基于多源数据库中各对象对应的对象索引构建;
向连接于多源数据库的执行器发送包括访问对象的抽取指令,以指示执行器在多源数据库中抽取访问对象对应的对象信息;
控制数据探针将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
第七方面,本申请还提供了一种计算机设备,该计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
响应于调度中心发送的包括访问对象的抽取指令,在多源数据库中抽取访问对象对应的对象信息;其中,访问对象是调度中心基于检索请求在知识图谱索引库中进行检索得到;
响应于调度中心的控制操作,将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
第八方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
响应于调度中心发送的包括访问对象的抽取指令,在多源数据库中抽取访问对象对应的对象信息;其中,访问对象是调度中心基于检索请求在知识图谱索引库中进行检索得到;
响应于调度中心的控制操作,将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
上述基于数据探针的多源数据融合与统一信息模型构建方法,调度中心通过接收检索请求,并知识图谱索引库中检索得到访问对象,通过知识图谱索引库通过对各电力系统模型进行整合,能快速、准确地定位各电力系统模型中任一需要访问的对象;进一步的,调度中心指示数据探针在多源数据库中抽取访问对象对应的对象信息,并指示数据探针在多源数据库中抽取访问对象对应的对象信息,以供虚拟化服务器向检索请求的发送方反馈对象信息,通过调度数据探针完成整数据抽取的步骤,通过调度虚拟化服务器完成数据虚拟化展示的步骤,通过上述检索步骤、数据抽取步骤、数据虚拟化展示步骤构成整个数据调取过程,准确定位到各电力系统模型中任一需要访问的对象,实现对电力系统中各异构的数据模型中对所需数据的准确访问。
附图说明
图1为一个实施例中基于数据探针的多源数据融合与统一信息模型构建方法的应用环境图;
图2为一个实施例中基于数据探针的多源数据融合与统一信息模型构建方法的流程示意图;
图3为一个实施例中应用层、虚拟化层、数据层的示意图;
图4为另一个实施例中信息检索的流程示意图;
图5为一个实施例中探针引擎的示意图;
图6为一个实施例中加载目标读写插件的流程示意图;
图7为一个实施例中基于目标转换插件进行数据类型转换的示意图;
图8为另一个实施例中基于数据探针的多源数据融合与统一信息模型构建方法的流程示意图;
图9为一个实施例中基于数据探针的多源数据融合与统一信息模型构建装置的结构框图;
图10为一个实施例中计算机设备的内部结构图;
图11为一个实施例中基于数据探针的多源数据融合与统一信息模型构建装置的结构框图;
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
电网系统中包含多个数据模型,每个数据模型中存储有各电力设备对象的对象信息;面向具体业务场景时,所需要的数据模型有所差异。当数据模型较多时,需要调度人员分别从各系统调取各对象的对象信息,数据调取过程较为繁琐。
本实施例提供了一种基于数据探针的多源数据融合与统一信息模型构建方法,采用数据探针将统一存储于数据库中的数据按照用户下达的任务信息,准确地将相关数据采集并且根据任务的配置信息存储,以此向支撑如数字仿真、潮流计算等的数据需求。
如图1所示,数据探针包含两部分,分别是调度中心102和执行器104。数据探针采集数据操作过程是,由用户下达任务,设置任务信息如:数据源的位置、任务类型和执行时间等。调度中心102根据任务的配置信息正确设置数据采集和存储的相关参数,然后按照任务的时间设置调用执行器104执行数据的采集和保存,遵从调度中心102发出的指令,实现数据的采集与存储并将执行信息和执行结果反馈给调度中心102。
在一个实施例中,如图2所示,提供了一种基于数据探针的多源数据融合与统一信息模型构建方法,以该方法应用于图1中的调度中心102为例进行说明,包括以下步骤:
S201,响应于检索请求,在知识图谱索引库中进行检索,得到检索请求对应的访问对象。
其中,知识图谱索引库基于多源数据库中各对象对应的对象索引构构建;多源数据库中各对象即为电网中每个数据模型中存储的各电力设备各对象。
具体的,该索引库主要是由基于知识图谱的统一信息模型所构建,其存储载体为Neo4j图数据库。
可以理解的是,知识图谱是一种富含实体(Entity)、概念(Concept)及其之间各种语义关系(Semantic Relationship)的大规模语义网络(Semantic Network)。具体地,知识图谱在约定的框架下,以结构化的三元组形式(二元关系)对客观世界进行描述。事实上三元组的形式既有“头实体-关系-尾实体”的具体形式,也有“实体-属性-属性值”的形式。从图结构的角度看,节点代表了知识图谱中的实体或概念,而连接两个节点有向边是实体或概念间抽象出的关系。如下图所示即是知识图谱的典型样例。
本实施例中的知识图谱索引库以新型电力系统具体设备为对象,在实体中描述包含有多源系统数据的元数据规范,以母线BusbarSection类中的具体对象beijiao.220M6为例:该实体内属性除了描述物理设备的基本信息以及与其他对象关联关系外,还包含有其余数据系统如E8000和DF8003E中关于量测以及状态估计的元数据规范。通过发现对象实体中的如“相角权重”、“AB线电压”等属性名,可以获取其源数据的索引信息,而后,调度中心102调度执行器104基于发现对象实体的索引设定相应的数据访问策略来抽取正确的数据。
另外,知识图谱索引库也为用户提供了可视化的明确层级关系,通过“公司-子控制区-厂站-电压等级区-具体设备”的模式,将设备对象的层级关系表现以便于对设备的管理。因此,本实施例中的知识图谱索引库能够用于组织、管理所有注册信息对象,即新型电力系统设备,为探针引擎的跨源数据的服务提供对象发现服务,帮助探针快速发现获取正确的数据对象。
S202,向连接于多源数据库的执行器发送包括访问对象的抽取指令,以指示执行器在多源数据库中抽取访问对象对应的对象信息。
其中,执行器主要由两部分构成,分别是数据同步器和日志服务:1)数据同步器的主要功能是根据调度器传递过来的参数调用合适的 Read和 Write 读取和转存数据。2)日志服务主要是记录数据同步器在采集和存储数据时的有关信息,包括执行时间,采集过程中数据类型的转换和数据缺失时的填充方式等,并将记录的信息反馈给调度中心的日志记录模块,进行信息的统一存放和处理。
具体的,执行器执行据同步功能和日志服务功能数的过程通过数据虚拟化技术实现。可以理解的是,数据虚拟化是一种可以为数据使用用户提供一个统一的、抽象的以及能够以封装的观点来查询和处理存储在一个异构的数据商店集合中的数据的技术。数据虚拟化对数据提供了数据的统一视角,数据使用用户看不到并且也不知道他们所获取的数据来自于多个数据存储区。数据虚拟化隐藏了数据被整合在一起以形成统一视角的事实;封装是指数据虚拟化技术隐藏了获取数据的技术细节;对于数据使用用户而言,数据的存储位置、存储结构、使用的 API、访问语言、应用存储技术以及所有其他的技术细节都应该是透明的。
另外,数据虚拟化的定义包含了查询(Querying)和处理 (Manipulating),数据虚拟化允许数据在存储区中被查询,同时也允许数据被删除、插入以及更新(只要数据存储区中允许)。混合和异构意味着如果多个数据存储区的数据需要被访问,它们可能有不同的存储格式、数据库语言和 API。例如,数据存储区1可能是 SQL 数据库,数据存储区2是XML 文件格式数据库,数据存储区 3是 NoSQL 数据库,数据存储区 4 是电子表格文件。数据虚拟化层应该仍然能够将来自多个不同数据存储区中的数据,以一种类似于将所有数据存放在一个数据存储区的方式呈现给数据使用用户。
因此,如图3所示,在本实施例中,执行器被配置在虚拟化层内,执行器连接于应用层和数据层(对应于多元数据库),使得执行器的数据抽取过程对使用用户不可见。
S203,控制数据探针将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
其中,虚拟化服务器用于提供输出结果页面,用于供虚拟化服务器向检索请求的发送方反馈对象信息。可选的,该输出结果页面可以为可视化界面,或者是指定格式的二维表格视图。
上述基于数据探针的多源数据融合与统一信息模型构建方法,调度中心通过接收检索请求,并知识图谱索引库中检索得到访问对象,通过知识图谱索引库通过对各电力系统模型进行整合,能快速、准确地定位各电力系统模型中任一需要访问的对象;进一步的,调度中心指示数据探针在多源数据库中抽取访问对象对应的对象信息,并指示数据探针在多源数据库中抽取访问对象对应的对象信息,以供虚拟化服务器向检索请求的发送方反馈对象信息,通过调度数据探针完成整数据抽取的步骤,通过调度虚拟化服务器完成数据虚拟化展示的步骤,通过上述检索步骤、数据抽取步骤、数据虚拟化展示步骤构成整个数据调取过程,准确定位到各电力系统模型中任一需要访问的对象,实现对电力系统中各异构的数据模型中对所需数据的准确访问。
本实施例提供了一种控制数据探针将对象信息反馈至虚拟化服务器的可选方式,即提供了一种对S203进行细化的方式。具体实现过程可以包括:控制执行器将对象信息反馈至数据中台;将对象信息以定时转发的方式发送至虚拟化服务器。
具体的,执行器通过部署独立服务器的实现数据虚拟化(即虚拟化服务器),原有数据总线保持不变保障现有数据架构稳定运行,数据流(对象信息)通过从数据中台定时转发的方式,在虚拟化服务器中存储一定规模的数据用于多源异构数据虚拟化服务的使用。
进一步的,该基于数据探针的多源数据融合与统一信息模型构建方法还包括:将知识图谱索引库进行可视化处理,并将可视化处理后的知识图谱索引库反馈至虚拟化服务器,以供虚拟化服务器在可视化处理后的知识图谱索引库中标记访问对象,并向发送方展示。
其中,对于电力系统内业务人员,如果直接访问未经整理的对象信息,那么必须花费大量时间设计复杂程序来整合源系统数据,所以一个基于业务的自助使用视图的设计十分有必要。
在可视化处理后的知识图谱索引库界面设计中,实体对象查询功能实现,当点击子控制区域下拉菜单时,执行KG_search.py中命令语句搜索neo4j图数据库中存在的实体返回并在菜单显示。当选取某一子控制区时,执行文件KG_search.py中的对应函数得到检索该子控制区下厂站的语句。待点击厂站项下拉菜单时执行上述语句搜索图数据库实体并返回,后续查询条件执行同理。最终得到想要查询的具体设备的实体信息返回给图谱展示并同时展示相应的属性信息表。信息模型维护功能,只需要在界面选择文件类型、所属系统等条件并点击导入执行KG_import.py即可导入neo4j图数据库。
进一步的,在数据虚拟化探针功能实现上,知识图谱索引库查询返回的设备实体以及含有的属性信息,通过将查询对应的设备实体名和属性名返回给两个选择框,用户通过勾选对应的设备和属性生成空表头。表头设置后返回的空表头作为探针的输入。执行Data_integration.py解析表头信息判断对应的数据源文件执行数据采集以及合并生成dataframe,选择到处的文件类型,点击导出生成.xls表格文件。通过预览窗口可以查看探针执行后返回数据结果。
本实施例中,通过虚拟化服务器提供对象信息的业务视图,便于业务人员快速查找各抽取得到的对象信息,提供了快速便捷的信息展示方式。
在一个实施例中,如图4所示,提供了一种基于数据探针的多源数据融合与统一信息模型构建方法,以该方法应用于图1中的执行器104为例进行说明,包括以下步骤:
S401,响应于调度中心发送的包括访问对象的抽取指令,在多源数据库中抽取访问对象对应的对象信息。
其中,访问对象是调度中心基于检索请求在知识图谱索引库中进行检索得到。
进一步的,本实施例中的执行器包括探针引擎和抽取模块。如图5所示,探针引擎是接受用户应用请求并交付对应的数据结果的部分,主要包括探针引擎包括服务请求解析子模块、对象发现子模块、访问策略子模块和抽取模块等,该部分为数据虚拟化层的核心模块,在整个数据虚拟化中的实际体现为底层编写的程序。
当探针引擎接收到调度中心发送的包括访问对象的抽取指令后,根据服务请求解析子模块、对象发现子模块、访问策略子模块和抽取模块基于对象索引库提供的目标对象信息位置以及访问方式,连接对应的数据源存储区并进行对象实例数据的抽取。
具体的,当接收到调度中心发送的包括访问对象的抽取指令时,由服务请求解析子模块对该抽取指令进行解析,解析完成后确定访问对象,而后对象发现子模块定位该访问对象的位置,访问策略子模块并制定相对应的多源数据访问策略,该策略交付给抽取模块,抽取模块用于在多源数据库中抽取访问对象对应的对象信息。
S402,响应于调度中心的控制操作,将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
在一种可实现方式中,调度中心的控制操作可以为对抽取到的数据直接进行转发;在另一种可实现方式中,调度中心的控制操作可以为对抽取到的数据进行预处理,而后对预处理的数据进行转发。
具体的,在得到多源数据库中抽取访问对象对应的对象信息之后,调度中心的控制操作,将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
进一步的,在虚拟化基础层,主要关注两项工作的实现。第一,考虑数据源系统导入虚拟化服务器中。该部分不需要关注源系统基于SQL或NoSQL,文件格式为CIM/E或XML,由一块独立存储区接收现有数据总线定时分发的实时数据。第二,存储在源系统的数据若存在不正确等情况,进行一定的预处理操作。在数据规范管理层面,通过视图的形式将规范数据模型呈现,尽可能去保证多源系统数据模型的集成。将Neo4j图数据库部署在服务器中,存储这些统一信息模型,并在前端界面为用户提供查询管理的可视化视图。
上述基于数据探针的多源数据融合与统一信息模型构建方法,执行器响应于抽取指令,得到访问对象对应的对象信息,并基于调度中心的控制操作,将对象信息反馈至虚拟化服务器,实现对电力系统中各异构的数据模型中对所需数据的准确抽取。
如图6所示,本实施例提供了一种在多源数据库中抽取访问对象对应的对象信息的可选方式,即提供了一种对S301进行细化的方式。具体实现过程可以包括:
S601,根据访问对象的数据类型,从读写插件集中选择目标读写插件。
其中,本实施例中的数据同步将同步核各类数据源,从而实现数据的同步。此数据同步器(读写插件集)包含三大类,分别是读、写插件和中间部件,且每个类别的数据类型分别各自对应有相应的读、写插件和中间部件。可以理解的是,读写插件分别包含各种适合读写不同数据类型的插件,当有新的数据源需要读写时,能够以插件的形式集成到其对应的位置。中间部件主要的功能是数据的转换,其主要包括数据类型的转化和数据缺失值的转换。
通过对数据同步器的功能的抽取和组装,将原本复杂的网状结构转为了以插件为主的总线型,不仅能够方便适配各种数据类型的数据源,而且当有新数据类别的数据源加入时,能够快速准确的对其进行适配,极大的增加了数据读取和存储模块的使用范围和鲁棒性。
具体的,从多元数据库中抽取数据时,由各对象的数据类型可能存在差异,本实施例中的读写插件集能够实现对不同类型数据的抽取。
S602,根据访问对象对应的数据源,确定目标读写插件在多源数据库中的加载位置。
S603,在加载位置处加载目标读写插件。
S604,通过加载的目标读写插件,在多源数据库中抽取访问对象对应的对象信息。
进一步的,完成数据的抽取动作后,将对象信息中的对象关系信息,存储在数据探针中的关系型数据库中。将对象信息中的对象属性信息,存储在数据探针中的文本数据库中。以此,实现了将各数据模型中的数据,提取到多元数据库中的步骤。
具体的,探针引擎所使用的存储架构由两部分组成,核心逻辑抽象出来,通过各种插件的形式连接分别是关系型数据库和文本。使用探针引擎抽取数据的过程中,其数据同步器的 WritePlugin 能够实现对数据的转换和清洗,将二维数据及其对应的模型信息保存到关系型数据库中,而文本数据如日志则以文本的形式进行保存。
本实施例中,通过自动匹配相应的目标读写插件,并自动对目标读写插件进行加载,实现从将各数据模型中的数据,提取到多元数据库的步骤。
可以理解的是,以往的数据同步器在端到端的数据同步过程中由于涉及的数据类型种类繁多,通常在同步过程中会形成复杂的网状结构,网状结构复杂,不利于数据同步。如图7所示,本实施例提供了一种响应于调度中心的控制操作,将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息的可选方式,即提供了一种对S302进行细化的方式。具体实现过程可以包括:
S701,响应于调度中心的控制操作,根据虚拟化服务器的数据类型和访问对象的数据类型,确定目标转换插件。
其中,当接收来自数据探针引擎发送的控制操作后,由该模块实际访问源数据文件并采集对应的数据信息将其预处理从而形成统一的规范格式便于多源数据的集成,采集多源数据经预处理后上送至数据探针引擎进行数据集成最终完成一次完整正确的数据服务。
S702,根据目标转换插件,对对象信息进行数据类型转换。
进一步的,对转换后的对象信息进行完整性校验和有效性校验。
S703,将转换后的对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈转换后的对象信息。
本实施例中,将抽取的数据流进行清洗预处理等初步操作,然后把结果交付给执行器完成最后的集成工作。
在一个实施例中,提供了一种基于数据探针的多源数据融合与统一信息模型构建方法,如图8所示,包括:调度人员在计算机界面上输入包含访问对象的检索请求,该访问对象可以为主变、线路等设备;根据该检索请求在知识图谱索引库中检索访问对象信息;根据访问对象信息,生成访问请求(对应于上述的抽取指令),执行器中的探针引擎对该抽取指令进行解析,得到访问对象的元数据信息,对元数据信息进行表头封装,基于属性名和位置索引,从多元数据库(即量测数据库)中抽取源数据,并对源数据进行预处理,将预处理后的数据返回至虚拟服务器;虚拟服务器基于预处理后的结果,生成虚拟表格,将该虚拟表格在软件界面上进行展示,以供调度人员接收。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
根据同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的基于数据探针的多源数据融合与统一信息模型构建方法的基于数据探针的多源数据融合与统一信息模型构建装置1。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个基于数据探针的多源数据融合与统一信息模型构建装置1实施例中的具体限定可以参见上文中对于基于数据探针的多源数据融合与统一信息模型构建方法的限定,在此不再赘述。
在一个实施例中,如图9所示,提供了一种基于数据探针的多源数据融合与统一信息模型构建装置1,包括:请求响应模块11、调度模块12和反馈模块13,其中:
请求响应模块11,用于响应于检索请求,在知识图谱索引库中进行检索,得到检索请求对应的访问对象;其中,知识图谱索引库基于多源数据库中各对象对应的对象索引构建;
调度模块12,用于向连接于多源数据库的执行器发送包括访问对象的抽取指令,以指示执行器在多源数据库中抽取访问对象对应的对象信息;
反馈模块13,用于控制数据探针将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
在一个实施例中,反馈模块13,还用于:控制执行器将对象信息反馈至数据中台;将对象信息以定时转发的方式发送至虚拟化服务器。
在一个实施例中,该基于数据探针的多源数据融合与统一信息模型构建装置,还包括可视化处理模块,该模块用于:将知识图谱索引库进行可视化处理,并将可视化处理后的知识图谱索引库反馈至虚拟化服务器,以供虚拟化服务器在可视化处理后的知识图谱索引库中标记访问对象,并向发送方展示。
上述基于数据探针的多源数据融合与统一信息模型构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储XX数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于数据探针的多源数据融合与统一信息模型构建方法。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
响应于检索请求,在知识图谱索引库中进行检索,得到检索请求对应的访问对象;其中,知识图谱索引库基于多源数据库中各对象对应的对象索引构建;
向连接于多源数据库的执行器发送包括访问对象的抽取指令,以指示执行器在多源数据库中抽取访问对象对应的对象信息;
控制数据探针将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
响应于检索请求,在知识图谱索引库中进行检索,得到检索请求对应的访问对象;其中,知识图谱索引库基于多源数据库中各对象对应的对象索引构建;
向连接于多源数据库的执行器发送包括访问对象的抽取指令,以指示执行器在多源数据库中抽取访问对象对应的对象信息;
控制数据探针将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
根据同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的基于数据探针的多源数据融合与统一信息模型构建方法的基于数据探针的多源数据融合与统一信息模型构建装置2。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个基于数据探针的多源数据融合与统一信息模型构建装置2实施例中的具体限定可以参见上文中对于基于数据探针的多源数据融合与统一信息模型构建方法的限定,在此不再赘述。
在一个实施例中,如图11所示,提供了一种基于数据探针的多源数据融合与统一信息模型构建装置2,包括:指令响应模块21和信息转发模块22,其中:
指令响应模块21,用于响应于调度中心发送的包括访问对象的抽取指令,在多源数据库中抽取访问对象对应的对象信息;其中,访问对象是调度中心基于检索请求在知识图谱索引库中进行检索得到;
信息转发模块22,用于响应于调度中心的控制操作,将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
在一个实施例中,指令响应模块21,包括:
抽取执行子模块,用于:根据访问对象的数据类型,从读写插件集中选择目标读写插件;
根据访问对象对应的数据源,确定目标读写插件在多源数据库中的加载位置;
在加载位置处加载目标读写插件;
通过加载的目标读写插件,在多源数据库中抽取访问对象对应的对象信息。
在一个实施例中,信息转发模块22,还包括转发子模块,该转发子模块,具体用于:响应于调度中心的控制操作,根据虚拟化服务器的数据类型和访问对象的数据类型,确定目标转换插件;
根据目标转换插件,对对象信息进行数据类型转换;
将转换后的对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈转换后的对象信息。
在一个实施例中,信息转发模块22,还包括验证子模块,该验证子模块,用于:对转换后的对象信息进行完整性校验和有效性校验。
在一个实施例中,信息转发模块22,还包括存储子模块,该存储子模块,用于:将对象信息中的对象关系信息,存储在数据探针中的关系型数据库中;
将对象信息中的对象属性信息,存储在数据探针中的文本数据库中。
上述基于数据探针的多源数据融合与统一信息模型构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于数据探针的多源数据融合与统一信息模型构建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
响应于检索请求,在知识图谱索引库中进行检索,得到检索请求对应的访问对象;其中,知识图谱索引库基于多源数据库中各对象对应的对象索引构建;
向连接于多源数据库的执行器发送包括访问对象的抽取指令,以指示执行器在多源数据库中抽取访问对象对应的对象信息;
控制数据探针将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
响应于检索请求,在知识图谱索引库中进行检索,得到检索请求对应的访问对象;其中,知识图谱索引库基于多源数据库中各对象对应的对象索引构建;
向连接于多源数据库的执行器发送包括访问对象的抽取指令,以指示执行器在多源数据库中抽取访问对象对应的对象信息;
控制数据探针将对象信息反馈至虚拟化服务器,以供虚拟化服务器向检索请求的发送方反馈对象信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括根据区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、根据量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
机译: 基于统一数据库的船舶建造仿真方法,船舶建造仿真程序,船舶建造仿真系统,以及船舶质量数据库的构建方法
机译: 基于多个数据源构建集成知识数据库的系统和方法
机译: 在基于探针的数据存储设备中记录和再现数据的方法,计算机程序和装置以及基于探针的数据存储设备