一种物理分散逻辑统一的数据资产目录汇聚系统

摘要

本发明公开了一种物理分散逻辑统一的数据资产目录汇聚系统，在统一的数据资产类型建模以及多维度数据资产标准目录定义的基础上，对各分散数据平台的数据资产元数据进行标准化的资产信息描述，以及标准化的目录编目。进而实现各分散数据平台的目录汇聚合并形成包含全部被管理数据平台的数据资产目录。本系统可在不需要进行数据集中的情况下，建立分布式数据平台全部资产的数据资产目录，并可以根据数据资产周期性汇聚信息的分析，提供数据资产的生命周期信息，为后续数据资产信息的查询、检索、统计、以及应用共享提供基础。

说明书

技术领域

本发明涉及数据资产管理领域，具体涉及一种物理分散逻辑统一的数据资产目录汇聚系统。

背景技术

大型集团通常有多层次组织体系，并且在集团以及下属各级组织建立了各种信息系统，各种信息系统沉淀了大量数据资产，但是无法在集团各级组织进行共享使用，并且，集团也无法掌握所拥有的数据资产的数量、价值。

现有数据资产管理系统主要有以下几个方面缺陷：

(一)数据的全过程管理存在一定缺失，缺少公司层面的统一协调组织，数据资产管理与应用缺少顶层思路的设计。

(二)现有的数据资产目录管理系统主要针对单一数据平台设计，数据资产元数据通常和数据在一起，针对海量分布式系统进行以数据集中为基础的数据资产管理不具有可行性。

(三)现有的数据资产目录管理系统通常直接对接底层数据资源平台，对跨物理区域的分散数据平台存在性能和数据安全管理方面的风险，并且难以利用部分组织已经建立的数据管理平台的成果。

发明内容

(一)解决的技术问题

针对上述技术中存在的不足之处，本发明提供一种物理分散逻辑统一的数据资产目录汇聚系统，能够有效克服现有技术所存在的不能有效的跨多级组织进行数据资产管理，以及在数据资产管理过程中不能灵活集成各种数据管理平台的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

本发明公开了一种物理分散逻辑统一的数据资产目录汇聚系统，包括中心侧和节点侧；

所述中心侧包括分布式资产平台管理、数据资产标准服务、数据资产汇聚服务、数据资产目录版本管理模块；

所述数据资产标准服务包括资产类型标准和目录标准管理模块；

所述数据资产汇聚服务包括数据资产元数据稽核和数据资产分析模块；

所述节点侧包括数据资产标准代理、资产元数据采集、数据资产目录标准化、数据资产汇聚代理模块。

作为优选，中心侧内的分布式资产平台管理对受管理的各组成平台节点进行接入管理和认证。

作为优选，中心侧内的数据资产标准服务提供资产类型标准和目录标准的制定和维护，资产类型标准包括数据资产类型定义以及数据资产描述结构定义，目录标准包括多维度目录标准体系，中心侧数据资产标准服务和节点侧数据资产标准代理相连。

作为优选，节点侧内的资产元数据采集通过开发数据采集适配器，对数据库中数据资产信息进行采集，以及对数据管理平台已有数据资产信息进行采集，所述数据库包括关系型数据库、对象数据库、NoSQL数据库。

作为优选，所述数据库中数据资产信息包括数据表、数据视图、以及数据管理平台提供的API数据服务。

作为优选，所述节点侧内的资产目录标准化模块对所采集的数据资产元信息，根据数据资产标准服务定义的数据资产类型标准进行信息维护，并按照数据资产的描述维度，依次挂接到各种维度标准目录上，完成本数据平台的数据资产标准化维护。

作为优选，节点侧内的数据资产汇聚代理把本数据平台的数据资产标准目录信息汇聚到中心侧数据资产汇聚服务。

作为优选，所述中心侧内的数据资产元数据稽核子模块，根据数据资产标准，对汇聚得到的数据资产元数据进行稽核。

作为优选，所述中心侧内的数据资产分析模块，根据数据资产的汇聚历史，分析所管理各数据平台的数据资产变动情况，形成数据资产生命周期信息。

作为优选，所述中心侧数据资产目录版本管理模块，对汇聚的各数据平台的数据资产信息经过审核发布后建立可访问的统一数据资产目录，提供对数据资产目录的历史版本记录；所述数据资产信息包括由数据标准定义的资产技术元数据、业务元数据、管理元数据，以及资产分析的结果，包括资产的血缘关系信息、资产统计信息、生命周期信息。

与现有技术相比，本发明所提供的一种物理分散逻辑统一的数据资产目录汇聚系统，具有以下有益效果：

1、数据资产标准服务定义各分布式数据平台统一使用的数据资产类型及描述结构，以及数据资产的统一目录标准，并提供多维度的目录体系，通过在中心侧和节点侧自动进行标准同步，能够有效的在分布式数据平台间统一数据资源技术元数据、业务元数据、管理元数据信息，并且对数据资产进行统一目录组织，让用户可以快速的通过数据资产目录进行浏览和关键字检索

2、数据资产汇聚服务对各分布式数据管理平台的数据资产标准目录进行汇聚、稽核、资产变动分析、以及数据资产目录的版本管理，让数据资产管理者能够实时掌握组织各级数据资产全貌及资产变动情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统示意图。

图2为本发明数据资产目录汇聚流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1和图2，本发明公开了一种物理分散逻辑统一的数据资产目录汇聚系统，包括中心侧和节点侧；

中心侧包括分布式资产平台管理、数据资产标准服务、数据资产汇聚服务、数据资产目录版本管理模块；

数据资产标准服务包括资产类型标准和目录标准管理模块；

数据资产汇聚服务包括数据资产元数据稽核和数据资产分析模块；

节点侧包括数据资产标准代理、资产元数据采集、数据资产目录标准化、数据资产汇聚代理模块。

分别在中心侧和节点侧部署以上各功能模块。

中心侧内的分布式资产平台管理对受管理的各组成平台进行接入管理和认证。用户在分布式资产平台管理注册部署的各节点侧的接入认证信息、资产目录审核用户信息，并进行数据资产目录汇聚调度相关的技术设置和调度周期。

中心侧内的数据资产标准服务通过对数据资产类型以及数据资产描述结构进行标准设计，提供多维度目录标准体系的设计，并且提供工业生产领域设备测点时序数据描述标准。系统标准的数据资产类型包括：数据表、数据视图、API服务、设备测点。系统标准的目录标准包括：组织结构目录、数据类型目录、业务领域目录。数据标准需要经过标准审核流程才能够生效。

节点侧内的数据资产标准代理接收中心侧数据资产标准服务所分发的标准，检查新的标准版本对本节点标准资产目录的影响，通过手动确认使接收的标准对本节点的数据资产生效。

节点侧内的资产元数据采集通过开发数据采集适配器，对关系型数据库(包括Oracle、MySQL、SQLServer、GBase)、对象数据库（包括MongoDB）、NoSQL数据库（包括HBase、InfluxDB）中数据资产信息进行采集，以及对数据管理平台已有数据资产信息进行采集。数据库中数据资产信息包括数据表、数据视图、以及数据管理平台提供的API数据服务。资产元数据采集包括以下步骤：

S1、确定数据资源，包括基础数据资源，以及已有的数据管理平台。

S2、确定数据资产类型映射，以及数据资源描述结构和数据资产标准描述的映射关系。

S3、进行资产元数据采集配置，设置周期性采集调度任务。

S4、启动数据资产元数据采集任务。

节点侧内的资产元数据采集还可以通过数据资产元信息模板的形式，以导入的方式把部分不适于在线接入的数据资产纳入资产目录。

节点侧内的资产目录标准化模块对所采集的数据资产元信息，根据数据资产标准服务定义的数据资产类型标准进行信息维护，并按照数据资产的描述维度，依次挂接到各种维度标准目录上，完成本数据平台的数据资产标准化维护。资产信息维护包括以下步骤：

S1、查询资产信息。

S2、对资产信息进行手动维护。

S3、挂接资产到各数据资产标准目录，手动挂接，把资产分别挂接到各目录节点。

S4、自动挂接，根据数据资产描述结构和标准目录之间的维度映射关系，自动按照数据资产的元数据信息，把数据资产挂接到对应的目录节点。

节点侧内的数据资产汇聚代理把本数据平台的数据资产标准目录信息汇聚到数据资产汇聚服务。汇聚信息包括各分布式平台的数据资产信息，以及数据资产和标准目录的关联信息。汇聚过程支持由中心侧主动调度以及节点侧主动发送两种方式。

中心侧内的数据资产元数据稽核模块，根据数据资产标准，对汇聚得到的数据资产元数据进行稽核，包括数据资产信息描述是否完整、元信息内容是否满足字典要求，未能通过稽核的节点数据目录不被接收保存。

中心侧内的数据资产分析模块，根据数据资产的汇聚历史，分析所管理各数据平台的数据资产变动情况，形成数据资产生命周期信息。

中心侧内的数据资产目录版本管理模块，对汇聚的各数据平台的数据资产经过审核发布后建立可访问的统一数据资产目录，提供对数据资产目录的历史版本记录。资产目录版本管理包括以下步骤：

S1、任意一个受管理平台的资产目录经过元数据稽核成功

S2、资产管理员对汇聚成功的各受管理平台的资产目录进行审核确认。资产管理员可根据受管理平台所属组织结构进行分级授权指定。

S3、最高级别资产管理员确认汇聚结果，并发布数据资产目录。

S4、最高级别资产管理员可回滚数据资产目录到指定历史版本。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。