一种数据治理驱动数据共享交换系统及其工作方法

摘要

本发明公开了一种数据治理驱动数据共享交换方法元数据采集器根据元数据标准采集异构数据源中的元数据，将采集的元数据存储至元数据库，元数据处理模块根据元数据接入信息通过影响分析、血缘分析和全链分析解析业务元数据和技术元数据的关系；数据治理模块通过识别业务元数据和技术元数据的关系生成待治理表的质量规则对元数据内容进行校验比对，得到问题数据、错误数据、正确数据和质量分析报告；数据共享交换模块根据数据订阅方式提供数据接口或推送类服务，输出数据订阅结果。本发明提供了技术元数据和业务元数据的统一管理，充分利用企业数据资产，满足企业对跨网络安全数据交换的业务需求。

说明书

技术领域

本发明属于数据资源管理技术领域，具体涉及一种数据治理驱动数据共享交换系统及其工作方法。

背景技术

随着大数据时代的到来，现代化信息网络建设的飞速发展，软件办公，移动互联网早已融入各行各业。伴随着软件产业的进步，各行各业的业务在快速建设的同时，经过长年累月的积累，必然产生大量的业务数据。企业资源信息共享不畅，数据交换系统未确定统一标准，跨系统业务数据未打通，造成大量的数据孤岛。因此为企业提供安全可靠数据共享交换机制，提供规范数据接入、治理、交换和开发迫在眉睫。

如图1所示，现有技术中一般通过数据汇聚工具将元数据上传至数据服务库，然后数据服务库通过数据共享交换模块与数据服务订阅进行交互，而数据共享交换模块中的功能模块一般仅包括数据推送引擎、数据服务引擎、数据服务注册和数据服务管理。

传统的数据交换系统未确定数据交换标准，数据交换系统只关注了数据接入和存储,缺乏对交换过程治理。

发明内容

本发明的目的在于：解决上述现有技术中的不足，提供一种数据治理驱动数据共享交换系统及其工作方法，充分利用企业数据资产，满足企业对跨网络安全数据交换的业务需求。

为了实现上述目的，本发明采用的技术方案为：

一种数据治理驱动数据共享交换系统，包括

元数据采集器，所述的元数据采集器与各源数据模块连接；

元数据库，所述的元数据库分别与所述的元数据处理模块和数据治理模块连接，所述的数据治理模块用于对共享的数据进行质量校验；

数据治理库，所述的数据治理库分别与所述的数据治理模块和数据共享交换模块连接，所述的数据共享交换模块用于提供数据推送和对外接口调用的订阅。

进一步的，上述的元数据库和所述的元数据采集器通过元数据处理模块连接，上述的元数据处理模块用于根据元数据标准自动采集和编目相应元数据并自动匹配元数据的属性、共享方式和标准映射。

进一步的，上述的元数据处理模块和所述的数据治理模块通过元数据标准匹配引擎与所述的元数据库连接。

进一步的，上述的数据治理库通过数据脱敏引擎与所述的数据共享交换模块连接。

一种数据治理驱动数据共享交换方法，应用上述的一种数据治理驱动数据共享交换系统，包括以下步骤：

步骤一：元数据采集器根据元数据标准采集若干异构数据源中的元数据，将采集的元数据存储至元数据库，所述的元数据包括技术元数据和业务元数据；

步骤二：元数据处理模块根据元数据接入信息，形成技术元数据之间的血缘关系、影响关系和分析关系，并通过影响分析、血缘分析和全链分析解析业务元数据和技术元数据的关系；

步骤三：数据治理模块通过识别业务元数据和技术元数据的关系生成待治理表的质量规则，然后根据质量规则对元数据内容进行校验比对，得到问题数据、错误数据、正确数据和质量分析报告并将问题数据、错误数据、正确数据和质量分析报告分类存入数据治理库中；

步骤四：数据共享交换模块根据数据订阅方式提供数据接口或推送类服务，输出数据订阅结果。

进一步的，上述的步骤三还包括数据脱敏引擎根据脱敏算法标记敏感数据并制订敏感数据脱敏规则配置，脱敏算法包括：替换、截断、掩码、重排、日期偏移取整。

进一步的，上述的步骤三中还包括通过自定义脚本标记敏感数据并制订敏感数据脱敏规则配置。

进一步的，上述的异构数据源包括关系型数据源、大数据数据源和融合数据ETL工具。

进一步的，上述的步骤二还包括元数据处理模块根据元数据接入信息得到所有任务配置时间，通过任务配置时间和往期运行时长推荐用户任务调度周期。

进一步的，上述的步骤三中质量规则包括数据格式校验、值域校验、数据范围校验、正则表达式校验和空值校验。

由于采用了上述技术方案，本发明的有益效果是：

本发明提供的数据治理驱动数据共享交换方法，提供技术元数据和业务元数据的统一管理。系统以元数据作为数据治理的内在驱动，智能形成数据标准、质量规则，并通过元数据视角形成数据资产，支持对治理后的数据对外提供数据交换功能，充分利用企业数据资产，满足企业对跨网络安全数据交换的业务需求。

附图说明

图1为本发明的传统数据交换系统结构示意图。

图2为本发明的数据治理驱动数据交换系统结构示意图。

图3为本发明的数据交换流程示意图。

具体实施方式

参照附图1-3，对本发明的实施方式做具体的说明。

如图2所示，一种数据治理驱动数据共享交换系统，包括

元数据采集器，元数据采集器与各源数据模块连接；

元数据库，元数据库分别与所述的元数据处理模块和数据治理模块连接，所述的数据治理模块用于对共享的数据进行质量校验；

数据治理库，数据治理库分别与所述的数据治理模块和数据共享交换模块连接，所述的数据共享交换模块用于提供数据推送和对外接口调用的订阅。

元数据采集器依据元数据标准，自动化采集技术、业务和管理元数据，将元数据资产编目，自动匹配元数据的属性、共享方式、标准映射；数据共享交换模块，基于数据服务引擎支持多种数据共享方式，提供数据推送和对外接口调用的订阅，通过数据脱敏引擎根据处理算法对外发布数据脱敏或加密，实现企业数据资源的受控共享交换。

进一步的，上述的元数据库和所述的元数据采集器通过元数据处理模块连接，上述的元数据处理模块用于根据元数据标准自动采集和编目相应元数据并自动匹配元数据的属性、共享方式和标准映射。

进一步的，上述的元数据处理模块和所述的数据治理模块通过元数据标准匹配引擎与所述的元数据库连接。

进一步的，上述的数据治理库通过数据脱敏引擎与所述的数据共享交换模块连接。

如图3所示，一种数据治理驱动数据共享交换方法，应用上述的一种数据治理驱动数据共享交换系统，包括以下步骤：

步骤一：元数据采集器根据元数据标准采集若干异构数据源中的元数据，将采集的元数据存储至元数据库，所述的元数据包括技术元数据和业务元数据；

步骤二：元数据处理模块根据元数据接入信息，形成技术元数据之间的血缘关系、影响关系和分析关系，并通过影响分析、血缘分析和全链分析解析业务元数据和技术元数据的关系；

步骤三：数据治理模块通过识别业务元数据和技术元数据的关系生成待治理表的质量规则，然后根据质量规则对元数据内容进行校验比对，得到问题数据、错误数据、正确数据和质量分析报告并将问题数据、错误数据、正确数据和质量分析报告分类存入数据治理库中；

步骤四：数据共享交换模块根据数据订阅方式提供数据接口或推送类服务，输出数据订阅结果。

数据治理模块以元数据为核心进行智能驱动,形成数据标准,通过数据标准构建数据模型,以数据标准构建质量体系,实现对数据共享的数据质量校验,保障数据的内外部使用和交换的一致性和准确性，最终能够将高质量数据作为企业核心资产对外提供数据交换；

进一步的，上述的步骤三还包括数据脱敏引擎根据脱敏算法标记敏感数据并制订敏感数据脱敏规则配置，脱敏算法包括：替换、截断、掩码、重排、日期偏移取整。

进一步的，上述的步骤三中还包括通过自定义脚本标记敏感数据并制订敏感数据脱敏规则配置。

进一步的，上述的异构数据源包括关系型数据源、大数据数据源和融合数据ETL工具。

进一步的，上述的步骤二还包括元数据处理模块根据元数据接入信息得到所有任务配置时间，通过任务配置时间和往期运行时长推荐用户任务调度周期。

进一步的，上述的步骤三中质量规则包括数据格式校验、值域校验、数据范围校验、正则表达式校验和空值校验。

本发明提供的数据治理驱动数据共享交换方法，提供技术元数据和业务元数据的统一管理。系统以元数据作为数据治理的内在驱动，智能形成数据标准、质量规则，并通过元数据视角形成数据资产，支持对治理后的数据对外提供数据交换功能，充分利用企业数据资产，满足企业对跨网络安全数据交换的业务需求。