基于多视角数据目录实现数据共享服务的系统及方法

摘要

本发明公开了一种基于多视角数据目录实现数据共享服务的系统及方法，该系统包括：业务系统，其部署有多个提供元数据的业务系统平台；统一数据服务平台，所述统一数据服务平台包括数据传输模块、数据目录模块、元数据变更管理模块、数据资产检索模块、数据维护管理模块、元数据统计分析模块和机构管理模块；用户终端，其通过所述数据资产检索模块查询所述元数据或数据资产。本发明提供的基于多视角数据目录实现数据共享服务的系统及方法，可对元数据进行全面梳理，整理形成全公司完整的元数据清单并标准化。

说明书

技术领域

本发明涉及一种资产管理系统，特别是涉及一种基于多视角数据目录实现数据共享服务的系统，本发明还涉及基于多视角数据目录实现数据共享的方法。

背景技术

数据资产是指由个人或企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源。离开高质量的数据，很难有企业仍然可以高效运行。今天，各企业都依赖于它们的数据资产以做出更明智和有效的决策。市场领导者正利用数据资产，通过丰富的客户资料、信息创新使用和高效运营取得竞争优势。企业通过数据资产，提供更好的产品和服务，降低成本，控制风险。随着企业对数据需求的不断增长，以及企业对数据依赖性不断增强，人们可以越来越清楚评估数据资产的商业价值。

近年，已有电网公司组织开展了数据资源管理平台试点建设，初步实现了对主数据管理、元数据管理、数据质量管理、数据标准管理等方面的集中管控，公司具备了对数据资产的管理能力，提升了跨系统的业务协同水平及数据质量管理水平，为“数据治企”奠定基础。

并且，随着工作的相关技术的进一步发展，也有一些电网公司提出产业新发展布局，从客观上要求数据供给侧改革升级，实现数据资产全公司、全领域、全业务的“三全”覆盖，以及数据处理实时化和融合化的“两化”升级，从而进一步实现数据的开放共享，通过更实时、高效的手段支撑业务发展需要，实现数据价值的多渠道变现。

面对新形势新挑战，但是多数公司目前数据资产管理工作还存在着一些短板：例如数据管理工作缺乏总体规划，体制机制有待完善；数据标准有缺失或执行不到位，各系统难以协同和融合应用，数据孤岛现象依然存在；数据供给能力不足，数据获取难度大、门槛高，无法快速满足业务发展的需要；数据价值转化能力不足，缺乏多样化的数据价值实现途径；数据安全整体意识不足，数据安全保障能力较为薄弱等。这些问题严重制约和影响了公司数据资产管理的健康有序发展。

元数据是描述数据的数据，主要是描述数据属性的信息，一般可包括有技术元数据、业务元数据和管理元数据等，虽然有些企业已经实现了元数据管理、数据字典和业务术语表，但是，基本能够自动采集的只有技术元数据，业务元数据和管理元数据基本目前都是手工采集的。由于数据增长的速度远超过了数据管理人员的数量，除了所有关于客户、产品、销售、员工和供应商的数据，企业用户还面临更多更大的数据来源，例如还有来自社交媒体、物联网和其他类型的行为数据，如网站点击流。因此这事实上体现了目前数据资产管理方式存在元数据管理人员可用性的瓶颈。而且，进一步地，由于定义不准确、信息不完整以及元数据陈旧或无法找到所需信息，导致需要更多的元数据来理解存储在数据仓库中的数据资产。此外，目前这些系统及应用一般都是由IT人员开发，由于IT人员和业务人员的思维和技术语言存在差异，这使得业务用户获取数据变得更加复杂和困难。

尽管元数据不能完全解决目前数据资产管理所面临的所有问题，但是元数据可以作为构建数据资产目录的基础，相当于数据资产目录的后台，负责收集多个业务系统的元数据。但是，目前的大多数电网企业尚未实现通过构建数据资产目录方式管理企业数据资产的应用。

发明内容

鉴于现有技术存在的上述问题，本发明的目的在于提供一种基于多视角数据目录实现数据共享服务的系统。该系统可通过数据资产目录的构建扫描电网企业多个业务系统并收集大量元数使得数据易于查找，促进数据的共享和融合，挖掘数据潜在价值，支撑和促进公司产业发展新布局的落地。

为了实现上述目的，本发明一个方面提供的基于多视角数据目录实现数据共享服务的系统，包括：

业务系统，其部署有多个提供元数据的业务系统平台；

统一数据服务平台，所述统一数据服务平台包括数据传输模块、数据目录模块、元数据变更管理模块、数据资产检索模块、数据维护管理模块、元数据统计分析模块和机构管理模块，数据传输模块配置为采集多个所述业务系统平台的元数据；所述数据目录模块至少包括用于按应用、数据及存储维度结构展示元数据信息的元数据目录，用于展示数据资产项信息的数据资产目录，以及用于展示指标信息的运营指标目录；所述元数据变更管理模块配置为根据元数据变更申请、变更差异审核或元数据补录请求来管理元数据信息；所述数据维护管理模块配置为对元数据或数据资产进行维护；所述数据资产检索模块配置为提供元数据或数据资产查询服务；所述元数据统计分析模块至少包括元数据变更统计报告子模块及元数据差异报告子模块，所述元数据变更统计报告子模块配置为展示元数据变更所属系统数量、系统下元数据变更情况及系统数据信息，所述元数据差异报告子模块配置为展示元数据变更申请时元数据差异信息；所述机构管理模块配置为提供统一的用户、角色、菜单、权授管理和/或业务字典配置功能；

用户终端，其通过所述数据资产检索模块查询所述元数据或数据资产。

进一步地，所述元数据变更管理模块还包括变更申请查询子模块。

进一步地，所述数据维护管理模块包括元数据维护子模块、运营指标维护子模块、数据资产维护子模块及关联关系维护子模块。

进一步地，还包括数据导入配置模块，所述数据导入模块至少包括元数据批量导入子模块、数据资产批量导入子模块和运营指标批量导入子模块。

进一步地，所述业务系统包括人资管理系统、财务管理系统、资产管理系统、综合管理系统、协同办公系统、安全生产管理系统、战略管理系统、数据服务系统及信息管理系统中的一种或多种。

本发明的另一方面还提供了基于多视角数据目录实现数据共享服务的方法，该方法包括：

基于多视角数据目录实现数据共享的方法，该方法包括：

采集多个所述业务系统平台的元数据采集步骤；

将元数据构建为多视角数据目录的数据资产目录构建步骤；

基于系统用户申请，在需要对元数据进行变更时，执行元数据编辑步骤；

基于预设条件，执行元数据稽查任务。

进一步地，所述基于系统用户申请，在需要对元数据进行变更时，执行元数据编辑步骤，包括：

接收系统用户的元数据变更申请；

基于所述元数据变更申请采集需要变更的元数据信息；

对需要变更的元数据信息进行差异分析比对，比对通过后执行元数据变更，否则执行元数据补录步骤。

进一步地，在执行元数据补录步骤时，包括：

判断元数据是否需要补录，如需要补录，则由系统用户补充元数据；

针对系统用户补充的元数据进行完整及合规性检查，如检查通过则继续进行差异分析比对。

进一步地，在对需要变更的元数据信息进行差异分析比对之前，还包括对元数据版本进行比对。

进一步地，基于预设条件，执行元数据稽查任务，包括：

基于预设时间周期，触发元数据稽查任务；

采集业务系统元数据；

对采集的业务系统元数据进行差异分析比对，如存在差异，则对存在差异的元数据进行审核后判断是否需要补录，如需要，由系统用户补充元数据，并对补充的元数据进行完整及合规性审查，若审查通过则重新进行差异分析比对。

与现有技术相比较，本发明提供的基于多视角数据目录实现数据共享服务的系统及方法，可对元数据进行全面梳理，整理形成全公司完整的元数据清单并标准化；同时，结合公司对各系统元数据的全面梳理工作，构建统一的应用视角目录、数据共享目录及数据开放目录，为后续的数据资产管理工作提供成熟的指引。我国电网集团公司是典型的资产资金密集型企业，数据资产作为电网集团公司一种重要的企业资源，实现数据资源集中管理、统一监控、优化配置，对于提高集团企业的整体水平和工作效率，规范资产管理的业务体系，避免日常管理工作漏洞和弊端都有着非常的意义。

应当理解，前面的一般描述和以下详细描述都仅是示例性和说明性的，而不是用于限制本公开。

本申请文件提供本公开中描述的技术的各种实现或示例的概述，并不是所公开技术的全部范围或所有特征的全面公开。

附图说明

图1为本发明的基于多视角数据目录实现数据共享服务的系统的系统框图。

图2为本发明的基于多视角数据目录实现数据共享服务的方法的流程图。

图3为本发明的基于多视角数据目录实现数据共享服务的方法中元数据变更的流程示意图。

图4为本发明的基于多视角数据目录实现数据共享服务的方法中元数据稽查的流程示意图。

主要附图标记：

100-业务系统；200-统一数据服务平台；300-用户终端；101-人资管理系统；102-财务管理系统；103-资产管理系统；104-综合管理系统；105-协同办公系统；106-其他业务系统；201-数据传输模块；202-元数据目录模块； 203-数据资产目录；204-运营指标目录；205-元数据变更管理模块；206-数据资产检索模块；207-数据维护管理模块；208-元数据统计分析模块；209- 数据导入配置模块；210-机构管理模块；2071-元数据维护子模块；2072-运营指标维护子模块；2073-数据资产维护子模块；2074-关联关系维护子模块； 2072-运营指标维护子模块；2073-数据资产维护子模块；2081-元数据变更统计子模块；2082-元数据稽查配置子模块；2083-元数据差异报告子模块；2091- 元数据批量导入子模块；2092-数据资产批量导入子模块；2093-运营指标批量导入子模块。

具体实施方式

为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。

显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，还可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。

如图1至图2所示，本发明一个实施例提供的基于多视角数据目录实现数据共享服务的系统及方法，包括：

业务系统100，其部署有多个提供元数据的业务系统平台；例如图1所示中，业务系统100可包括人资管理系统101，财务管理系统102，资产管理系统103，综合管理系统104，协同办公系统105及其他业务系统106；而此处的其他业务系统，可具体为电网企业已广泛部署的安全生产管理系统、战略管理系统、数据服务系统及信息管理系统等等，本发明中不做穷举。

进一步地，还包括统一数据服务平台200，所述统一数据服务平台200 可部署于应用服务器，其可包括数据传输模块204，并与数据库服务器配合实现数据存储。一般地，数据库服务器及应用服务器通过内部局域网通讯连接，且内部局域网可进一步配合应用代理服务器供用户终端连接，另外数据库服务器及应用服务器均可设置有多组。所述数据传输模块配置为采集多个所述业务系统平台100的元数据；本发明中所称“元数据”，是指关于数据或数据元素的数据(可能包括其数据描述)，以及关于数据拥有权、存取路径、访问权和数据易变性的数据。该元数据可包括管理元数据、技术元数据和业务元数据，其中，管理元数据描述数据平台中管理领域相关概念、关系、规则的数据，主要包括人员角色、岗位职责、管理流程等信息。所述技术元数据描述数据平台中技术领域相关概念、关系、规则的数据。主要包括对数据结构、数据处理方面的特征描述，覆盖数据平台数据源接口、数据仓库、ETL、数据挖掘、前端展现等全部数据处理环节。所述业务元数据描述数据平台中业务领域相关概念、关系、规则的数据。主要包括业务术语、信息分类、指标定义(指标口径)、业务规则等信息。

具体地，所述统一数据服务平台包括数据传输模块201、数据目录模块 (图中未标注)、元数据变更管理模块205、数据资产检索模块206、数据维护管理模块207、元数据统计分析模块208和机构管理模块210，其中数据传输模块201配置为采集多个所述业务系统平台100的元数据；所述数据目录模块至少包括用于按应用、数据及存储维度结构展示元数据信息的元数据目录202，用于展示数据资产项信息的数据资产目录203，以及用于展示指标信息的运营指标目录204；所述元数据变更管理模块205配置为根据元数据变更申请、变更差异审核或元数据补录请求来管理元数据信息；所述数据维护管理模块207配置为对元数据或数据资产进行维护；所述数据资产检索模块 206配置为提供元数据或数据资产查询服务；所述元数据统计分析模块208 至少包括元数据变更统计报告子模块2081及元数据差异报告子模块2083，所述元数据变更统计报告子模块2081配置为展示元数据变更所属系统数量、系统下元数据变更情况及系统数据信息，所述元数据差异报告子模块2083 配置为展示元数据变更申请时元数据差异信息；所述机构管理模块210配置为提供统一的用户、角色、菜单、权授管理和/或业务字典配置功能。例如给用户分配账户，设置角色，并提供密码修改功能等。或者给角色分配权限，不同角色可查看的信息和可操作的功能不同。

用户终端300，其通过所述数据资产检索模块2035查询所述元数据或数据资产。

在一些实施例中，所述数据传输模块201包括数据同步及传输接口以及4A平台，所述数据同步及传输接口配置为同步组织机构及用户信息，所述4A 平台配置为在组织机构和/或用户信息发生变化时，使所述数据维护管理模块的组织机构和/或用户保持一致。采用数据同步集成方式将4A平台中的组织机构以及用户同步到本数据资产目录服务系统中，并且当4A平台组织机构、用户信息产生变化时，调用WebService接口使数据资产管理工具的组织机构、用户与4A保持一致。与4A平台进行集成，可以通过4A进行统一权限认证，登陆4A平台可以直接跳转数据资产管理工具系统。优选地，在本发明中，所述4A平台以SOA(Service-Oriented Architecture,面向服务的架构)接口方式对接数据。

另外，在本发明中，元数据变更管理模块205还包括变更申请查询子模块(图中未示出)，所述变更申请查询子模块配置为申请人的元数据变更申请记录进行查询。而对于元数据补录来说，可针对元数据的差异进行补录，补录人员可以线上补录，针对数据库中表或者字段进行补录操作，并且可以进行批量补录，根据多个差异信息导出数据后进行补录，补录成功后进行上传操作。

在一些实施例中，所述元数据统计分析模块208还包括元数据稽查配置子模块2082，所述元数据稽查配置子模块用于配置元数据稽查任务触发的预设条件，例如以周、月执行元数据稽查任务。

在一些实施例中，还包括数据导入配置模块209，所述数据导入模块209 至少包括元数据批量导入子模块2091、数据资产批量导入子模块2092和运营指标批量导入子模块2093。

图2示出了本发明的基于多视角数据目录实现数据共享服务的方法的流程图，如图2所示，该方法包括：该方法包括：

S1、采集多个所述业务系统平台的元数据采集步骤；

S2、将元数据构建为多视角数据目录的数据资产目录构建步骤；

S3、基于系统用户申请，在需要对元数据进行变更时，执行元数据编辑步骤；以及，

S4、基于预设条件，执行元数据稽查任务。

图3示出了本发明的基于元数据的数据资产目录服务的方法中的元数据变更的流程图，如图3所示，包括：

S31、接收系统用户的元数据变更申请；

S32、基于所述元数据变更申请采集需要变更的元数据信息；

S33、对需要变更的元数据信息进行差异分析比对，比对通过后执行元数据变更，否则执行元数据补录步骤。

在一些实施例中，如图3所示，在执行元数据补录步骤时，还包括：

S311、判断元数据是否需要补录，如需要补录，则由系统用户补充元数据；

S312、针对系统用户补充的元数据进行完整及合规性检查，如检查通过则继续进行差异分析比对。

进一步地，如图3所示，在对需要变更的元数据信息进行差异分析比对之前，还包括对元数据版本进行比对。

图4示出了本发明的基于元数据的数据资产目录服务的方法中的元数据稽查的流程图，如图4所示，包括：

S41、基于预设时间周期，实际可该预设周期可为周或月，触发元数据稽查任务；

S42、采集业务系统元数据；

S43、对采集的业务系统元数据进行差异分析比对，如存在差异，则对存在差异的元数据进行审核后判断是否需要补录，如需要，由系统用户补充元数据，并对补充的元数据进行完整及合规性审查，若审查通过则重新进行差异分析比对。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。