一种基于数据中台的数据资产管理方法

摘要

本发明公开了一种基于数据中台的数据资产管理方法，包括如下步骤：S1、将数据中台内的数据进行存储计算转成数据表；S2、统计数据资产情况信息；S3、根据数据的血缘关系构建数据地图，并建立数据目录；S4、根据建表时指定的数据存放的生命周期，定时检测数据更新时间，自动删除超出生命周期时间的数据；S5、根据用户的级别设置访问权限，所述访问权限具有有效期，超出有效期后自动取消访问权限。本发明通过基于血缘关系的数据地图、生命周期管理以及分级访问权限对数据中台的数据资产进行高效管理，以提高对数据资产的管控效率。

说明书

技术领域

本发明涉及数据资产管理技术领域，特别涉及一种基于数据中台的数据资产管理方法。

背景技术

随着大数据技术的日趋成熟，信息化建设的中心正逐步从信息技术向数据技术转化，从以流程为中心向以数据为中心转化，对组织内外部的数据进行深入、多维、实时的挖掘和分析，以满足决策层的需求。但是在数据共享和创新的过程中，由于数据分散、数据类型多、数据格式不统一的原因，导致数据读取和数据汇聚的效率低下，数据治理难度较大，难以进行全面高效的数据资产管控，无法满足数据应用和数据业务化的需求。

发明内容

为解决上述问题，本发明提供了一种基于数据中台的数据资产管理方法，以提高数据资产的管控效率。

本发明采用以下技术方案：

一种基于数据中台的数据资产管理方法，包括如下步骤：

S1、将数据中台内的数据进行存储计算转成数据表；

S2、统计数据资产情况信息；

S3、根据数据的血缘关系构建数据地图，并建立数据目录；

S4、根据建表时指定的数据存放的生命周期，定时检测数据更新时间，自动删除超出生命周期时间的数据；

S5、根据用户的级别设置访问权限，所述访问权限具有有效期，超出有效期后自动取消访问权限。

进一步地，所述数据中台内的数据包括离线数据和实时数据，所述离线

数据的计算采用Spark计算引擎，所述实时数据的计算采用Flink计算引擎。

进一步地，所述数据的血缘关系即每项数据的来源、处理过程和应用对接情况的关联，通过血缘关系可以追溯数据之间的关联，所述血缘关系包括表级血缘关系和字段级血缘关系。

进一步地，所述数据地图采用可视化的数据全局视图，用于数据查找、数据表元数据展现、数据类目管理以及数据资产情况的查询。

进一步地，所述数据查找即通过所述数据目录查找和定位所述数据地图内的元数据，所述元数据的信息包括表、字段、工作流以及任务数量。

进一步地，所述数据表元数据展现即用户可查看指定的数据表内的基本信息，展现的形式包括预览和直观查看。

进一步地，所述数据类目管理具体为：将所述数据表按照层级类目组织起来，用户根据数据类目可以快速定位数据，所述层级类目包括销售类、库存类和退货类。

进一步地，所述数据资产情况的查询即用户通过所述数据地图查看数据资产情况，所述数据资产情况信息包括总项目量、总表数、总存储量和数据增长趋势。

进一步地，所述步骤S5中，当用户需要跨项目访问数据时，需要先经过审批授权。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、通过构建基于血缘关系的数据地图，记录了数据表的全链血缘关系，基于这些血缘关系，实现以数据流为主线的血缘追溯功能，提升数据的可信度，从而为数据的合规性提供验证手段，实现信息共享、提升协调工作效率；

2、通过数据地图的目录可以快速查找和定位数据，实现数据的快速读取，提高数据的利用效率；

3、通过分级访问权限、审批授权，防止用户随意访问数据，降低数据泄露的风险，提高数据访问的安全程度；

4、支持表的生命周期管理，自动删除超出生命周期时间的数据，从而降低临时数据造成的存储压力。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

一种基于数据中台的数据资产管理方法，包括如下步骤：

S1、将数据中台内的数据进行存储计算转成数据表；

所述数据中台内的数据包括离线数据和实时数据，所述离线数据的计算采用Spark计算引擎，所述实时数据的计算采用Flink计算引擎。

S2、统计数据资产情况信息；

S3、根据数据的血缘关系构建数据地图，并建立数据目录；

所述数据的血缘关系即每项数据的来源、处理过程和应用对接情况的关联，通过血缘关系可以追溯数据之间的关联，所述血缘关系包括表级血缘关系和字段级血缘关系。

数据从来源到目的地，经过大量的功能模块的处理和传递，呈现在用户面前，很多时候需要对数据的来龙去脉进行分析。例如：两个数据报表进行对比，结果差异很大，需要人工对分析指标的维度信息，分析数据指标从哪里来，处理条件是什么，最后才能分析出问题原因。数据血缘则以历史数据的方式记录了每项数据的来源，处理过程和应用对接情况等，记录了数据表在治理过程中的全链血缘关系，基于这些血缘关系信息，可以轻松的进行影响分析，以数据流向为主线的血缘追溯等功能，从而提升数据表的可信度。

所述数据地图采用可视化的数据全局视图，用于数据查找、数据表元数据展现、数据类目管理以及数据资产情况的查询。

所述数据查找即通过所述数据目录查找和定位所述数据地图内的元数据，所述元数据的信息包括表、字段、工作流以及任务数量。用户可以根据类目、表名、所在项目等进行过滤，或者直接根据表名搜索。

所述数据表元数据展现即用户可查看指定的数据表内的基本信息，展现的形式包括预览和直观查看。

所述数据类目管理具体为：将所述数据表按照层级类目组织起来，用户根据数据类目可以快速定位数据，所述层级类目包括销售类、库存类和退货类。当数据表的数量逐渐增多时，有必要将数据表按照一定的类目结构进行管理，数据资产管理可针对类目进行属性设置，包括共享属性、类目说明等内容，支持日常的维护和更新。用户可自定义层级、名称，并将数据表指定到某个节点上，数据开发者在寻找数据时，可以根据数据类目快速定位。

所述数据资产情况的查询即用户通过所述数据地图查看数据资产情况，所述数据资产情况信息包括总项目量、总表数、总存储量和数据增长趋势。

S4、根据建表时指定的数据存放的生命周期，定时检测数据更新时间，自动删除超出生命周期时间的数据；

S5、根据用户的级别设置访问权限，所述访问权限具有有效期，超出有效期后自动取消访问权限。

所述步骤S5中，当用户需要跨项目访问数据时，需要先经过审批授权。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。