一种基于大数据分析的数据资产管理方法

摘要

本发明公开了一种基于大数据分析的数据资产管理方法，包括以下步骤：S1、评估数据质量，探查数据内容、结构和异常；S2、建立数据质量管理方针并明确目标；S3、确定数据质量问题原因，设计和实施数据质量业务规则，制定提高方案；S4、形成完善的数据质量监控，包括预防控制、过程控制和监督控制机制；S5、定期开展数据质量的检查和清洗工作；S6、对照目标，监测数据质量，在整个业务应用中持续监测和管理数据质量，归档和沟通质量管理效果、所做的改进和改进的结果。本发明通过建立数据质量管理方针以及完善的数据质量监控，能够强化源头数据、对数据加工卡点校验，在数据的维护和使用过程中持续监测和管理数据质量。

说明书

技术领域

本发明涉及资产大数据管理技术领域，尤其涉及一种基于大数据分析的数据资产管理方法。

背景技术

数据资产管理的定义为：数据资产管理是规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。

数据资产管理一般地认为有十大数据管理职能：数据治理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理和数据质量管理，其中数据质量与业务绩效之间存在着直接联系，高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量，企业在任何时候都可以信任满足所有需求的所有数据。

目前，企业对于数据质量管理不到位，无法通过有效的数据质量控制手段，进行数据的管理和控制，不能消除数据质量问题进而提升企业数据变现的能力，为此，我们提出一种基于大数据分析的数据资产管理方法来解决上述问题。

发明内容

基于背景技术提出的技术问题，本发明提出了一种能够准确地评估数据质量，能够确定数据质量问题的根本原因，从而可以更加准确地找出需要改进的地方加以改进，并且通过建立数据质量管理方针以及完善的数据质量监控，能够强化源头数据、对数据加工卡点校验，在数据的维护和使用过程中持续监测和管理数据质量的基于大数据分析的数据资产管理方法。

本发明提出的一种基于大数据分析的数据资产管理方法，包括以下步骤：

S1、评估数据质量，探查数据内容、结构和异常，选择对应的数据质量维度，评估数据质量，评估结果用来确定数据质量问题的根本原因、需要改进的地方；

S2、建立数据质量管理方针并明确目标，选取若干个指标来作为数据质量评价指标，建立数据质量评估模型，对企业的数据进行评估和测量，固化数据标准，优化数据管理流程；

S3、确定数据质量问题原因，设计和实施数据质量业务规则，制定提高方案，引起数据质量问题的根本原因，并区分优先次序，以及为解决这些问题的具体建议，明确企业的数据质量规则；

S4、形成完善的数据质量监控，包括预防控制、过程控制和监督控制机制，强化源头数据质量，在数据的维护和使用过程中去监控和处理数据质量，基于数据的元模型配置数据质量规则，即针对不同的数据对象，配置相应的数据质量指标；

S5、定期开展数据质量的检查和清洗工作，设置成手动执行或定期自动执行的系统任务，通过执行检查任务对存量数据进行检查，形成数据质量问题清单；

S6、对照目标，监测数据质量，在整个业务应用中持续监测和管理数据质量，归档和沟通质量管理效果、所做的改进和改进的结果。

优选地，在S1中，探查数据以发现和评估数据的内容、结构和异常，识别数据的优势和弱势，明确指出数据错误和问题。

优选地，在S2中，数据质量评价指标包括：数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。

优选地，在S2中，通过数据管理和监控手段，确保流程改进成果，提升数据质量，主要方法有：标准化、程序化、制度化等。

优选地，在S3中，管理如何清洗数据和解析用于支持目标应用字段和数据，设计、测试、完善和实施数据质量业务规则，分析业务场景，根据应用的影响程度，确定当前以及生产链路上的数据资产等级。

优选地，在S4中，控制过程数据质量，建立数据标准化模型，对每个数据元素的业务描述、数据结构、业务规则、质量规则、管理规则、采集规则进行清晰的定义。

优选地，在S5中，根据数据质量问题清单汇总形成数据质量报告，数据质量报告支持查询、下载等操作，制定和实施数据质量改进方案，进行数据质量问题的处理。

优选地，通过定期对系统开展全面的数据质量状况评估，从问题率、解决率、解决时效等方面建立评价指标进行整改评估，根据整改优化结果，进行适当的绩效考核。

与现有技术相比，本发明的有益效果为：本发明通过准确地评估数据质量，能够确定数据质量问题的根本原因，从而可以更加准确地找出需要改进的地方加以改进，并且通过建立数据质量管理方针以及完善的数据质量监控，能够强化源头数据、对数据加工卡点校验，在数据的维护和使用过程中持续监测和管理数据质量。

附图说明

图1为本发明提出的一种基于大数据分析的数据资产管理方法流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，术语“包括”、“包含”、“具有”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。

实施例

参照图1，本发明提出的一种基于大数据分析的数据资产管理方法，包括以下步骤：

S1、评估数据质量，探查数据内容、结构和异常，选择对应的数据质量维度，评估数据质量，评估结果用来确定数据质量问题的根本原因、需要改进的地方，探查数据以发现和评估数据的内容、结构和异常，识别数据的优势和弱势，明确指出数据错误和问题；

具体的，可以从收集、整理并分析数据质量相关的信息环境入手，包括收集、整理和分析当前流程、人员、需求、数据及规范、组织以及业务问题等相关技术细节。

S2、建立数据质量管理方针并明确目标，选取若干个指标来作为数据质量评价指标，建立数据质量评估模型，对企业的数据进行评估和测量，固化数据标准，优化数据管理流程，并通过数据管理和监控手段，确保流程改进成果，提升数据质量，主要方法有：标准化、程序化、制度化等；

为了改进和提高数据质量，必须从产生数据的源头开始抓起，从管理入手，对数据运行的全过程进行监控，强化全面数据质量管理的思想观念，通过界定问题来寻找潜在原因，推断分析，验证关键因素，油画改进，并动态跟踪与控制，以实现有限资源的效益最大化；

数据质量评价指标包括：数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。

S3、确定数据质量问题原因，设计和实施数据质量业务规则，制定提高方案，引起数据质量问题的根本原因，并区分优先次序，以及为解决这些问题的具体建议，明确企业的数据质量规则，可重复使用的业务逻辑，管理如何清洗数据和解析用于支持目标应用字段和数据。设计、测试、完善和实施数据质量业务规则，分析业务场景，根据应用的影响程度，确定当前以及生产链路上的数据资产等级；

S4、形成完善的数据质量监控，包括预防控制、过程控制和监督控制机制，强化源头数据质量，控制过程数据质量，建立数据标准化模型，对每个数据元素的业务描述、数据结构、业务规则、质量规则、管理规则、采集规则进行清晰的定义，在数据的维护和使用过程中去监控和处理数据质量，基于数据的元模型配置数据质量规则，即针对不同的数据对象，配置相应的数据质量指标；

S5、定期开展数据质量的检查和清洗工作，设置成手动执行或定期自动执行的系统任务，通过执行检查任务对存量数据进行检查，形成数据质量问题清单，根据数据质量问题清单汇总形成数据质量报告，数据质量报告支持查询、下载等操作，制定和实施数据质量改进方案，进行数据质量问题的处理，通过定期对系统开展全面的数据质量状况评估，从问题率、解决率、解决时效等方面建立评价指标进行整改评估，根据整改优化结果，进行适当的绩效考核；

S6、对照目标，监测数据质量，在整个业务应用中持续监测和管理数据质量，归档和沟通质量管理效果、所做的改进和改进的结果。

综上所述，与现有技术相比，本发明的有益效果为：本发明通过准确地评估数据质量，能够确定数据质量问题的根本原因，从而可以更加准确地找出需要改进的地方加以改进，并且通过建立数据质量管理方针以及完善的数据质量监控，能够强化源头数据、对数据加工卡点校验，在数据的维护和使用过程中持续监测和管理数据质量。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。