一种数据中台构建方法及其数据中台

摘要

本发明提供一种数据中台构建方法及其数据中台，包括采集目标企业的元数据，存储形成元数据包；设置若干个核心关键词，根据每个核心关键词在元数据包内查找并标记元数据中对应的核心关键词，分析判断每个核心关键词所辐射的数据范围和每个核心关键词之间的关联度和优先度；根据每个核心关键词所辐射的数据范围将元数据分成若干个初级元数据集群；根据每个核心关键词之间的关联度和优先度建立若干个核心关键词之间的层级连接关系，通过不同核心关键词的层级连接关系连接所对应的初级元数据集群；根据所述初级元数据集群和所述层级连接关系构建数据中台。本发明能够提高数据之间的关联度的精确性、后续查询和应用的速度以及企业的管理效率。

说明书

技术领域

本发明涉及大数据计算领域，特别是一种数据中台构建方法及其数据中台。

背景技术

随着数据管理技术的发展，企业也越来越重视如何管理企业自身的各类数据，而大多数企业的数据都是分散式管理，导致大量的数据以孤岛形式存在于分散的业务系统中，甚至部分数据以纸质档案来保存。数据中台能够满足包括数据采集、数据分析、数据挖掘、数据质量、数据地图、数据模型、数据API的各层次应用，将数据统一集中进行管理，使用数据中台能够提高开发人员的生产力，极大的缩短数据价值的萃取过程，提高企业提炼数据价值的能力。

因此，许多企业已经开始搭建自己的数据中台来管理自己的数据和业务，一般情况下，企业搭建的数据中台使用固定的框架模板，不能准确将数据进行采集和归纳整理，使得用户查找和应用的时候会出现重复的查询流程，降低了后续查询和应用的速度，降低了企业的管理效率，出现遗漏数据的情况时也没有提供很好的处理的方法。

发明内容

为了克服现有技术的上述缺点，本发明的目的是提供一种数据中台构建方法及其数据中台，以解决上述问题。

本发明解决其技术问题所采用的技术方案是：

一种数据中台构建方法，其中，包括：

采集目标企业的元数据，存储形成元数据包；

设置若干个核心关键词，根据每个核心关键词在元数据包内查找并标记元数据中对应的核心关键词，分析判断每个核心关键词所辐射的数据范围和每个核心关键词之间的关联度和优先度；

根据每个核心关键词所辐射的数据范围将元数据分成若干个初级元数据集群；

根据每个核心关键词之间的关联度和优先度建立若干个核心关键词之间的层级连接关系，通过不同核心关键词的层级连接关系连接所对应的初级元数据集群；根据所述初级元数据集群和所述层级连接关系构建数据中台；

通过用户终端连接数据中台进行查询和应用。

作为本发明的进一步改进：将若干个初级元数据集群与元数据包分区存储，并根据每个核心关键词所在的采集区间加设对应的采集端进行数据采集，将每个采集端所采集的数据补充进对应的初级元数据集群，并自动在数据中台中更新。

作为本发明的进一步改进：通过数据中台对已构建的核心关键词进行新增、删除或修改。

作为本发明的进一步改进：当新增核心关键词时，根据新增核心关键词与原有若干个的核心关键词之间的关联度和优先度，自动建立新增核心关键词与原有核心关键词的层级连接关系；或，主动将新增核心关键词插入任意一个层级连接关系中；或，主动将新增核心关键词独立于原有的层级连接关系设置。

作为本发明的进一步改进：当删除核心关键词时，将该核心关键词所属的初级元数据集群并入上一层级的核心关键词的初级元数据集群，将该核心关键词的下属层级连接关系直接与上一层级的核心关键词连接；当修改核心关键词的名称时，该核心关键词的初级元数据集群保留不变。

作为本发明的进一步改进：还包括对用户通过用户终端查阅和应用数据的权限和安全处理方法，包括：通过用户终端输入请求身份信息，比较所述请求身份信息和预设的预设身份信息，得到请求系数值w；判断请求系数值与预设请求区间w1的关系，根据请求系数值与预设请求区间w1的关系来展示查阅的内容和开放应用的权限。

作为本发明的进一步改进：当任意两个或多个核心关键词所辐射的数据范围存在重合时，将重合的数据依照被辐射的核心关键词的个数进行复制后，分别并入每个核心关键词所属的初级元数据集群。

作为本发明的进一步改进：建立初级元数据集群后，还包括集群分层方法，包括：在所述初级元数据集群a中标记若干个M1级关键词，通过每个M1级关键词所辐射的数据范围将初级元数据集群分成若干个M1级元数据集群，根据不同的M1级关键词之间的关联度和优先度建立M1级关键词之间的层级连接关系，通过不同的M1级关键词的层级连接关系连接M1级元数据集群；

继续在M1级元数据集群中标记若干个Mn+1级关键词，重复上述所述的集群分层方法，直至标记若干个Mn级关键词后，每个Mn级关键词所辐射的数据范围为0,n为整数且n≥1。

作为本发明的进一步改进：在构建数据中台后，还包括对层级连接关系的修改或者修正，包括：在建立层级连接关系或构建数据中台后，还包括对初级元数据集群的层级连接关系的修改：主动将需要修改的初级元数据集群接入另一个初级元数据集群的层级连接关系中，所接入的初级元数据集群的下层级的层级连接关系保持不变，或，所接入的初级元数据集群的下层级的层级连接关系随着修改的层级连接关系一同接入另一个初级元数据集群的层级连接关系中。

一种数据中台，应用如上述任意一项所述的一种数据中台构建方法，其中，包括：

数据采集模块：包括用于采集企业元数据的元数据采集模块和用于在核心关键词所在的采集区间的进行采集端；

数据存储模块：包括用于存储企业元数据的元数据存储模块和用于存储元数据集群的集群数据存储模块；

数据标记查找模块：用于标记元数据包中的核心关键词或某一层级中层级元数据集群的层级关键词；

数据计算模块：用于判断每个关键词之间的关联度和优先度、关键词所辐射的数据范围，以核心关键词将元数据分成若干个初级元数据集群，建立层级连接关系以构建数据中台；

数据管理模块：用于管理和调整各层级的关键词以及所对应的层级连接关系；

数据应用查询模块：与用户终端连接，用于供用户查询和应用企业数据。与现有技术相比，本发明的有益效果是：

本发明能够根据所设置的核心关键词以及其辐射范围来将元数据精确分成基础的多个初级元数据集群，通过分析判断每个核心关键词之间的关联度和优先度来逐步构建数据中台，进而优化了不同数据集群之间的层级连接关系，从而提高数据之间的关联度的精确性，优化了数据之间的层级逻辑关系，从而提高后续查询和应用的速度，提高企业的管理效率；能够通过初级元数据集群所对应的数据区域加设对应的采集端进行采集，从而提高后续数据采集的精确性；后续能够增加新的核心关键词及其相应的层级连接关系，使得遗漏的数据能够得到补充，提高了企业数据的完整性。

附图说明

图1为本发明的数据中台构建流程示意图。

图2为本发明的元数据采集分类示意图。

图3为本发明的集群连接情况示意图1。

图4为本发明的集群连接情况示意图2。

图5为本发明的集群连接情况示意图3。

图6为本发明的初级元数据集群细化示意图1。

图7为本发明的初级元数据集群细化示意图2。

图8为本发明的用户终端身份判断方法流程图。

具体实施方式

现结合附图说明与实施例对本发明进一步说明：

实施例一：

本实施例提供如附图1-7所示的一种数据中台构建方法，其中，包括：

采集目标企业的元数据，存储形成元数据包；

设置若干个核心关键词，根据每个核心关键词在元数据包内查找并标记元数据中对应的核心关键词，分析判断每个核心关键词所辐射的数据范围和每个核心关键词之间的关联度和优先度；

根据每个核心关键词所辐射的数据范围将元数据分成若干个初级元数据集群；

根据每个核心关键词之间的关联度和优先度建立若干个核心关键词之间的层级连接关系，通过不同核心关键词的层级连接关系连接所对应的初级元数据集群；根据所述初级元数据集群和所述层级连接关系构建数据中台；

通过用户终端连接数据中台进行查询和应用。

在本实施例所提供的数据中台构建方法中，首先对企业的元数据进行采集和存储，而后，根据企业的查询和应用需求设置所需要的若干个核心关键词，例如，在企业中，可以根据不同的部门来选取设置若干个核心关键词，比如设置为研发、工艺、业务、设计、人事、财务等；或者根据不同的业务流程来选取设置核心关键词，比如设置为研发、生产、仓储、销售、运输、售后等。

确定完若干个所需要的核心关键词后，根据核心关键词所辐射的数据范围将总的元数据以核心关键词为类目，将其分为由核心关键词所对应的初级元数据集群，此时，完成了对于数据之间的关系的基础性调整，保证了每个初级元数据集群中的数据与核心关键词的关联度，初步确保该集群中数据的准确性。

在完成将总的元数据分成若干个以核心关键词为中心的初级元数据群的基础上，通过分析判断不同关键词之间的关联度和优先度，根据其分析判断结果来建立这若干个核心关键词之间的层级连接关系，最后根据核心关键词之间的层级连接关系来连接所对应的初级元数据集群，通过上述的若干个初级元数据集群和层级连接关系来构建的数据中台，使得各个初级元数据集群之间的关系能够得到准确的对应关系，以帮助在后续用户查找数据时能够准确理解关键词之间的关系，从而准确、高效地查找所需要的数据。

在本实施例中，提供如附图2-4所示的某一元数据的实施例以及该数据的层级连接关系：如附图2所示，采集元数据，在元数据内设置关键词a、b、c等，由关键词a、b、c等将总的元数据分成所对应的关键词a初级元数据集群、关键词b元数据集群、关键词c元数据集群等。

其中，核心关键词之间的层级连接关系，以及由核心关键词的层级连接关系所导致的初级数据集群之间的层级连接关系，包括但不限于以下几种，例如附图3中，集群之间的层级连接关系为依次从上至下为单向关系，用户在查阅和应用所需数据时进行逐级(即a-b-c逐级)查阅。

例如附图4中，集群之间的层级连接关系为星状关系，即以某一核心关键词所在的初级元数据集群为核心进而与其他核心关键词的初级元数据集群进行层级连接，用户在查阅和应用所述数据时通过主核心关键词所在的集群向某个下一个层级的数据进行查阅(即a-b，或a-c-d等)；

例如附图5中，集群之间的层级连接关系为雪花状连接关系，即核心关键词所述的初级元数据集群的下属的某个初级元数据集群中，存在同时连接多个再下一级的初级元数据集群，用户在查阅和应用所需要的数据时，通过主要的核心关键词进入某一下属的核心关键词的数据集群后，根据需求选择某一向下的关键词的方向，(即a-b时，可选择b-d或者b-e)。

依照本实施例所构建的数据中台，使得数据之间的连接关系更加具有逻辑、清晰和明确，使得后续用户对所需要的数据进行查询时能够更好的理解，有效提高了查询的速度和效率，避免数据关系错乱导致难以查询到所需要的数据。

进一步的，将若干个初级元数据集群与元数据包分区存储，并根据每个核心关键词所在的采集区间加设对应的采集端进行数据采集，将每个采集端所采集的数据补充进对应的初级元数据集群，并自动在数据中台中更新。

将原始的元数据集群与按照核心关键词分类的初级元数据集群分区存储，避免了新老数据之间的干扰，也帮助企业能够查询原始数据。在以此构建了数据中台之后，为了后续在企业的应用中进一步加强对数据中台的构建和完善，根据核心关键词所区分的采集区间来加设新的采集端对数据进行采集和更新，使得数据中台在后续能够进一步配合企业的工作。

进一步的，在构建数据中台之后，通过数据中台对已构建的核心关键词进行新增、删除或修改。

其中，当新增核心关键词时，根据新增核心关键词与原有若干个的核心关键词之间的关联度和优先度，自动建立新增核心关键词与原有核心关键词的层级连接关系；或，主动将新增核心关键词插入任意一个层级连接关系中；或，主动将新增核心关键词独立于原有的层级连接关系设置。

其中，当删除核心关键词时，将该核心关键词所属的初级元数据集群并入上一层级的核心关键词的初级元数据集群，将该核心关键词的下属层级连接关系直接与上一层级的核心关键词连接；当修改核心关键词的名称时，该核心关键词的初级元数据集群保留不变。

在实际操作中，构建完数据中台之后，企业可能需要补录一些纸质文档的数据，或者新增数据，此时，在基于原有的层级连接关系上，可以通过数据中台来进行补录，补录的数据梳理方法与上述方法相同，首先在新增和数据中确定该新增数据的新增核心关键词，之后再根据所设置的新增核心关键词与原有的核心关键词之间的关联度和优先度来建立层级连接关系，“自动建立新增核心关键词与原有核心关键词的层级连接关系”后，其新增的核心关键词的初级元数据集群以该层级连接关系与原有的核心关键词的初级元数据集群进行连接；或者根据企业需求来将新增核心关键词连通所述的初级元数据集群插入原有的任意一个层级连接关系中。

例如附图6所示，分析判断新增关键词h与原有的若干个关键词的关联度和优先度，进而自动将新增的初级元数据集群h接入原有的层级连接关系中。或者根据需求主动将其接入原有的某一层级连接关系中。

又或者将新增的核心关键词的初级元数据集群独立与原有的层级连接关系设置，这样设置后，新增的数据与原有的数据之间不存在连接关系，使得用户在查询时能够直接进入新增数据中查询所需要的信息，而无法在原先构建的数据框架中查询，用户终端主页上同时出现原有数据和新增数据的入口，供用户选择。

进一步的，在建立基础的初级元数据集群并完成层级连接关系的构建后，基础的数据分类方式完成，为了进一步将每个初级元数据集群内的数据进行梳理、细化下级数据之间的层级连接关系，使得数据之间更加清晰，因此，如附图7所示(以初级元数据集群a为例)，建立初级元数据集群后，还包括集群分层方法，包括：在所述初级元数据集群a中标记若干个M1级关键词，通过每个M1级关键词所辐射的数据范围将初级元数据集群分成若干个M1级元数据集群，根据不同的M1级关键词之间的关联度和优先度建立M1级关键词之间的层级连接关系，通过不同的M1级关键词的层级连接关系连接M1级元数据集群；

继续在M1级元数据集群中标记若干个Mn+1级关键词，重复上述所述的集群分层方法，直至标记若干个Mn级关键词后，每个Mn级关键词所辐射的数据范围为0,n为整数且n≥1。即在该层元数据集群中，每个数据之间彼此没有层级关系，因此所标记的若干个数据作为关键词没有辐射范围，因此，将其作为最后的层级，最终完成数据的层级关系的梳理细化。由此，将初级元数据集群内的数据逐步梳理完成层级分级，使得数据的在查询线路上更加清晰，提高查询数据的准确性和系统的可用性。

进一步的，当任意两个或多个核心关键词所辐射的数据范围存在重合时，将重合的数据依照被辐射的核心关键词的个数进行复制后，分别并入每个核心关键词所属的初级元数据集群。这一步的设置是为了防止数据在分类时出现误差或者错误，导致核心关键词所包含的数据有所缺失，例如，在销售和售后两个关键词所辐射的数据范围中，均存在产品的名称、生产日期等数据，若判断归属时出现查错，可能会导致其中一个关键词的数据有所缺失，使得在后续查询和应用时在该关键词内查找不到所需数据，而经过上述设置后，保证了每个关键词所属的数据集群的完整性。

在本实施例中，对核心关键词或者进一步设置的n级关键词的关联度和优先度通过大数据计算中心进行综合计算分析。

进一步的，在构建数据中台后，还包括对层级连接关系的修改或者修正，包括：在建立层级连接关系或构建数据中台后，还包括对初级元数据集群的层级连接关系的修改：主动将需要修改的初级元数据集群接入另一个初级元数据集群的层级连接关系中，所接入的初级元数据集群的下层级的层级连接关系保持不变，或，所接入的初级元数据集群的下层级的层级连接关系随着修改的层级连接关系一同接入另一个初级元数据集群的层级连接关系中。例如，将层级连接关系a-b-c中的初级元数据集群b改为接入层级连接关系d-e之中，则结果变为层级连接关系a-c和层级连接关系d-e-b，或者结果变为层级连接关系a和层级连接关系d-e-b-c，或者根据需求将其插入d与e之间，变为d-b-e或者d-b-c-e。这样设置是为了方便后续根据企业需求对数据的层级连接关系进行修改，能够避免修改对原有的下层层级连接关系的破坏，完善了数据中台的系统对数据处理的能力。

进一步的，在本实施例中，还包括对用户通过用户终端查阅和应用数据的权限和安全处理方法，包括：通过用户终端输入请求身份信息，比较所述请求身份信息和预设的预设身份信息，得到请求系数值w；判断请求系数值与预设请求区间w1的关系，根据请求系数值与预设请求区间w1的关系来展示查阅的内容和开放应用的权限。

具体如附图8所示：

若请求系数值w为w∈w1，则仅允许查询所请求的数据；即仅开放所请求查阅数值的查阅权限。

若请求系数值w为0＜w＜w1，则拒绝该用户的请求；

若请求系数值w＝0，则拒绝该用户的请求同时将该用户终端记录并进行报警；一般来说，使用该数据中台的用户该是所在企业的员工，极少会出现所输入的请求身份信息全部不符合预设身份信息的情况，若出现该种情况，则可能是一些不属于该数据中台服务的人群试图获取内部数据，为了防止内部信息的泄漏和保证安全性，直接标记该用户终端的ip地址并向企业内部进行报警。

若请求系数值w＞w1，则允许查阅并应用所请求的数据。其应用包括不限于将数据导出文件包等。

通过上述方法，能够根据用户的级别来允许用于的权限，并提高对查阅时的安全性。

实施例二：

本实施例提供一种数据中台，应用如上述实施例一所述的一种数据中台构建方法，其中，包括：

数据采集模块：包括用于采集企业元数据的元数据采集模块和用于在核心关键词所在的采集区间的进行采集端；

数据存储模块：包括用于存储企业元数据的元数据存储模块和用于存储元数据集群的集群数据存储模块；

数据标记查找模块：用于标记元数据包中的核心关键词或某一层级中层级元数据集群的层级关键词；

数据计算模块：用于判断每个关键词之间的关联度和优先度、关键词所辐射的数据范围，以核心关键词将元数据分成若干个初级元数据集群，建立层级连接关系以构建数据中台；

数据管理模块：用于管理和调整各层级的关键词以及所对应的层级连接关系；

数据应用查询模块：与用户终端连接，用于供用户查询和应用企业数据。

数据采集模块对企业数据进行采集，并通过数据存储模块将数据进行存储成元数据包，而后通过数据标记查找模块对存储后的元数据标记核心关键词，通过数据计算模块对所收集的信息进行分析判断从而构建数据中台，通过数据管理模块对初步梳理完成的数据进行整理或调整，最终通过用户终端接入数据应用查询模块进行查询和应用。

本发明的主要功能：应用于各类企业的数据中台的构建方法或用于企业的数据中台，通过本发明的数据中台的构建方法或数据中台，将企业的数据进行层级分层处理，梳理逻辑关系，来建立更便于理解和精确的层级连接关系，使得用户在查阅时能够更准确的理解和查阅，提高查阅速度，提高企业的工作效率。

综上所述，本领域的普通技术人员阅读本发明文件后，根据本发明的技术方案和技术构思无需创造性脑力劳动而作出其他各种相应的变换方案，均属于本发明所保护的范围。