一种基于数据标准的数据应用构架及实现方法

摘要

本发明公开了一种基于数据标准的数据应用构架及实现方法，该方法构思了在新建同行业数据中心时，引入已有的数据标准，并将接入的数据对应到数据标准，则系统可以计算已经满足数据应用使用的数据标准占比和缺项，并指导数据中心进行相关数据的接入，数据应用迁移到新的数据中心时，数据应用不做更改，只需将原数据中心的数据标准映射到新数据中心的数据标准，即可实现数据应用的无缝迁移，解决了传统的数据应用建设架构中的每个数据应用依赖特定的若干个数据服务，当数据应用部署在新的数据中心上时，数据应用需要根据新的数据中心的数据仓库重新定制开发数据服务的问题。

说明书

技术领域

本发明属于计算机技术领域，尤其涉及一种基于数据标准的数据应用构架及实现方法，上述构建方法能解决传统的数据应用建设架构中的每个数据应用依赖特定的若干个数据服务，当数据应用部署在新的数据中心上时，数据应用需要根据新的数据中心的数据仓库重新定制开发数据服务的问题。

背景技术

数据中心(Data center)是云服务的业务支撑平台，由大量的服务器(Server)组成。这些服务器以机架(Rack)的形式被组织起来，每个机架上通常放置几十到上千个服务器，提供并行计算与资源存储。同一机架和不同机架上的服务器之间，都存在数据交换需求，为了满足这种需求，数据中心内部包含一个多级交换网络。

通常，在数据中心每个机架顶端放置了一个ToR(Top-of-Rack)交换器，负责本机架服务器之间的数据交换及与其他机架的数据交换接口。ToR交换器通常需要具有包头解析和路由功能。各个ToR交换器再连接到核心交换器(Core Switch)，实现不同机架上服务器之间的数据交换与共享。由于Core交换器负责不同机架之间数据流的电路交换(Circuitswitching)，可以采用crossbar交叉连接交换器来实现。ToR和Core交换器组成一个多级交换网络，通常采用经典的胖树(Fat-Tree)结构。

随着云服务的快速发展，用户数目和服务内容不断增长，数据中心的规模也越来越大，所包含的服务器数量呈现出指数增长趋势，内部数据交换量也以超线性的方式增长。这种快速发展的趋势，对数据中心的可扩展性提出了非常高的要求。然而，现有数据中心的扩展性存在以下不足：目前的基于数据中心的数据应用开发是基于数据表完成的，数据应用与数据表强关联，当需要在其他数据中心建设同类数据应用时，建设方需要重新调研数据；这种困局造成数据应用无法大面积推广，数据创新成果难以推广，当一个数据中心有上百个数据应用需要复用到一个新的数据中心时，上百个数据应用几乎等于重建。

发明内容

本发明所要解决的技术问题在于针对传统的数据应用建设架构中的每个数据应用依赖特定的若干个数据服务，当数据应用部署在新的数据中心上时，数据应用需要根据新的数据中心的数据仓库重新定制开发数据服务的问题，而构思的在新建同行业数据中心时，引入已有的数据标准，并将接入的数据对应到数据标准，则系统可以计算已经满足数据应用使用的数据标准占比和缺项，并指导数据中心进行相关数据的接入，数据应用迁移到新的数据中心时，数据应用不做更改，只需将原数据中心的数据标准映射到新数据中心的数据标准，即可实现数据应用的无缝迁移。

为实现上述发明目的，本发明采用如下的技术方案：

一种基于数据标准的数据应用构架，其包括数据应用模块，数据中心和外部数据模块，所述的数据中心包括数据标准转换模块、数据标准库模块、数据仓库模块和标准数据服务模块；所述外部数据模块将数据接入到所述数据标准转换模块中进行数据标准转换，所述的数据标准库模块为外部接入的数据提供对应的数据标准，经过所述数据标准转换模块转换后的数据存入所述数据仓库模块，所述标准数据服务模块调用所述数据标准库模块和所述数据仓库模块中的数据进行数据服务；所述的标准数据服务模块对外部的数据应用模块进行数据共享；所述的标准数据服务模块的数量为一个。

一种基于数据标准的数据应用构架的实现方法，包含以下步骤：数据仓库有且仅有一个标准数据服务对外提供数据共享能力，当数据在接入到数据仓库时，经过数据标准转换，为数据标注对应的数据标准，数据应用访问数据仓库中的数据时，以数据标准为参数进行访问，当数据应用迁移到新的数据中心时，数据应用不做更改，只需将原数据中心的数据标准映射到新数据中心的数据标准，即可实现数据应用的无缝迁移。

本发明与现有技术相比具有以下优点：本发明解决了传统的数据应用建设架构中的每个数据应用依赖特定的若干个数据服务，当数据应用部署在新的数据中心上时，数据应用需要根据新的数据中心的数据仓库重新定制开发数据服务的问题，所构思的基于数据标准的数据应用构架在新建同行业数据中心时，引入已有的数据标准，并将接入的数据对应到数据标准，则系统可以计算已经满足数据应用使用的数据标准占比和缺项，并指导数据中心进行相关数据的接入，数据应用迁移到新的数据中心时，数据应用不做更改，只需将原数据中心的数据标准映射到新数据中心的数据标准，即可实现数据应用的无缝迁移。

附图说明

图1为现有技术中的数据应用架构流程图；

图2为本发明中的数据应用架构流程图；

图3为本发明中的数据表与数据标准之间进行数据关联的示意图；

具体实施方式

下面结合图1-3与具体实施方式对本发明做进一步的说明。

如图1所示为现有传统的数据应用架构流程图，从图中可以看出每个数据应用依赖特定的若干个数据服务，即，数据应用开发是基于数据表完成的，数据应用与数据表强关联，当需要在其他数据中心建设同类数据应用时，建设方需要重新调研数据；这种困局造成数据应用无法大面积推广，数据创新成果难以推广，当一个数据中心有上百个数据应用需要复用到一个新的数据中心时，上百个数据应用几乎等于重建，可见，当数据应用部署在新的数据中心上时，数据应用需要根据新的数据中心的数据仓库重新定制开发数据服务。

如图2所示为本发明中的数据应用架构流程图，从图中可以看出，一种基于数据标准的数据应用构架，其包括数据应用模块，数据中心和外部数据模块，所述的数据中心包括数据标准转换模块、数据标准库模块、数据仓库模块和标准数据服务模块；所述外部数据模块将数据接入到所述数据标准转换模块中进行数据标准转换，所述的数据标准库模块为外部接入的数据提供对应的数据标准，经过所述数据标准转换模块转换后的数据存入所述数据仓库模块，所述标准数据服务模块调用所述数据标准库模块和所述数据仓库模块中的数据进行数据服务；所述的标准数据服务模块对外部的数据应用模块进行数据共享；所述的标准数据服务模块的数量为一个。

一种基于数据标准的数据应用构架的实现方法，包含以下步骤：数据仓库有且仅有一个标准数据服务对外提供数据共享能力，当数据在接入到数据仓库时，经过数据标准转换，为数据标注对应的数据标准，数据应用访问数据仓库中的数据时，以数据标准为参数进行访问，当数据应用迁移到新的数据中心时，数据应用不做更改，只需将原数据中心的数据标准映射到新数据中心的数据标准，即可实现数据应用的无缝迁移。

在此，以人员基本信息和结婚证信息、房地产权信息查询为例，说明本发明中所述方法的运行逻辑：

假设有一个民政应用查询婚姻双方所拥有的房产信息。传统开发模式下，问题一：在A市，民政应用需要在数据仓中找到相关的数据表，并在代码中解析相应的字段，通过查询结婚证信息，得到双方的身份证号码，再根据身份证号码得到人员基本信息，最后查询房地产权的若干张数据表获取房地产权信息。即每一个应用系统需要了解数据之间的逻辑关系，该逻辑被写入代码中。

问题二：民政的该应用在B市部署时，需要重新分析B市数仓中的数据表，并解析相关字段，修改业务代码；同时，若有部分字段缺失，则需要耗费大量人力在数仓中查找替代项，遍历整个数仓。工作量巨大。

本发明中的方法，针对问题一：民政应用在查询数仓的数据服务时，只需要输入婚姻证号对应的字段标准数据元，以及需要返回的字段集合对应的标准数据元。数仓自动计算数据间的逻辑关系，并准确定位数据存储的数据位置，执行查询和包装结果集，返回给应用系统。省去了应用系统开发过程中，分析数仓架构的工作，屏蔽了上层业务系统对数据底层存储逻辑的感知。

针对问题二：数仓可以根据输入的民政应用调用中的返回结果集，自动查找相关数据的存储位置，确定数据是否已经入仓，以及数据是否可被关联引用。从而达到数据自检，告知上层应用，当前数仓是否满足应用的部署需求，以及所缺的内容。

具体的操作流程如下：

1.定义数据标准目录：数据标准包括业务对象和数据元，业务对象由若干数据元构成，如“人”是一个业务对象，“驾驶证”是一个业务对象；“姓名”是一个数据元。

2.基于数据标准，接入业务数据：在接入数据的同时，为每个字段初始化一个标准数据元，并将其归属到一个业务对象，如下表1所示。

表1：

按上述方法归集的业务数据，每一张表的字段都对应了一个标准数据元。

3.实施数据标准治理：对数仓中所有标准数据元和业务对象实施治理。合并相同含义的标准数据元，为每一个业务对象设置唯一的业务主键。每个业务对象的治理等价于三范式的数据表设计，实施完成后，数据表与数据标准之间的关系图3所示。

如图3所示，数据表的每一个字段都会和数据标准例的每一个数据元对应。数据标准的数据元之间也有关联关系。

4.基于数据标准访问业务数据：当需要查询房地产权信息时，数仓首先根据查询的数据标准，找到对应的数据表。再根据输入的查询条件对应的数据元，进行图路径搜索，找到结婚证号与房地产权相关数据元之间的路径。当路径存在时，说明业务查询成立，数仓创建查询的执行计划进行查询，否则返回不可查询的字段集合。

基于数据标准构建应用与数据的对话渠道，屏蔽应用对底层数据存储的感知，数据标准是具有语义信息的；用数据标准承载语义信息，将数据之间的业务关系以数据元关系的形式保存在数仓中；数仓可以根据数据标准承载的语义信息，自行计算数据的存储位置，构建查询的执行计划。

本发明与现有技术相比具有以下优点：本发明解决了传统的数据应用建设架构中的每个数据应用依赖特定的若干个数据服务，当数据应用部署在新的数据中心上时，数据应用需要根据新的数据中心的数据仓库重新定制开发数据服务的问题，所构思的基于数据标准的数据应用构架在新建同行业数据中心时，引入已有的数据标准，并将接入的数据对应到数据标准，则系统可以计算已经满足数据应用使用的数据标准占比和缺项，并指导数据中心进行相关数据的接入，数据应用迁移到新的数据中心时，数据应用不做更改，只需将原数据中心的数据标准映射到新数据中心的数据标准，即可实现数据应用的无缝迁移。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明型的保护范围之内。

综上所述仅体现了本发明的优选技术方案，本领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，都应为本发明的技术。