一种实时数据中台的处理方法、装置及平台

摘要

本发明涉及一种实时数据中台的处理方法、装置及平台，该方法包括：根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；接收业务数据并分析得到其数据源特征信息，根据数据源特征信息调取对应的目标数据转换策略，将业务数据转换为对应的存储数据；基于客户类型及预设的存储数据标识策略构建存储数据的存储标识；根据存储标识及预设的存储策略将存储数据聚合存储至对应的数据同步服务库、数据转化服务库，并将存储标识发送至数据查询目录中存储。本发明支持多种目标数据库及数据源的增量数据同步，便于用户理解数据含义。

说明书

技术领域

本发明涉及数据处理的技术领域，具体涉及一种实时数据中台的处理方法、装置及平台。

背景技术

随着互联网的发展，企业业务系统增多，数据来源各种各样，经营所需的数据需求高频且多样，但是数据系统复杂、数据不统一，数据分析速度、数据准确一致性难保障，战略决策与数据化运营受阻，所以需要一个数据中台提供稳定一致数据访问服务。

目前各个用户在数据开发领域的痛点包括如下内容：

数据源繁杂，各类信息系统产生的数据，无法高效抽取使用。数据处理管理软件繁多，不同供应商的软件套装连通困难，缺乏一致性用户体验。数据孤岛，难以发挥数据价值。数据管理困难，受限于开发语言、技术框架、数据存储等诸多技术问题，无法进行统一管理。重复开发，缺少规范和共享及规划机制，重复开发，浪费严重。

基于以上诸多业务痛点，针对客户需要构建“全”、“统”及“通”的大数据体系，即能够支持对企业全域数据按照统一规范进行管理，统一入口完成数据交付服务，各个组件环节都能够连接打通方便客户更好的专注于数据应用开发层面工作的实时数据中台的处理方案是本领域亟待解决的技术问题。

发明内容

本发明的目的在于针对现有技术的不足而提供一种实时数据中台的处理方法、装置及平台。本发明的目的可以通过如下所述技术方案来实现。

本发明提供一种实时数据中台的处理方法，包括：

预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；

根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；

接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；

基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储。

可选地，其中，该方法还包括：

预设客户类型与访问客户端的权限管理策略对应关系；

检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的访问数据。

可选地，其中，该方法还包括：

接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述存储标识，进而查询得到对应的所述存储数据；

记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端的用户行为喜好并存储；

再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与推荐数据的对应关系向所述客户端推送对应的推送数据。

可选地，其中，该方法还包括：

预设各个存储数据类型的异构数据源校验策略；

基于所述存储标识得到所述存储数据的类型，根据所述异构数据源校验策略校验所述存储数据的数据记录和内容一致性；

在校验所述存储数据通过时，确认存储所述存储数据。

可选地，其中，该方法还包括：

预设各个数据类型对应数据库中对应元数据信息的离线更新策略；

根据所述离线更新策略离线更新所述存储数据的元数据信息，并同步至统一的内部元数据查询接口。

另一方面，本发明还提供一种实时数据中台的处理装置，包括：数据存储设置模块、数据存储部署模块、数据转换模块及数据存储模块；其中，

所述数据存储设置模块，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；

所述数据存储部署模块，与所述数据存储设置模块相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；

所述数据转换模块，与所述数据存储部署模块相连接，接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；

所述数据存储模块，与所述数据转换模块相连接，基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储。

可选地，其中，该装置还包括：用户权限管理模块，与所述数据存储模块相连接，用于：

预设客户类型与访问客户端的权限管理策略对应关系；

检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的访问数据。

可选地，其中，该装置还包括：用户行为分析模块，与所述数据存储模块相连接，用于：

接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述存储标识，进而查询得到对应的所述存储数据；

记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端的用户行为喜好并存储；

再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与推荐数据的对应关系向所述客户端推送对应的推送数据。

可选地，其中，该装置还包括：存储数据校验模块，与所述数据存储模块相连接，用于：

预设各个存储数据类型的异构数据源校验策略；

基于所述存储标识得到所述存储数据的类型，根据所述异构数据源校验策略校验所述存储数据的数据记录和内容一致性；

在校验所述存储数据通过时，确认存储所述存储数据。

另一方面，本发明还提供一种实时数据中台的处理平台，包括：实时数据中台的处理装置、数据源库及存储数据库；

所述实时数据中台的处理装置，与所述数据源库及存储数据库相连接，包括：数据存储设置模块、数据存储部署模块、数据转换模块及数据存储模块；其中，

所述数据存储设置模块，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个所述数据类型到存储数据类型之间的数据转换策略；

所述数据存储部署模块，与所述数据存储设置模块相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库；

所述数据转换模块，与所述数据存储部署模块相连接，接收业务数据并分析得到其数据源特征信息，根据所述数据源特征信息调取对应的目标数据转换策略，将所述业务数据转换为对应的存储数据；

所述数据存储模块，与所述数据转换模块相连接，基于所述客户类型及预设的存储数据标识策略构建所述存储数据的存储标识；根据所述存储标识及预设的存储策略将所述存储数据聚合存储至对应的所述数据同步服务库、数据转化服务库，并将所述存储标识发送至数据查询目录中存储；

所述数据源库，为大数据平台，存储有所述存储数据的数据源；

所述存储数据库，用于存储所述存储数据。

与现有技术比，本发明的有益效果：

本发明的实时数据中台的处理方法、装置及平台，可以进行秒级别的数据同步、转化、聚合操作，可以支持kudud和TiDB等多种目标数据库，还支持MongoDB、SQLServer等数据源的增量数据同步。可以实现微服务管理，实时数据中台中各个组件均可采用微服务的方式开发部署，使服务方便易用，状态可控。围绕业务领域来创建新的应用服务，可以独立进行开发、管理和迭代。使用一些功能比较明确、业务比较精炼的服务解决了更大、更实际的问题，大大增强了数据中台的适用场景和应用扩张能力。离线更新数据库中的元数据信息，方便用户检索了解数据含义，统一查询企业内部元数据查询入口，便于用户理解数据含义。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明实施例中的实时数据中台的处理方法的流程示意图；

图2为本发明实施例中第二种实时数据中台的处理方法的流程示意图；

图3为本发明实施例中第三种实时数据中台的处理方法的流程示意图；

图4为本发明实施例中第四种实时数据中台的处理方法的流程示意图；

图5为本发明实施例中第五种实时数据中台的处理方法的流程示意图；

图6为本发明实施例中的实时数据中台的处理装置的结构示意图；

图7为本发明实施例中第二种实时数据中台的处理装置的结构示意图；

图8为本发明实施例中第三种实时数据中台的处理装置的结构示意图；

图9为本发明实施例中第四种实时数据中台的处理装置的结构示意图；

图10为本发明实施例中实时数据中台的处理平台的结构示意图。

具体实施方式

下面将结合具体实施例，对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明的保护范围。

如图1所示，为本实施例中一种实时数据中台的处理方法的流程示意图。具体地，该方法包括如下步骤：

步骤101、预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个数据类型到存储数据类型之间的数据转换策略。

步骤102、根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库。

步骤103、接收业务数据并分析得到其数据源特征信息，根据数据源特征信息调取对应的目标数据转换策略，将业务数据转换为对应的存储数据。

步骤104、基于客户类型及预设的存储数据标识策略构建存储数据的存储标识；根据存储标识及预设的存储策略将存储数据聚合存储至对应的数据同步服务库、数据转化服务库，并将存储标识发送至数据查询目录中存储。

在一些可选的实施例中，如图2所示，为本实施中第二种实时数据中台的处理方法的流程示意图，与图1中不同的是，还包括：

步骤201、预设客户类型与访问客户端的权限管理策略对应关系。

步骤202、检测到访问客户端时，根据权限管理策略对应关系得到访问客户端的权限；根据访问客户端的权限调取对应的访问数据。

在一些可选的实施例中，如图3所示，为本实施中第三种实时数据中台的处理方法的流程示意图，与图1中不同的是，该方法还包括：

步骤301、接收客户端的用户行为请求，根据用户行为请求获取对应的存储标识，进而查询得到对应的存储数据。

步骤302、记录用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到客户端的用户行为喜好并存储。

步骤303、再次接受客户端的用户行为请求时，根据用户行为喜好与推荐数据的对应关系向客户端推送对应的推送数据。

在一些可选的实施例中，如图4所示，为本实施中第四种实时数据中台的处理方法的流程示意图，与图1中不同的是，该方法还包括：

步骤401、预设各个存储数据类型的异构数据源校验策略。

步骤402、基于存储标识得到存储数据的类型，根据异构数据源校验策略校验存储数据的数据记录和内容一致性。

步骤403、在校验存储数据通过时，确认存储该存储数据。

在一些可选的实施例中，如图5所示，为本实施中第五种实时数据中台的处理方法的流程示意图，与图1中不同的是，还包括：

步骤501、预设各个数据类型对应数据库中对应元数据信息的离线更新策略。

步骤502、根据离线更新策略离线更新存储数据的元数据信息，并同步至统一的内部元数据查询接口。

在一些可选的实施例中，如图6所示，为本实施中实时数据中台的处理装置的示意图，该装置用于实施上述的实时数据中台的处理方法。具体地，该装置包括：数据存储设置模块601、数据存储部署模块602、数据转换模块603及数据存储模块604。

数据存储设置模块601，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个数据类型到存储数据类型之间的数据转换策略。

数据存储部署模块602，与数据存储设置模块601相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库。

数据转换模块603，与数据存储部署模块602相连接，接收业务数据并分析得到其数据源特征信息，根据数据源特征信息调取对应的目标数据转换策略，将业务数据转换为对应的存储数据。

数据存储模块604，与数据转换模块603相连接，基于客户类型及预设的存储数据标识策略构建存储数据的存储标识；根据存储标识及预设的存储策略将存储数据聚合存储至对应的数据同步服务库、数据转化服务库，并将存储标识发送至数据查询目录中存储。

在一些可选的实施例中，如图7所示，为本实施中第二种实时数据中台的处理装置的示意图，与图6中不同的是，还包括：用户权限管理模块701，与数据存储模块604相连接，用于：

预设客户类型与访问客户端的权限管理策略对应关系；检测到访问客户端时，根据权限管理策略对应关系得到访问客户端的权限；根据访问客户端的权限调取对应的访问数据。

在一些可选的实施例中，如图8所示，为本实施中第三种实时数据中台的处理装置的示意图，与图6中不同的是，还包括：用户行为分析模块801，与数据存储模块604相连接，用于：

接收客户端的用户行为请求，根据用户行为请求获取对应的存储标识，进而查询得到对应的存储数据。

记录用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到客户端的用户行为喜好并存储。

再次接受客户端的用户行为请求时，根据用户行为喜好与推荐数据的对应关系向客户端推送对应的推送数据。

在一些可选的实施例中，如图9所示，为本实施中第四种实时数据中台的处理装置的示意图，还包括：存储数据校验模块901，与数据存储模块604相连接，用于：

预设各个存储数据类型的异构数据源校验策略；基于存储标识得到存储数据的类型，根据异构数据源校验策略校验存储数据的数据记录和内容一致性；在校验存储数据通过时，确认存储该存储数据。

在一些可选的实施例中，如图10所示，为一种实时数据中台的处理平台的结构示意图，包括：实时数据中台的处理装置1001、数据源库1002及存储数据库1003。

实时数据中台的处理装置1001，与数据源库1002及存储数据库1003相连接，包括：数据存储设置模块、数据存储部署模块、数据转换模块及数据存储模块；其中，数据存储设置模块，预设客户类型与实时数据中各个数据类型之间的对应关系，设置各个数据类型到存储数据类型之间的数据转换策略。

数据存储部署模块，与数据存储设置模块相连接，根据客户类型与预设数据同步服务库部署策略、数据转化服务库部署策略及环境配置管理的对应关系，构建数据同步服务库及数据转化服务库。

数据转换模块，与数据存储部署模块相连接，接收业务数据并分析得到其数据源特征信息，根据数据源特征信息调取对应的目标数据转换策略，将业务数据转换为对应的存储数据。

数据存储模块，与数据转换模块相连接，基于客户类型及预设的存储数据标识策略构建存储数据的存储标识；根据存储标识及预设的存储策略将存储数据聚合存储至对应的数据同步服务库、数据转化服务库，并将存储标识发送至数据查询目录中存储。

数据源库1002，为大数据平台，存储有存储数据的数据源。

存储数据库1003，用于存储该存储数据。

本实施例的实时数据处理方案，一站式数据产品体系，覆盖数据全链路开发流程，包括数据采集、数据分析、数据挖掘、任务运维、数据质量、元数据管理等关键功能。充分满足企业建设数据中台过程中的多样复杂需求，兼容性强，解放开发人员生产力，极大缩短了数据价值的萃取过程，提升企业提炼数据价值的能力。支持多种数据源，开箱即用，基于WEB的图形化操作界面，快速上手，极大地降低了企业大数据开发学习门槛。弹性轻量，灵活匹配各个阶段时期建设，单台服务器即可部署，不限硬件厂商、型号和年限，各功能模块可按需搭配，逐步进行数据中台建设，降低了企业一次性设备投入。

以上借助具体实施例对本发明做了进一步描述，但是应该理解的是，这里具体的描述，不应理解为对本发明的实质和范围的限定，本领域内的普通技术人员在阅读本说明书后对上述实施例做出的各种修改，都属于本发明所保护的范围。