数据集成系统和基于数据集成系统的数据处理方法

摘要

本发明公开了数据集成系统和基于数据集成系统的数据处理方法，涉及计算机技术领域。该系统包括：资源隔离模块、数据采集模块、数据集成模块和系统数据库，其中，资源隔离模块用于：设置系统和所系统包含的至少一个项目对应的权限，以实现资源隔离；数据采集模块用于：调用数据采集接口进行数据采集，将采集的数据落地到系统数据库；数据集成模块用于：访问系统数据库中的数据，按照数据处理规则对访问的数据进行处理。该实施方式能够将数据采集和数据集成过程一体化，用户不需要为每个应用开发后台服务，减少人力成本和代码维护成本。

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据集成系统和基于数据集成系统的数据处理方法。

背景技术

在数据化时代，数据处理是系统应用的核心所在，大部分的系统应用都必须经过数据采集、数据加工、数据接口调用的过程。为了处理不同业务的差异性数据，应用必须为每个业务开发一个应用服务后台，并且开发多套基本一致的代码，执行相同性质的工作，导致人力成本和代码维护成本较高。

发明内容

有鉴于此，本发明实施例提供一种数据集成系统和基于数据集成系统的数据处理方法，能够将数据采集和数据集成过程一体化，用户不需要为每个应用开发后台服务，减少人力成本和代码维护成本。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据集成系统。

本发明实施例的一种数据集成系统，包括：资源隔离模块、数据采集模块、数据集成模块和系统数据库；其中，所述资源隔离模块用于：设置系统和所述系统包含的至少一个项目对应的权限，以实现资源隔离；所述数据采集模块用于：调用数据采集接口进行数据采集，将采集的数据落地到所述系统数据库；所述数据集成模块用于：访问所述系统数据库中的数据，按照数据处理规则对访问的数据进行处理。

可选地，所述资源隔离模块还用于：管理系统角色，其中，所述系统角色包括：超级管理员、所述至少一个项目的项目创建者和所述至少一个项目的项目用户。

可选地，所述资源隔离模块还用于：设置所述超级管理员具有管理系统菜单、配置流量阈值、配置超时时间阈值、以及查看所述至少一个项目的项目日志的权限；设置所述至少一个项目的项目创建者具有所述至少一个项目对应的权限，以及通过至少一个项目的项目创建者控制所述至少一个项目的项目用户对所述至少一个项目对应的项目菜单的权限。

可选地，所述资源隔离模块还用于：通过所述至少一个项目的唯一标识，对所述系统数据库进行资源隔离，以确定所述至少一个项目对应的授权数据库；其中，所述系统数据库包括：公共数据区和外部数据源。

可选地，所述数据采集模块还用于：接收数据采集指令，根据所述数据采集指令，确定落地数据库和采集表结构，其中，所述落地数据库为所述系统数据库中的数据库；调用所述数据采集接口进行数据采集，按照所述采集表结构，将采集的数据存储至所述落地数据库中。

可选地，所述数据采集模块还用于：解析所述数据采集指令，获取所述数据采集指令对应的目标项目；根据所述目标项目的唯一标识，从所述系统数据库中选择所述目标项目管理的至少一个授权数据库；判断所述至少一个授权数据库中是否具有所述采集表结构；若是，则确定具有所述采集表结构的数据库为所述落地数据库；若否，则从所述至少一个授权数据库中选择一个数据库为所述落地数据库，以及，创建所述采集表结构。

可选地，所述数据采集模块还用于：通过所述目标项目配置采集表基本信息，其中，所述采集表基本信息包括以下选项中至少一项：表名、表备注、字段名、字段备注以及字段类型；将所述采集表基本信息转化为Create语句，以创建所述采集表结构。

可选地，所述数据采集接口对应的传入字段包括：所述数据采集指令对应的唯一标识和所述采集的数据。

可选地，所述数据采集模块还用于：解析所述采集的数据，获得至少一个插入语句；按照预设的防冲突方式，执行所述至少一个插入语句，以将所述采集的数据存储至所述落地数据库中；其中，所述预设的防冲突方式包括以下选项中至少一项：标识字段识别方式、相同语句不操作方式以及更新方式。

可选地，所述数据集成模块还用于：接收所述数据处理请求，识别所述数据处理请求对应的项目和待执行数据处理规则；调用所述待执行数据处理规则对应的数据处理接口，根据识别的项目的唯一标识访问所述系统数据库，获得待处理数据；按照所述待执行数据处理规则对所述待处理数据进行处理，通过调用的数据处理接口返回处理结果。

可选地，所述数据集成模块还用于：采用前后端分离的方式配置至少一个数据处理规则，提供所述至少一个数据处理规则对应的数据处理接口；其中，所述待执行数据处理规则为所述至少一个数据处理规则中的规则。

可选地，所述至少一个数据处理规则支持多种开发语言；以及，所述数据集成模块加载多种数据源驱动包，以便与所述系统数据库建立连接。

可选地，所述系统还包括：系统运维模块，用于：提供所述至少一个项目对应的全量与增量的导入导出功能，以实现测试环境和生产环境的数据一致；设置所述至少一个项目对应的日志查看权限；监控所述至少一个项目的流量、超时时间以及最大返回数。

可选地，所述系统运维模块还用于：接收导出需求，根据所述导出需求获取在测试环境中需要全量或增量导出的数据，以便将所述导出的数据在生产环境中导入；其中，所述导出的数据包括：项目信息、角色信息、接口信息。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种基于数据集成系统的数据处理方法。

本发明实施例的基于数据集成系统的数据处理方法，包括：接收数据采集指令，解析所述数据采集指令，调用数据采集接口进行数据采集，将采集的数据落地到系统数据库；接收数据处理请求，根据所述数据处理请求访问所述系统数据库中的数据，按照数据处理规则对访问的数据进行处理。

可选地，所述接收数据采集指令，解析所述数据采集指令，调用数据采集接口进行数据采集，将采集的数据落地到系统数据库，包括：接收所述数据采集指令，解析所述数据采集指令，确定落地数据库和采集表结构，其中，所述落地数据库为所述系统数据库中的数据库；调用所述数据采集接口进行数据采集，按照所述采集表结构，将采集的数据存储至所述落地数据库中。

可选地，所述解析所述数据采集指令，确定落地数据库和采集表结构，包括：解析所述数据采集指令，获取所述数据采集指令对应的目标项目；根据所述目标项目的唯一标识，从所述系统数据库中选择所述目标项目管理的至少一个授权数据库；判断所述至少一个授权数据库中是否具有所述采集表结构；若是，则确定具有所述采集表结构的数据库为所述落地数据库；若否，则从所述至少一个授权数据库中选择一个数据库为所述落地数据库，以及，创建所述采集表结构。

可选地，所述创建所述采集表结构，包括：通过所述目标项目配置采集表基本信息，其中，所述采集表基本信息包括以下选项中至少一项：表名、表备注、字段名、字段备注以及字段类型；将所述采集表基本信息转化为Create语句，以创建所述采集表结构。

可选地，所述数据采集接口对应的传入字段包括：所述数据采集指令对应的唯一标识和所述采集的数据。

可选地，所述将采集的数据存储至所述落地数据库中，包括：解析所述采集的数据，获得至少一个插入语句；按照预设的防冲突方式，执行所述至少一个插入语句，以将所述采集的数据存储至所述落地数据库中；其中，所述预设的防冲突方式包括以下选项中至少一项：标识字段识别方式、相同语句不操作方式以及更新方式。

可选地，所述接收数据处理请求，根据所述数据处理请求访问所述系统数据库中的数据，按照数据处理规则对访问的数据进行处理，包括：接收所述数据处理请求，识别所述数据处理请求对应的项目和待执行数据处理规则；调用所述待执行数据处理规则对应的数据处理接口，根据识别的项目的唯一标识访问所述系统数据库，获得待处理数据；按照所述待执行数据处理规则对所述待处理数据进行处理，通过调用的数据处理接口返回处理结果。

可选地，所述方法还包括：采用前后端分离的方式配置至少一个数据处理规则，提供所述至少一个数据处理规则对应的数据处理接口；其中，所述待执行数据处理规则为所述至少一个数据处理规则中的规则。

可选地，所述至少一个数据处理规则支持多种开发语言；以及，所述数据集成模块加载多种数据源驱动包，以便与所述系统数据库建立连接。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种电子设备。

本发明实施例的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明实施例的基于数据集成系统的数据处理方法。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本发明实施例的基于数据集成系统的数据处理方法。

上述发明中的一个实施例具有如下优点或有益效果：根据本发明实施例的数据集成系统，具有采集数据功能的数据采集模块，并将采集的数据落地到系统数据库中，利用数据集成模块对系统数据库中的数据进行处理，从而可以满足用户需求，为用户提供需求数据。此外，数据集成系统的资源隔离模块可以设置系统和系统包含的至少一个项目对应的权限，实现在系统级别和项目级别的资源隔离。面对数据类应用的繁复需求，本发明实施例提供的数据集成系统可以将数据采集、数据集成、系统运维过程一体化，用户不需要为每个应用开发后台服务，减少人力成本和代码维护成本，简化了运维工作量。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据集成系统的结构示意图；

图2是根据本发明实施例的基于数据集成系统的数据处理方法的主要步骤的示意图；

图3是根据本发明实施例的数据采集过程的示意图；

图4是根据本发明实施例的将采集的数据存储至落地数据库的过程的示意图；

图5是根据本发明实施例的数据处理过程的示意图；

图6是本发明实施例可以应用于其中的示例性系统架构图；

图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的数据集成系统的结构示意图。如图1所示，该数据集成系统100可以包括：资源隔离模块101、数据采集模块102、数据集成模块103和系统数据库104。

其中，资源隔离模块101用于：设置系统和系统包含的至少一个项目对应的权限，以实现资源隔离；数据采集模块102用于：调用数据采集接口进行数据采集，将采集的数据落地到系统数据库；数据集成模块103用于：访问系统数据库中的数据，按照数据处理规则对访问的数据进行处理。

数据化时代，大部分的系统应用需要经过数据采集、数据加工、数据接口调用的过程。为了处理不同业务的差异性数据，应用必须为每个业务开发一个应用服务后台，并且开发多套基本一致的代码，执行相同性质的工作，导致人力成本和代码维护成本较高。本发明实施例提供的数据集成系统，具有采集数据功能的数据采集模块，并将采集的数据落地到系统数据库中，利用数据集成模块对系统数据库中的数据进行处理，从而可以满足用户需求，为用户提供需求数据。此外，本发明实施例中，数据集成系统是支撑各业务运行的基础运行环境，其以项目为单位管理具体的业务，各项目对应具体的业务需求。数据集成系统的资源隔离模块可以设置系统和系统包含的至少一个项目对应的权限，实现在系统级别和项目级别的资源隔离。

因此，面对数据类应用的繁复需求，本发明实施例提供的数据集成系统可以将数据采集、数据集成过程一体化，用户不需要为每个应用开发后台服务，减少人力成本和代码维护成本。

在本发明的可参考实施例中，资源隔离模块101还用于：管理系统角色。其中，系统角色包括：超级管理员、至少一个项目的项目创建者和至少一个项目的项目用户。

超级管理员拥有数据集成系统的最大权限，负责运维整个系统。具体的，超级管理员可以管理系统菜单、配置流量阈值、配置超时时间阈值、以及查看至少一个项目的项目日志。其中，超级管理员管理系统菜单可以包括：(1)超级管理员可以管理系统包含的至少一个项目，比如可以增加某项目A，也即，该系统可以满足该项目A对应的具体业务需求(需要注意的是，此处的业务需求是指数据类业务需求)；(2)超级管理员可以管理系统数据库，具体的，超级管理员可以增加系统数据库的存储量、或者可以增加系统数据库的类型等；(3)超级管理员可以管理系统包含的数据处理规则；(4)超级管理员可以管理系统包含的应用程序接口，即API接口；(5)超级管理员还可以管理系统的运维状态。此外，超级管理员可以配置系统的流量阈值、以及系统包含的每个项目对应的流量阈值；超级管理员可以配置系统的超时时间阈值、以及每个项目对应的超时时间阈值；超级管理员还具有查询每个项目的项目日志的权限。

每个项目具有对应的项目创建者，该项目创建者可以看作为项目管理员，其拥有项目级别的最大权限。项目用户可以看作为普通用户，项目用户的权限可以由不同项目的项目创建者开发具体的权限。也就是说，数据集成系统的资源隔离模块101采用项目隔离资源的方式，以项目为单位，通过角色控制到每个用户对该项目对应的菜单以及数据接口权限进行隔离。即每个项目根据需求创建不同的角色，对数据源、API接口、项目上线、项目日志等菜单进行分角色隔离，可实现不同角色拥有不同的菜单权限。

在本发明的可参考实施例中，资源隔离模块101还用于：通过至少一个项目的唯一标识，对系统数据库进行资源隔离，以确定至少一个项目对应的授权数据库；其中，系统数据库包括：公共数据区和外部数据源。公关数据区是系统提供的存储数据的区域，如Oracle集群，外部数据源可以是由项目本身提供。每个项目可管理一个或多个授权数据库，即项目不可访问未授权的数据库。本发明实施例中，数据集成系统通过项目唯一标识作为数据资源隔离的标识，实现系统数据库的资源隔离。

还有，资源隔离模块101还可以采用Apache Shiro框架(即，一个强大且易用的Java安全框架，执行身份验证、授权、密码学和会话管理)，利用@RequiresPermissions注解，能够提取用户在权限记录表中的记录，核对用户权限。一般情况下，默认用户拥有最小权限，仅能进行查看操作，项目创建者可根据实际情况开放用户的权限。

数据采集模块102能够调用数据采集接口进行数据采集，并将采集的数据落地到系统数据库104中，即将采集的数据存储至系统数据库104中。

在本发明的可参考实施例中，数据采集模块102还用于：接收数据采集指令，根据数据采集指令，确定落地数据库和采集表结构；调用数据采集接口进行数据采集，按照采集表结构，将采集的数据存储至落地数据库中。其中，数据采集指令是根据项目需求设置的采集指令，比如可以设置项目A每隔10分钟进行一次数据采集。落地数据库是指采集的数据需要存储的具体的数据库，该落地数据库属于系统数据库中的数据库。采集表结构是指采集的数据在落地数据库中存储的结构形式。数据采集模块102可以通过数据采集指令，确定出落地数据库和采集表结构，这样就可以调用数据采集接口，将采集的数据按照采集表结构的形式存储至落地数据库中。

本发明的可参考实施例中，数据采集模块102还用于：解析数据采集指令，获取数据采集指令对应的目标项目；根据目标项目的唯一标识，从系统数据库中选择目标项目管理的至少一个授权数据库；判断至少一个授权数据库中是否具有采集表结构；若是，则确定具有采集表结构的数据库为落地数据库；若否，则从至少一个授权数据库中选择一个数据库为落地数据库，以及，创建采集表结构。

数据采集指令是根据项目需求设置的采集指令，因此解析数据采集指令，可以得到该数据采集指令对应的目标项目。上文已经说明，资源隔离模块101可以通过至少一个项目的唯一标识，对系统数据库进行资源隔离，以确定至少一个项目对应的授权数据库。因此，在得到目标项目后，可以根据目标项目的唯一标识，从系统数据库中选择出目标项目管理的至少一个授权数据库。接着，判断目标项目管理的授权数据库中是否包含采集表结构形式的数据表。若包含，则可以确定具有采集表结构的数据库为落地数据库，这样可以直接将采集的数据存储至落地数据库中。若不包含，则可以从授权数据库中选择一个数据库为落地数据库，具体的，可以随机选择，也可以根据授权数据库的工作状态选择。

在目标项目管理的授权数据库中不包含采集表结构形式的数据表的情况下，需要创建采集表结构。因此，本发明的可参考实施例中，数据采集模块102还用于：通过目标项目配置采集表基本信息，其中，采集表基本信息包括以下选项中至少一项：表名、表备注、字段名、字段备注以及字段类型；将采集表基本信息转化为Create语句，以创建采集表结构。

数据采集模块102调用数据采集接口进行数据采集，其中数据采集接口可以为标准的应用程序接口，该接口可接受长数组，对数据进行批量加载操作，需要传入的字段包括以下两个：数据采集指令对应的唯一标识和采集的数据。数据采集指令对应的唯一标识可以用于追踪数据落地状态。

数据采集模块102将采集的数据落地到系统数据库104的具体过程可以为：解析采集的数据，获得至少一个插入语句；按照预设的防冲突方式，执行至少一个插入语句，以将采集的数据存储至落地数据库中；其中，预设的防冲突方式包括以下选项中至少一项：标识字段识别方式、相同语句不操作方式以及更新方式。标识字段识别方式可以将具有相同标识的记录，采用更新操作进行落地。相同语句不操作方式可以是对相同的数据不进行落地存储。更新方式可以是预先设置特定字段，对于特定字段相同的数据，下次再导入同样数据，则删掉该数据，重新插入，以完成更新操作。如，在表user的user_id为特定字段，如果落地数据库里有user_id为1的数据，下次再导入同样数据，将删掉该条数据，重新插入，做更新操作。

数据集成模块103可以对系统数据库中的数据进行处理，从而可以满足用户需求，为用户提供需求数据。具体的，数据集成模块103还用于：接收数据处理请求，识别数据处理请求对应的项目和待执行数据处理规则；调用待执行数据处理规则对应的数据处理接口，根据识别的项目的唯一标识访问系统数据库，获得待处理数据；按照待执行数据处理规则对待处理数据进行处理，通过调用的数据处理接口返回处理结果。

数据处理请求是外部发送的请求，可以为业务应用发送的请求。数据集成模块103在接收到数据处理请求后，可以识别出该数据处理请求对应的项目和待执行数据处理规则。本发明实施例中项目可以对应具体的业务需求，且数据处理请求为业务应用发送的请求，因此可以通过数据处理请求，获取具体的项目和该请求对应的待执行数据处理规则。然后，调用待执行数据处理规则对应的数据处理接口，访问系统数据库得到待处理数据，以及按照待执行数据处理规则对待处理数据进行处理，最后可以通过调用的数据处理接口返回处理结果。

数据集成模块103可以满足需求，对数据进行处理，因此数据集成模块103具有若干个数据处理规则。因此，在本发明的可参考实施例中，数据集成模块103还用于：采用前后端分离的方式配置至少一个数据处理规则，提供至少一个数据处理规则对应的数据处理接口；其中，待执行数据处理规则为至少一个数据处理规则中的规则。数据集成模块103可以采用前后端分离的方式，前端采用VUE框架(即，轻量级的前端框架)，提供可视化界面，以便研发人员可调试配置代码，后端采用Springboot框架，结合Groovy动态语言分析jar包，支持SQL、JAVA、Python等多种开发语言。此外，数据集成模块103配置的数据处理规则可以支持多种开发语言；以及，数据集成模块103还可以加载多种数据源驱动包，以便与系统数据库104建立连接。

现有技术中，为了处理不同业务的差异性数据，应用为每个业务开发一个应用服务后台，开发多套基本一致的代码，且需要进行大量相同性质的系统运维工作，导致人力成本和代码维护成本的更高。因此，如图1所示，数据集成系统100还包括：系统运维模块105。

系统运维模块105用于：提供至少一个项目对应的全量与增量的导入导出功能，以实现测试环境和生产环境的数据一致；设置至少一个项目对应的日志查看权限；监控至少一个项目的流量、超时时间以及最大返回数。

系统运维模块105可以提供项目的全量与增量的导入导出功能。该功能可以保证生产与测试数据一致，解决测试环境进行的流程在生产环境中重复操作的问题。具体的，数据集成系统100接收导出需求，根据导出需求获取在测试环境中需要全量或增量导出的数据，以便将导出的数据在生产环境中导入；其中，导出的数据包括：项目信息、角色信息、接口信息。系统运维模块105可根据具体的项目需求选择在测试环境全量或增量导出数据，在生产环境导入数据，实现测试和生产的数据一致性。全量是指将整个项目内容导入导出，增量是指有选择的将内容导入导出，一般情况下，全量适用于第一次上线的项目，增量适用于已经上线的项目。

此外，系统运维模块105可以结合ELK技术设置至少一个项目对应的日志查看权限。其中，ELK是三个开源软件Elasticsearch、Logstash、Kibana的缩写，它是一个轻量级的日志收集处理工具。Elasticsearch是个开源分布式搜索引擎；Logstash主要是用来日志的搜集、分析、过滤日志的工具；Kibana也是一个开源和免费的工具，可以为Logstash和ElasticSearch提供的日志分析友好的Web界面，可以帮助汇总、分析和搜索重要数据日志。

系统运维模块105还可以结合Sentinel(即，面向分布式服务架构的高可用流量防护组件，主要以流量为切入点，从限流、流量整形、熔断降级、系统负载保护、热点防护等多个维度来帮助开发者保障微服务的稳定性)流量控制技术，监控至少一个项目的流量。系统运维模块105还可以控制数据库连接超时时间和最大返回数。

面对数据类应用的繁复需求，本发明实施例提供的数据集成系统可以将数据采集、数据集成、系统运维过程一体化，用户不需要为每个应用开发后台服务，减少人力成本和代码维护成本，简化了运维工作量。

图2是根据本发明实施例的基于数据集成系统的数据处理方法的主要步骤的示意图。如图2所示，基于数据集成系统的数据处理方法的主要步骤可以包括：

步骤S201，接收数据采集指令，解析数据采集指令，调用数据采集接口进行数据采集，将采集的数据落地到系统数据库；

步骤S202，接收数据处理请求，根据数据处理请求访问系统数据库中的数据，按照数据处理规则对访问的数据进行处理。

数据集成系统可以用于数据采集和数据处理，步骤S201说明了数据采集的过程，将采集的数据落地到系统数据句中；步骤S202说明了数据处理的过程，按照数据处理规则对访问的数据进行处理。

图3是根据本发明实施例的数据采集过程的示意图。如图3所示，数据采集过程可以包括：

步骤S2011，接收数据采集指令，解析数据采集指令，确定落地数据库和采集表结构，其中，落地数据库为系统数据库中的数据库；

步骤S2012，调用数据采集接口进行数据采集，按照采集表结构，将采集的数据存储至落地数据库中。

其中，步骤S2011中，解析数据采集指令，确定落地数据库和采集表结构，可以包括：

(1)解析数据采集指令，获取数据采集指令对应的目标项目；

(2)根据目标项目的唯一标识，从系统数据库中选择目标项目管理的至少一个授权数据库；

(3)判断至少一个授权数据库中是否具有采集表结构；

(4)若是，则确定具有采集表结构的数据库为落地数据库；

(5)若否，则从至少一个授权数据库中选择一个数据库为落地数据库，以及，创建采集表结构。

在步骤(5)中，如果目标项目管理的授权数据库中不包含采集表结构形式的数据表，那么需要创建采集表结构。具体的，创建采集表结构可以为：通过目标项目配置采集表基本信息，其中，采集表基本信息包括以下选项中至少一项：表名、表备注、字段名、字段备注以及字段类型；将采集表基本信息转化为Create语句，以创建采集表结构。

数据采集方法中，需要调用数据采集接口进行采集，数据采集接口对应的传入字段包括：数据采集指令对应的唯一标识和采集的数据。该数据采集指令对应的唯一标识可以用于追踪数据落地状态。

图4是根据本发明实施例的将采集的数据存储至落地数据库的过程的示意图。如图4所示，将采集的数据存储至落地数据库的过程可以包括：

步骤S401，解析采集的数据，获得至少一个插入语句；

步骤S402，按照预设的防冲突方式，执行至少一个插入语句，以将采集的数据存储至落地数据库中。

其中，预设的防冲突方式包括以下选项中至少一项：标识字段识别方式、相同语句不操作方式以及更新方式。在上文中已经详细说明预设的防冲突方式，此处不再累述。

图5是根据本发明实施例的数据处理过程的示意图。如图5所示，数据处理过程可以包括：

步骤S2021，接收数据处理请求，识别数据处理请求对应的项目和待执行数据处理规则；

步骤S2022，调用待执行数据处理规则对应的数据处理接口，根据识别的项目的唯一标识访问系统数据库，获得待处理数据；

步骤S2023，按照待执行数据处理规则对待处理数据进行处理，通过调用的数据处理接口返回处理结果。

项目可以对应具体的业务需求，且数据处理请求为业务应用发送的请求，因此可以通过数据处理请求，获取具体的项目和该请求对应的待执行数据处理规则。然后，调用待执行数据处理规则对应的数据处理接口，访问系统数据库得到待处理数据，以及按照待执行数据处理规则对待处理数据进行处理，最后可以通过调用的数据处理接口返回处理结果。

其中，待执行数据处理规则为至少一个数据处理规则中的规则，因此需要预先配置数据处理规则，具体可以采用如下方法：采用前后端分离的方式配置至少一个数据处理规则，提供至少一个数据处理规则对应的数据处理接口。此外，至少一个数据处理规则支持多种开发语言，如SQL、JAVA、Python等。

面对数据类应用的繁复需求，本发明实施例提供的数据集成系统可以执行数据采集方法和数据处理方法，能够将数据采集、数据集成过程一体化，用户不需要为每个应用开发后台服务，减少人力成本和代码维护成本。

图6示出了可以应用本发明实施例的基于数据集成系统的数据处理方法或数据集成系统的示例性系统架构600。

如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。服务器605可以是提供各种服务的服务器

需要说明的是，本发明实施例所提供的基于数据集成系统的数据处理方法一般由服务器605执行，相应地，数据集成系统一般设置于服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括资源隔离模块、数据采集模块、数据集成模块和系统数据库。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，资源隔离模块还可以被描述为“设置系统和系统包含的至少一个项目对应的权限，以实现资源隔离的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收数据采集指令，解析数据采集指令，调用数据采集接口进行数据采集，将采集的数据落地到系统数据库；接收数据处理请求，根据数据处理请求访问系统数据库中的数据，按照数据处理规则对访问的数据进行处理。

根据本发明实施例的数据集成系统，具有采集数据功能的数据采集模块，并将采集的数据落地到系统数据库中，利用数据集成模块对系统数据库中的数据进行处理，从而可以满足用户需求，为用户提供需求数据。此外，数据集成系统的资源隔离模块可以设置系统和系统包含的至少一个项目对应的权限，实现在系统级别和项目级别的资源隔离。面对数据类应用的繁复需求，本发明实施例提供的数据集成系统可以将数据采集、数据集成、系统运维过程一体化，用户不需要为每个应用开发后台服务，减少人力成本和代码维护成本，简化了运维工作量。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。