一种灵活可配接口的数据采集系统及方法

摘要

本发明公开了一种灵活可配接口的数据采集系统及方法，该方法包括如下步骤：获取数据源信息；根据数据源信息确定数据采集的任务名称；根据任务名称配置接口基础信息和接口参数；执行任务，根据接口基础信息和接口参数请求接口进行数据采集；将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。

说明书

技术领域

本发明涉及数据采集技术领域，尤其涉及一种灵活可配接口的数据采集系统及方法。

背景技术

随着社会的不断进步，为了进一步提升人们的生活质量和便捷性，需要对各个来源的数据进行整合分析，接口作为数据采集的重要途径之一愈发显得重要。

然而使用接口进行数据采集也面临着巨大挑战，如现存接口大多根据业务需求，第三方技术选型，接口风格，数据格式等条件进行定制开发，耦合性强。一旦第三方接口进行升级，如入参类型，个数的改变、返回结果重要字段的追加。势必会影响到数据采集任务，导致数据采集任务跟着升级改造。接口的升级必然伴随着采集方法修改，联调测试，线上部署等一系列工作量的提升，人力的投入，财力消耗，同时也影响到数据的实时性。如果现在有很多接口需要进行接口数据采集并入库，并需要定时的去执行，就成为了一项繁杂的工作。

发明内容

为了解决现有技术的不足，本发明设计了一种灵活可配接口的数据采集系统及方法，兼容多种接口，灵活可配置，不因第三方接口而产生定制数据采集的重复工作量，不仅能解决因业务不同而导致的接口数据采集定制开发量，同时也减少了后期因第三方接口升级而导致的人力，财力投入。

本发明为了实现上述目的，本发明的技术方案如下：

第一方面，公开了一种灵活可配接口的数据采集方法，包括如下步骤：

获取数据源信息，所述数据源包括数据源链接信息、数据库名称、数据表名称、数据表字段；

根据数据源信息确定数据采集的任务名称；

根据任务名称配置接口基础信息和接口参数；

执行任务，根据接口基础信息和接口参数请求接口进行数据采集；

将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。

进一步的技术方案，所述接口基础信息包括接口风格、接口地址、请求类型、返回数据类型以及数据源。

进一步的技术方案，所述接口风格包括restful和webservice两种类型，所述restful和webservice两种类型对应的接口请求不同。

进一步的技术方案，所述请求类型包括是否分页采集，确定分页参数，所述分页参数包括参数名、参数类型、参数位置、参数值以及参数描述。

进一步的技术方案，所述映射关系包括全量模式和增量模式，其中，在全量模式下，接口请求到的数据进行一次性拉取；增量模式下，根据增量字段记录的值多次拉取，下次拉取从当前值继续拉取。

进一步的技术方案，所述根据任务名称配置还包括任务同步周期配置。

进一步的技术方案，所述任务同步周期配置，包括一次性任务或周期性任务，配置任务模式为插入或覆盖、配置起止时间以及调度频率。

第二方面，公开了一种灵活可配接口的数据采集系统，包括：

数据源获取模块，其被配置为：获取数据源信息，所述数据源包括数据源链接信息、数据库名称、数据表名称、数据表字段；

任务名称配置模块，其被配置为：根据数据源信息确定数据采集的任务名称；

接口参数配置模块，其被配置为：根据任务名称配置接口基础信息和接口参数；

数据采集模块，其被配置为：执行任务，根据接口基础信息和接口参数请求接口进行数据采集；

数据存储模块，其被配置为：将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。

第三方面，公开一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述任一所述的一种灵活可配接口的数据采集方法的步骤。

第四方面，公开一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述任一所述的一种灵活可配接口的数据采集方法的步骤。

与现有技术相比，本发明的有益效果是：

本发明的接口可灵活配置，通过配置接口请求参数、接口返回参数、接口类型、数据源，系统便会初步生成返回参数和指定存储表的映射关系，同时可以配置周期任务，按期执行接口数据采集任务。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明的接口数据采集整体流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合，下面结合附图与实施例对本发明作进一步说明。

如图1所示，一种灵活可配接口的数据采集方法，包括如下步骤：

S101:获取数据源信息，所述数据源信息包括数据源链接信息，数据库名称、数据表名称、数据表字段等。

S102:根据数据源信息确定数据采集的任务名称；

S103:根据任务名称配置接口基础信息和接口参数；

所述接口基础信息包括接口风格(例如restful、webservice)、接口地址、请求方式(例如get、post、put、delete)、返回数据类型(json)以及数据源。

作为具体的实施例，所述接口风格包括restful、webservice等，其中restful是一种架构风格，其核心是面向资源；而webService是底层SOAP协议，主要核心是面向活动。

S104:执行任务，根据接口基础信息和接口参数请求接口进行数据采集；

根据任务配置项，先区分接口风格，restful和webservice两种类型的接口请求是不同的，执行不同的方法。(1)restful接口请求使用restemplate，根据配置的参数名称、参数位置(query，head，body，viriable)、请求方式，代码组装请求参数，进行接口请求；(2)Webservice接口的请求，首先根据配置的参数用代码组装接口请求实例，其中包括接口地址、参数，命名空间(namespace)，方法名称。

所述请求类型包括是否分页采集、分页参数、参数名、参数类型(字符串类型或者数值类型)、参数位置(query，head，body，viriable)、参数值、参数描述等。

S105：将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。

所述将返回的参数和数据表字段构建映射关系包括：将接口输出参数与数据表的字段进行对应，用于数据入库。其中构建映射关系的方式分为全量模式和增量模式，增量模式需选择增量字段。

其中，在全量模式下，是将接口请求到的数据一次性拉取；增量模式下，根据增量字段记录的值多次拉取，下次拉取从此值继续拉取。

根据配置的接口参数和数据表字段构建映射关系，找到配置的输出参数、对应的数据库以及对应的数据表字段，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。

S106：配置接口数据采集任务，所述数据采集任务为一次性采集或周期性采集；进行任务同步周期配置。

进行任务同步周期配置，分为一次性任务或周期性任务，配置任务模式为插入或覆盖、配置起止时间以及调度频率。

实施例二

本实施例的目的是提供一种灵活可配接口的数据采集系统，包括：

数据源获取模块，其被配置为：获取数据源信息，所述数据源包括数据源链接信息、数据库名称、数据表名称、数据表字段；

任务名称配置模块，其被配置为：根据数据源信息确定数据采集的任务名称；

接口参数配置模块，其被配置为：根据任务名称配置接口基础信息和接口参数；

数据采集模块，其被配置为：执行任务，根据接口基础信息和接口参数请求接口进行数据采集；

数据存储模块，其被配置为：将返回的参数和数据表字段构建映射关系，链接到数据库，遍历接口请求，对返回的参数和对应的数据表字段对应后保存入库。

实施例三

本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例一中一种灵活可配接口的数据采集方法的步骤。

实施例四

本实施例的目的是提供一种计算机可读存储介质。一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行实施例一中的一种灵活可配接口的数据采集方法的步骤。

包括：应当注意，尽管在上文的详细描述中提及了设备的若干模块或子模块，但是这种划分仅仅是示例性而非强制性的。实际上，根据本公开的实施例，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。