基于代理服务的Hadoop生态组件调度服务实现方法及系统

摘要

本发明提供了基于代理服务的Hadoop生态组件调度服务实现方法及系统，其解决现有单一调用Hadoop应用组件无法进行有效的管理与监控的问题以及无法适应交通管理各个业务系统的异构性的问题；其在交通管理大数据平台和/或其它交管业务系统与Hadoop技术组件之间设置代理服务系统，交通管理大数据平台和/或其它交管业务系统通过代理服务系统的RPC控制端与接口服务模块进行业务数据的交互传输并由RPC控制端实现服务进程的调用及处理，接口服务模块对业务数据进行格式化、校验后与调度服务模块进行数据的交互传输，调度服务模块对业务数据进行调度管理及监控，代理服务系统的服务器模块对Hadoop技术组件接口数据进行封装以实现代理服务系统与Hadoop技术组件之间数据的交互。

说明书

技术领域

本发明涉及公安交通管理行业Hadoop生态应用组件的调度服务技术领域，具体为基于代理服务的Hadoop生态组件调度服务实现方法及系统。

背景技术

目前全国交通管理的各个业务信息系统的数据规模已达到数百亿条。并且，全国每年新增违法记录数据量有数亿。当前交通管理行业已经尝试使用Hadoop技术体系进行数据管理工作，但是其采用的单一调用Hadoop应用组件的方式很难进行有效的管理与监控，同时也无法适应交通管理各个业务系统的异构性。为此，需要设计一种统一的技术组件调度方法，实现hadoop技术体系与多源、异构业务系统的整合，提高交管数据与技术组件的可靠性，实现基于代理服务Hadoop的组件调度、存储管理、平台监控及日志管理等功能。

发明内容

针对上述问题，本发明提供了基于代理服务的Hadoop生态组件调度服务实现方法及系统，其能解决现有单一的调用Hadoop应用组件无法进行有效的管理与监控的问题，同时解决其无法适应交通管理各个业务系统的异构性的问题。

基于代理服务的Hadoop生态组件调度服务实现方法，其特征在于：其在交通管理大数据平台和/或其它交管业务系统、与Hadoop技术组件之间设置代理服务系统，所述交通管理大数据平台和/或其它交管业务系统均通过所述代理服务系统的RPC控制端与接口服务模块进行业务数据的交互传输并由所述RPC控制端实现服务进程的调用及处理，所述接口服务模块对所述业务数据进行格式化、校验后与调度服务模块进行数据的交互传输，所述调度服务模块对业务数据进行调度管理及监控，代理服务系统的服务器模块对所述Hadoop技术组件接口数据进行封装以实现所述代理服务系统与Hadoop技术组件之间数据的交互。

基于代理服务的Hadoop生态组件调度服务系统，其包括交通管理大数据平台和/或其它交管业务系统、以及Hadoop技术组件，其特征在于：在所述交通管理大数据平台和/或其它交管业务系统、与所述Hadoop技术组件之间设置有代理服务系统，所述代理服务系统包括

RPC控制端，用于与所述交通管理大数据平台和/或其它交管业务系统直接对接，并进行进程的调用及程序处理；

接口服务模块，用于对数据进行消息格式转换、校验及权限控制；

调度服务模块，用于任务管理、任务监控及日志管理；

以及处理器模块，用于对所述Hadoop技术组件接口封装并与所述调节服务模块进行数据的交互。

其进一步特征在于：

所述RPC控制端包括RPC客户端和RPC服务器端，所述RPC客户端与交通管理大数据平台和/或其它交管业务系统直接对接，所述RPC客户端与所述RPC服务器端数据传送对接；

所述接口服务模块包括消息格式转换单元、内容校验单元和权限控制单元，所述消息格式转换单元用于将数据格式进行转换，所述内容校验单元通过创建数据检验规则自动为核心系统或外围系统提供缺失、逻辑等各种数据检验预警告警，用于提示各运行板块业务与管理人员实时进行数据处置，所述权限控制用于对服务的访问进行安全控制；

所述调度服务模块包括任务管理单元、服务监控单元和日志管理单元；所述任务管理单元通过触发器设置作业定时运行规则，并控制作业的运行时间进行定时任务调度，实现定时完成定制任务；所述服务监控单元对服务运行状态、调用频率、数据流量进行实时监控并褚地检测各种异常信息和业务系统数据处理情况；所述日志管理单元用于服务处理过程的日志记录与监控。

基于代理服务的Hadoop生态组件调度服务实现方法及系统，其通过在交通管理大数据平台和/或其它交管业务系统、与Hadoop技术组件之间设置代理服务系统实现了业务系统与Hadoop技术组件之间的关注点的隔离，通过提供代理服务与服务的动态、静态调用降低业务系统与Hadoop技术组件的耦合程度；代理服务作为可重用的服务定义，屏蔽对后端Hadoop接口服务的直接访问，降低了后端Hadoop平台的切换对业务系统的影响程度，并提升了整体大数据体系的适应性和可扩展性；在基于代理的Hadoop生态组件调度模式中，代理服务中对服务的封装通过代理服务消息流来实现，代理服务消息流也是一种交换服务流，由服务调度引擎统一调度执行，解决了业务系统与Hadoop技术组件之间数据交互的管理问题；此外，本发明系统能够实现业务系统与Hadoop之间的运行隔离性，对于系统间的适配，做到了侵入性最小，保护用户原有投资和已有业务的稳定性，最大程度的保证集成过程不影响原有应用系统的运行稳定性。

附图说明

图1为本发明基于代理服务的Hadoop生态组件调度服务系统组成图；

图2为本发明基于代理服务的Hadoop生态组件调度服务实现方法RPC调用逻辑框图。

具体实施方式

本发明基于代理服务的Hadoop生态组件调度服务实现方法，其在交通管理大数据平台和/或其它交管业务系统、与Hadoop技术组件之间设置代理服务系统，所述交通管理大数据平台和/或其它交管业务系统通过代理服务系统的RPC控制端与接口服务模块进行业务数据的交互传输并由RPC控制端实现服务进程的调用及处理，接口服务模块对所述业务数据进行格式化、校验后与调度服务模块进行数据的交互传输，所述调度服务模块对业务数据进行调度管理及监控，代理服务系统的服务器模块对所述Hadoop技术组件接口数据进行封装以实现所述代理服务系统与Hadoop技术组件之间数据的交互。

见图1，本发明基于代理服务的Hadoop生态组件的交管业务调度服务系统，其包括交通管理大数据平台10-1和/或其它交管业务系统10-2、以及Hadoop技术组件30，在交通管理大数据平台10-1和/或其它交管业务系统10-2、与Hadoop技术组件30之间设置有代理服务系统，代理服务系统包括

RPC控制端21，用于与交通管理大数据平台10-1和/或其他交管业务系统10-2直接对接，并进行进程的调用及程序处理；

接口服务模块22，用于对数据进行消息格式转换、校验及权限控制；

调度服务模块23，用于任务管理、任务监控及日志管理；

以及处理器模块24，用于对Hadoop技术组件接口封装并与所述调节服务模块进行数据的交互，处理器模块24包括Sqoop处理器、Phoenix处理器、Hbase处理器、HIVE处理器、HDFS处理器、YARN处理器。

RPC控制端21包括RPC客户端211和RPC服务器端212，RPC客户端211与交通管理大数据平台10-1和/或其它交管业务系统10-2直接对接，RPC客户端211与RPC服务器端212数据传送对接；RPC客户端211支持多种方式接入，主要可分为业务系统功能操作接入和Webservice接入。RPC客户端211是由客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息，在RPC服务器端212，进程保持睡眠状态直到调用信息到达为止，当一个调用信息到达，RPC服务器端212获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，RPC客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。

接口服务模块22包括消息格式转换单元221、内容校验单元222和权限控制单元223，消息格式转换单元221用于将数据格式进行转换，其支持XML、JSON、二进制文件、文本文件等数据格式，能将一种数据格式转换为另一种数据格式，在数据格式转换时可支持聚合、拆分模式。支持数据之间不同字符集格式的转换，例如GB2312,GBK,GB18030、Unicode、UTF-8等相互之间的转换；内容校验单元222通过创建数据检验规则自动为核心系统或外围系统提供缺失、逻辑等各种数据检验预警告警，用于提示各运行板块业务与管理人员实时进行数据处置，数据接收时，通过数据校验保证数据质量，支持以下校验规则：重复性检查、唯一性检查、自定义校验规则等；权限控制单元223用于对服务的访问进行安全控制，对服务的访问需按照一定的规则进行设置，当服务设置为需要进行身份验证，服务调用者应当在请求报文头(SOAPHeader)中填写身份验证信息；

调度服务模块23包括任务管理单元231、服务监控单元232和日志管理单元233；任务管理单元231通过触发器设置作业定时运行规则，并控制作业的运行时间进行定时任务调度，实现定时完成定制任务，可以指定时间点，也可以设置成每小时、每天等动态时间；服务监控单元232对服务运行状态、调用频率、数据流量进行实时监控并褚地检测各种异常信息和业务系统数据处理情况，并实时地检测到各种异常信息和诸多业务系统数据处理情况；日志管理单元233用于服务处理过程的日志记录与监控，其能够查看服务处理过程的跟踪日志。实现了日志分类、查询以及日志优先级的设置。

当相关业务系统需要获取数据或写入数据时，业务系统将调用RPC客户端程序中查询或写入功能。由RPC客户端调用进程发送一个有进程参数的调用信息到RPC服务器端进程，然后等待服务器端的应答信息。在RPC服务器端，进程保持睡眠状态直到调用信息到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，RPC客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。RPC服务器端将调用接口服务中所注册的相关数据服务，并进行消息格式转换、内容校验等任务。消息格式转换中包括消息格式间的映射转换、填充过滤等处理。校验规则包括重复性检查、唯一性检查、自定义校验规则等内容。然后接口服务将按照调度服务中所设置的任务管理队列进行顺序或并行任务执行。在此过程中，服务调用的全部过程将被监控服务和日志跟踪服务所记录。服务调用将调用已封装好的各个Hadoop技术组件的处理器进行数据交互。调度服务从架构设计上支持高并发、大批量的消息数据并行传输，结合相应的技术组件处理器，实现高并发、高可靠的消息传输，帮助用户构建高效可靠的大数据基础环境。在调度服务提供了对传输过程中的消息进行加密、切片、压缩传输的能力，保证了消息传输的可靠性和安全性。

下面结合附图2，具体描述一下本发明系统中的代理服务系统的工作原理：RPC调用时，首先监听器用户监听由RPC客户端发来的请求，读取队列通过读取进程实现阻塞等待。在建立RPC服务以后，读取队列根据传输前所提供的目的地址及RPC上层应用程序号转至相应的RPC应用程序服务端，且此时的客户端处于等待状态，直至收到应答或TimeOut超时信号。当服务器端获得请求消息，则会根据注册RPC时告诉RPC系统的例程入口地址，执行相应的操作，并将结果返回至PRC客户端。当一次RPC调用结束后，相应线程发送相应的信号，客户端程序才会继续运行。在这个过程中，一个RPC过程是有三个要素来唯一确定的：程序号、版本号和过程号。程序号是用来区别一组相关的并且具有唯一过程好的远程过程。一个程序可以有一个或几个不同的版本，而每个版本的程序都包含一系列能被远程调用的过程，通过版本的引入，使得不同版本下的RPC能同时提供服务。每个版本都包含有许多可供远程调用的过程，每个过程则有其唯一标示的过程号。通过这种调用方式可以充分利用非共享内存的多处理器环境，这样可以简便地将代理应用分布在多台服务器上，代理应用就形成了一个分布式处理与响应环境，提高系统资源的利用率。同时，可以最大程度的减少由于原有业务系统的异构性所带来的影响。

采用本发明后，业务系统将通过RPC控制端模块将业务数据发送接口服务模块，所传输的的数据将通过接口服务的格式转化、校验后，发送给调度服务。传输的数据内容例如结构化数据、非结构化数据、半结构化数据将通过处理器模块保存入Hadoop中的HDFS、HBase或Hive中。调度服务支持HTTP(S)、SOAP、JMS、FTP、FILE、SOCKET、MQ、SMTP、POP等协议。用户可通过页面端的可视化拖拽设计工具进行服务设计，并通过图形化的方式展现整个消息路由的拓扑结构，并且提供右键弹出菜单功能完成路由节点的属性配置。在消息路由拓扑设计完成之后，提供消息推送测试功能，可以对整个路由结构做测通测试，并且给出测试结果，对于故障节点给出相应信息，便于快速问题查找、快速问题定位。调度服务实现了业务系统与Hadoop技术组件之间的关注点的隔离，通过提供代理服务与服务的动态、静态调用降低业务系统与Hadoop技术组件的耦合程度。代理服务作为可重用的服务定义，屏蔽对后端Hadoop接口服务的直接访问，降低了后端Hadoop平台的切换对业务系统的影响程度，并提升了整体大数据体系的适应性和可扩展性。在基于代理的Hadoop生态组件调度模式中，代理服务中对服务的封装通过代理服务消息流来实现，代理服务消息流也是一种交换服务流，由服务调度引擎统一调度执行，解决了业务系统与Hadoop技术组件之间数据交互的管理问题。