一种保证重要数据优先传输消费的传输系统及方法

摘要

本发明公开一种保证重要数据优先传输消费的传输系统及方法，系统包括设备接入网关、重要数据调度指挥中心、应用平台和消息队列服务器。本发明引入重要数据传输调度指挥中心这一角色，其能够将知道数据排序的数据规则和数据转发方向的信息发送给设备接入网关，使重要数据实现快速地从前端到消息队列服务器的优先发送，从而实现重要数据优先发往计算能力最为空闲的MQ服务器，而且在数据积压时，消息队列服务能对后面进来的数据优先消费，从而保证重要数据的优先分析及入库处理。

说明书

技术背景

本发明涉及一种保证重要数据优先传输消费的传输系统及方法。

背景技术

目前很多大规模的应用数据传输都会使用MQ消息队列服务器，但这类服务器消费数据使用了先进先出的模式，无法保证重要数据优先传输消费。在数据规模庞大时，重要程度较高的数据，往往被重要程度较低的数据淹没其中，从而无法获得快速处理。

因此，本发明人提出一种保证重要数据优先传输消费的传输系统及方法。

发明内容

本发明的目的在于提供一种保证重要数据优先传输消费的传输系统及方法，以保证重要数据的优先分析及入库处理。

为实现上述目的，本发明采用的技术方案为：

一种保证重要数据优先传输消费的传输系统，其包括：

应用平台，其用于控制重要数据调度中心新增、变动和删除数据规则；所述的数据规则是对设备接入网关接收的数据进行重要性排序的规则；

重要数据传输调度指挥中心，其由规则库、规则接收接口、规则订阅接口、规则分发服务模块、消息指挥服务模块和消息队列监测模块组成，规则库与规则接收接口、规则订阅接口及规则分发服务模块连接，消息队列监控模块与消息指挥服务模块连接；所述规则库用于存储数据规则，规则接收接口用于接收来自应用平台对数据规则进行新增、变动和删除的指令，规则订阅接口用于接收来自设备接入网关的订阅请求，规则分发服务模块用于根据订阅请求向已订阅的设备接入网关发送数据规则；所述消息队列监测模块用于监测消息队列服务器实时负载情况，获取当前消费能力最为空闲的消息队列服务器的信息，所述消息指挥服务模块用于根据消息队列服务器信息向设备接入网关发送数据发送指令，该数据发送指令包括设备接入网关向指定的消息队列服务器转发数据的信息；

设备接入网关，其包括规则接收接口、调度接收接口以及转发服务程序，规则接收接口和调度接收接口分别与转发服务程序连接，其中规则接收接口用于接收来自规则分发服务模块的数据规则，调度接收接口用于接收来自消息指挥服务模块的数据发送指令，转发服务程序用于根据数据规则和数据发送指令向指定的消息队列服务器转发排序后的数据；以及

消息队列服务器，用于接收设备接入网关转发的排序后的数据。

所述应用平台包括新增模块、变动模块和删除模块，新增模块用于向规则接收接口发送添加数据规则的指令和信息，变动模块用于向规则接收接口发送修改数据规则的指令和信息，删除模块用于向规则接收接口发送添加数据规则的指令和信息，重要数据传输调度指挥中心分别根据添加、修改、删除数据规则的指令在规则库中添加、修改或删除数据规则。

一种保证重要数据优先传输消费的传输方法，包括以下步骤：

步骤1：设备接入网关的转发服务程序向重要数据传输调度指挥中心的规则订阅接口发送订阅请求，规则分发服务根据订阅请求从规则库调取相应的数据规则并将该数据规则发送至设备接入网关；

步骤2：消息队列监控模块监测消息队列服务器实时负载情况，获取当前消费能力最为空闲的消息队列服务器的信息，消息指挥服务模块根据消息队列服务器信息向设备接入网关发送数据发送指令；

步骤3：设备接入网关的规则接收接口接收来自规则分发服务模块的数据规则，调度接收接口接收来自消息指挥服务模块的数据发送指令，转发服务程序则根据数据规则和数据发送指令向指定的消息队列服务器转发排序后的数据；

步骤4：消息队列服务器依序接收设备接入网关转发的排序后的数据。

所述步骤2中，在消息队列监控模块监测消息队列服务器实时负载情况时，消息队列监测服务模块还实时监测每台消息队列服务器的队列记录数量，当任意队列记录数量达到指定的阀值时，立即通知该消息队列服务器新建消息队列用于存储最新生产的数据，同时队列服务程序自动把新建队列的等级提升，确保新进来的数据优先消费。

采用上诉方案后，本发明的有益效果是：本发明引入重要数据传输调度指挥中心这一角色，其能够将知道数据排序的数据规则和数据转发方向的信息发送给设备接入网关，使重要数据实现快速地从前端到消息队列服务器的优先发送，从而实现重要数据优先发往计算能力最为空闲的MQ服务器(消息队列服务器)，而且在数据积压时，消息队列服务能对后面进来的数据优先消费，从而保证重要数据的优先分析及入库处理。

本发明还通过应用平台对数据规则进行添加、修改和删除操作，实时更新维护数据规则，以使重要数据在排序时符合当前需求。

以下结合附图和具体实施例对本发明作进一步详述。

附图说明

图1为本发明中保证重要数据优先传输消费的逻辑结构示意图；

具体实施方式

如图1所示，为本发明揭示的一种保证重要数据优先传输消费的传输系统，其包括：

应用平台，其用于控制重要数据调度中心新增、变动和删除数据规则；所述的数据规则是对设备接入网关接收的数据进行重要性排序的规则；

重要数据传输调度指挥中心，其由规则库、规则接收接口、规则订阅接口、规则分发服务模块、消息指挥服务模块和消息队列监测模块组成，规则库与规则接收接口、规则订阅接口及规则分发服务模块连接，消息队列监控模块与消息指挥服务模块连接；所述规则库用于存储数据规则，规则接收接口用于接收来自应用平台对数据规则进行新增、变动和删除的指令，规则订阅接口用于接收来自设备接入网关的订阅请求，规则分发服务模块用于根据订阅请求向已订阅的设备接入网关发送数据规则；所述消息队列监测模块用于监测消息队列服务器实时负载情况，获取当前消费能力最为空闲的消息队列服务器的信息，所述消息指挥服务模块用于根据消息队列服务器信息向设备接入网关发送数据发送指令，该数据发送指令包括设备接入网关向指定的消息队列服务器转发数据的信息；

设备接入网关，其包括规则接收接口、调度接收接口以及转发服务程序，规则接收接口和调度接收接口分别与转发服务程序连接，其中规则接收接口用于接收来自规则分发服务模块的数据规则，调度接收接口用于接收来自消息指挥服务模块的数据发送指令，转发服务程序用于根据数据规则和数据发送指令向指定的消息队列服务器转发排序后的数据；以及

消息队列服务器，用于接收设备接入网关转发的排序后的数据。

所述应用平台包括新增模块、变动模块和删除模块，新增模块用于向规则接收接口发送添加数据规则的指令和信息，变动模块用于向规则接收接口发送修改数据规则的指令和信息，删除模块用于向规则接收接口发送添加数据规则的指令和信息，重要数据传输调度指挥中心分别根据添加、修改、删除数据规则的指令在规则库中添加、修改或删除数据规则。

本发明还揭示了一种保证重要数据优先传输消费的传输方法，参见图1，包括以下步骤：

步骤1：设备接入网关的转发服务程序向重要数据传输调度指挥中心的规则订阅接口发送订阅请求，规则分发服务根据订阅请求从规则库调取相应的数据规则并将该数据规则发送至设备接入网关；

步骤2：消息队列监控模块监测消息队列服务器实时负载情况，获取当前消费能力最为空闲的消息队列服务器的信息，消息指挥服务模块根据消息队列服务器信息向设备接入网关发送数据发送指令；

步骤3：设备接入网关的规则接收接口接收来自规则分发服务模块的数据规则，调度接收接口接收来自消息指挥服务模块的数据发送指令，转发服务程序则根据数据规则和数据发送指令向指定的消息队列服务器转发排序后的数据；

步骤4：消息队列服务器依序接收设备接入网关转发的排序后的数据。

步骤2中，在消息队列监控模块监测消息队列服务器实时负载情况时，消息队列监测服务模块还实时监测每台消息队列服务器的队列记录数量，当任意队列记录数量达到指定的阀值时，立即通知该消息队列服务器新建消息队列用于存储最新生产的数据，同时队列服务程序自动把新建队列的等级提升，确保新进来的数据优先消费，还克服了消息队列先进先出模式导致的重要数据可能被延迟消费的缺陷。

本发明的关键在于：通过引入能够对重要数据进行协调指挥的重要数据传输调度指挥中心这一角色，实现了重要数据从前端到消息队列服务器的优先发送，消息队列服务对重要消息的优先消费，从而保证重要数据的优先分析及入库处理。