一种针对批量延迟的分析方法及相关装置

摘要

本申请公开了一种针对批量延迟的分析方法及相关装置，该方法首先根据批量处理系统中个处理节点的先后处理关系，建立批量处理节点网络，获取各个处理节点的当前状态，然后获取批量处理节点网络中的告警节点，最后针对告警节点的前键节点进行搜索，在搜索过程中根据前键节点的当前状态，确定造成告警节点延迟响应的目标节点，在该搜索过程以告警节点为起点向上游的前键节点进行搜索，可尽快确定最近一个导致告警节点延迟的处理节点，有利于节省搜索时间，同时在搜索过程中还考虑到前键节点处于的不同状态，针对所处的状态做出是否跳过前键节点或将当前搜索的前键节点作为目标节点登记等操作，进一步提升分析效率，满足快速定位延迟原因的要求。

说明书

技术领域

本申请涉及计算机应用技术领域，更具体地说，涉及一种针对批量延迟的分析方法及相关装置。

背景技术

随着计算机技术的不断发展，利用计算机进行批量业务处理大大提升了业务处理速度，节约了业务处理相关的人力，成为各行各业对于批量业务处理的首要选择。

当批量业务处理作为一种时候数据处理方式，存在并发量大、耗时久和处理逻辑繁复等特点，如发生数据量增长、批量业务报错和上游系统供数延迟等情况，就可能导致发生批量业务延迟(简称批量延迟)，为避免批量延迟影响应用联机业务的可用性，需要及时定位延迟原因、解决问题并恢复批量运行。

目前针对批量延迟的分析方法主要依靠人工检查进行，而人工检查效率低下，无法满足快速定位延迟原因的要求。

发明内容

为解决上述技术问题，本申请提供了一种针对批量延迟的分析方法及相关装置，以实现提高针对批量延迟的分析方法的分析效率的目的，满足快速定位延迟原因的要求。

为实现上述技术目的，本申请实施例提供了如下技术方案：

一种针对批量延迟的分析方法，用于对批量处理系统的延迟分析，所述批量处理系统包括多个具有先后处理关系的处理节点，所述针对批量延迟的分析方法包括：

根据所述批量处理系统中各个处理节点的先后处理关系，建立批量处理节点网络；

获取所述批量处理节点网络中各所述处理节点的当前状态；所述处理节点的当前状态包括报错状态、等待状态、处理完成状态和运行中状态中的一种；

获取所述批量处理节点网络中的告警节点，所述告警节点为触发告警条件的处理节点；

以所述告警节点为起点，对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索，在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点；

所述前键节点包括处理流程处于所述告警节点之前的处理节点。

可选的，所述以所述告警节点为起点，对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索包括：

以所述告警节点为起点，利用宽度优先搜索算法对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索。

可选的，所述在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点包括：

在当前搜索的所述前键节点的状态为报错状态时，将当前搜索的所述前键节点登记为所述目标节点；

在当前搜索的所述前键节点的状态为等待状态时，判断当前搜索的所述前键节点的所有前键节点是否均处于处理完成状态，如果是，则将当前搜索的所述前键节点登记为所述目标节点，并跳过当前搜索的所述前键节点的所有前键节点，如果否，则对下一处理节点进行搜索；

在当前搜索的所述前键节点的状态为完成状态时，跳过当前搜索的所述前键节点的所有前键节点；

在当前搜索的所述前键节点的状态为运行中状态时，跳过当前搜索的所述前键节点的所有前键节点。

可选的，以所述告警节点为起点，对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索，在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点之后还包括：

对所述告警节点的后键节点进行搜索，以获取所述告警节点的后键节点中包括的关键节点，所述后键节点包括处理流程处于所述告警节点之后的处理节点，所述关键节点包括预先设置的处理节点。

一种针对批量延迟的分析系统，用于对批量处理系统的延迟分析，所述批量处理系统包括多个具有先后处理关系的处理节点，所述针对批量延迟的分析系统包括：

节点建立模块，用于根据所述批量处理系统中各个处理节点的先后处理关系，建立批量处理节点网络；

状态获取模块，用于获取所述批量处理节点网络中各所述处理节点的当前状态；所述处理节点的当前状态包括报错状态、等待状态、处理完成状态和运行中状态中的一种；

延迟获取模块，用于获取所述批量处理节点网络中的告警节点，所述告警节点为触发告警条件的处理节点；

目标确定模块，用于以所述告警节点为起点，对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索，在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点；

所述前键节点包括处理流程处于所述告警节点之前的处理节点。

可选的，所述目标确定模块以所述告警节点为起点，对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索具体用于，以所述告警节点为起点，利用宽度优先搜索算法对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索。

可选的，所述目标确定模块在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点具体用于，在当前搜索的所述前键节点的状态为报错状态时，将当前搜索的所述前键节点登记为所述目标节点；

在当前搜索的所述前键节点的状态为等待状态时，判断当前搜索的所述前键节点的所有前键节点是否均处于处理完成状态，如果是，则将当前搜索的所述前键节点登记为所述目标节点，并跳过当前搜索的所述前键节点的所有前键节点，如果否，则对下一处理节点进行搜索；

在当前搜索的所述前键节点的状态为完成状态时，跳过当前搜索的所述前键节点的所有前键节点；

在当前搜索的所述前键节点的状态为运行中状态时，跳过当前搜索的所述前键节点的所有前键节点。

可选的，还包括：

后键搜索模块，用于对所述告警节点的后键节点进行搜索，以获取所述告警节点的后键节点中包括的关键节点，所述后键节点包括处理流程处于所述告警节点之后的处理节点，所述关键节点包括预先设置的处理节点。

一种针对批量延迟的分析系统，包括：存储器和处理器，所述存储器中存储有程序代码，所述处理器用于调用所述程序代码，所述程序代码用于执行上述任一项所述的针对批量延迟的分析方法。

一种存储介质，所述存储介质上存储有程序代码，所述程序代码被执行时实现上述任一项所述的针对批量延迟的分析方法。

从上述技术方案可以看出，本申请实施例提供了一种针对批量延迟的分析方法及相关装置，其中，所述针对批量延迟的分析方法首先根据所述批量处理系统中个处理节点的先后处理关系，建立批量处理节点网络，获取各个处理节点的当前状态，然后获取所述批量处理节点网络中的告警节点，最后针对告警节点的前键节点进行搜索，在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点，在该搜索过程以告警节点为起点向上游的前键节点进行搜索，可尽快确定最近一个导致告警节点延迟的处理节点，有利于节省搜索时间，提高分析效率，同时在搜索过程中还考虑到前键节点处于的不同状态，针对所处的状态做出是否跳过前键节点或将当前搜索的前键节点作为目标节点登记等操作，进一步提升分析效率，满足快速定位延迟原因的要求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为一种批量处理任务的示例；

图2为另一种批量处理任务的示例；

图3为又一种批量处理任务的示例；

图4为本申请的一个实施例提供的一种针对批量延迟的分析方法的流程示意图；

图5为本申请的另一个实施例提供的一种针对批量延迟的分析方法的流程示意图；

图6为本申请的一个实施例提供的树状图的示意图；

图7为本申请的又一个实施例提供的一种针对批量延迟的分析方法的流程示意图；

图8为本申请的再一个实施例提供的一种针对批量延迟的分析方法的流程示意图。

具体实施方式

正如背景技术中所述，随着现在IT技术的快速发展，各类金融及其他交易业务量的不断增长，IT系统愈发复杂、批处理规模愈发庞大从而导致批量处理消耗的时间越来越长，对本系统及相关下游系统产生的压力与日俱增，批量延迟情况时有发生，是批量运行异常导致还是人为暂停，是上游系统文件未到还是本应用系统前续任务未完成等等，都是应用系统运维人员可能会碰到的场景。现有的批量调度工具，比如批量调度软件Control-M，只能提供直接原因，而不能马上定位到根本原因，而大多数情况下，运行的批量业务复杂、关系交错，下游任务延迟往往需要一级一级往上追溯才能找到根本原因，如果纯靠手工去逐级检查，是相当消耗人力和时间成本。

具体地，对数据的批量处理、就是计算机需要按照一定的路径顺序通过执行多个任务处理大量的业务信息。每个任务节点按照配置完成一定的处理逻辑，任务节点之间要么无关联(如图1所示的批量示例一)，要么通过有向边进行依赖关系，但关联时不能形成环路(如图2所示的批量示例二)。图3所示的批量示例三通过执行多任务依赖关系的并行任务来完成某一项业务，前键任务正常完成，后键任务才会被调起执行。

对于批量示例三，任务3设置超时告警，在计划时间仍未被调起触发告警。

假设①任务1报错，任务2不会执行，任务3未执行并超时引发告警，此时使用现有批量调度工具去检查方法如下：

1，检查任务3发现，任务3等待任务2

2，检查任务2发现，任务2等待任务1

3，检查任务1发现，任务1报错，根本原因找到。

假设②任务4报错，任务5,6,7,8均不会执行，任务3未执行并超时引发告警，此时使用现有批量调度工具去检查方法如下：

1，检查任务3发现，任务3等待任务6和任务8

2，检查任务6发现，任务6等待任务5

3，检查任务5发现，任务5等待任务4

4，检查任务4发现，任务4报错，原因之一找到。

5，检查任务8发现，任务8等待任务7

6，检查任务7发现，任务7等待任务4，任务4报错，根本原因找到。

假设③任务1和任务4都报错，任务2,5,6,7,8不会执行，任务3未执行并超时引发告警，此时需要把假设①和假设②中的检查步骤都做一遍。

并且，如果任务3存在上述示例图中虚线框内的后键任务，一旦任务3出现延迟，则所有后键任务全部出现延迟，除了利用上述方法定位具体延迟原因，运维人员还需要及时对延迟可能造成的影响作出判断，现有方法只能依赖有相关经验的运维开发人员或者利用现有调度工具根据批量任务的配置关系一级一级定位到末端任务n，从而发现最终影响的是核算报表的生成。

通过上述假设可以发现，当处理节点的数量较为庞大时，定位导致批量延迟的原因的节点的过程就可能非常的复杂，如果依靠人工针对每个节点依次检查分析，会带来巨大的工作量，且检查分析效率低下。

为了解决这一问题，本申请实施例提供了一种针对批量延迟的分析方法，所述针对批量延迟的分析方法首先根据所述批量处理系统中个处理节点的先后处理关系，建立批量处理节点网络，获取各个处理节点的当前状态，然后获取所述批量处理节点网络中的告警节点，最后针对告警节点的前键节点进行搜索，在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点，在该搜索过程以告警节点为起点向上游的前键节点进行搜索，可尽快确定最近一个导致告警节点延迟的处理节点，有利于节省搜索时间，提高分析效率，同时在搜索过程中还考虑到前键节点处于的不同状态，针对所处的状态做出是否跳过前键节点或将当前搜索的前键节点作为目标节点登记等操作，进一步提升分析效率，满足快速定位延迟原因的要求。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种针对批量延迟的分析方法，如图4所示，用于对批量处理系统的延迟分析，所述批量处理系统包括多个具有先后处理关系的处理节点，所述针对批量延迟的分析方法包括：

S101：根据所述批量处理系统中各个处理节点的先后处理关系，建立批量处理节点网络。

如前文所述，所述批量处理系统中各个处理节点的先后处理关系是指各个处理节点所要处理的任务之间的先后处理关系，当某一处理节点A所要处理的任务依赖处理节点B所要处理的任务完成之后才能进行，则处理节点B在批量处理节点网络的位置即在处理节点A之前，处理节点B即可称为处理节点A的前键节点或上游节点。

在一些情况下，仍然参考图3，执行任务3的处理节点所在支路有三条，分别为任务1、任务2、任务3构成的第一支路，任务4、任务5、任务6和任务3所构成的第二支路以及任务4、任务7、任务8和任务3所构成的第三支路。当执行任务3的处理节点在规定时间内未被触发而导致告警时，这三条支路上的处理节点均可能导致这一延迟结果。

S102：获取所述批量处理节点网络中各所述处理节点的当前状态；所述处理节点的当前状态包括报错状态、等待状态、处理完成状态和运行中状态中的一种。

S103：获取所述批量处理节点网络中的告警节点，所述告警节点为触发告警条件的处理节点。

所述告警节点是指该处理节点所要执行的任务的等待时间超过设置的告警时间阈值，从而触发告警信息的节点。一般情况下，告警节点均为预先设置的关键节点，所述关键节点为预先设置的处理节点，关键节点的任务是否被执行对于整体业务具有较大影响。

S104：以所述告警节点为起点，对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索，在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点。

所述前键节点包括处理流程处于所述告警节点之前的处理节点。

在本实施例中，所述针对批量延迟的分析方法首先根据所述批量处理系统中个处理节点的先后处理关系，建立批量处理节点网络，获取各个处理节点的当前状态，然后获取所述批量处理节点网络中的告警节点，最后针对告警节点的前键节点进行搜索，在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点，在该搜索过程以告警节点为起点向上游的前键节点进行搜索，可尽快确定最近一个导致告警节点延迟的处理节点，有利于节省搜索时间，提高分析效率，同时在搜索过程中还考虑到前键节点处于的不同状态，针对所处的状态做出是否跳过前键节点或将当前搜索的前键节点作为目标节点登记等操作，进一步提升分析效率，满足快速定位延迟原因的要求。

下面对本申请实施例提供的针对批量延迟的分析方法的各个步骤的可行处理方式进行说明。

可选的，如图5所示，步骤S104包括：

S1041：以所述告警节点为起点，利用宽度优先搜索算法对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索。

在搜索过程中根据所述前键节点的当前状态，确定造成所述关键节点告警节点延迟响应的目标节点。

宽度优先搜索(BFS，Breadth First Search)算法是一种针对图和树的遍历算法。针对如图6所示的树状图而言，宽度优先搜索方法首先从节点1开始，依次对节点2、3、4、5、6、7、8进行搜索。

在本实施例中，采用宽度优先搜索算法对所述告警节点的前键节点进行搜索可避免对前键节点的遗漏，且配合“在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点”的步骤，可对无需进行搜索的前键节点采取“跳过”等策略，大大减少所需搜索的节点数量，提升算法的处理效率。

具体地，参考图7，所述在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点包括：

S10411：在当前搜索的所述前键节点的状态为报错状态时，将当前搜索的所述前键节点登记为所述目标节点；

S10412：在当前搜索的所述前键节点的状态为等待状态时，判断当前搜索的所述前键节点的所有前键节点是否均处于处理完成状态，如果是，则将当前搜索的所述前键节点登记为所述目标节点，并跳过当前搜索的所述前键节点的所有前键节点，如果否，则对下一处理节点进行搜索；在当前搜索的所述前键节点的状态为完成状态时，跳过当前搜索的所述前键节点的所有前键节点；在当前搜索的所述前键节点的状态为运行中状态时，跳过当前搜索的所述前键节点的所有前键节点。

在当前搜索的所述前键节点处于报错状态时，可认为当前搜索的所述前键节点即为导致告警节点触发告警的原因，将当前搜索的所述前键节点登记即可实现对导致告警节点延迟的原因的定位目的。但需要注意的是，导致告警节点延迟的原因可能有多个，为了全面的实现对告警节点延迟原因的定位，所述在当前搜索的所述前键节点处于报错状态且登记后，仍然需要对其他支路或者当前搜索的所述前键节点的下一节点继续进行搜索，以全方位的找出其他可能导致告警节点延迟的原因。

而在当前搜索的所述前键节点并非处于报错状态(即节点报错)时，进一步判断当前搜索的所述前键节点是否处于等待状态(即节点等待)或是否处于处理完成状态，在当前搜索的所述前键节点处于等待状态时，导致该节点处于等待状态的原因可能是其前键节点导致的，也可能是该节点自身导致的，因此通过对该节点的所有前键节点所处状态进行统计，当其所有前键节点均处于处理完成状态时，即可认定问题出在当前搜索的所述前键节点，将当前搜索的所述前键节点进行登记作为所述目标节点即可，同时可跳过当前搜索的所述前键节点的所有前键节点，但同样的，为了保证全面找出导致告警节点延迟的处理节点，在跳过当前搜索的所述前键节点的所有前键节点之后，对其他支路的前键节点的搜索仍然需要继续进行，以保证全方位的找出其他可能导致告警节点延迟的原因。

而在当前搜索的前键节点处于处理完成状态(即节点完成)时，表示当前搜索的前键节点没有问题，并且当前搜索的前键节点的所有前键节点也均没有问题(因为该前键节点的所有前键节点均处于处理完成状态，该前键节点才可能处于处理完成状态)，而在当前搜索的前键节点并非处于处理完成状态，而是处于运行中状态(即节点运行中)时，也可认为该前键节点的所有前键节点均没有问题，可以跳过，同样的，跳过当前搜索的前键节点的所有前键节点并不意味着不对其他支路的前键节点进行搜索，其他支路的前键节点的搜索仍然需要继续进行，以保证全方位的找出其他可能导致告警节点延迟的原因。

通过本实施例提供的具体实施方式，可跳过大量的前键节点，节省了对大量前键节点的搜索过程，有利于提高方法的实施效率。

在上述实施例的基础上，在本申请的一个可选实施例中，如图8所示，以所述告警节点为起点，对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索，在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点之后还包括：

S105：对所述告警节点的后键节点进行搜索，以获取所述告警节点的后键节点中包括的关键节点，所述后键节点包括处理流程处于所述告警节点之后的处理节点，所述关键节点包括预先设置的处理节点。

在本实施例中，对所述告警节点的后键节点进行搜索的目的是确定告警节点的后键节点中的关键节点，以确定该告警节点可能影响的业务类型以及业务种类。

下面对本申请实施例提供的针对批量延迟的分析系统进行描述，下文描述的针对批量延迟的分析系统可与上文描述的针对批量延迟的分析方法相互对应参照。

相应的，本申请实施例提供了一种针对批量延迟的分析系统，用于对批量处理系统的延迟分析，所述批量处理系统包括多个具有先后处理关系的处理节点，所述针对批量延迟的分析系统包括：

节点建立模块，用于根据所述批量处理系统中各个处理节点的先后处理关系，建立批量处理节点网络；

状态获取模块，用于获取所述批量处理节点网络中各所述处理节点的当前状态；所述处理节点的当前状态包括报错状态、等待状态、处理完成状态和运行中状态中的一种；

延迟获取模块，用于获取所述批量处理节点网络中的告警节点，所述告警节点为触发告警条件的处理节点；

目标确定模块，用于以所述告警节点为起点，对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索，在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点；

所述前键节点包括处理流程处于所述告警节点之前的处理节点。

可选的，所述目标确定模块以所述告警节点为起点，对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索具体用于，以所述告警节点为起点，利用宽度优先搜索算法对所述告警节点在所述批量处理节点网络中所在支路的前键节点进行搜索。

可选的，所述目标确定模块在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点具体用于，在当前搜索的所述前键节点的状态为报错状态时，将当前搜索的所述前键节点登记为所述目标节点；

在当前搜索的所述前键节点的状态为等待状态时，判断当前搜索的所述前键节点的所有前键节点是否均处于处理完成状态，如果是，则将当前搜索的所述前键节点登记为所述目标节点，并跳过当前搜索的所述前键节点的所有前键节点，如果否，则对下一处理节点进行搜索；在当前搜索的所述前键节点的状态为完成状态时，跳过当前搜索的所述前键节点的所有前键节点；在当前搜索的所述前键节点的状态为运行中状态时，跳过当前搜索的所述前键节点的所有前键节点。

可选的，还包括：

后键搜索模块，用于对所述告警节点的后键节点进行搜索，以获取所述告警节点的后键节点中包括的关键节点，所述后键节点包括处理流程处于所述告警节点之后的处理节点，所述关键节点包括预先设置的处理节点。

相应的，本申请实施例还提供了一种针对批量延迟的分析系统，包括：存储器和处理器，所述存储器中存储有程序代码，所述处理器用于调用所述程序代码，所述程序代码用于执行上述任一实施例所述的针对批量延迟的分析方法。

相应的，本申请实施例还提供了一种存储介质，所述存储介质上存储有程序代码，所述程序代码被执行时实现上述任一实施例所述的针对批量延迟的分析方法。

综上所述，本申请实施例提供了一种针对批量延迟的分析方法及相关装置，其中，所述针对批量延迟的分析方法首先根据所述批量处理系统中个处理节点的先后处理关系，建立批量处理节点网络，获取各个处理节点的当前状态，然后获取所述批量处理节点网络中的告警节点，最后针对告警节点的前键节点进行搜索，在搜索过程中根据所述前键节点的当前状态，确定造成所述告警节点延迟响应的目标节点，在该搜索过程以告警节点为起点向上游的前键节点进行搜索，可尽快确定最近一个导致告警节点延迟的处理节点，有利于节省搜索时间，提高分析效率，同时在搜索过程中还考虑到前键节点处于的不同状态，针对所处的状态做出是否跳过前键节点或将当前搜索的前键节点作为目标节点登记等操作，进一步提升分析效率，满足快速定位延迟原因的要求。

本说明书中各实施例中记载的特征可以相互替换或者组合，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。