作业差异监控方法、装置、设备及介质

摘要

本发明实施例公开了一种作业差异监控方法、装置、设备及介质，涉及自动程序设计技术领域。该方法包括：获取批处理作业在预设时间段内的作业明细信息；采用多线程自动对所述批处理作业在预设时间段内的作业基线信息和所述作业明细信息进行对比；采用单线程根据对比结果生成所述作业基线信息和所述作业明细信息之间的差异信息。上述技术方案实现了基于数据库对自主调度作业进行差异监控，处理效率高，能够及时提供批处理作业执行的差异结果。

说明书

技术领域

本发明实施例涉及数据库技术领域，具体涉及自动程序设计技术领域，尤其涉及一种作业差异监控方法、装置、设备及介质。

背景技术

随着国内银行业务的拓展，银行业务在日常生活中使用广泛，用户量巨大，而且由于其具有业务复杂高、时效要求高、准确要求高以及监管要求高的特点，需要创建大量的自主调度作业，以传输作业为例，大型银行每日运行的文件传输作业数量可达百万之多，进而对业务生产数据进行监控显得尤为重要。

目前，大多数系统的现有模式、数据多存放在数据库，一些与其他系统的交互也需要基于数据库处理。因此，如何基于数据库对自主调度作业进行差异监控是亟待解决的问题。

发明内容

本发明实施例提供一种作业差异监控方法、装置、设备及介质，以实现基于数据库对自主调度作业进行差异监控。

第一方面，本发明实施例提供了一种作业差异监控方法，包括：

获取批处理作业在预设时间段内的作业明细信息；

采用多线程自动对所述批处理作业在预设时间段内的作业基线信息和所述作业明细信息进行对比；

采用单线程根据对比结果生成所述作业基线信息和所述作业明细信息之间的差异信息。

第二方面，本发明实施例还提供了一种作业差异监控装置，包括：

作业信息获取模块，用于获取批处理作业在预设时间段内的作业明细信息；

作业信息对比模块，用于采用多线程自动对所述批处理作业在预设时间段内的作业基线信息和所述作业明细信息进行对比；

作业差异生成模块，用于采用单线程根据对比结果生成所述作业基线信息和所述作业明细信息之间的差异信息。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的作业差异监控方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的作业差异监控方法。

本发明实施例提供的技术方案，针对获取到的批处理作业在预设时间段内的作业明细信息，采用多线程自动根据所述批处理作业在预设时间段内的作业基线信息对其进行对比，并采用单线程根据对比结果生成批处理作业执行的差异信息，以此实现了基于数据库对自主调度作业进行差异监控，处理效率高，能够及时提供批处理作业执行的差异结果。

附图说明

图1是本发明实施例一中的一种作业差异监控方法的流程图；

图2是本发明实施例一中文件传输任务的交互示意图；

图3是本发明实施例二中的一种作业差异监控方法的应用示意图；

图4是本发明实施例二中的一种作业差异监控方法的流程图；

图5是本发明实施例二中的一种作业差异监控方法中基线对比记录初始化阶段的流程示意图；

图6是本发明实施例二中的一种作业差异监控方法中作业基线更新阶段的流程示意图；

图7是本发明实施例二中的一种作业差异监控方法中基线作业对比阶段的流程示意图；

图8是本发明实施例三中的一种作业差异监控装置的结构示意图；

图9是本发明实施例四中的一种计算机设备的硬件结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1是本发明实施例一提供的一种作业差异监控方法的流程图，可适用于对批量自调度作业的执行结果进行差异监控的情况，该方法可以由本发明实施例提供的作业差异监控装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。

如图1所示，本实施例提供的作业差异监控方法，具体包括：

S110、获取批处理作业在预设时间段内的作业明细信息。

作业，是指可在系统上执行的一个程序或运行脚本，包含程序以及程序运行所需要的参数信息。作业是执行和调度的基本单位，代表一个独立可运行的功能实例。批处理作业，是指在计算机上对业务数据无需人工干预而执行系列程序的作业。例如，作业可以是指文件传输作业(用于发送或者接收文件的作业)。

预设时间段，是根据执行作业差异监控方法的频次确定的时间段。若每小时执行一次作业差异监控方法，则预设时间段即为前一个小时；若每两个小时执行一次作业差异监控方法，则预设时间段即为前两个小时。

作业明细信息，指的是作业执行明细信息，具体可以指的是作业日志明细。其中，作业类型不同，作业明细信息所包括的属性信息也就不同。

以批处理作业为文件传输批处理作业为例，则可以根据文件传输日志明细得到文件传输作业明细信息。相应的，文件传输作业明细信息的属性可以包括文件名称、文件任务ID、文件发送方、文件接收方、任务结束时间等。

作为一种可选的实施方式，在获取批处理作业在预设时间段内的作业明细信息之后，还可以包括：对所述作业明细信息进行整理，生成作业记录表。

针对每条作业明细信息，进行信息内容解析，并将信息内容保存至“作业明细表”中。每个作业任务可以对应多条作业日志明细，每条作业日志明细的任务ID相同，处理状态和处理时间不同，进而可以将相同任务ID的作业日志明细合并为一条作业实例存入“作业实例表”，然后再按照“作业实例表”中的某个属性(如文件名称列表)对“作业实例表”进行拆分，得到“作业记录表”。其中，“作业记录表”中每条作业记录的属性至少包括由“作业实例表”中的某个属性拆分得到的属性(如文件名称)、任务ID、任务结束时间等。

下述以批处理作业为文件传输批处理作业为例进行解释说明，其中，文件传输作业的流程可以如图2所示。相应的，作业明细信息可以具体为文件传输明细信息。

通常，系统的文件传输任务都需要经过文件传输组件，因此，文件传输组件存在系统内所有的文件传输日志。

由于文件传输日志量大，为了提高传输速率，可以采用高吞吐量、低延时的Kafka作为发布订阅消息系统。其中，文件传输组件作为消息的生产者，作业管控系统作为消息的消费者，消息内容即为文件传输日志明细。

其中，一条文件传输明细消息，即为一条文件传输日志明细。通过解析消息内容，可以将消息内容保存至“文件传输明细表”。一个文件传输任务包含多条文件传输日志明细，多条文件传输日志明细代表了文件传输双方的交互情况，每条多条文件传输日志明细有相同的任务ID、文件发送方、文件接收方、文件列表名、文件传输方向，不同的处理状态和处理时间。其中，处理状态为90时，可以代表传输任务成功。

根据相同任务ID可以将多条文件传输日志明细合并为一条文件传输实例存入“文件传输实例表”。一条文件传输实例的属性可以包括文件传输任务ID，文件发送方信息，文件接收方消息，文件名称列表，文件任务最后状态，文件任务最后更新时间。扫描文件传输实例表，可以将文件任务实例记录，根据文件名称列表，拆分为“文件传输记录表”。“文件传输记录表”中文件传输记录的属性可以包括文件名称、文件任务ID、文件发送方、文件接收方、任务结束时间等。可选的，文件传输记录表可以按照小时分区，一天有24个分区，分区键为任务结束时间。

示例性的，文件传输节点可以由字母和数字结合组成的四位字符表示，如G12A；文件名称格式可以表示为“文件发送方节点+自定义任务名称+日期+编号+后缀”，其中，日期的格式可以为如yyyyMMdd，yyyy指示年，MM指示月，dd指示日，例如：G12A_testing_20201001_1.dat。其中，文件列表中，多个文件可以以英文逗号隔开。

S120、采用多线程自动对所述批处理作业在预设时间段内的作业基线信息和所述作业明细信息进行对比。

作业基线，是指生产上应该运行的作业，以及作业运行的时间、结果等信息的集合。其中，作业基线可以作为作业结果监控的参考系。

在本实施例中，采用多线程自动调度任务执行作业基线信息与作业明细信息之间的对比，以提高了作业差异监控的执行效率，进而能够及时地给出差异结果。

进一步的，采用多线程自动对所述批处理作业在预设时间段内的作业基线信息和所述作业明细信息进行对比，可以具体为：

采用多线程自动对与所述批处理作业在预设时间段内的作业基线信息对应的作业基线表和所述作业记录表进行对比。

在将对所述作业明细信息进行整理生成作业记录表的基础上，也可以将所述批处理作业在预设时间段内的作业基线信息以数据表的形式进行存储，进而可以采用多线程自动对两个数据表中的信息进行比对，也即基于数据库实现对作业基线信息和作业明细信息进行对比，以此能够进一步提高数据对比的效率。

作为本实施例一种可选的实施方式，采用多线程自动对所述批处理作业在预设时间段内的作业基线信息和所述作业明细信息进行对比，可以进一步具体为：采用多线程自动对所述批处理作业在预设时间段内的作业基线信息和所述作业明细信息进行模糊匹配。

由于模糊匹配具有不使用数据库索引的特点，故采用模糊匹配的方式对作业基线信息和作业明细信息进行对比，也能够进一步提高数据对比的效率。

作为一种可选的实施方式，采用多线程自动对与所述批处理作业在预设时间段内的作业基线信息对应的作业基线表和所述作业记录表进行对比，可以包括：

在多线程中的一个线程定时判断出需要对基线对比状态表中与所述预设时间段对应的基线对比记录进行初始化时，通过所述线程执行相应的基线对比记录初始化操作；

在多线程中的一个线程按照预设频率判断出需要对作业基线表进行更新时，通过所述线程执行相应的作业基线表更新操作；

在多线程中的任意一个线程按照预设频率判断出需要对所述作业基线表和所述作业记录表进行对比时，通过所述线程执行相应的作业对比操作。

在本实施方式中，对作业基线信息和作业明细信息进行对比可以分为基线对比记录初始化、作业基线更新、基线作业对比这几个阶段。

基线对比记录初始化，是基线作业对比启动的判断过程，可以是多线程自动任务，执行频率周期与作业差异监控方法的执行频次有关，若作业差异监控方法每小时执行一次，该多线程自动任务可以在整点执行，对比的是前一个小时内的作业明细信息。例如，多线程自动按照预设的时间间隔判断是否需要针对前一时间段对应的基线对比记录启动基线作业对比流程，若其中某个线程预先判断出需要针对前一时间段对应的基线对比记录启动基线作业对比流程，则对前一时间段对应的基线对比记录进行初始化，以便进入后续的基线作业对比流程。

需要指出的是，在通过多线程自动执行基线对比记录初始化流程时，若已存在一个线程开始执行，则其余的线程可以自动跳出流程，直至达到下一个执行周期。

作为一种可选的实施方式，在多线程中的一个线程定时判断出需要对基线对比状态表中与所述预设时间段对应的基线对比记录进行初始化时，通过所述线程执行相应的基线对比记录初始化操作，可以具体为：

通过多线程定时判断所述基线对比状态表中是否存在与所述预设时间段对应的基线对比记录；当其中一个线程判断出所述基线对比状态表中不存在与所述预设时间段对应的基线对比记录时，通过所述线程在所述基线对比状态表中新增与所述预设时间段对应的基线对比记录，并将所述基线对比记录的初始化状态更新为指示进行中。

在本实施方式中，可以设置基线对比状态表用于存储各个基线对比记录以及基线对比记录的状态描述。可选的，可以为每个基线对比记录设置一个标识，如与日期对应的对比批号。示例性的，对比批号的格式可以如“yyyyMMddhh”所示，例如“2020100113”。

可选的，基线对比记录的状态可以包括：初始化状态、基线同步状态、对比状态、差异生成状态等。每个状态的状态描述可以分为“初始”、“进行中”、“完成”(默认状态为“初始”)，并可以通过不同的字母来指示不同的状态描述，如字母“N”指示“初始”，字母“P”指示“进行中”，字母“S”指示“完成”。

需要指出的是，在正常情况下，基线对比记录初始化状态、基线同步状态、对比状态、差异生成状态的状态描述是顺序变更的，当前一个状态的状态描述指示进行中之后，下一个状态的状态描述才可指示进行中。

多线程定时自动判断所述基线对比状态表中是否存在与所述预设时间段对应的基线对比记录，其中，与所述预设时间段对应的基线对比记录，可以通过对比批号的形式进行标识，进而可以通过判断所述基线对比状态表中是否存在相应对比批号的基线对比记录。若其中任意一个线程判断出所述基线对比状态表中不存在与所述预设时间段对应的基线对比记录时，则在所述基线对比状态表中新增与所述预设时间段对应的基线对比记录，并将该基线对比记录的初始化状态更新为指示进行中(如将初始化状态由N更新为P)。若其中任意一个线程判断出所述基线对比状态表中存在与所述预设时间段对应的基线对比记录时，则可以直接结束流程，待到达下一个执行周期时再进行相应的判断。

作业基线更新，是指对与相应基线对比记录对应的作业基线信息进行更新的过程，可以是多线程自动扫描任务，执行频率周期可以是预设的，例如可以是每分钟执行一次。其中，作业基线更新流程更新的是作业基线表中与前一时间段对应的基线对比记录相应的作业基线信息。可选的，作业基线表中的作业基线信息也标识基线对比记录的对比批号。

例如，多线程按照预设频率判断是否存在未进行作业基线信息同步的基线对比记录，若其中某个线程预先判断出需要针对某个基线对比记录进行作业基线信息同步，则获取相应的作业基线信息对作业基线表进行更新，以便进入后续的基线作业对比流程。

需要指出的是，在通过多线程自动执行作业基线更新流程时，若已存在一个线程开始执行，则其余的线程可以自动跳出流程，直至达到下一个执行周期。

作为一种可选的实施方式，在多线程中的一个线程按照预设频率判断出需要对作业基线表进行更新时，通过所述线程执行相应的作业基线表更新操作，可以具体为：

通过多线程按照预设频率判断所述基线对比状态表中与所述预设时间段对应的基线对比记录的初始化状态是否指示进行中；

当其中一个线程判断出所述基线对比状态表中与所述预设时间段对应的基线对比记录的初始化状态指示进行中时，通过所述线程获取与所述预设时间段对应的作业基线信息对所述作业基线表进行更新，并将所述基线对比状态表中与所述预设时间段对应的基线对比记录的对比状态更新为指示进行中。

在本实施方式中，通过基线对比状态表中基线对比记录的初始化状态来判断是否需要针对基线对比记录进行作业基线更新操作。具体的，多线程按照预设的频率自动判断所述基线对比状态表中是否存在初始化状态指示进行中的基线对比记录。若其中任意一个线程判断出所述基线对比状态表中存在初始化状态指示进行中的基线对比记录，则可以外呼基线管理组件，获取预设时间段内的作业基线信息，并根据获取到的作业基线信息对作业基线表进行更新。其中，在判断出所述基线对比状态表中存在初始化状态指示进行中的基线对比记录时，即可将所述基线对比状态表中与所述预设时间段对应的基线对比记录的基线同步状态更新为指示进行中(将基线同步状态由N更新为P)，同时还可以将相应基线对比记录的初始化状态更新为指示完成(如将初始化状态由P更新为S)。若其中任意一个线程判断出所述基线对比状态表中不存在初始化状态指示进行中的基线对比记录，则可以直接结束流程，待到达下一个执行周期时再进行相应的判断。

可选的，基线管理组件会将前一个小时内应该发生的作业基线信息通过restful接口响应给执行作业差异监控方法的作业管控组件。作业管控组件在接收到相应的作业基线信息后，对其进行内容解析，以数据表的形式存储在数据库中，进而可以将所述基线对比状态表中与所述预设时间段对应的基线对比记录的对比状态更新为指示进行中(如将对比状态由N更新为P)，同时还可以将对应的基线对比记录的基线同步状态更新为指示完成(如将基线同步状态由P更新为S)。

需要注意的是，在基线对比记录初始化流程和作业基线更新流程中，针对同一条基线对比记录，只需要多线程中的一个线程去执行，为了避免重复处理和漏处理的情况，本实施方式采用状态标识的方式来解决。同时，在任意一个线程抢先执行的情况下，还可以对相应的基线对比记录进行锁定，已指示已有线程进行处理，无需重复处理。

基线作业对比，是基线作业对比的执行过程，可以是多线程自动化调度任务，执行频率周期可以是预设的，例如可以是每分钟执行一次。其中，基线作业对比流程是对比的是多条作业基线信息与大量作业明细信息，针对每条作业基线信息，需要和所有的作业明细信息进行对比，以确定出作业基线信息和作业明细信息是否匹配。

例如，多线程按照预设频率判断是否存在未进行基线作业对比的作业基线信息，任意一个线程在判断出存在未进行基线作业对比的作业基线信息时，将该作业基线信息与所有的作业明细信息进行对比，进而可以确定该作业基线信息与作业明细信息之间的差异信息。

作为一种可选的实施方式，在多线程中的任意一个线程按照预设频率判断出需要对所述作业基线表和所述作业记录表进行对比时，通过所述线程执行相应的作业对比操作，可以具体为：

在多线程中的任意一个线程按照预设频率判断出所述基线对比状态表中与所述预设时间段对应的基线对比记录的对比状态指示进行中时，通过所述线程对所述作业基线表和所述作业记录表进行对比。

在本实施方式中，多线程中的任意一个线程均可以按照基线对比记录的对比状态是否指示进行中来判断是否进行相应的基线作业对比操作，若判断出所述基线对比状态表中存在对比状态指示进行中的基线对比记录，则对包含预设时间段内的作业明细信息的作业记录表和包含预设时间段内的作业基线信息的作业基线表进行对比。

进一步的，通过所述线程对所述作业基线表和所述作业记录表进行对比，可以具体为：

通过所述线程在所述作业基线表中读取一条尚未进行对比的记录作为当前处理作业基线记录，并将所述当前处理作业基线进行锁定；通过所述线程将所述当前处理作业基线记录与所述作业记录表进行对比；返回执行通过所述线程在所述作业基线表中读取一条尚未进行对比的记录作为当前处理作业基线记录的操作，直至所述作业基线表中不存在尚未进行对比的记录。

针对多线程中的任意一个线程，在对所述作业基线表和所述作业记录表进行对比时，在所述作业基线表中读取一条尚未进行对比的作业基线记录，将其与作业记录表中的作业明细信息一一进行对比，确定作业明细信息是否可以与所述作业基线记录对比一致。

其中，在任意一个线程在作业基线表中读取一条尚未进行对比的作业基线记录之后，首先将该条作业基线记录进行锁定，以避免其他线程对该条作业基线记录进行重复对比，并在完成对该条作业基线记录的对比操作会后，为该条作业基线记录添加用于指示已进行对比的标志。

当任意一个线程判断出在作业基线表中不存在尚未进行对比的作业基线记录时，则可以将所述基线对比状态表中与所述预设时间段对应的基线对比记录的对比状态更新为指示完成(如对比状态由P更新为S)，同时还可以将相应的基线对比记录的差异生成状态更新为指示进行中(如差异生成状态由N更新为P)。

可选的，通过所述线程将所述当前处理作业基线记录与所述作业记录表进行对比，可以具体为：

通过所述线程在所述作业记录表中获取预设数量的未对比作业记录作为当前处理作业记录，并将所述当前处理作业记录进行锁定；通过所述线程将所述当前处理作业基线记录与所述当前处理作业记录进行对比，并在对比完成后将所述当前处理作业记录释放锁定；返回执行通过所述线程在所述作业记录表中获取预设数量的未对比作业记录作为当前处理作业记录的操作，直至所述作业记录表中不存在未对比作业记录。

针对多线程中的任意一个线程，在对作业基线表中的一条作业基线记录进行对比时，每次在所述作业记录表中大量未对比作业记录中获取预设数量的未对比作业记录进行对比，如每次获取5000条未对比作业记录进行对比，直至完成对作业记录表中所有作业记录的对比。

其中，在任意一个线程在作业记录表中读取预设数量的未对比作业记录之后，首先将这些作业记录进行锁定，并在完成对比后释放对这些作业记录的锁定。与此同时，其他线程在其余未锁定的作业记录中读取预设数量的未对比作业记录进行对比，以此实现了不同的线程在作业记录表中读取不同的作业记录进行对比，提高了不同线程之间针对作业记录进行对比的并发性。

需要注意的是，此处提到的未对比作业记录指的是针对执行本线程而言是未进行对比的，或者指的是针对本线程进行对比的作业基线记录而言是未进行对比的。可选的，每个线程在针对一个作业基线记录进行比对时，可以单独为作业记录表中已对比的作业记录添加特定标识，以避免出现作业记录漏对比的情况。

进一步的，在通过所述线程将所述当前处理作业基线记录与所述作业记录表进行对比之后，包括：

如果存在与所述当前处理作业基线对比一致的作业记录，则为所述当前处理作业基线标注匹配成功；将与所述当前处理作业基线对比一致的作业记录标注对比一致，并统计与所述当前处理作业基线记录一致的作业记录总数量；

根据所述作业记录总数量以及所述当前处理作业基线记录的作业发生频数计算与所述当前处理作业基线对应的频数差异值。

任意一个线程在将作业基线记录与作业记录表中作业记录进行对比时，针对任意一条作业记录，如果其与相应的作业基线记录对比结果为一致，则可以确定作业记录属于合法作业，不属于非法作业，进而可以为该作业记录添加用于指示对比一致的标志，同时也可以确定相应的作业基线记录能够匹配成功，进而也可以在作业基线表中为相应的作业基线记录添加用于指示匹配成功的标志。

其中，作业基线记录中包括与其对应的作业发生频数，也即应该能够与其对比一致的作业条数。进而，在任意一个线程在将作业基线记录与作业记录表中作业记录进行对比时，可以统计能够与该作业基线记录对比一致的作业记录总数量。可选的，在Redis中新建计数器，键(key)为能够唯一标识对比记录的值，如“对比批次号+服务器名称+作业基线相关信息”，值(value)为统计的与作业基线记录对比一致的作业记录总数量。

进而，可以将统计得到的所述作业记录总数量与相应的作业基线记录的作业发生频数的差值，作为与所述作业基线对应的频数差异值，并将频数差异值标记在作业基线表中相应的作业基线记录中。

S130、采用单线程根据对比结果生成所述作业基线信息和所述作业明细信息之间的差异信息。

在采用多线程自动对所述批处理作业在预设时间段内的作业基线信息和所述作业明细信息完成对比之后，可以采用单线程对对比结果进行扫描，生成所述作业基线信息和所述作业明细信息之间的差异信息。

作为一种可选的实施方式，采用单线程根据对比结果生成所述作业基线信息和所述作业明细信息之间的差异信息，可以具体为：采用单线程根据对比结果生成作业基线差异信息和作业明细差异信息。

在本实施方式中，差异信息生成过程可以包括作业基线差异信息生成过程和作业明细差异信息生成过程。其中，作业基线差异信息，主要指的是作业基线中存在的任务发送漏跑或者多跑的情况；作业明细差异信息，主要指的是作业基线中不存在的任务。

在上述技术方案的基础上，采用单线程根据对比结果生成作业基线差异信息和作业明细差异信息，包括：

采用单线程在所述基线对比状态表中与所述预设时间段对应的基线对比记录的差异生成状态指示进行中时，根据未标注匹配成功的作业基线记录以及标注匹配成功且所述频数差异值非零的作业基线记录，生成作业基线差异信息，并根据未标注对比一致的作业记录生成作业明细差异信息。

当所述基线对比状态表中与所述预设时间段对应的基线对比记录的差异生成状态指示进行中时，即进入了作业差异信息生成阶段。其中，作业差异信息生成阶段还可以划分为作业基线差异信息生成阶段和作业明细差异信息生成阶段。

在作业基线差异信息生成阶段，可以采用单线程在作业基线表中进行扫描，扫描出作业基线表中统计未标注匹配成功(如匹配标志为0)的作业基线记录，以及标注匹配成功(如匹配标志为1)且频数差异值非0的作业基线记录，作为作业基线差异信息。可选的，可以将扫描确定的作业基线差异信息写入“作业任务差异表”。

在作业明细差异信息生成阶段，可以采用单线程在作业记录表中进行扫描，扫描出作业记录标中未标注对比一致(如对比标志为0)的作业记录，作为作业明细差异信息。可选的，可以将扫描确定的作业明细差异信息写入“非法作业任务表”中。

至此，完成了针对批处理作业在预设时间段内的作业明细信息进行差异监控的流程，此时可以将所述基线对比状态表中与所述预设时间段对应的基线对比记录的差异生成状态更新为指示完成(如将差异生成状态由P更新为S)。可选的，还为作业基线差异信息生成阶段和作业明细差异信息生成阶段分别设置状态描述，如进入作业基线差异信息生成阶段时，将差异生成状态更新为P1，进入作业明细差异信息生成阶段时，将差异生成状态更新为P2。

进一步的，可以将所述作业基线信息和所述作业明细信息之间的差异信息存在数据库中提供数据操作界面以供查询，或者依据数据仓库的上层服务生成相应的报表。

本发明实施例提供的技术方案，针对获取到的批处理作业在预设时间段内的作业明细信息，采用多线程自动根据所述批处理作业在预设时间段内的作业基线信息对其进行对比，并采用单线程根据对比结果生成批处理作业执行的差异信息，以此实现了基于数据库对自主调度作业进行差异监控，处理效率高，能够及时提供批处理作业执行的差异结果。

在上述技术方案中，针对数量级较大的自动批处理任务的作业执行情况进行监控，及时提供作业差异信息。同时，采用多线程并发可扩展的形式提高了作业差异监控的效率，在基线作业对比的整个流程中基于状态描述进行标识，不会出现重复比对和漏比对的情况。

实施例二

本实施例在前述实施例的基础上提供了一种具体的实施方式。在本实施例中，将批处理作业具体为文件传输批处理作业。

为了高效、准确的监控文件传输作业的运行情况，本实施例提供的作业差异监控方法每一小时运行一次，将前一小时发生的所有文件传输任务与最新的文件传输基线进行比对，确定比对差异，继而可以将差异结果返回至监控组件或者报表组件。

其中，本实施例提供的作业差异监控方法大致可以分为文件传输作业日志接收、文件传输作业基线对比、差异信息生成这几个环节。

参照图3，在文件传输作业日志接收环节，接收文件传输组件传输过来的文件传输作业日志，例如可以使用Kafka实时接收从文件传输组件传输过来的文件传输作业日志。其中，可以将数据库按照小时分区，在接收到文件传输作业日志后，按照文件传输作业日志中任务发生时间存入库表。

在文件传输作业基线对比环节，采用多线程可扩展的集群模式，将文件传输作业日志与文件传输作业基线进行对比，具体可以是进行模糊匹配，并将匹配出的差异信息进行标记。其中，在文件传输作业基线对比环节中还包括文件传输作业基线同步更新操作，从基线维护组件获取最新的文件传输作业基线信息，并将信息存入库表保存，具体可以通过外呼基线维护组件的形式获取文件传输作业基线信息。

在差异信息生成环节，根据对比环节确定的差异信息标记记录，生成相应的差异数据文件，以可以发送给报表组件或通过监控展示页面进行展示。

如图4所示，本实施例提供的作业差异监控方法，具体包括：

S210、接收文件传输组件传输过来的文件传输作业日志，并整理成文件传输记录表。

系统的文件传输任务都需要经过文件传输组件，因此文件传输组件有系统内所有的文件传输日志。由于文件传输日志量大，为了提高传输速率，可以采用高吞吐量、低延时的Kafka作为发布订阅消息系统。文件传输组件作为消息的生产者，执行作业差异监控方法的作业管控系统作为消息的消费者，消息内容即为文件传输日志明细。其中，一条文件传输消息，即为一条文件传输日志明细。

可选的，通过解析消息内容，将消息内容保存至“文件传输明细表”。由于一个文件传输任务包含多条文件传输日志明细，多条文件传输日志明细代表了文件传输双方的交互情况，每条文件传输日志明细有相同的任务ID、文件发送方信息、文件接收方信息、文件列表名、文件传输方向，不同的处理状态和处理时间。其中，处理状态为90时，代表传输任务成功。

进而，可以将根据相同任务ID将多条文件传输日志明细合并为1条文件传输实例存入“文件传输实例表”。其中，一条文件传输实例的属性为文件传输任务ID，文件发送方，文件接收方，文件名称列表，文件任务最后状态，文件任务最后更新时间。

扫描文件传输实例表，将文件任务实例记录根据文件名称列表拆分为“文件传输记录表”，其属性为文件名称、文件任务ID、文件发送方、文件接收方、任务结束时间。可选的，文件传输记录表按照小时分区，一天有24个分区，分区键为任务结束时间。

示例性的，文件传输节点可以由字母和数字结合组成的四位字符表示，如G12A；文件名称格式可以表示为“文件发送方节点+自定义任务名称+日期+编号+后缀”，例如：G12A_testing_20201001_1.dat。其中，文件列表中，多个文件可以以英文逗号隔开。

S220、采用多线程自动将文件传输记录表和文件传输基线表进行对比，并将对比得到的差异记录进行标记。

其中，本步骤包括基线对比记录初始化、作业基线更新、基线作业对比这几个阶段。

在基线对比记录初始化阶段，对基线作业对比启动进行判断。此阶段采取多线程自动任务，可以整点执行，作业差异监控的日志明细范围为前一个小时内的文件传输记录数据，执行的基线作业对比的对比批号可以通过“yyyyMMddhh”形式来表示，如“2020100113”。

参见图5，每个线程在到达整点时间时，判断“基线对比状态表”中是否存在与当前整点时刻对应的基线对比记录，也即判断是否存在与当前整点时刻对应的对比批号的基线对比记录，当线程判断出不存在时，在“基线对比状态表”中新增基线对比记录，并为该基线对比记录添加相应的对比批号，同时将该基线对比记录的初始化状态更新为P。

在作业基线更新阶段，对“基线对比状态表”中基线对比记录的初始化状态自动进行扫描，以判断是否需要对相应的文件传输基线信息进行同步更新。此阶段采取多线程自动任务，执行频率可以预设，如每分钟执行一次。

参见图6，每个线程按照预设频率开启程序，扫描“基线对比状态表”中基线对比记录的初始化状态，当线程判断出存在初始化状态为P的基线对比记录时，外呼基线管理组件获取相应的文件传输基线信息。此时，可以将“基线对比状态表”中该基线对比记录的初始化状态由P更新为S，将基线同步状态由N更新为P。

基线管理组件会将前一个小时内应该发生的文件传输基线信息通过restful接口响应给作业管控组件，作业管控组件根据响应报文进行内容解析，并根据解析得到的文件传输基线信息更新“文件传输基线表”，此时，可以将“基线对比状态表”中相应基线对比记录的基线同步状态由P更新为S，对比状态由N更新为P。

示例性的，“文件传输基线表”中文件传输基线的文件名称格式可以为：“文件发送方节点+自定义任务名称+‘yyyyMMdd’+编号+后缀”，例如：“G12A_testing_yyyyMMdd_X.dat”。“文件传输基线表”的主要属性有文件名称，作业发生频数，文件发送方和文件接收方。

在基线作业对比阶段，对“基线对比状态表”中基线对比记录的对比状态自动进行扫描，以判断是否需要对进行基线作业对比操作。此阶段采取多线程自动任务，执行频率可以预设，如每分钟执行一次。

参见图7，每个线程按照预设频率扫描“基线对比状态表”中基线对比记录的对比状态，当线程判断出存在对比状态为P的基线对比记录时，开始执行基线作业对比操作。

线程从“文件传输基线表”中读取一条尚未对比的文件传输基线信息，并将该文件传输基线信息锁定，以将该文件传输基线信息与“文件传输明细表”中的文件传输作业记录进行对比，其中，在进行对比时可以采用模糊匹配的方式，由于模糊匹配具有不走索引的特点，以此可以提高数据对比效率。

针对一条文件传输基线信息，线程将分批多次在“文件传输明细表”中读取文件传输作业记录进行对比，每次在“文件传输明细表”中读取预设数量(如5000条)的未对比文件传输作业记录与其锁定的文件传输基线信息进行对比，若对比一致，则为相应的文件传输作业记录标注对比一致(如对比标志标注1)，并统计标注一致的文件传输作业记录总数量。可选的，在Redis中新建计数器，KEY为“对比批次号+服务器名+基线文件名”，VALUE为统计次数。当预设数量的文件传输作业记录完成对比之后，释放对这些文件传输作业记录的锁定，继续在“文件传输明细表”中读取预设数量的未对比文件传输作业记录与其锁定的文件传输基线信息进行对比，为对比一致的文件传输作业记录标注对比一致，并在已建的计数器中叠加统计次数，直至“文件传输明细表”中的所有文件传输作业记录均被对比。此时，可以将计数器中统计值与相应文件传输基线信息中作业发生频数相减，差值存在“文件传输基线表”中相应文件传输基线信息的“频率差异”中。

同时，若存在与锁定的文件传输基线信息对比一致的文件传输作业记录，还可以在“文件传输基线表”中相应文件传输基线信息的“匹配标志”中标记匹配成功(如标记1)，反之，则标记匹配失败(如标记0)。

直到线程在扫描“文件传输明细表”中没有未处理的文件传输作业记录，“文件传输基线表”中也没有未处理的文件传输基线信息，则可以将“基线对比状态表”中相应基线对比记录的对比状态由P更新为S，并将其差异生成状态由N更新为P。

S230、采用单线程根据标记的差异记录生成作业基线差异信息和作业明细差异信息。

在差异信息生成阶段，包括作业基线差异信息生成阶段和作业明细差异信息生成阶段，其中，可以将作业基线差异信息写入“文件传输任务差异表”中，将作业明细差异信息写入“非法文件任务表”中。此该过程采用单线程，执行频率可以预设，如每分钟执行一次。

其中，作业基线差异信息生成过程，主要是用于统计文件传输基线中存在的任务发生漏跑或者多跑的情况。线程扫描“基线对比状态表”，当线程判断出存在差异生成状态为P的基线对比记录时，可以将差异生成状态由P更新为P1(表明进入作业基线差异信息生成阶段)，并将“文件传输基线表”中“匹配标志”为“0”，以及“匹配标志”为“1”且“频率差异”非零的文件传输基线数据写入“文件传输任务差异表”。处理完成后则可以将“基线对比状态表”相应的差异生成状态由P1更新为P2(表明进入作业明细差异信息生成阶段)。

作业明细差异信息生成阶段，主要是用于没有在文件传输基线中的文件传输任务。线程扫描“文件传输记录明细表”，将“对比标志”为“0”的文件传输作业数据插入“非法文件任务表”中。处理完成后则可以将“基线对比状态表”相应的差异生成状态改为由P2更新为S。

进一步的，可以将“文件传输任务差异表”和“非法文件任务表”存在数据库中以供界面查询，或者由数据仓库生成报表。

本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。

在上述技术方案中，能够监控大批量的文件传输任务是否按时完成，并能够及时反馈作业差异情况。其中，采用多线程可扩展的集群模式进行基线作业对比，提高了基线作业对比的效率，而且由于采用状态变化描述作业对比情况，线程之间不会出现漏处理以及重复处理的问题。

实施例三

图8是本发明实施例三提供的一种作业差异监控装置的结构示意图，可适用于对批量自调度作业的执行结果进行差异监控的情况，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。

如图8所示，该作业差异监控装置具体包括：作业信息获取模块310、作业信息对比模块320和作业差异生成模块330。其中，

作业信息获取模块310，用于获取批处理作业在预设时间段内的作业明细信息；

作业信息对比模块320，用于采用多线程自动对所述批处理作业在预设时间段内的作业基线信息和所述作业明细信息进行对比；

作业差异生成模块330，用于采用单线程根据对比结果生成所述作业基线信息和所述作业明细信息之间的差异信息。

本发明实施例提供的技术方案，针对获取到的批处理作业在预设时间段内的作业明细信息，采用多线程自动根据所述批处理作业在预设时间段内的作业基线信息对其进行对比，并采用单线程根据对比结果生成批处理作业执行的差异信息，以此实现了基于数据库对自主调度作业进行差异监控，处理效率高，能够及时提供批处理作业执行的差异结果。

可选的，作业差异生成模块330，具体用于采用单线程根据对比结果生成作业基线差异信息和作业明细差异信息。

可选的，上述装置还包括：作业信息整理模块，用于在获取批处理作业在预设时间段内的作业明细信息之后，对所述作业明细信息进行整理，生成作业记录表；

相应的，作业信息对比模块320，具体用于采用多线程自动对与所述批处理作业在预设时间段内的作业基线信息对应的作业基线表和所述作业记录表进行对比。

可选的，作业信息对比模块320包括：基线对比记录初始化单元、作业基线表更新单元和作业对比单元，其中，

基线对比记录初始化单元，用于在多线程中的一个线程定时判断出需要对基线对比状态表中与所述预设时间段对应的基线对比记录进行初始化时，通过所述线程执行相应的基线对比记录初始化操作；

作业基线表更新单元，用于在多线程中的一个线程按照预设频率判断出需要对作业基线表进行更新时，通过所述线程执行相应的作业基线表更新操作；

作业对比单元，用于在多线程中的任意一个线程按照预设频率判断出需要对所述作业基线表和所述作业记录表进行对比时，通过所述线程执行相应的作业对比操作。

进一步的，基线对比记录初始化单元，具体用于通过多线程定时判断所述基线对比状态表中是否存在与所述预设时间段对应的基线对比记录；当其中一个线程判断出所述基线对比状态表中不存在与所述预设时间段对应的基线对比记录时，通过所述线程在所述基线对比状态表中新增与所述预设时间段对应的基线对比记录并将所述基线对比记录的初始化状态更新为指示进行中。

进一步的，作业基线表更新单元，具体用于通过多线程按照预设频率判断所述基线对比状态表中与所述预设时间段对应的基线对比记录的初始化状态是否指示进行中；当其中一个线程判断出所述基线对比状态表中与所述预设时间段对应的基线对比记录的初始化状态指示进行中时，通过所述线程获取与所述预设时间段对应的作业基线信息对所述作业基线表进行更新，并将所述基线对比状态表中与所述预设时间段对应的基线对比记录的初始化状态更新为指示完成、基线同步状态更新为指示进行中；在对所述作业基线表完成更新时，通过所述线程将所述基线对比状态表中与所述预设时间段对应的基线对比记录的基线同步状态更新为指示完成，对比状态更新为指示进行中。

进一步的，作业对比单元，具体用于在多线程中的任意一个线程按照预设频率判断出所述基线对比状态表中与所述预设时间段对应的基线对比记录的基线同步状态指示完成、对比状态指示进行中时，通过所述线程对所述作业基线表和所述作业记录表进行对比。

可选的，作业对比单元在通过所述线程对所述作业基线表和所述作业记录表进行对比时，具体用于通过所述线程在所述作业基线表中读取一条尚未进行对比的记录作为当前处理作业基线记录，并将所述当前处理作业基线进行锁定；通过所述线程将所述当前处理作业基线记录与所述作业记录表进行对比；返回执行通过所述线程在所述作业基线表中读取一条尚未进行对比的记录作为当前处理作业基线记录的操作，直至所述作业基线表中不存在尚未进行对比的记录，将所述基线对比状态表中与所述预设时间段对应的基线对比记录的对比状态更新为指示完成。

进一步的，作业对比单元在通过所述线程将所述当前处理作业基线记录与所述作业记录表进行对比时，具体用于通过所述线程在所述作业记录表中获取预设数量的未对比作业记录作为当前处理作业记录，并将所述当前处理作业记录进行锁定；通过所述线程将所述当前处理作业基线记录与所述当前处理作业记录进行对比，并在对比完成后将所述当前处理作业记录释放锁定；返回执行通过所述线程在所述作业记录表中获取预设数量的未对比作业记录作为当前处理作业记录的操作，直至所述作业记录表中不存在未对比作业记录。

可选的，作业信息对比模块320还包括对比结果标注单元，用于在通过所述线程将所述当前处理作业基线记录与所述作业记录表进行对比之后，如果存在与所述当前处理作业基线对比一致的作业记录，则为所述当前处理作业基线标注匹配成功；将与所述当前处理作业基线对比一致的作业记录标注对比一致，并统计与所述当前处理作业基线记录一致的作业记录总数量；根据所述作业记录总数量以及所述当前处理作业基线记录的作业发生频数计算与所述当前处理作业基线对应的频数差异值。

进一步的，作业差异生成模块330，具体用于采用单线程在所述基线对比状态表中与所述预设时间段对应的基线对比记录的差异生成状态指示进行中时，根据未标注匹配成功的作业基线记录以及标注匹配成功且所述频数差异值非零的作业基线记录，生成作业基线差异信息，并根据未标注对比一致的作业记录生成作业明细差异信息。

可选的，作业信息对比模块320，具体用于采用多线程自动对所述批处理作业在预设时间段内的作业基线信息和所述作业明细信息进行模糊匹配。

可选的，所述批处理作业包括文件传输批处理作业。

上述作业差异监控装置可执行本发明任意实施例所提供的作业差异监控方法，具备执行作业差异监控方法相应的功能模块和有益效果。

由于上述所介绍的作业差异监控装置为可以执行本发明实施例中的作业差异监控方法的装置，故而基于本发明实施例中所介绍的作业差异监控方法，本领域所属技术人员能够了解本实施例的作业差异监控装置的具体实施方式以及其各种变化形式，所以在此对于该作业差异监控装置如何实现本发明实施例中的作业差异监控方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中作业差异监控方法所采用的装置，都属于本申请所欲保护的范围。

实施例四

图9为本发明实施例四提供的一种计算机设备的硬件结构示意图。图9示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图9显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图9中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种作业差异监控方法。

也即，所述处理单元执行所述程序时实现：获取批处理作业在预设时间段内的作业明细信息；采用多线程自动对所述批处理作业在预设时间段内的作业基线信息和所述作业明细信息进行对比；采用单线程根据对比结果生成所述作业基线信息和所述作业明细信息之间的差异信息。

实施例五

本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的一种作业差异监控方法，也即，该程序被处理器执行时实现：获取批处理作业在预设时间段内的作业明细信息；采用多线程自动对所述批处理作业在预设时间段内的作业基线信息和所述作业明细信息进行对比；采用单线程根据对比结果生成所述作业基线信息和所述作业明细信息之间的差异信息。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言(诸如Java、Smalltalk、C++)，还包括常规的过程式程序设计语言(诸如“C”语言或类似的程序设计语言)。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网LAN或广域网WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。