批量数据处理方法、前端系统、主机及批量数据处理系统

摘要

本发明提供了一种批量数据处理方法、前端系统、主机及批量数据处理系统，该方法包括：获取用户提交的待处理交易数据；按照待处理交易数据的处理类型对所述待处理交易数据进行分拣，提取出需要主机处理的交易数据；暂存需要主机处理的交易数据，同时生成一条主键为用户交易ID的未处理交易记录；将暂存的交易数据按照先入先出的方式出列，将出列的交易数据汇总后分批发送给主机；获取主机根据交易数据生成的交易处理结果，并根据交易处理结果更新对应的未处理交易记录的状态，同时反馈给用户。利用本发明可以解决交易高并发量引起的系统瓶颈问题，降低了网络带宽的压力并提高了数据的处理效率，提高了系统在数据并发爆发时的稳定性，保证生产安全。

说明书

技术领域

本发明涉及计算机数据交互技术领域，特别涉及一种批量数据处理方法、前端系统、主机及批量数据处理系统。

背景技术

随着互联网的高速发展，大型企业的信息系统越来越广泛，不同应用系统间的交互越来越频繁，数据并发量越来越大，各应用系统间的负载均衡一直是企业不断关注的问题。同时，某些时段交易量的集中爆发可能造成系统间的数据传输堵塞，极大的影响了生产稳定和客户的体验。例如，证券交易所收盘时点出现的股票基金买卖高峰、铁路售票系统春运期间出现的抢票、淘宝网双11抢购，经常出现瞬间数据并发量巨大导致系统超负荷运行，出现资源抢占导致大量传输数据堵塞并出现网络延迟、数据处理失败的现象，给用户造成了一定的经济损失，同时也给企业造成了较大的负面影响。因此，如何有效解决数据量集中爆发时的数据传输和数据处理效率，逐渐成为大型企业信息系统亟需解决的问题。

发明内容

为解决上述技术问题，本发明提供了一种批量数据处理方法、前端系统、主机及批量数据处理系统。

本发明一方面提供了一种批量数据处理方法，所述批量数据处理方法包括：

获取用户提交的待处理交易数据；

按照所述待处理交易数据的处理类型对所述待处理交易数据进行分拣，提取出需要主机处理的交易数据；

暂存所述需要主机处理的交易数据，同时生成一条主键为用户交易ID的未处理交易记录；

将暂存的交易数据按照先入先出的方式出列，并将出列的交易数据汇总后分批发送给主机；

获取所述主机根据所述交易数据生成的交易处理结果，并根据所述交易处理结果更新对应的未处理交易记录的状态，同时反馈给用户。

在一实施例中，暂存所述需要主机处理的交易数据，包括：将所述需要主机处理的交易数据按照预设的交易优先级进行排队等待，对于排队等待时间超过预设等待时间的交易数据，将交易数据按照排队等待时间由长至短的顺序入列。

在一实施例中，所述批量数据处理方法还包括：

当未能获取所述主机生成的交易处理结果时，根据用户重新提交的待处理交易数据，生成一包含用户交易ID的待确认命令并发送给所述主机；

接收所述主机基于所述待确认命令返回的交易处理结果，并根据所述交易处理结果更新对应的未处理交易记录的状态并反馈给用户。

在一实施例中，所述批量数据处理方法还包括：

定期获取所述主机根据所述交易数据生成的交易结果文件，其中，所述交易结果文件包含至少一个交易处理结果；

根据所述交易结果文件对所述未处理交易记录进行勾对及更新，将因与所述主机通讯失败导致的疑账交易结果反馈给用户。

在一实施例中，所述批量数据处理方法还包括：

在第T+1日获取所述主机根据所述交易数据生成的交易结果文件，其中，所述交易结果文件包含至少一个交易处理结果，T为所述交易数据的交易日；

根据所述未处理交易记录中的用户交易ID查询所述交易结果文件中是否存在相应的交易处理结果；

如果否，则将所述未处理交易记录的状态修改为发送主机失败并反馈给用户；

如果是，则将所述未处理交易记录的状态修改为已处理，并在勾对完成后将对应的交易处理结果发送给用户。

本发明还提供了一种批量数据处理方法，所述批量数据处理方法包括：

接收需要本地处理的交易数据，并将所述交易数据暂存至待批处理队列中；

根据所述交易数据的数据特性对所述待批处理队列中的交易数据进行分类；

对已分类完毕的交易数据进行多批次并发处理及逻辑处理，得到交易处理结果并输出，并将所述交易处理结果的状态标记为已返传。

在一实施例中，所述批量数据处理方法还包括：定期扫描未返传的交易处理结果，当未返传的所述交易处理结果的累计数量达到预设数量时，将未返传的所述交易处理结果汇总后输出，并将所述交易处理结果的状态标记为已返传。

在一实施例中，所述批量数据处理方法还包括：定期扫描未返传的交易处理结果，当达到预设的等待时间上限后，将未返传的所述交易处理结果汇总后输出，并将所述交易处理结果的状态标记为已返传。

在一实施例中，所述批量数据处理方法还包括：在交易日当天营业时间结束后，扫描所述交易日当天已处理的交易数据对应的交易处理结果，并生成交易结果文件并输出。

在一实施例中，所述批量数据处理方法还包括：

接收包含用户交易ID的待确认命令；

根据所述待确认命令中的用户交易ID查询包含至少一个交易处理结果的交易处理文件，并将与所述用户交易ID相关的交易处理结果输出。

本发明另一方面还提供了一种前端系统，所述前端系统包括：

交易数据获取单元，用于获取用户提交的待处理交易数据；

交易数据分拣单元，用于按照所述待处理交易数据的处理类型对所述待处理交易数据进行分拣，提取出需要主机处理的交易数据；

缓存单元，用于暂存所述需要主机处理的交易数据，同时生成一条主键为用户交易ID的未处理交易记录；

交易数据传送单元，用于将暂存的交易数据按照先入先出的方式出列，并将出列的交易数据汇总后分批发送给主机；

处理结果接收单元，用于接收所述主机根据所述交易数据生成的交易处理结果，并根据所述交易处理结果更新对应的未处理交易记录的状态，同时反馈给用户。

在一实施例中，所述缓存单元包括一监控进程模块，用于将所述需要主机处理的交易数据按照预设的交易优先级进行排队等待，对于排队等待时间超过预设等待时间的交易数据，将交易数据按照排队等待时间由长至短的顺序入列。

在一实施例中，所述前端系统还包括：

待确认命令生成单元，用于当未能获取所述主机生成的交易处理结果时，根据用户重新提交的待处理交易数据，生成一包含用户交易ID的待确认命令并发送给所述主机；

第一反馈单元，用于接收所述主机基于所述待确认命令返回的交易处理结果，并根据所述交易处理结果更新对应的未处理交易记录的状态并反馈给用户。

在一实施例中，所述前端系统还包括：

同步单元，用于定期获取所述主机根据所述交易数据生成的交易结果文件，其中，所述交易结果文件包含至少一个交易处理结果；

第二反馈单元，用于根据所述交易结果文件对所述未处理交易记录进行勾对及更新，将因与所述主机通讯失败导致的疑账交易结果反馈给用户。

在一实施例中，所述前端系统还包括：

文件获取单元，用于在第T+1日获取与所述主机根据所述交易数据生成的交易结果文件，其中，所述交易结果文件包含至少一个交易处理结果，T为所述交易数据的交易日；

查询单元，用于根据所述未处理交易记录中的用户交易ID查询所述交易结果文件中是否存在相应的交易处理结果；

第三反馈单元，用于当所述查询单元的查询结果为否时，将所述未处理交易记录的状态修改为发送主机失败，以及当所述查询单元的查询结果为是时，将所述未处理交易记录的状态修改为已处理，并在勾对完成后将对应的交易处理结果发送给用户。

本发明一方面还提供了一种批量数据处理主机，所述主机包括：

数据接收单元，用于接收需要本地处理的交易数据，并将所述交易数据暂存至待批处理队列中；

分类单元，用于根据所述交易数据的数据特性对所述待批处理队列中的交易数据进行分类；

数据处理单元，用于对已分类完毕的交易数据进行多批次并发处理及逻辑处理，得到交易处理结果并输出，并将所述交易处理结果的状态标记为已返传。

在一实施例中，所述主机还包括：处理结果返传单元，用于定期扫描未返传的交易处理结果，当未返传的交易处理结果的累计数量达到预设数量时，将未返传的所述交易处理结果汇总后输出，并将所述交易处理结果的状态标记为已返传。

在一实施例中，所述处理结果返传单元还用于：定期扫描未返传的交易处理结果，当达到预设的等待时间上限后，将未返传的所述交易处理结果汇总后输出，并将所述交易处理结果的状态标记为已返传。

在一实施例中，所述主机还包括：文件生成单元，用于在交易日当天营业时间结束后，扫描所述交易日当天已处理的交易数据并生成交易结果文件并输出。

在一实施例中，所述主机还包括：

待确认命令接收单元，用于接收包含用户交易ID的待确认命令；

查找单元，用于根据所述待确认命令中的交易ID查询包含至少一个交易处理结果的交易处理文件，将与所述用户交易ID相关的交易处理结果输出。

本发明另外还提供一种批量数据处理系统，所述批量数据处理系统包括：所述的前端系统及所述的主机。

利用本发明提供的批量数据处理方法、前端系统、主机及批量数据处理系统，在计算机系统上合理地组织和设计系统结构，将前端系统接收数据的便利性与主机处理数据的高效性进行有效结合，解决交易高并发量引起的系统瓶颈问题。前端系统接收用户数据并进行分拣和提取，采用队列存储以及流水线调度机制，汇总数据后分批发送主机处理，同时主机按多批次进行并发处理，减少了前端系统与主机的交互次数，降低了网络带宽的压力并提高了数据的处理效率；同时，主机采用的小批量并发处理方式相比大量单笔并发处理的效率更高，也不易出现数据堵塞，从而大大提高了系统在数据并发爆发时的稳定性，保证生产安全。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例批量数据处理方法的流程图；

图2为本发明另一实施例批量数据处理方法的流程图；

图3为本发明实施例交互的批量数据处理方法的流程图；

图4为本发明实施例前端系统的结构示意图；

图5为本发明实施例批量数据处理主机的结构示意图；

图6为本发明实施例批量数据处理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例批量数据处理方法的流程示意图。如图1所示，该批量数据处理方法主要包括以下步骤：

步骤S10、获取用户提交的待处理交易数据。

步骤S11、按照获取的待处理交易数据的处理类型对待处理交易数据进行分拣，提取出需要主机处理的交易数据。

步骤S12、暂存步骤S11中提取出的需要主机处理的交易数据，同时生成一条主键为用户交易ID的未处理交易记录。

步骤S13、将暂存的交易数据按照先入先出的方式出列，并将出列的交易数据汇总后分批发送给主机。

在将出列的交易数据汇总后分批发送给主机时，可以使用通用网关协议对出列数据进行打包，发送到主机进行处理。采用多条交易数据打包发送的方式减少了与主机交互的次数，降低网络带宽的压力并提高了交易数据的处理效率。

步骤S14、获取主机根据上述交易数据生成的交易处理结果，并根据该交易处理结果更新对应的未处理交易记录的状态，同时反馈给用户。

通常地，在获取主机生成的交易处理结果后，需根据网关协议将数据解析为本地可识别的类型，对未处理交易记录的状态进行更新，保证与主机端数据的统一。

利用本发明实施例提供的批量数据处理方法接收用户提交的待处理交易数据并进行分拣和提取，采用队列存储以及流水线调度机制，汇总数据后分批发送主机处理，减少了与主机的交互次数，降低了网络带宽的压力并提高了数据的处理效率。

一实施例中，在提取出需要主机处理的交易数据后，步骤S12中暂存需要主机处理的交易数据时，通常将需要主机处理的交易数据按照预设的交易优先级进行排队等待，对于排队等待时间超过预设等待时间的交易数据，将交易数据按照排队等待时间由长至短的顺序入列。例如，高优先级的交易数据先入列，低优先级的交易数据排队等待，对于超过预设最大等待时间的交易数据，等待时间最长的优先入列，出列时则按照队列组建的先后顺序，即先进先出的原则进行。

采用设置交易处理优先级的策略，为批量交易数据的处理的提供了更多的空间，提升了用户体验。

一般地，当网络发生延时或者中断甚至硬件发生故障，导致未能从主机端成功获取其生成的交易处理结果时，需要用户重新提交包含待处理交易数据的交易申请，利用本发明实施例提供的批量数据处理方法，根据用户重新提交的待处理交易数据生成一个包含用户交易ID的待确认命令，并将该待确认命令发送给主机，以主动发起交易处理结果的确认；然后，接收主机基于所述待确认命令返回的交易处理结果，并根据所述交易处理结果更新对应的未处理交易记录的状态并反馈给用户。

除接收主机生成的交易处理结果外，利用本发明实施例提供的方法还可以定期获取主机根据交易数据生成的交易结果文件(交易结果文件包含至少一个交易处理结果)，以减少与主机的交互次数。在获取得到主机生成的交易结果文件后，根据该交易结果文件对未处理交易记录进行勾对、更新，如果存在因与主机通讯失败导致的疑账交易结果，则将该疑账交易结果反馈给用户。

除上述主动从主机获取交易结果文件外，利用本发明实施例的方法还可以在第T+1日获取主机根据交易数据生成的交易结果文件，其中T为交易数据的交易日。由于主机在交易日当天通常会处理较大数量的交易数据，所以在交易结果文件中也相应的包含多个交易处理结果。然后，根据未处理交易记录中的用户交易ID查询上述交易结果文件中是否存在与该交易数据对应的交易处理结果。如果不存在，说明未能将交易数据发送到主机端处理，则将该交易数据对应的未处理交易记录的状态修改为发送主机失败，同事反馈给用户。如果交易结果文件中存在与该交易数据对应的交易处理结果，则将该交易数据对应的未处理交易记录的状态修改为已处理，并在勾对完成后将对应的交易处理结果发送给用户。可以通过邮件方式发送给用户，也可以通过短信方式发送给用户，本发明并不以此为限。

利用本发明实施例提供的批量数据处理方法对交易疑账的情况进行勾对，有效解决了交互数据丢失造成的系统间数据不统一、数据同步不及时等问题。

图2为本发明另一实施例批量数据处理方法的流程图。如图2所示，该批量数据处理主要是在主机端完成的，主要包括以下步骤：

步骤S20、接收需要本地处理的交易数据，并将该交易数据暂存至待批处理队列。

一般地，在接收到需要本地处理的交易数据后，需根据网关协议解析为可识别的数据类型，同时存储至待批处理队列中。

步骤S21、根据交易数据的数据特性对所述待批处理队列中的交易数据进行分类。例如可以根据交易地区、交易类型对交易数据进行分类，以缩短交易数据的处理时间，提高处理效率。

步骤S22、对已分类完毕的交易数据进行多批次并发处理及逻辑处理，得到交易处理结果并输出，并将所述交易处理结果的状态标记为已返传。此处的返传是指将交易处理结果输出给发来交易数据的一端。

在得到交易处理结果后，通常需根据网关协议对交易处理结果进行封装打包后再输出。

利用本发明实施例提供的批量数据处理方法对交易数据并进行分类后并发处理的方式，有效地提高了交易数据的处理效率，解决高并发量的系统瓶颈。

在一实施例中，为了保证输出所有的交易处理结果，本发明实施例提供的批量数据处理方法还包括，定期扫描未返传的交易处理结果，当未返传的交易处理结果的累计数量达到预设数量时，将未返传的交易处理结果汇总后输出，并将相应的交易处理结果的状态标记为已返传。

除了根据交易处理结果的累计数量输出交易处理结果的方式外，本发明实施例还可以按照时间的方式定时输出交易处理结果，即定期扫描未返传的交易处理结果，当达到预设的等待时间上限后，将未返传的交易处理结果汇总后输出，并将相应的交易处理结果的状态标记为已返传。

一般地，交易日当天的交易数据量很大，为了避免降低处理交易数据的效率，本发明实施例通常在交易日当天营业结束后，扫描该交易日当天已处理的交易数据，并且扫描这些交易数据对应的交易处理结果生成交易结果文件后输出。

在一实施例中，本发明提供的批量数据处理方法还包括：接收包含用户交易ID的待确认命令；根据该待确认命令中的用户交易ID查询交易处理文件，如果交易结果文件中存在与该用户交易ID相应的交易处理记录时，将该交易处理结果输出。

本发明实施例采用小批量并发处理方式相比大量单笔并发处理的效率更高，也不易出现数据堵塞，从而大大提高了系统在数据并发爆发时的稳定性，保证生产安全。

图3为本发明实施例交互的批量数据处理方法的流程图。如图3所示，该方法是在两端完成的，在获取用户提交的待处理交易数据(步骤S10)后，按照待处理交易数据的处理类型对其进行分拣，提取出需要主机处理的交易数据(步骤S11)并暂存，同时生成一条主键为用户交易ID的未处理交易记录(步骤S12)；然后将暂存的交易数据按照先入先出的方式出列，并将出列的交易数据汇总后分批发送给主机(步骤S13)。主机接收需要本地处理的交易数据后，将其暂存至待批处理队列中(步骤S20)；根据暂存的交易数据的数据特性堆起进行分类(步骤S21)；对已分类完毕的交易数据进行多批次并发处理及逻辑处理，得到交易处理结果并输出，同时将交易处理结果的状态标记为已返传(步骤S22)。获取主机生成的交易处理结果，并根据交易处理结果更新相应的未处理交易记录的状态，并及时反馈给用户(步骤S14)。

利用本发明实施例，可以解决交易数据高并发量引起的系统瓶颈问题，降低网络带宽的压力，同时提高了数据的处理效率。

基于与图1所示的批量数据处理方法相同的发明构思，本申请实施例还提供了一种前端系统，如下面实施例所述。由于该前端系统解决问题的原理与图1中批量数据处理方法相似，因此该前端系统的实施可以参见图1的批量数据处理方法的实施，重复之处不再赘述。

在另一实施例中，本发明还提供了一种前端系统，其结构示意图如图4所示，该前端系统主要包括：交易数据获取单元11、交易数据分拣单元12、缓存单元13、交易数据传送单元14及处理结果接收单元15。

交易数据获取单元11用于获取用户提交的待处理交易数据。交易数据分拣单元12用于按照待处理交易数据的处理类型对待处理交易数据进行分拣，提取出需要主机处理的交易数据。缓存单元13用于暂存需要主机处理的交易数据，同时生成一条主键为用户交易ID的未处理交易记录。交易数据传送单元14用于将暂存的交易数据按照先入先出的方式出列，并将出列的交易数据汇总后分批发送给主机。处理结果接收单元15用于接收主机根据交易数据生成的交易处理结果，并根据该交易处理结果更新对应的未处理交易记录的状态，同时反馈给用户。

在一实施例中，本发明实施例中的缓存单元13中包括一监控进程模块，用于将交易数据分拣单元12分拣出的需主机处理的交易数据按照预设的交易优先级进行排队等待，对于排队等待时间超过预设等待时间的交易数据，将交易数据按照排队等待时间由长至短的顺序入列。

本发明实施例中的前端系统通常还包括一待确认命令生成单元16及反馈单元17。待确认命令生成单元16用于当未能获取主机生成的交易处理结果时，根据用户重新提交的待处理交易数据，生成一个包含用户交易ID的待确认命令并发送给主机。反馈单元17用于接收主机基于待确认命令返回的交易处理结果，并根据该交易处理结果更新对应的未处理交易记录的状态，同时反馈给用户。

在一实施例中，本发明实施例中的前端系统还包括一同步单元18及反馈单元19。同步单元18用于定期获取主机根据交易数据生成的交易结果文件，其中，该交易结果文件包含至少一个交易处理结果。反馈单元19用于根据交易结果文件对未处理交易记录进行勾对及更新，将因与主机通讯失败导致的疑账交易结果反馈给用户。

本发明实施例中的前端系统还包括：文件获取单元20、查询单元21及反馈单元22。其中，文件获取单20用于在第T+1日获取与主机根据交易数据生成的交易结果文件，T为交易数据的交易日。查询单元21用于根据未处理交易记录中的用户交易ID查询交易结果文件中是否存在相应的交易处理结果。反馈单元22用于当查询单元21的查询结果为否时，将未处理交易记录的状态修改为发送主机失败；以及在查询单元21的查询结果为是时，将相应的未处理交易记录的状态修改为已处理，并在勾对完成后将对应的交易处理结果发送给用户。

利用本发明实施例提供的前端系统接收用户提交的待处理交易数据并进行分拣和提取，采用队列存储以及流水线调度机制，汇总数据后分批发送主机处理，减少了与主机的交互次数，降低了网络带宽的压力并提高了数据的处理效率。

基于与图2所示的批量数据处理方法相同的发明构思，本申请实施例还提供了一种批量数据处理主机，如下面实施例所述。由于该批量数据处理主机解决问题的原理与图2中批量数据处理方法相似，因此该批量数据处理主机的实施可以参见图2的批量数据处理方法的实施，重复之处不再赘述。

本发明实施例提供的批量数据处理主机的机构示意图如图5所示，该批量数据处理主机主要包括：数据接收单元31、分类单元32及数据处理单元33。其中，数据接收单元31用于接收需要本地处理的交易数据，并将该交易数据暂存至待批处理队列中。分类单元32用于根据交易数据的数据特性对待批处理队列中的交易数据进行分类。数据处理单元33用于对已分类完毕的交易数据进行多批次并发处理及逻辑处理，得到交易处理结果并输出，即将交易处理结果返传给前端系统，同时将上述交易处理结果的状态标记为已返传。

利用本发明实施例提供的主机对交易数据并进行分类后并发处理的方式，有效地提高了交易数据的处理效率，解决高并发量的系统瓶颈。

在一实施例中，本发明实施例中的批量数据处理主机还包括处理结果返传单元34，用于定期扫描未返传的交易处理结果，当未返传的交易处理结果的累计数量达到预设数量时，将未返传的交易处理结果汇总后输出，并将相应的交易处理结果的状态标记为已返传。

通常地，除了根据交易处理结果的累计数量输出交易处理结果的方式外，处理结果返传单元34还可以按照时间的方式定时输出交易处理结果，即定期扫描未返传的交易处理结果，当达到预设的等待时间上限后，将未返传的所述交易处理结果汇总后输出，并将所述交易处理结果的状态标记为已返传。

在一实施例中，上述的批量数据处理主机还包括一文件生成单元35，用于在交易日当天营业时间结束后，扫描交易日当天已处理的交易数据的交易处理结果，并生成交易结果文件输出。

一般地，本发明实施例提供的批量数据处理主机还包括一待确认命令接收单元36及查找单元37。其中，待确认命令接收单元36用于接收包含用户交易ID的待确认命令。查找单元37用于根据待确认命令中的交易ID查询包含多个交易处理结果的交易处理文件，将与待确认命令中的用户交易ID相关的交易处理结果输出。

本发明实施例采用小批量并发处理方式相比大量单笔并发处理的效率更高，也不易出现数据堵塞，从而大大提高了系统在数据并发爆发时的稳定性，保证生产安全。

图6为本发明实施例批量数据处理系统的结构示意图。如图6所示，该批量数据处理系统包括图4所示的前端系统及图5所示的批量数据处理主机。交易数据获取单元11负责采集用户在终端录入的交易数据，前端系统启动交易数据分拣单元12对获取的交易数据进行分拣，提取出需要主机处理的交易数据，同时存储到缓存单元13中，并由交易数据传送单元14负责从缓存单元13中出列发送到主机。主机中的数据接收单元31接收到交易数据传送单元14传递的待处理交易数据并完成入列处理，存储到待批处理队列中。分类单元32根据待批处理队列中交易数据的数据类型对其进行分类，数据处理单元33对分好类的交易数据进行多批次并发处理及逻辑处理后得到交易处理结果，并将该交易处理结果输出。处理结果返传单元34定期扫描未返传的交易处理结果，在累计待发送记录数或等待时间达到上限后发送给前端系统，由处理结果接收单元15完成前端系统中交易数据的同步。文件生成单元35在交易日营业时间结束后扫描交易数据的交易处理结果，并根据交易处理结果生成交易结果文件输出给前端系统，由文件获取单元20再次同步保证前端系统与主机数据的统一。

缓存单元13中的监控进程模块将需要主机处理的交易数据按照交易入列策略参数表中预设的交易优先级将其暂存，同时生成一条未处理交易记录，主键为用户交易ID。采用交易处理优先级通过参数设置的策略，为系统的灵活定制提供了更多空间，提升了用户体验。

交易数据传送单元14在将暂存在缓存单元13中的交易数据发送给主机之前，使用通用网关协议对出列的交易数据进行封装打包，分批发送给主机，以减少前端系统与主机的交互次数，降低了网络带宽的压力并且提高了批量数据处理系统的处理效率。

数据接收单元31在接收到前端系统传入的交易数据后，根据网关协议将交易数据解析为主机能识别的类型，并存储到待批处理队列中。

分类单元32分析待批处理队列中的交易数据，根据数据特性(例如交易地区、交易类型)对交易数据进行分类，主机端启动数据处理单元33对分好类的交易数据进行多批次并发处理，同时将处理结果通过网关协议封装后返传回前端系统。通过对交易数据分类处理的方式，充分利用了主机高效的处理能力，提高了批量数据处理系统整体的处理效率。

处理结果接收单元15接收到主机返传的交易处理结果后，根据网关协议将数据解析为前端系统能识别的类型，并根据该交易处理结果来更新前端系统中的未处理交易记录，同时反馈给用户。

当网络发生延时或中断甚至硬件发生故障时，前端系统无法正常接收到主机返回的交易处理结果，用户重新提交包含交易数据的交易申请给待确认命令生成单元16，主动发起交易处理结果的确认。待确认命令生成单元16通过获取用户交易ID并发送给主机，由待确认命令接收单元36接收到后，查找单元37查询交易处理结果文件并返回与用户交易ID相关的交易处理结果，反馈单元17完成确认后更新前端系统的相应未处理交易记录的状态，同时反馈给用户。

处理结果返传单元34定期扫描主机处理的交易数据，或者交易数据的处理结果，在在发现未返传的交易处理结果时进行计时或者计数，如未返传的交易处理结果达到一定数量或者一定时间(可以根据预先设定调优)后自动汇总发送给前端系统，同时标识该交易处理结果的状态为已返传。

同步单元18用于定期获取主机端生成的交易梳理结果，完成前端系统中交易数据的勾对、更新，当出现因前端系统与主机通讯失败导致的疑账交易时，反馈单元19将该结果反馈给用户。通过该实时同步的模式可以有效提高前端系统中数据更新的时效性，也提升了客户体验。

在交易日营业时间结束后，主机端的文件生成单元35扫描主机当天完成处理的交易数据以及各交易数据的交易处理结果，生成交易结果文件，以供前端系统进行数据同步处理。

前端系统在第T+1日启动文件获取单元20，获取主机端生成的交易结果文件，对前端系统中的未处理交易记录进行勾对。查询单元21通过未处理交易记录的用户交易ID查询交易结果文件中是否存在相应的交易处理结果，如果不存在相应的交易处理结果，则启动反馈单元22将该未处理交易记录的状态修改为发送主机失败；如果存在相应的交易处理结果，则将前端系统中的该未处理交易记录的状态修改为已处理，勾对完成后通过短信或者邮件的形式将交易处理结果反馈给用户。

在一实施例中，文件获取单元20还可以根据主机文件生成交易流量监测数据，为本发明实施例批量数据处理系统调优提供参考，通过交易结果全量下载，全量核对的处理模式保证了前端系统和主机数据的统一，将前端系统与主机之间交互的风险进一步降低。

本发明实施例提供的批量数据处理系统运用前端系统接收用户交易数据，并对其进行分拣和提取，采用队列存储以及流水调度机制汇总交易数据后发送给主机，由主机完成多批次的并发处理，减少前端系统与主机的交互次数，降低了网络带宽的压力并提高了数据的处理效率。

本发明利用了前端系统数据接入的灵活性，对交易数据进行分拣和提取，把数据的核心处理放在主机端，利用主机高效的数据处理速度提高数据处理效率，减少数据处理时间，并且部署了多种同步装置(包括主动同步装置及被动同步装置)，保证了数据同步的及时性及有效性，解决高并发量数据处理系统的交易丢失问题。进一步地，利用本发明，大大提升了系统总体性能容量以及数据处理效率，减少系统的资源消耗，降低了企业运维成本，提升了用户体验，提高了整体的经济效益。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。