一种数据处理方法、装置、存储介质及电子装置

摘要

本发明实施例提供了一种数据处理方法、装置、存储介质及电子装置，其方法包括：获取待处理的初始数据；对所述初始数据执行第一处理以及第二处理，以确定规则命中结果，其中，所述第一处理包括：对所述初始数据执行规则指标统计运算，以得到目标数据，将所述目标数据存储至第一存储区；所述第二处理包括：基于预先从第一存储区加载的目标规则指标，对所述初始数据执行规则指标加载运算，得到指标运算结果，基于所述指标运算结果，确定规则命中结果；在所述规则命中结果满足目标条件的情况下，执行所述目标条件对应的目标操作。通过本发明，解决了相关技术中数据处理效率低的问题，进而达到了提高数据处理效率的效果。

说明书

技术领域

本发明实施例涉及通信领域，具体而言，涉及一种数据处理方法、装置、存储介质及电子装置。

背景技术

在互联网的千万级大规模的交易高并发支付环境下，如何在错综复杂的支付流程中加强实时风控处理效率，改进客户体验，是实时风控技术中面临的关键所在。

传统的风控处理方式效率较低，造成该现象的技术问题包括如下几点：

首先，在进行风控处理时，需要实时进行规则运算，而规则预算涉及大量的指标统计、窗口运算等，因而该过程会耗费大量的时间；且在计算完成之后，还需要进行规则运算和匹配，并在匹配结果生成后，才会响应运算结果，因此，传统的风控处理方式的即时响应效率较低。

其次，在进行风控处理时，需要将实时计算的结果存储在缓存，而缓存数据丢失，这就容易造成风控规则命中失败，从而降低了风控的检查成功率。

发明内容

本发明实施例提供了一种数据处理方法、装置、存储介质及电子装置，以至少解决相关技术中数据处理效率低的问题。

根据本发明的一个实施例，提供了一种风控方法，包括：

获取待处理的初始数据；

对所述初始数据执行第一处理以及第二处理，以确定规则命中结果，其中，所述第一处理包括：对所述初始数据执行规则指标统计运算，以得到目标数据，将所述目标数据存储至第一存储区；所述第二处理包括：基于预先从第一存储区加载的目标规则指标，对所述初始数据执行规则指标加载运算，得到指标运算结果，基于所述指标运算结果，确定规则命中结果；

在所述规则命中结果满足目标条件的情况下，执行所述目标条件对应的目标操作。

在一个示例性实施例中，在所述规则命中结果满足目标条件的情况下，执行所述目标条件对应的目标操作包括：

对所述规则命中结果执行模型匹配操作；

在确定匹配到目标模型的情况下，确定所述规则命中结果满足所述目标条件；

获取所述目标模型对应的目标操作信息；

将所述目标操作信息发送至执行端，以指示所述执行端执行所述目标操作。

在一个示例性实施例中，在基于从第一存储区加载的目标规则指标，对所述初始数据执行规则指标加载运算，以确定所述规则命中结果之前，所述方法还包括：

对所述初始数据进行第一检测，以从多个风控场景中确定所述初始数据对应的目标风控场景；

基于所述目标风控场景所指示的目标规则指标，从所述第一存储区加载所述目标规则指标。

在一个示例性实施例中，在对所述初始数据进行第一检测，以确定所述初始数据对应的风控场景之前，所述方法还包括：

获取服务检测数据；

基于所述服务检测数据，确定多个风控场景，其中，所述风控场景用于指示所述目标规则指标。

在一个示例性实施例中，所述服务检测数据包括至少以下之一：

商户黑名单、风险商户名单、商户限额检查、风控指标。

在一个示例性实施例中，所述在所述规则命中结果满足目标条件的情况下，执行与所述目标条件对应的目标操作之后，所述方法还包括：

对所述目标操作进行监控，以得到目标操作结果；

将所述目标操作结果发送至显示端，以指示所述显示端显示所述目标操作结果。

在一个可选的实施例中，目标模型包括至少以下之一：

用于指示目标时间内交易次数大于阈值的短时间内多次交易风控模型、用于指示非营业时间交易的错时交易风控模型、用于指示连续卡号交易的连卡交易风控模型、用于指示同一卡号的多次交易的同卡多次交易风控模型、固定pos机移机监控的交易风控模型。

根据本发明的另一个实施例，提供了一种数据处理装置，包括：

初始数据采集模块，用于获取待处理的初始数据；

双路处理模块，用于对所述初始数据执行第一处理以及第二处理，以确定规则命中结果，其中，所述第一处理包括：对所述初始数据执行规则指标统计运算，以得到目标数据，将所述目标数据存储至第一存储区；所述第二处理包括：基于预先从第一存储区加载的目标规则指标，对所述初始数据执行规则指标加载运算，得到指标运算结果，基于所述指标运算结果，确定规则命中结果；

操作执行模块，用于在所述规则命中结果满足目标条件的情况下，执行所述目标条件对应的目标操作。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于将指标统计运算与指标加载运算通过两路处理分别执行，从而无需在指标加载运算之前先等待指标统计运算的结果，因此，可以解决数据处理效率低的问题，达到提高数据处理效率效果。

附图说明

图1是本发明实施例的一种数据处理方法的移动终端的硬件结构框图；

图2是根据本发明实施例的一种数据处理方法的流程图；

图3是根据本发明实施例的一种数据处理装置的结构框图；

图4是根据本发明具体实施例的一种数据处理方法的结构流程图；

图5是根据本发明具体实施例的双路处理的流程图；

图6是根据本发明具体实施例的硬件配置示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种数据处理方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种风控方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种数据处理方法，图2是根据本发明实施例的的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取待处理的初始数据；

在本实施例中，初始数据可以(但不限于)是金融交易中的交易数据，例如用户的账号、交易金额、交易时间、交易地点或交易机构、交易频次、用于对交易进行监控的规则、指标、监控端ID、数据存储路径等数据；也可以是其它需要涉及数量统计和加载计算，并基于统计结果和计算结果进行监控的数据，例如交通数据、物流运输数据、餐饮服务数据等；初始数据的获取可以(但不限于)是通过外部数据接入组件rabbitmq组件接入输入消息来实现，也可以通过其它方式获取；对应的，初始数据的传输可以是通过以太网实现的，也可以是通过蓝牙传输网络实现的，还可以是通过3G/4G/5G/量子通信等无线通信网络实现的。

步骤S204，对初始数据执行第一处理以及第二处理，以确定规则命中结果，其中，第一处理包括：对初始数据执行规则指标统计运算，以得到目标数据，将目标数据存储至第一存储区；第二处理包括：基于预先从第一存储区加载的目标规则指标，对初始数据执行规则指标加载运算，得到指标运算结果，基于指标运算结果，确定规则命中结果；

在本实施例中，通过两路处理实现对初始数据的不同计算，从而减少了执行指标加载运算时的计算量，提高了数据处理效率。

其中，指标统计运算包括(但不限于)统计初始数据中包含的规则、指标等数据的数量、路径及数据类型等；指标统计运算可以(但不包括)由流计算组件Flink来执行；指标加载运算包括(但不限于)加载初始数据中包含的指标、规则等数据，并对指标、规则等数据进行合法性判断计算、与对应的风控模型的匹配度计算等；第一存储区可以(但不限于)是内设的缓存设备或模块，如flash、内存、本地存储器redis等，也可以是外接的存储设备或模块，如云存储器、工业计算机的存储装置、移动硬盘等；规则命中结果包括(但不限于)指标、规则等数据是否合法、是否匹配到对应的风控模型、与风控模型的匹配度是否满足阈值要求等；需要说明的是，运算结果的传输过程可以是(但不限于)是通过以太网实现的，也可以是通过蓝牙传输网络实现的，还可以是通过3G/4G/5G/量子通信等无线通信网络实现的。

步骤S206，在规则命中结果满足目标条件的情况下，执行目标条件对应的目标操作。

在本实施例中，目标操作可以(但不限于)是金融系统中的暂停交易、交易报警、交易记录上报、延期结算等，也可以是交通系统中的故障报警等操作，还可以是其它类型的操作；目标条件可以(但不限于)是匹配/未匹配到对应的风控模型、匹配度满足/不满足阈值要求等。

通过上述步骤，由于通过两路处理分别对指标统计和加载运算，因而减少了加载运算过程所需要涉及的指标统计数据，因而减少了加载运算过程的计算量，解决了相关技术中数据处理效率低的问题，提高了数据处理效率。

在一个可选的实施例中，在规则命中结果满足目标条件的情况下，执行目标条件对应的目标操作包括：

步骤S2062，对规则命中结果执行模型匹配操作；

步骤S2064，在确定匹配到目标模型的情况下，确定规则命中结果满足目标条件；

步骤S2066，获取目标模型对应的目标操作信息；

步骤S2068，将目标操作信息发送至执行端，以指示执行端执行目标操作。

在本实施例中，在匹配到目标模型的情况下，则可以根据目标模型对应的目标操作信息来执行对应的目标操作，从而提高了目标操作的执行效率，也减少了人工成本。

其中，目标操作信息包括执行目标操作的设备的ID、地址信息、动作执行过程对应的信号类型、执行时间等；例如，在执行交易暂停操作时，目标操作信息包括暂停交易的账户信息、交易单号、交易金额、暂停时间以及时长等；执行端包括用于执行目标操作的设备或模块，例如执行信号收发的接口、控制器或控制模块、用于执行交易暂停操作的显示端、数据传输线路等。

在一个可选的实施例中，在基于从第一存储区加载的目标规则指标，对初始数据执行规则指标加载运算，以确定规则命中结果之前，该方法还包括：

步骤S20402，对初始数据进行第一检测，以从多个风控场景中确定初始数据对应的目标风控场景；

步骤S20404，基于目标风控场景所指示的目标规则指标，从第一存储区加载目标规则指标。

在本实施例中，对初始数据进行第一检测可以是为了确认初始数据的合法性等情况，从而保证数据处理结果的正确性，也可以是确认初始数据中包含的规则、指标；而确定风控场景是为了方便匹配对应的风控模型，从而减少匹配过程所涉及的计算量。

其中，风控场景可以(但不限于)是指由若干指标、规则组成的被检测背景，例如，由商户黑名单、风险商户名单、商户限额检查、风控指标等指标、规则中的一项或多项组成的规则包即为其中一种风控场景。

在一个可选的实施例中，在对初始数据进行第一检测，以确定初始数据对应的风控场景之前，该方法还包括：

步骤S204022，获取服务检测数据；

步骤S204024，基于服务检测数据，确定多个风控场景，其中，风控场景用于指示目标规则指标。

在一个可选的实施例中，服务检测数据包括至少以下之一：

商户黑名单、风险商户名单、商户限额检查、风控指标。

在一个可选的实施例中，在规则命中结果满足目标条件的情况下，执行与目标条件对应的目标操作之后，该方法还包括：

步骤S208，对目标操作进行监控，以得到目标操作结果；

步骤S2010，将目标操作结果发送至显示端，以指示显示端显示目标操作结果。

在本实施例中，通过显示端对目标操作结果进行直接显示，能够使得用户对目标操作结果进行直观了解，提高了用户体验。

其中，显示端可以(但不限于)是远程监控显示屏、用户端显示屏等。

在一个可选的实施例中，目标模型包括至少以下之一：

用于指示目标时间内交易次数大于阈值的短时间内多次交易风控模型、用于指示非营业时间交易的错时交易风控模型、用于指示连续卡号交易的连卡交易风控模型、用于指示同一卡号的多次交易的同卡多次交易风控模型、固定pos机移机监控的交易风控模型。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种数据处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的一种风控装置的结构框图，如图3所示，该装置包括：

初始数据采集模块32，用于获取待处理的初始数据；

双路处理模块34，用于对初始数据执行第一处理以及第二处理，以确定规则命中结果，其中，第一处理包括：对初始数据执行规则指标统计运算，以得到目标数据，将目标数据存储至第一存储区；第二处理包括：基于预先从第一存储区加载的目标规则指标，对初始数据执行规则指标加载运算，得到指标运算结果，基于指标运算结果，确定规则命中结果；

操作执行模块36，用于在规则命中结果满足目标条件的情况下，执行目标条件对应的目标操作。

在一个可选的实施例中，操作执行模块36包括：

匹配单元362，用于对规则命中结果执行模型匹配操作；

判断单元364，用于在确定匹配到目标模型的情况下，确定规则命中结果满足目标条件；

信息采集单元366，用于获取目标模型对应的目标操作信息；

操作执行单元368，将目标操作信息发送至执行端，以指示执行端执行目标操作。

在一个可选的实施例中，该装置还包括：

检测单元3402，用于在基于从第一存储区加载的目标规则指标，对初始数据执行规则指标加载运算，以确定规则命中结果之前，对初始数据进行第一检测，以从多个风控场景中确定初始数据对应的目标风控场景；

检测单元3404，基于目标风控场景所指示的目标规则指标，从第一存储区加载目标规则指标。

在一个可选的实施例中，该装置还包括：

数据采集单元340402，用于在对初始数据进行第一检测，以确定初始数据对应的风控场景之前，获取服务检测数据；

场景确定单元340404，基于服务检测数据，确定多个风控场景，其中，风控场景用于指示目标规则指标。

在一个可选的实施例中，服务检测数据包括至少以下之一：

商户黑名单、风险商户名单、商户限额检查、风控指标。

在一个可选的实施例中，该装置还包括：

监控模块38，用于在规则命中结果满足目标条件的情况下，执行与目标条件对应的目标操作之后，对目标操作进行监控，以得到目标操作结果；

结果发送模块310，用于将目标操作结果发送至显示端，以指示显示端显示目标操作结果。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

下面结合具体实施例对本发明进行说明。

如图4所示，具体步骤包括：

步骤S401(对应前述的步骤S202)，外部的交易系统通过消息总线传输交易数据；

步骤S402(对应前述的步骤S204)，通过API(Application ProgrammingInterface，应用程序接口)直接调用实时风控规则运算；

步骤S403(对应前述的步骤S206)根据风控规则运算结果进行风控管理，风控服务在进行检测并触发风险规则后，执行对应的风控处置；其中，风险处置的方式包括(但不限于)预警、阻断本次交易、交易暂停、延期结算等；风控管理的维护根据风控规则进行。

需要说明的是，风控服务的检测过程中进行检测的检查项包括商户黑名单、风险商户名单、商户限额检查、表1所示的风控指标等，而图4中的风控场景为上述检查项的组合，以支付场景为例，包含了上述所有的检查项。每种风险监控指标类型按商户类别(如5种类别)+商户风险等级(如5种级别)和规则指标进行组合，又会有多种组合，因此风控内部还需要根据需求构建多种风控组合模型。

风控服务运行中，风控规则检测过程在检测到该交易为风险交易时、触发风控模型，并把本次处置的结果方式和消息内容传递到消息总线，进行事后处理。如果本次触发的处理方式是阻断本次交易或交易暂停，应立即返回阻断本次交易或交易暂停标志给交易系统。

消息总线收到本次交易的触发结果后，通过另外的消费服务消费消息提交到关系数据库，当然，消费服务可以按照设定的规则分析处理预警等消息，如五分钟内预警消息满足五笔，提升商户风险等级，并生成业务工单，由业务人员人工核实处理该商户的风险等级等操作。

表1

如图5所示，通过基于双路的风控实现方式，把风控的数据统计和规则运算进行剥离，即一路实现风控指标的异步统计和计算(对应图5中的A路)，计算结果存储在缓存装置，一路实现内存风控指标的规则实时运算(对应图5中的B路)。将耗时长的风控指标统计运算剥离出来之后，实时风控规则运算几乎为直接的规则条件判断，因而实现了时风控规则运算过程的轻量简化，极大的提升了实时风控规则运算的效率，从而为解决实时风控处理性能不高的缺陷提供了保障。

同时本发明引入了风控场景以及风控模型的概念，可组合不同的风控检查项定义风控使用的场景，多种风控指标以及自定义属性维度(如商户风险级别、类别等属性)组合定义风控模型，风控计算时通过规则引擎匹配到指定的风控模型。

具体操作过程如下：

1)规则指标统计计算

外部交易数据直接投递到消息总线，由流计算组件Flink消费消息进行高速内存指标统计运算，计算结果存储到分布式缓存，通过Flink的高效率流计算功能实现规则指标的统计计算。

2)实时风控规则运算

实时风控规则运算，从缓存和DB读取指标数据，在内存进行规则运算，规则命中后，即时返回结果，由于规则运算不涉及太多的运算，执行效率很高，从而实现了高效的内存规则运算。

风控规则在运算时触发风控规则模型，从模型定义中取到事后处理方式，响应给请求系统，同时系统输出检测结果数据提交给消息总线，由风控事后服务消费处理并提交到关系数据库。

3)风控事后处理

风控事后主要为消息监控，如果涉及到人工处理，由人工决策处理风险信息。事后的风控事件处理不影响实时规则的运行。

需要说明的是，如图6所示，本发明使用到的技术组件如下：

一路外部交易数据接入，由rabbitmq接入输入消息，流计算组件Flink高速内存指标统计运算，运算结果存储到redis。

一路提供联机实时的风控服务，使用springcloud微服务框架提供高并发、高性能的联机服务，接口为http协议与json报文格式。

管理端采用主流的前后端分离的技术实现，前端采用VUE架构，以及html、css,引入以Vue作为基础框架实现的组件库Element UI，提供丰富的组件库使用；管理后端使用springboot和mybatis技术。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。