基于事件机制模板对实时流事件配置化处理方法及系统

摘要

本发明提供一种基于事件机制模板对实时流事件配置化处理方法及系统，属于数据处理技术领域。通过本系统，各个业务系统可以订阅自己业务需要的电商平台提供的各种数据流，同时也可以定义对数据流的过滤及处理方式，在本系统中，通过演算脚本对订阅的数据进行处理，并最终形成业务方需要的结果。此外本系统也支持由各业务系统主动推送一些数据到本系统，注册为数据集，供其他系统订阅。

说明书

技术领域

本发明属于数据处理技术领域，尤其是涉及一种基于事件机制模板对实时流事件配置化处理方法及系统。

背景技术

目前随着互联网快速发展，用户线上交易产生的非常大的数据量卖家期望在数据发生时做些营销的事情，比如电商平台卖家想对订单、物流、评论、退款等数据实时变化时做一些事情，原来的系统都是卖家通过现有系统被动去做些事情，存在一定的局限性，营销触达比较滞后。

发明内容

本发明旨在解决上述技术问题，提供一种基于事件机制模板对实时流事件配置化处理方法及系统。

为了达到上述目的，本发明采用如下技术方案：

基于事件机制模板对实时流事件配置化处理方法，包括：

S1.将ETL数据平台以及各业务数据推送到消息队列，适配器对接消息队列，监听多个队列的主题，并进行数据实时监听，数据格式转换、事件FQN定义、事件属性转换、数据有效性处理和数据唯一性处理，通过不同事件定义均衡分发到不同队列的主题；

S2.在JVM中编译并运行语法结构，同时提前声明每个事件流和数据集的结构SCHEMA，业务根据自身业务需求和预先定义的SCHEMA，组装符合业务场景的脚本规则，提交给本服务并进行订阅；

S3.大数据Spark Streaming流式处理框架结合消息队列，秒级微批处理，利用集群多executor并行处理，应用通过监听到队列消息后，根据事件FQN和数据隶属的集合TAG，初步过滤需要进行匹配的脚本规则，然后数据按照集合TAG进行shuffle后，批量提交给对应的脚本类进行处理，最终将匹配成功的结果推送到结果队列，供订阅者实时监听后进行业务处理。

作为优选，s3的事件处理过程中，如果事件FQN对应的脚本规则是需要DELAY处理，那么将进行延迟处理，该事件被定义为延迟事件，根据延迟脚本设置的DELAY TIME，和事件发生时间相加，并将该事件保存到延迟队列，到期时间作为事件的key，延迟队列服务定时轮询到期事件根据事件key，将到期事件回放到固定队列，S3中将监听该事件并进行后续处理。

本发明基于事件机制模板对实时流事件配置化处理系统，其特征在于，包括：

数据接入模块，所述数据接入模块用于将ETL数据平台以及各业务数据推送到消息队列，所述数据接入模块包括适配器，所述适配器对接消息队列，监听多个队列的主题，并进行数据实时监听，数据格式转换、事件FQN定义、事件属性转换、数据有效性处理和数据唯一性处理，通过不同事件定义均衡分发到不同队列的主题；

规则提交模块，所述规则提交模块在JVM中编译并运行语法结构，同时提前声明每个事件流和数据集的结构SCHEMA，业务根据自身业务需求和预先定义的SCHEMA，组装符合业务场景的脚本规则，提交给本服务并进行订阅；

事件处理模块，所述事件处理模块利用大数据Spark Streaming流式处理框架结合消息队列，秒级微批处理，并利用集群多executor并行处理，应用通过监听到队列消息后，根据事件FQN和数据隶属的集合TAG，初步过滤需要进行匹配的脚本规则，然后数据按照集合TAG进行shuffle后，批量提交给对应的脚本类进行处理，最终将匹配成功的结果推送到结果队列，供订阅者实时监听后进行业务处理。

作为优选，所述处理系统还包括延迟事件模块，所述延迟事件模块设有延迟脚本，如果事件FQN对应的脚本规则是需要DELAY处理，那么将进行延迟处理，该事件被定义为延迟事件，延迟事件根据延迟脚本设置的DELAY TIME，和事件发生时间相加，并将该事件保存到延迟队列，到期时间作为事件的key，延迟队列服务定时轮询到期事件根据事件key，将到期事件回放到固定队列，事件处理模块监听该事件并进行后续处理。

采用上述技术方案后，本发明具有如下优点：

通过本系统，各个业务系统可以订阅自己业务需要的电商平台提供的各种数据流，同时也可以定义对数据流的过滤及处理方式，在本系统中，通过演算脚本对订阅的数据进行处理，并最终形成业务方需要的结果。此外本系统也支持由各业务系统主动推送一些数据到本系统，注册为数据集，供其他系统订阅。

本系统具有通用性：针对一些常用的事件进行预定义，各业务系统可以直接使用这些基础事件，也可以在这些基础事件上添加业务系统自己的需求变成私有事件，支持业务系统直接订阅其他业务系统推送的符合自己业务需求的事件。故本系统具有通用性。

本系统具有实时性：针对业务系统订阅的电商平台数据处理达到秒级要求，可以为一些实时性要求较高的业务如催付，关怀，打标等，提供不同需求的支持。

本系统具有易用性：各业系统只需要根据本系统要求的语法结构和数据格式，通过API接口请求的方式，发起事件订阅，就可以通过本系统演算出符合条件的结果数据，业务系统根据演算结果进行业务操作。

具体实施方式

以下结合具体实施例，对本发明作进一步的详细说明。

本发明提供一种基于事件机制模板对实时流事件配置化处理方法，包括：

S1.将ETL数据平台以及各业务数据推送到消息队列，适配器对接消息队列，监听多个队列的主题，并进行数据实时监听，数据格式转换、事件FQN定义、事件属性转换、数据有效性处理和数据唯一性处理，通过不同事件定义均衡分发到不同队列的主题；

S2.在JVM中编译并运行语法结构，同时提前声明每个事件流和数据集的结构SCHEMA，业务根据自身业务需求和预先定义的SCHEMA，组装符合业务场景的脚本规则，提交给本服务并进行订阅；

S3.大数据Spark Streaming流式处理框架结合消息队列，秒级微批处理，利用集群多executor并行处理，应用通过监听到队列消息后，根据事件FQN和数据隶属的集合TAG，初步过滤需要进行匹配的脚本规则，然后数据按照集合TAG进行shuffle后，批量提交给对应的脚本类进行处理，最终将匹配成功的结果推送到结果队列，供订阅者实时监听后进行业务处理。

s3的事件处理过程中，如果事件FQN对应的脚本规则是需要DELAY处理，那么将进行延迟处理，该事件被定义为延迟事件，根据延迟脚本设置的DELAY TIME，和事件发生时间相加，并将该事件保存到延迟队列，到期时间作为事件的key，延迟队列服务定时轮询到期事件根据事件key，将到期事件回放到固定队列，S3中将监听该事件并进行后续处理。

用户图形化自定义自己关心数据列，并设置对应条件后，后端翻译成系统自定义语法，并编译生成在jvm可执行的的类，监听到事件流后与脚本类进行执行匹配，符合条件数据执行相应动作；

该方法解决了不同用户基于实时数据流需求，订阅不同场景下同一事件组合不同数据集匹配自己想要的数据，通过统一的语法定义，达到对事实事件数据快速接入及灵活业务事件响应效果。

本发明基于事件机制模板对实时流事件配置化处理系统，包括：

数据接入模块，所述数据接入模块用于将ETL数据平台以及各业务数据推送到消息队列，所述数据接入模块包括适配器，所述适配器对接消息队列，监听多个队列的主题，并进行数据实时监听，数据格式转换、事件FQN定义、事件属性转换、数据有效性处理和数据唯一性处理，通过不同事件定义均衡分发到不同队列的主题；

规则提交模块，所述规则提交模块在JVM中编译并运行语法结构，同时提前声明每个事件流和数据集的结构SCHEMA，业务根据自身业务需求和预先定义的SCHEMA，组装符合业务场景的脚本规则，提交给本服务并进行订阅；

事件处理模块，所述事件处理模块利用大数据Spark Streaming流式处理框架结合消息队列，秒级微批处理，并利用集群多executor并行处理，应用通过监听到队列消息后，根据事件FQN和数据隶属的集合TAG，初步过滤需要进行匹配的脚本规则，然后数据按照集合TAG进行shuffle后，批量提交给对应的脚本类进行处理，最终将匹配成功的结果推送到结果队列，供订阅者实时监听后进行业务处理；

延迟事件模块，所述延迟事件模块设有延迟脚本，如果事件FQN对应的脚本规则是需要DELAY处理，那么将进行延迟处理，该事件被定义为延迟事件，延迟事件根据延迟脚本设置的DELAY TIME，和事件发生时间相加，并将该事件保存到延迟队列，到期时间作为事件的key，延迟队列服务定时轮询到期事件根据事件key，将到期事件回放到固定队列，事件处理模块监听该事件并进行后续处理。

通过本系统，各个业务系统可以订阅自己业务需要的电商平台提供的各种数据流，同时也可以定义对数据流的过滤及处理方式，在本系统中，通过演算脚本对订阅的数据进行处理，并最终形成业务方需要的结果。此外本系统也支持由各业务系统主动推送一些数据到本系统，注册为数据集，供其他系统订阅。

本系统具有通用性：针对一些常用的事件进行预定义，各业务系统可以直接使用这些基础事件，也可以在这些基础事件上添加业务系统自己的需求变成私有事件，支持业务系统直接订阅其他业务系统推送的符合自己业务需求的事件。故本系统具有通用性。

本系统具有实时性：针对业务系统订阅的电商平台数据处理达到秒级要求，可以为一些实时性要求较高的业务如催付，关怀，打标等，提供不同需求的支持。

本系统具有易用性：各业系统只需要根据本系统要求的语法结构和数据格式，通过API接口请求的方式，发起事件订阅，就可以通过本系统演算出符合条件的结果数据，业务系统根据演算结果进行业务操作。

除上述优选实施例外，本发明还有其他的实施方式，本领域技术人员可以根据本发明作出各种改变和变形，只要不脱离本发明的精神，均应属于本发明所附权利要求所定义的范围。