消费者多渠道数据整合方法、系统、设备及存储介质

摘要

本发明提供的一种消费者多渠道数据整合方法、系统、设备及存储介质，方法包括：采集渠道平台的交互数据；对交互数据进行识别，生成用户唯一标识号；离线聚合用户唯一标识号和交互数据形成第一数据，基于用户业务需求划分第一数据，获得多个不同业务主题宽表，将多个不同业务主题宽表存储至实时数据库，基于多个不同业务主题宽表创建人群包；实时获取并按预设规则过滤用户唯一标识号和交互数据，基于过滤后的用户唯一标识号和交互数据查询实时数据库和人群包，为用户提供个性化服务。该方法将实时方案与离线方案整合，为用户提供了个性化服务，针对大数据量级的业务挑战，能够显著降低成本，且无需定制化设计数据模型，提高了数据整合的兼容性。

说明书

技术领域

本发明涉及互联网技术领域，特别涉及一种消费者多渠道数据整合方法、系统、设备及存储介质。

背景技术

跨渠道营销意味着各个平台之间的数据共享与流通，当各个平台打通之后，尤其是当契合产品/品牌的渠道平台打通之后，数据整合所蕴含的能量是无穷的。

目前，现有技术中多渠道数据整合，一种做法是采用纯实时流技术方案，通过实时对业务场景千万级别量级的数据管理，实现实时的数据采集、数据计算及数据应用；另一种做法是对一些渠道平台上具体触点的数据进行数据模型的定制化设计，可对人群包进行圈选和投放，在一些特定的场景，可以快速进行系统部署和应用。

但就现有技术而言，纯实时流技术方案所需处理的数据量级过大，使得成本较高；定制化设计数据模型在某些业务场景中，兼容性不够理想，且若有更复杂的业务需求，采用定制化设计数据模型不够灵活，在实际场景落地中需要额外进行数据模型的改造，进而使得定制化成本高。

发明内容

为解决现有技术中数据整合的成本高及兼容性低的技术问题，本发明提供了一种消费者多渠道数据整合方法，将实时方案与离线方案进行整合，为用户提供了个性化服务，针对大数据量级的业务挑战，能够显著降低成本，且无需定制化设计数据模型，提高了数据整合的兼容性。

本发明提供了一种消费者多渠道数据整合方法，包括如下步骤：

数据采集步骤，采集渠道平台的交互数据；

数据识别步骤，对所述交互数据进行识别，生成用户唯一标识号；

数据整合步骤，离线聚合所述用户唯一标识号和所述交互数据形成第一数据，基于用户业务需求划分所述第一数据，获得多个不同业务主题宽表，并将多个不同所述业务主题宽表存储至实时数据库，同时基于多个不同所述业务主题宽表创建人群包；

数据服务步骤，实时获取并按预设规则过滤所述用户唯一标识号和所述交互数据，基于过滤后的所述用户唯一标识号和所述交互数据查询所述实时数据库和所述人群包，为用户提供个性化服务。

上述的消费者多渠道数据整合方法，其中，所述数据识别步骤中具体包括：

识别所述交互数据中所包含的用户标识号，基于所述用户标识号和SuperID服务，生成用户唯一标识号。

上述的消费者多渠道数据整合方法，其中，所述数据整合步骤中还包括：

接口创建步骤，基于所述实时数据库和所述人群包，分别创建实时数据库API接口和人群包API接口。

上述的消费者多渠道数据整合方法，其中所述数据服务步骤中基于过滤后的所述用户唯一标识号和所述交互数据查询所述实时数据库和所述人群包具体包括：

基于过滤后的所述用户唯一标识号和所述交互数据，调用所述实时数据库API接口和所述人群包API接口，查询所述实时数据库和所述人群包。

上述的消费者多渠道数据整合方法，其中，所述数据整合步骤中多个不同所述业务主题表包括：用户属性宽表和多个用户行为宽表，多个所述用户行为宽表包括但不限于商品偏好宽表和用户价值宽表。

上述的消费者多渠道数据整合方法，其中，所述数据整合步骤中获得多个不同业务主题宽表具体包括：

离线接入所述用户唯一标识号和所述交互数据；

聚合数据清洗后的所述用户唯一标识号和所述交互数据，形成第一数据，基于所述第一数据，将相同主题的所述第一数据整合到同一张表中；

基于用户业务需求对整合后的表进行划分，获得多个不同业务主题宽表。

上述的消费者多渠道数据整合方法，其中，所述数据采集步骤具体包括：

按照预设格式预处理所述渠道平台的交互数据，采集预处理后的交互数据。

本发明还提供一种实现如上所述的消费者多渠道数据整合方法的系统，包括：

数据采集单元，用于采集渠道平台的交互数据；

数据识别单元，用于对所述交互数据进行识别，生成用户唯一标识号；

数据整合单元，用于离线聚合所述用户唯一标识号和所述交互数据形成第一数据，基于用户业务需求划分所述第一数据，获得多个不同业务主题宽表，并将多个不同所述业务主题宽表存储至实时数据库，同时基于多个不同所述业务主题宽表创建人群包；

数据服务单元，用于实时获取并按预设规则过滤所述用户唯一标识号和所述交互数据，基于过滤后的所述用户唯一标识号和所述交互数据查询所述实时数据库和所述人群包，为用户提供个性化服务。

本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的消费者多渠道数据整合方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的消费者多渠道数据整合方法。

本发明的技术效果或优点：

本发明提供的一种消费者多渠道数据整合方法，采集渠道平台的交互数据，识别交互数据，生成用于唯一标识号，离线聚合交互数据和用户唯一标识号形成第一数据，基于用户需求划分第一数据，获得多个不同业务主题宽表，将多个不同业务主题宽表存储至实时数据库，并基于多个不同业务主题宽表创建人群包，实时获取并按预设规则过滤用户唯一标识号和交互数据，基于过滤后的用户唯一标识号和交互数据查询实时数据库和人群包，为用户提供个性化服务。通过上述方式，该方法将实时方案与离线方案进行整合，为用户提供了个性化服务，针对大数据量级的业务挑战，能够显著降低成本，且无需定制化设计数据模型，提高了数据整合的兼容性。

附图说明

图1为本发明实施例提供的一个消费者多渠道数据整合方法的流程图一；

图2为本发明实施例提供的一个消费者多渠道数据整合方法的流程图二；

图3为本发明实施例提供的一个实现消费者多渠道数据整合方法的系统的结构示意图；

图4为本发明实施例提供的一个电子设备的框架图；

以上图中：

10、总线；11、处理器；12、存储器；13、通信接口。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。

本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

为解决现有技术中数据整合的成本高及兼容性低的技术问题，本发明提供了一种消费者多渠道数据整合方法，将实时方案与离线方案进行整合，为用户提供了个性化服务，针对大数据量级的业务挑战，能够显著降低成本，且无需定制化设计数据模型，提高了数据整合的兼容性。

下面结合具体实施例及说明书附图，对本发明的技术方案作详细说明。

本实施例提供一种消费者多渠道数据整合方法，包括如下步骤：

数据采集步骤，采集渠道平台的交互数据；

数据识别步骤，对所述交互数据进行识别，生成用户唯一标识号；

数据整合步骤，离线聚合所述用户唯一标识号和所述交互数据形成第一数据，基于用户业务需求划分所述第一数据，获得多个不同业务主题宽表，并将多个不同所述业务主题宽表存储至实时数据库，同时基于多个不同所述业务主题宽表创建人群包；

数据服务步骤，实时获取并按预设规则过滤所述用户唯一标识号和所述交互数据，基于过滤后的所述用户唯一标识号和所述交互数据查询所述实时数据库和所述人群包，为用户提供个性化服务。

本实施例提供的一种消费者多渠道数据整合方法，将实时方案与离线方案进行整合，为用户提供了个性化服务，针对大数据量级的业务挑战，能够显著降低成本，且无需定制化设计数据模型，提高了数据整合的兼容性。

具体地说，参考图1，图1为本发明实施例提供的一个消费者多渠道数据整合方法的流程图一。本发明提供了一种消费者多渠道数据整合方法，包括如下步骤：

数据采集步骤S1，采集渠道平台的交互数据。

在本实施例中，数据采集步骤S1具体包括：

按照预设格式预处理渠道平台的交互数据，采集预处理后的交互数据。其中，在采集到预处理后的交互数据后，对预处理后的交互数据进行标准化处理，得到标准化交互数据。

在具体应用中，首先针对不同渠道平台进行定制开发提供SDK，包含以下功能：授权认证、接口对接及数据接入Kafka，其中定义数据接入Kafka的预设格式为：标注mainid及其ID类型、标注其他非mainid的标识的ID类型、标注事件时间戳、标注渠道字段及标注时间属性的字段。渠道平台为多个，渠道平台包括但不限于淘宝、京东、小红书及微信等。

数据识别步骤S2，对所述交互数据进行识别，生成用户唯一标识号。

在本实施例中，所述数据识别步骤S2中具体包括：

识别所述交互数据中所包含的用户标识号，基于所述用户标识号和SuperID服务，生成用户唯一标识号。

在具体应用中，按照预设格式获取到渠道平台的交互数据后，发送绑定消息(ID与ID的Pair对)到SuperID服务(SuperID服务用于定义消费者不同的设备的ID类型)，SuperID服务用于根据交互数据实时计算用户唯一标识号，并将用户唯一标识号补充到标准化交互数据中。用户唯一号包括但不限于微信号、电话号及身份证号。

数据整合步骤S3，离线聚合所述用户唯一标识号和所述交互数据形成第一数据，基于用户业务需求划分所述第一数据，获得多个不同业务主题宽表，并将多个不同所述业务主题宽表存储至实时数据库，同时基于多个不同所述业务主题宽表创建人群包。

在本实施例中，所述数据整合步骤S3中多个不同所述业务主题表包括：用户属性宽表和多个用户行为宽表，多个所述用户行为宽表包括但不限于商品偏好宽表和用户价值宽表。

在本实施例中，所述数据整合步骤S3中获得多个不同业务主题宽表具体包括：

离线接入所述用户唯一标识号和所述交互数据；

聚合数据清洗后的所述用户唯一标识号和所述交互数据，形成第一数据，基于所述第一数据，将相同主题的所述第一数据整合到同一张表中；

基于用户业务需求对整合后的表进行划分，获得多个不同业务主题宽表。

在本实施例中，所述数据整合步骤S3中还包括：

接口创建步骤，基于所述实时数据库和所述人群包，分别创建实时数据库API接口和人群包API接口。

在具体应用中，数据整合步骤S3采用OLAP(联机分析处理)进行，其中，离线将标准化交互数据和用户唯一标识号接入离线平台(ODS)，对标准化交互数据和用户唯一标识号进行清洗过滤，具体指排除脏数据及作弊数据等，聚合清洗过滤后的用户唯一标识号和标准化交互数据，形成第一数据，基于第一数据，将相同主题的第一数据整合到同一张表中，具体地说，譬如将微信公众号、小程序及其它应用程序(APP)对某个商品的关注信息整合到同一张表中，根据用户业务需求对整合后的表进行划分，获得多个不同业务主题宽表。其中，在本实施例中，实时数据库和人群包按照预设周期周期性的进行更新。

数据服务步骤S4，实时获取并按预设规则过滤所述用户唯一标识号和所述交互数据，基于过滤后的所述用户唯一标识号和所述交互数据查询所述实时数据库和所述人群包，为用户提供个性化服务。

在本实施例中，所述数据服务步骤S4中基于过滤后的所述用户唯一标识号和所述交互数据查询所述实时数据库和所述人群包具体包括：

基于过滤后的所述用户唯一标识号和所述交互数据，调用所述实时数据库API接口和所述人群包API接口，查询所述实时数据库和所述人群包。

在具体应用中，数据服务步骤S4通过RTIM(实时互动引擎)进行，当调用实时数据库API接口和人群包API接口进行查询实时数据库和人群包时，所查询的是在查询时间之前已更新完的实时数据库和人群包。作为一个示例，具体介绍一下数据服务步骤S4，如下：判断用户关注公众号且是江浙沪人群，若是，则调用实时数据库API接口查询实时数据库，判断用户在过去30天是否购买过商品，若购买过商品，则调用人群包API接口查询人群包，判断用户是否被定义为高价值人群，若是高价值人群，则向用户发送优惠券，若不是高价值人群，则向用户发送欢迎短信，若为购买过商品，则向用户发送欢迎短信；若否，则向用户发送欢迎短信。

本实施例提供的一种消费者多渠道数据整合方法，将实时方案与离线方案进行整合，为用户提供了个性化服务，针对大数据量级的业务挑战，能够显著降低成本，且无需定制化设计数据模型，提高了数据整合的兼容性。

参考图2，作为一个示例，下面具体介绍一下消费者多渠道数据整合方法，具体如下：

用户在多个渠道平台跟品牌方进行实时互动，产生交互数据，采集渠道平台的交互数据，并标准化处理交互数据，识别交互数据中包含的用户标识号，基于SuperID服务和用户标识号，生成用户唯一标识号。将用户唯一标识号补充到标准化交互数据中，基于OLAP，将用户唯一标识号和标准化数据接入离线平台(ODS)，对用户唯一标识号和标准化数据进行数据清洗后，聚合数据清洗后的用户唯一标识号和标准化交互数据形成第一数据，基于第一数据，将相同主题的第一数据整合到同一张表中，基于用户业务需求对整合后的表进行划分，获得多个不同业务主题宽表，将多个不同业务主题宽表存储至实时数据库，并基于多个不同业务主题宽表创建人群包，基于RTIM实时按照预设规则过滤用户唯一标识号和标准化交互数据，基于过滤后的用户唯一标识号和交互数据，调用实时数据库API接口和人群包API接口，查询已更新的实时数据库和人群包，为用户提供个性化服务。

本发明实施例还提供一种实现如上所述的消费者多渠道数据整合方法的系统，参考图3，包括：

数据采集单元，用于采集渠道平台的交互数据；

数据识别单元，用于对所述交互数据进行识别，生成用户唯一标识号；

数据整合单元，用于离线聚合所述用户唯一标识号和所述交互数据形成第一数据，基于用户业务需求划分所述第一数据，获得多个不同业务主题宽表，并将多个不同所述业务主题宽表存储至实时数据库，同时基于多个不同所述业务主题宽表创建人群包；

数据服务单元，用于实时获取并按预设规则过滤所述用户唯一标识号和所述交互数据，基于过滤后的所述用户唯一标识号和所述交互数据查询所述实时数据库和所述人群包，为用户提供个性化服务。

本实施例提供的一种实现如上所述的消费者多渠道数据整合方法的系统，将实时方案与离线方案进行整合，为用户提供了个性化服务，针对大数据量级的业务挑战，能够显著降低成本，且无需定制化设计数据模型，提高了数据整合的兼容性。

参考图4，本实施例还提供一种计算机设备，包括存储器12、处理器11以及存储在所述存储器12上并可在所述处理器11上运行的计算机程序，所述处理器11执行所述计算机程序时实现如上所述的消费者多渠道数据整合方法。

设备可以包括处理器11以及存储有计算机程序指令的存储器12。具体地，上述处理器11可以包括中央处理器(CPU)，或者特定集成电路(Application SpecificIntegrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器12可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器12可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器12可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器12可在数据处理装置的内部或外部。在特定实施例中，存储器12是非易失性(Non-Volatile)存储器。在特定实施例中，存储器12包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器12可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器11所执行的可能的计算机程序指令。

处理器11通过读取并执行存储器12中存储的计算机程序指令，以实现上述实施例中的任意一种消费者多渠道数据整合方法。

在其中一些实施例中，计算机设备还可包括通信接口13和总线10。其中，参考图4，处理器11、存储器12、通信接口13通过总线10连接并完成相互间的通信。通信接口13用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口13还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线10包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线10包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线10可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线10可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

另外，结合上述实施例中的消费者多渠道数据整合方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种消费者多渠道数据整合方法。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。